وحدة تفكيك ترميز فقط
Decoder-Only
بنية محوِّل تستخدم فقط كتل وحدة تفكيك الترميز مع قناع سببي، حيث يرى كل رمز فقط الرموز السابقة له.
A Transformer architecture using only decoder blocks with a causal mask, where each token sees only preceding tokens.
تُرجم أيضاًبنية فكّ ترميز فقط، المعالج أحادي الاتجاه
أول ظهور في هذه المجموعة: تحسين فهم اللغة عبر التدريب المسبق التوليدي (2018)
يظهر في هذه الأوراق
- توسيع نطاق النماذج اللغوية: أساليب وتحليلات ورؤى من تدريب Gopher2022في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- النماذج اللغوية: تعلُّم مهام متعددة بلا إشراف2019في السماء ✦
- الاستيعاب المتأخّر: تعميم يتجاوز فرط التخصيص في مجموعات بيانات خوارزمية صغيرة2022في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- قطيع نماذج Llama 32024في السماء ✦
- LLaMA: نماذج أساسية مفتوحة وعالية الكفاءة للغة2023في السماء ✦
- Mistral 7B2023في السماء ✦
- MusicLM: توليد الموسيقى من النص2023في السماء ✦
- Open X-Embodiment: مجموعات بيانات التعلّم الروبوتي ونماذج RT-X2024في السماء ✦
- RT-2: نماذج الرؤية-اللغة-الفعل تنقل معرفة الويب إلى التحكم الروبوتي2023في السماء ✦
- نموذج أساسي بفاكّ ترميز فقط للتنبؤ بالسلاسل الزمنية2024في السماء ✦