نموذج فكّ الترميز فقط
Decoder-Only Model
بنية محوِّل تستخدم حزمة فكّ الترميز فقط مع قناع سببي يمنع النظر إلى الرموز المستقبلية، وتُولّد النص من اليسار لليمين.
A Transformer architecture using only the decoder stack with causal masking that prevents attending to future tokens, generating text left-to-right.
تُرجم أيضاًنموذج المفكِّك فقط، نموذج فكّ التشفير أحادي الاتجاه
أول ظهور في هذه المجموعة: OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل (2022)
يظهر في هذه الأوراق
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- Gemini: عائلة نماذج فائقة القدرات تجمع بين وسائط متعددة2023في السماء ✦
- Gemma: نماذج مفتوحة الأوزان مبنية على أبحاث وتقنيات Gemini2024في السماء ✦
- Llama 2: نماذج أساسية مفتوحة الأوزان ونماذج محادثة مُحاذَاة2023في السماء ✦
- OPT: نماذج لغوية مفتوحة مُدرَّبة مسبقاً بمعمارية المُحوِّل2022في السماء ✦
- PaLM: توسيع نمذجة اللغة عبر نظام Pathways2022في السماء ✦
- الكتب المدرسية هي كل ما تحتاجه2023في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦