فك الترميز التخميني
Speculative Decoding
تسريع توليد النصوص عبر جعل نموذج صغير وسريع يقترح مسودة كلمات ويقوم النموذج العملاق باعتمادها أو تصحيحها فوراً.
Speculative Decoding
تُرجم أيضاًتسريع التوليد عبر نموذج مساعد صغير، الإنتاج اللغوي الاستباقي الموجه
أول ظهور في هذه المجموعة: GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس (2023)
يظهر في هذه الأوراق
- التقرير التقني لـ DeepSeek-V32024في السماء ✦
- GQA: تدريب نماذج الانتباه متعدد الاستعلامات المُعمَّم من نقاط تفتيش الانتباه متعدد الرؤوس2023في السماء ✦
- إدارة الذاكرة بكفاءة لخدمة النماذج اللغوية الكبيرة باستخدام PagedAttention2023في السماء ✦
- تسريع الاستدلال في المُحوِّلات باستخدام فك الترميز التخميني2023في السماء ✦