رؤوس الاستقراء
Induction Heads
آلية في نماذج التسلسلات تؤدي استذكاراً ترابطياً: إذا رأى النموذج «هاري بوتر» سابقاً، فعندما تظهر «هاري» مجدداً يستطيع التنبّؤ بـ«بوتر» بالنسخ من السياق. قدرة أساسية للتعلّم ضمن السياق.
A mechanism in sequence models that performs associative recall: if the model has seen 'Harry Potter' before, then next time 'Harry' appears, it can predict 'Potter' by copying from context. A key capability for in-context learning.
تُرجم أيضاًرؤوس الاستنتاج الاستقرائي، آلية الاستذكار الترابطي
أول ظهور في هذه المجموعة: مامبا: نمذجة التسلسلات في زمن خطّي باستخدام فضاءات حالة انتقائية (2023)
يظهر في هذه الأوراق