المعجم

رؤوس الاستقراء

Induction Heads

آلية في نماذج التسلسلات تؤدي استذكاراً ترابطياً: إذا رأى النموذج «هاري بوتر» سابقاً، فعندما تظهر «هاري» مجدداً يستطيع التنبّؤ بـ«بوتر» بالنسخ من السياق. قدرة أساسية للتعلّم ضمن السياق.

A mechanism in sequence models that performs associative recall: if the model has seen 'Harry Potter' before, then next time 'Harry' appears, it can predict 'Potter' by copying from context. A key capability for in-context learning.

تُرجم أيضاًرؤوس الاستنتاج الاستقرائي، آلية الاستذكار الترابطي

أول ظهور في هذه المجموعة: مامبا: نمذجة التسلسلات في زمن خطّي باستخدام فضاءات حالة انتقائية (2023)

يظهر في هذه الأوراق