Induction Heads

آلية في نماذج التسلسلات تؤدي استذكاراً ترابطياً: إذا رأى النموذج «هاري بوتر» سابقاً، فعندما تظهر «هاري» مجدداً يستطيع التنبّؤ بـ«بوتر» بالنسخ من السياق. قدرة أساسية للتعلّم ضمن السياق.

A mechanism in sequence models that performs associative recall: if the model has seen 'Harry Potter' before, then next time 'Harry' appears, it can predict 'Potter' by copying from context. A key capability for in-context learning.