الانتباه الشبحي

تقنية ابتُكرت في Llama 2 لحفظ التعليمات النظامية عبر أدوار المحادثة المتعددة. أثناء التدريب، تُلحَق التعليمة النظامية صناعياً بكل رسالة مستخدم لكن الخسارة تُحسب على الدور الأخير فقط، فيتعلّم النموذج الحفاظ على التعليمة حتى حين لا تظهر إلا مرة واحدة أثناء الاستدلال.

A technique introduced in Llama 2 to maintain system instructions across multiple conversation turns. During training, the system instruction is synthetically appended to every user message but the loss is computed only on the final turn, teaching the model to preserve the instruction even when it appears only once at inference time.