Context Distillation

أسلوب يُولِّد فيه النموذج إجابات بوجود مقدّمة سياقية (مثل تعليمة سلامة)، ثم يُدرَّب على إعادة إنتاج تلك الإجابات بدون المقدّمة. يُستخدم في Llama 2 لتقليل الرفض المبالغ فيه مع الحفاظ على السلامة.

A method where the model generates responses with a context preprompt (such as a safety instruction), then is trained to reproduce those responses without the preprompt. Used in Llama 2 to reduce over-refusal while maintaining safety.