تقطير الحيرة
Perplexity Distillation
دالة هدف لتدريب المسترجِع تقيس مدى تقليل كل مستند لحيرة النموذج اللغوي، ثم تُدرّب المسترجِع على تفضيل المستندات التي يجدها القارئ أكثر فائدة عبر تصغير تباعد كولباك-لايبلر.
A retriever training objective that measures how much each document reduces the language model's perplexity, then trains the retriever to prefer documents the reader finds most helpful by minimizing KL divergence.
تُرجم أيضاًPDist، تقطير المفاجأة
أول ظهور في هذه المجموعة: Atlas: التعلُّم بأمثلة قليلة عبر نماذج لغوية مُعزَّزة بالاسترجاع (2023)
يظهر في هذه الأوراق