Attention Distillation

دالة هدف لتدريب المسترجِع تستخدم درجات الانتباه التقاطعي من القارئ لتحديد المستندات التي نظر إليها القارئ فعلاً، ثم تُدرّب المسترجِع على استرجاعها.

A retriever training objective that uses cross-attention scores from the reader to identify which documents the reader actually attended to, then trains the retriever to retrieve those documents.