Perplexity Distillation

تقطير الحيرة

دالة هدف لتدريب المسترجِع تقيس مدى تقليل كل مستند لحيرة النموذج اللغوي، ثم تُدرّب المسترجِع على تفضيل المستندات التي يجدها القارئ أكثر فائدة عبر تصغير تباعد كولباك-لايبلر.

A retriever training objective that measures how much each document reduces the language model's perplexity, then trains the retriever to prefer documents the reader finds most helpful by minimizing KL divergence.

Also translated asPDist، تقطير المفاجأة

First appears in this corpus in: Atlas: Few-shot Learning with Retrieval Augmented Language Models (2023)

Appears in these papers

Atlas: Few-shot Learning with Retrieval Augmented Language Models2023 in the sky ✦
Atlas: Few-shot Learning with Retrieval Augmented Language Models2023 in the sky ✦