Dark Knowledge
المعرفة الخفية
المعلومات المُرمَّزة في الاحتمالات الصغيرة التي يمنحها نموذج مُدرَّب للفئات غير الصحيحة. تكشف عن بنية التشابه بين الفئات التي تُهدرها التصنيفات القاطعة.
The information encoded in the small probabilities a trained model assigns to incorrect classes. It reveals the similarity structure between categories that hard labels discard.
Also translated asالمعرفة المُظلمة، المعرفة الضمنية
First appears in this corpus in: Distilling the Knowledge in a Neural Network (2015)
Appears in these papers
- DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter2019in the sky ✦
- DistilBERT, a Distilled Version of BERT: Smaller, Faster, Cheaper and Lighter2019in the sky ✦
- Distilling the Knowledge in a Neural Network2015in the sky ✦
- Distilling the Knowledge in a Neural Network2015in the sky ✦
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2022in the sky ✦