ضغط النماذج
Model Compression
مجموعة تقنيات لتقليل حجم النموذج و/أو تكلفته الحوسبية مع الحفاظ على أكبر قدر من الأداء، تشمل التقطير والتشذيب والتكميم.
A family of techniques to reduce model size and/or computational cost while preserving as much performance as possible, including distillation, pruning, and quantization.
تُرجم أيضاًتصغير النماذج، اختزال النماذج
أول ظهور في هذه المجموعة: الضرر الدماغي الأمثل (1989)
يظهر في هذه الأوراق
- الضغط العميق: تقليص الشبكات العصبية العميقة عبر التقليم والتكميم المُدرَّب وترميز هوفمان2016في السماء ✦
- DistilBERT: نسخة مُقطَّرة من BERT — أصغر وأسرع وأرخص وأخفّ2019في السماء ✦
- GPTQ: تكميم دقيق بعد التدريب للمحوِّلات التوليدية المُدرَّبة مسبقاً2022في السماء ✦
- تقطير المعرفة في الشبكات العصبية2015في السماء ✦
- LLM.int8(): ضرب المصفوفات بدقة 8 بت للمحوِّلات على نطاق واسع2022في السماء ✦
- فرضية تذكرة اليانصيب: إيجاد شبكات عصبية مُبعثرة قابلة للتدريب2019في السماء ✦
- MobileNets: شبكات التفاف عصبية كفوءة لتطبيقات الرؤية على الأجهزة المحمولة2017في السماء ✦
- الضرر الدماغي الأمثل1989في السماء ✦