الأوزان المُجمَّدة
Frozen Weights
أوزان النموذج التي تُثبَّت أثناء التدريب فلا تتلقى أي تحديثات من متجهات الميل — في QLoRA يُجمَّد النموذج الأساسي بالكامل بصيغة NF4.
Model weights that are fixed during training and receive no gradient updates — in QLoRA the entire base model is frozen in NF4 format.
تُرجم أيضاًالأوزان الثابتة، المعاملات غير القابلة للتحديث، المعاملات غير القابلة للتدريب
أول ظهور في هذه المجموعة: نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية (2019)
يظهر في هذه الأوراق
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- Flamingo: نموذج لغوي بصري للتعلّم بأمثلة قليلة2022في السماء ✦
- LoRA: التكيّف مُنخَفِض الرُّتبة للنماذج اللغوية الكبيرة2021في السماء ✦
- قوة التوسيع في ضبط المحثّات الموفِّر للمعاملات2021في السماء ✦
- QLoRA: الضبط الدقيق الكفوء للنماذج اللغوية الكبيرة المُكمَّمة2023في السماء ✦
- RETRO: تحسين النماذج اللغوية بالاسترجاع من تريليونات الرموز2022في السماء ✦