نقاط الفحص المؤقت للتدرجات
Gradient Checkpointing
تقنية توفر الذاكرة عبر التخزين المؤقت لبعض التدرجات فقط، وإعادة حساب الأجزاء الناقصة ديناميكياً أثناء التمرير العكسي.
Gradient Checkpointing
تُرجم أيضاًتوفير الذاكرة عبر إعادة حساب التحديثات بينياً، التخزين الانتقائي لمتجهات الميل أثناء التدريب
أول ظهور في هذه المجموعة: QLoRA: الضبط الدقيق الكفوء للنماذج اللغوية الكبيرة المُكمَّمة (2023)
يظهر في هذه الأوراق