المعجم

تجميع التدرجات الحسابية

Gradient Accumulation

تُرجم أيضاًالتراكم المتوالي لمتجهات الميل، دمج التحديثات قبل تعديل الأوزان

أول ظهور في هذه المجموعة: Megatron-LM: تدريب نماذج لغوية بمليارات المعاملات باستخدام التوازي على مستوى النموذج (2019)