نقاط فحص التنشيطات

تقنية لتوفير الذاكرة تُسقط التنشيطات الوسيطة أثناء التمرير الأمامي وتُعيد حسابها أثناء الانتشار الخلفي. تُقايض حوسبة إضافية بتوفير ذاكرة كبيرة، مما يُتيح تدريب نماذج أكبر أو استخدام دُفعات أكبر.

A memory-saving technique that discards intermediate activations during the forward pass and recomputes them during backpropagation. Trades extra compute for significant memory savings, enabling training of larger models or larger batch sizes.