Activation Checkpointing
نقاط فحص التنشيطات
تقنية لتوفير الذاكرة تُسقط التنشيطات الوسيطة أثناء التمرير الأمامي وتُعيد حسابها أثناء الانتشار الخلفي. تُقايض حوسبة إضافية بتوفير ذاكرة كبيرة، مما يُتيح تدريب نماذج أكبر أو استخدام دُفعات أكبر.
A memory-saving technique that discards intermediate activations during the forward pass and recomputes them during backpropagation. Trades extra compute for significant memory savings, enabling training of larger models or larger batch sizes.
Also translated asإعادة حساب التنشيطات، حفظ نقاط التنشيط
First appears in this corpus in: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (2019)
Appears in these papers
- The Falcon Series of Open Language Models2023in the sky ✦
- LLaMA: Open and Efficient Foundation Language Models2023in the sky ✦
- LLaMA: Open and Efficient Foundation Language Models2023in the sky ✦
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019in the sky ✦
- ZeRO: Memory Optimizations Toward Training Trillion Parameter Models2019in the sky ✦