Sparse Activation
التنشيط المتفرّق
حالة تكون فيها أغلب العصبونات خاملة (ناتجها صفر) في أي لحظة، فلا ينشط إلا عدد صغير منها. الإسقاط العشوائي يدفع الشبكة نحو هذا النمط حتى بدون عقوبات تفرُّق صريحة.
A state where most neurons are inactive (output zero) at any given time, with only a small subset firing. Dropout pushes networks toward this pattern even without explicit sparsity penalties.
Also translated asالتنشيطات المتناثرة، الإثارة الانتقائية
First appears in this corpus in: Dropout: A Simple Way to Prevent Neural Networks from Overfitting (2014)
Appears in these papers
- DeepSeek-V3 Technical Report2024in the sky ✦
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting2014in the sky ✦
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting2014in the sky ✦
- Mixtral of Experts2024in the sky ✦
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity2022in the sky ✦