Expert Dropout

تقنية تنظيم تُطبَّق أثناء الضبط الدقيق لنماذج خليط الخبراء: استخدام معدل إسقاط عالٍ (مثل 0.4) داخل طبقات التغذية الأمامية للخبراء مع الإبقاء على معدل منخفض (مثل 0.1) في باقي الطبقات، لمنع الإفراط في التخصيص على مهام صغيرة.

A regularization technique applied during fine-tuning of MoE models: using a high dropout rate (e.g. 0.4) inside expert feed-forward layers while keeping a low rate (e.g. 0.1) elsewhere, to prevent overfitting on small downstream tasks.