Overparameterization
فرط المعاملات
حالة يمتلك فيها النموذج معاملات أكثر بكثير من نقاط التدريب (N ≫ n). كلاسيكياً كان يُعتقد أن هذا يُسبب فرط التخصيص، لكن ظاهرة الهبوط المزدوج تُظهر أن النماذج مفرطة المعاملات تعثر على حلول استيفائية أنعم تُعمِّم جيداً.
A regime where the model has far more parameters than training points (N ≫ n). Classically thought to cause overfitting, but the double descent phenomenon shows that overparameterized models find smoother interpolating solutions that generalize well.
Also translated asزيادة المعاملات، الإفراط في المعلمات
First appears in this corpus in: GPTQ: Accurate Post-Training Quantization for Generative Pre-Trained Transformers (2022)
Appears in these papers