Grokking

ظاهرة تدريب لاحظها باور وزملاؤه في أوبن إيه آي، إذ تظل شبكة عصبية تحفظ بيانات التدريب دون أي تعميم فترة طويلة بعد بلوغ خسارة تدريب صفرية، ثم تنتقل فجأة إلى التعميم الكامل على مجموعة الاختبار.

A training phenomenon observed by Power et al. at OpenAI in which a neural network memorizes the training data with zero training loss and shows no generalization for a long time, then abruptly transitions to full generalization on the test set.