الاستيعاب المتأخّر: تعميم يتجاوز فرط التخصيص في مجموعات بيانات خوارزمية صغيرة

أراد المؤلفون بيئة تجريبية نظيفة تماماً لدراسة التعميم، فاختاروا بيانات مُولَّدة خوارزمياً بدلاً من الصور أو النصوص. الفكرة بسيطة: كل مثال هو مسألة حسابية لها إجابة واحدة لا لبس فيها. المهمة: أعطِ الشبكة عددين $a$ و$b$ واطلب منها التنبؤ بنتيجة عملية مثل $(a \circ b) \bmod p$، حيث $p = 97$ عدد أوّلي.

لماذا الحساب المعياري بالذات؟ لأن مجموعة البيانات الكاملة محدودة وصغيرة بطبيعتها. مع $p = 97$ لدينا $97 \times 97 = 9{,}409$ زوج مدخلات فقط. نأخذ نسبة عشوائية منها — مثلاً 50% — كمجموعة تدريب، والباقي مجموعة تحقق. لا غموض ولا ضجيج: كل إجابة حتمية.

اختبرت الورقة عمليات متعددة: الجمع، الطرح، القسمة، تركيبات كثيرة الحدود مثل $x^2 + xy + y^2 \bmod p$، وحتى التركيب في زمرة التباديل $S_5$ ذات خمسة عناصر. هذا التنوع يسمح بالتحقق: هل الاستيعاب المتأخّر ظاهرة مرتبطة بعملية بعينها، أم ظاهرة عامة تتكرر عبر بنى جبرية مختلفة؟

النموذج المستخدم محوّل صغير من نوع المُفكِّك فقط: طبقتان، تضمينات بأبعاد 128، أربعة رؤوس انتباه، وما يقارب 290 ألف معامل. المدخلات هي رموز تمثّل العددين $a$ و$b$، والشبكة تتنبأ بالنتيجة من بين 97 فئة ممكنة.

لاحظ الفجوة: 290 ألف معامل لتعلّم دالة لا تتجاوز أمثلتها 10 آلاف. هذا فرط معاملات واضح، والمتوقع في التعلّم العميق الكلاسيكي أن يؤدي مباشرة إلى فرط تخصيص وتعميم رديء. وبالفعل هذا ما يحدث — في البداية. لكن المفاجأة فيما يأتي بعد ذلك.

إليك ما لاحظه المؤلفون. عند تدريب الشبكة على عملية القسمة بمعامل 97 باستخدام 50% من البيانات، تصل دقة التدريب إلى 100% خلال بضع مئات من الحقب. في هذه اللحظة، تكون دقة التحقق بالكاد فوق مستوى التخمين العشوائي — أي أن الشبكة حفظت كل مثال على حدة دون أن تلتقط أي نمط عام.

لو أوقفنا التدريب هنا، لقلنا ببساطة: النموذج وقع في فرط التخصيص، تماماً كما تتوقع الكتب. لكن المؤلفين لم يتوقفوا — واصلوا التدريب لآلاف ثم عشرات الآلاف من الحقب الإضافية. وهنا جاءت المفاجأة: بعد ما يقارب $10^{4}$ إلى $10^{5}$ حقبة من الركود التام، تقفز دقة التحقق فجأة من مستوى التخمين إلى ما يقارب الكمال. الشبكة تنتقل من الحفظ الأعمى إلى تعميم حقيقي — والانتقال يحدث بشكل مفاجئ يشبه الانتقال الطوري في الفيزياء.

أسمى المؤلفون هذه الظاهرة الاستيعاب المتأخّر (Grokking)، وهي كلمة صاغها الكاتب روبرت هاينلاين لتعني الفهم العميق الحدسي. الشبكة لا تحفظ أمثلة التدريب فحسب، بل تستوعب البنية الرياضية الكامنة وراءها.

ما يحدث أثناء الاستيعاب المتأخّر يمرّ بثلاث مراحل واضحة، لكلٍّ منها علاقة مختلفة بين أداء التدريب وأداء التحقق:

المرحلة الأولى — الحفظ. تتأقلم الشبكة بسرعة مع بيانات التدريب: تنخفض الخسارة إلى ما يقارب الصفر وتبلغ الدقة 100%. لكن دقة التحقق تبقى عند مستوى التخمين العشوائي. ما فعلته الشبكة هو تخزين كل زوج مدخل-مخرج على حدة دون التقاط أي قاعدة عامة. فكّر فيها كجدول بحث: أداء مثالي على المدخلات المعروفة، وعجز تام أمام أي شيء جديد.

المرحلة الثانية — الهضبة. مقاييس التدريب مثالية ودقة التحقق جامدة. قد تمتدّ هذه المرحلة لـحقب أكثر بمراتب عديدة من مرحلة الحفظ. ظاهرياً لا شيء يتغيّر، لكن تحت السطح يجري تحوّل بطيء: انحلال الأوزان يُبسّط معاملات الشبكة تدريجياً، فيدفعها بعيداً عن الحلول التي تخزّن أمثلة فردية ونحو حلول تُرمّز أنماطاً عامة.

المرحلة الثالثة — التعميم. تقفز دقة التحقق فجأة — غالباً من مستوى التخمين إلى ما يقارب الكمال في نافذة قصيرة نسبياً. الشبكة اكتشفت البنية الجبرية للعملية. في حالة الجمع المعياري مثلاً، أظهرت أبحاث ناندا وآخرون (2023) أن الشبكة تتعلّم مركّبات فورييه متقطعة — أي أنها بنت تمثيلاً رياضياً حقيقياً للعملية.

من أهم نتائج الورقة أن العلاقة بين حجم البيانات وزمن التعميم ليست خطية مطلقاً. كلما قلّت نسبة بيانات التدريب، ارتفع عدد الحقب المطلوبة بشكل حاد — وأحياناً بمراتب كاملة.

عند 70–90% من البيانات، يتقارب منحنيا التدريب والتحقق ويحدث التعميم بسرعة. عند 50% تظهر فجوة واضحة ويستغرق الاستيعاب آلاف الحقب الإضافية. أما تحت 30% تقريباً، فقد لا يحدث التعميم أبداً ضمن ميزانية التدريب المتاحة.

الاستنتاج المهم هنا هو وجود حجم حرج للبيانات — عتبة دنيا لا تستطيع الشبكة تحتها اكتشاف النمط الكامن مهما طال التدريب. فوق هذه العتبة سيحدث التعميم في نهاية المطاف، لكن الزمن اللازم يرتفع بحدّة كلما اقتربت من العتبة.

بيّنت الورقة أن انحلال الأوزان عنصر لا غنى عنه في الاستيعاب المتأخّر. بدونه تحفظ الشبكة البيانات وتظل عالقة عند الحفظ إلى الأبد. ومعه يحدث الاستيعاب بشكل موثوق. لكن لماذا؟

الفكرة بسيطة: انحلال الأوزان يُضيف عقوبة تتناسب مع مربّع حجم الأوزان، فيسحبها في كل خطوة تدريب قليلاً نحو الصفر. في مرحلة الحفظ لا يظهر لهذا أثر واضح لأن الشبكة تعوّض بضبط معاملات أخرى. لكن عبر آلاف الحقب، يتراكم هذا الضغط الهادئ ويُتآكل الأوزان الكبيرة المتخصصة التي تحفظ أمثلة فردية، ويدفع الشبكة نحو أوزان أصغر وأكثر انتظاماً تُرمّز أنماطاً عامة.

تخيّل نحّاتاً يعمل على كتلة رخام. الشكل الخام يظهر بسرعة — وهذا يقابل مرحلة الحفظ. لكن النحّات لا يتوقف: يواصل إزالة الفائض حتى يتكشّف الشكل الجوهري الأملس — وهذا هو التعميم. انحلال الأوزان يلعب دور الإزميل.

ليست كل العمليات تقبل الاستيعاب بسهولة متساوية. اختبرت الورقة 12 عملية ثنائية ووجدت أن العمليات الأبسط والأغنى بالتناظر تقبل الاستيعاب بشكل أكثر موثوقية.

العمليات التي تقبل الاستيعاب باستمرار تشمل $x + y$ و$x - y$ و$x / y$ بمعامل $p$، وكذلك $x^2 + y^2$ بمعامل $p$، والتركيب في زمرة التباديل $S_5$.

في المقابل، بعض العمليات الأعقد مثل $x^2 + xy + y^2$ بمعامل $p$ و$x^3 + xy$ بمعامل $p$ لم تصل إلى التعميم ضمن ميزانية التدريب المتاحة. بنيتها الجبرية أعقد وقد تحتاج وقتاً أطول أو بيانات أكثر أو ضبط نموذج مختلف.

الملاحظة الجوهرية هنا: كلما زاد التناظر في العملية، تسارع التعميم. الجمع المعياري مثلاً عملية تبديلية وتجميعية، وهذا يعني أن بيانات التدريب تحمل فائضاً ضمنياً يزيد المعلومات الفعلية لكل مثال. أما عمليات زمرة التباديل فرغم أنها غير تبديلية، إلا أنها تملك انتظاماً بنيوياً غنياً تستطيع الشبكة استغلاله.

الاستيعاب المتأخّر يقع عند تقاطع عدة أسئلة مفتوحة في التعلّم العميق.

الانحدار المزدوج. النظرية الكلاسيكية لـمفاضلة التحيّز والتباين تتوقع أن خطأ الاختبار يرتفع مع تعقيد النموذج بعد عتبة الاستكمال. لكن في التعلّم العميق الحديث يظهر انحدار ثانٍ: النماذج ذات المعاملات الزائدة بكثرة تُعمّم أفضل. ديفيز وآخرون (2023) بيّنوا أن الاستيعاب المتأخّر يمكن فهمه كانحدار مزدوج على محور الحقب — الظاهرة نفسها لكنها تتكشّف عبر زمن التدريب بدلاً من حجم النموذج. النموذج يصل أولاً إلى ذروة الاستكمال (الحفظ)، ثم ينحدر مجدداً إلى خطأ اختبار منخفض (الاستيعاب).

القدرات الناشئة. النماذج اللغوية الكبيرة تُظهر أحياناً قفزات مفاجئة في الأداء عند أحجام معينة — مهام تنتقل من مستوى التخمين إلى دقة عالية ضمن نطاق ضيق من أحجام النماذج. الاستيعاب المتأخّر يُشير إلى أن انتقالات طورية مشابهة قد تحدث على محور الزمن بدلاً من محور الحجم. النمط واحد في الحالتين: فشل ظاهري طويل ثم نجاح مفاجئ.

التفسير الآلي. ناندا وآخرون (2023) استخدموا الاستيعاب المتأخّر كدراسة حالة في التفسير الآلي. وجدوا أن الشبكة التي استوعبت الجمع المعياري تتعلّم تضمين المدخلات كنقاط على دائرة وتحسب الجمع عبر الدوران — أي أنها تُنفّذ تحويل فورييه متقطعاً في أوزانها. كان هذا من أوائل الأدلة على أن الشبكات العصبية قادرة على تعلّم خوارزميات قابلة للتفسير، وليس مجرد أنماط إحصائية.

المفاجئ أن إعادة إنتاج الاستيعاب المتأخّر سهلة. الوصفة مباشرة: ولّد مجموعة بيانات للجمع المعياري، اقسمها إلى تدريب وتحقق، درّب محوّلاً صغيراً مع انحلال أوزان، ثم انتظر. المكونات الثلاثة الضرورية: بيانات صغيرة، نموذج ذو معاملات زائدة، وانحلال أوزان كافٍ.

بعد سنوات من اكتشافه، صار الاستيعاب المتأخّر نقطة مرجعية أساسية في نظرية التعلّم العميق. أثبت أن الشبكات العصبية تملك ديناميكيات تعلّم أعقد بكثير مما توحي به الرواية المبسّطة «ملاءمة ثم فرط تخصيص». تقف الظاهرة عند مفترق طرق نظرية التعميم والتفسير الآلي وديناميكيات المُحسِّن — ولا تزال تكشف رؤى جديدة حول طبيعة التعلّم ذاتها.