السَّمْت

تعلم التمثيلات2006متوسط13 دقيقة قراءة

خوارزمية تعلُّم سريعة لشبكات الاعتقاد العميق

A Fast Learning Algorithm for Deep Belief Nets

Hinton, G. E. · Osindero, S. · Teh, Y.-W. — Neural Computation

المشكلة

من حيث المبدأ، الشبكات ذات الطبقات الخفية المتعددة التي تتعلّم كيف تتولّد البيانات ينبغي أن تكون نماذج توليدية بالغة القوة. لكن عملياً كان تدريبها يبدو مستحيلاً لثلاثة أسباب متشابكة: ظاهرة «» تخلق ترابطات بين الوحدات الخفية تجعل الدقيق مكلفاً بشكل أُسِّي، والتدرُّجات تتلاشى كلما زاد عمق الشبكة فلا تصل إشارة التعلُّم إلى الطبقات الأولى، كانت تفشل لأن طور النوم فيها يولِّد عيّنات من لم ينضج بعد. بحلول عام 2006 استقرّ الرأي السائد على أن الشبكات العميقة أمر غير ممكن.

الإسهام

قدّمت الورقة ثلاث أفكار متكاملة فتحت الباب لأول مرة أمام تدريب الشبكات التوليدية العميقة. الفكرة الأولى نظرية: «» التي تُبطل ظاهرة التفسير بالإقصاء وتجعل التوزيع اللاحق في كل طبقة قابلاً للتفكيك إلى عوامل مستقلة، وبذلك يصبح التعلم الجشع طبقةً بطبقة دقيقاً نظرياً. الفكرة الثانية عملية: سريعة تُدرِّب الشبكة طبقة RBM واحدة في كل مرة عبر ، مع ضمان رياضي بأن كل طبقة جديدة تُحسِّن الحد المتغيّري لاحتمالية لوغاريتم البيانات. الفكرة الثالثة: إجراء يقظة-نوم تبايني يضبط الشبكة بالكامل بعد . النتيجة العملية: شبكة بثلاث طبقات خفية حققت نسبة خطأ 1.25% على MNIST — متفوقةً على أفضل الأساليب التمييزية في ذلك الوقت — وفي الوقت نفسه كانت نموذجاً توليدياً حقيقياً قادراً على إنتاج صور أرقام واقعية.

الأثر

كسرت هذه الورقة قناعة استمرت عقدين بأن الشبكات العميقة لا يمكن تدريبها، وأطلقت شرارة ثورة الحديث. وصفة «درِّب طبقةً بطبقة ثم اضبط الكل» ألهمت المرمّزات التلقائية العميقة والمرمّزات المُزيلة للضجيج، وتطوّرت لاحقاً إلى نموذج «التدريب المسبق ثم » الذي يقوم عليه BERT وGPT وكل نموذج تأسيسي حديث. الدرس النظري الأعمق — أن التهيئة الجيدة هي مفتاح تدريب الشبكات العميقة — فتح الطريق أمام اكتشافات لاحقة مثل ReLU وتسوية الدُفعات والوصلات المتبقية، وهي تقنيات جعلت التدريب المسبق غير ضروري في كثير من المهام الإشرافية. لكن الفكرة المحورية صمدت: العمق يعمل حين تبدأ من نقطة انطلاق جيدة.

تخيّل أنك في مدينة لم ينجح فيها أحد ببناء أكثر من طابقين. كل من حاول صبّ ناطحة سحاب دفعةً واحدة من الأساس إلى السطح — شاهد المبنى ينهار تحت ثقله.

ما الذي فعله هينتون بشكل مختلف؟ بنى طابقاً واحداً في كل مرة. صبّ الطابق الأول وانتظره حتى تصلّب. ثم صبّ الثاني فوق أساس متين. وهكذا. كل طابق هنا يمثّل آلة بولتزمان مقيَّدة تتعلّم بنفسها قبل أن يُبنى فوقها شيء. وبعد أن تقف كل الطوابق، يمرّ مهندس فحص على المبنى بأكمله ليضبط كل وصلة — وهذا هو الضبط الدقيق.

المبنى يقف — لا لأن الخرسانة مختلفة، بل لأن تسلسل البناء مختلف. هذا التسلسل هو ما نسميه .

المشكلة: لماذا رفضت الشبكات العميقة التعلُّم؟

بحلول عام 2006 كان مجتمع أمام مفارقة محيّرة. من الناحية النظرية، الشبكات العميقة — أي تلك التي تحتوي طبقات خفية متعددة — أقدر بمراحل على تمثيل الدوال المعقدة مقارنة بالشبكات الضحلة، وبعدد أقل بكثير. لكن على أرض الواقع، كل من حاول تدريب شبكة عميقة انطلاقاً من عشوائية وصل إلى طريق مسدود.

وراء هذا الفشل مشكلتان متشابكتان:

  • تلاشي . حين تعمل ، فإنها تضرب إشارة الخطأ في كل طبقة. مع يتقلّص هذا الضرب شيئاً فشيئاً، حتى إذا وصل التدرُّج إلى الطبقات الأولى كان قد تلاشى عملياً — فلا تتعلّم تلك الطبقات أي سمات مفيدة.

  • التفسير بالإقصاء. في الموجَّه، مجرد ملاحظة البيانات يخلق ترابطات بين الأسباب الخفية حتى لو كانت مستقلة أصلاً. تخيّل وحدتين خفيتين كلتاهما تُفسِّران النمط نفسه: حين تُنشَّط إحداهما «تُقصي» الحاجة إلى الأخرى. النتيجة أن على الحالات الخفية يصبح بالغ التعقيد ولا يمكن تفكيكه إلى عوامل مستقلة، فيغدو التعلُّم الفعّال شبه مستحيل.

افتح في المختبر
جرِّب التبديل بين وضع الأوائل المستقلة ووضع البيانات المُشاهَدة لتلاحظ كيف يُنشئ التفسير بالإقصاء ترابطات لم تكن موجودة.
تستيقظ التجربة عند وصولك…

البصيرة الجوهرية: الأوائل المتمِّمة تُلغي التفسير بالإقصاء

نقطة الانطلاق عند هينتون كانت ملاحظة نظرية بسيطة لكنها عميقة الأثر. في شبكة اعتقاد لوجستية بطبقة خفية واحدة، التوزيع اللاحق على الوحدات الخفية يكون فعلاً مستقل العوامل — كل وحدة خفية مستقلة عن الأخرى ما دمنا نعرف البيانات. المشكلة لا تظهر إلا حين نُضيف عدة طبقات خفية، لأن على الطبقة الأولى يفقد بساطته.

السؤال الذي طرحه هينتون: ماذا لو استطعنا تصميم التوزيع الأوَّلي بحيث يُلغي بالضبط الترابطات التي تخلقها بسبب التفسير بالإقصاء؟ هذا النوع من التوزيعات يُسمى الأوَّلي المتمِّم. والنتيجة الرياضية تقول: حين ينتمي كلٌّ من الأوَّلي والأرجحية إلى العائلة الأُسِّية، يوجد دائماً أوَّلي متمِّم يجعل التوزيع اللاحق مستقل العوامل تماماً.

أما الجانب العملي فهو الأجمل: حين ندرِّب آلة بولتزمان مقيَّدة على البيانات باستخدام التباعد التبايني، فإنها تُنشئ تلقائياً أوَّلياً متمِّماً للطبقة التي تحتها. بمعنى آخر، تدريب RBM على تنشيطات طبقة خفية أدنى يُكافئ إلغاء التفسير بالإقصاء في تلك الطبقة. وكل RBM جديدة نُكدِّسها فوق سابقتها تحلّ مشكلة الاستدلال للطبقة التي تحتها.

وحدة البناء: آلة بولتزمان المقيَّدة

هي نموذج ضحل غير موجَّه يتكوّن من طبقتين: وحدات مرئية تمثّل البيانات، ووحدات خفية تمثّل السمات المُتعلَّمة. لماذا «مقيَّدة»؟ لأنه لا توجد وصلات بين وحدات الطبقة الواحدة — كل وحدة مرئية ترتبط بكل وحدة خفية، لكن لا وصلات بين الوحدات الخفية فيما بينها ولا بين الوحدات المرئية فيما بينها.

هذا القيد البنيوي هو سرّ قوة آلة RBM: إذا عرفنا الوحدات المرئية أصبحت جميع الوحدات الخفية مستقلة شرطياً، والعكس صحيح. عملياً هذا يعني أنه يمكن حساب تنشيطات دفعةً واحدة بشكل متوازٍ — دون الحاجة إلى استدلال تكراري.

تعمل آلة RBM من خلال تُحدَّد على حالات الوحدات المرئية والخفية معاً. المبدأ بسيط: الطاقة المنخفضة تعني احتمالاً مرتفعاً. التدريب يُعدِّل الأوزان بحيث تنخفض طاقة تركيبات البيانات الحقيقية وترتفع طاقة كل شيء آخر.

E(v,h)=−∑ibivi−∑jcjhj−∑i,jviWijhjE(\mathbf{v}, \mathbf{h}) = -\sum_i b_i v_i - \sum_j c_j h_j - \sum_{i,j} v_i W_{ij} h_j
دالة الطاقة لآلة بولتزمان المقيَّدة — v = الوحدات المرئية، h = الوحدات الخفية، W = مصفوفة الأوزان، b وc = الانحيازات. القاعدة الأساسية: طاقة أقل تعني احتمالاً أعلى. هدف التعلُّم هو خفض طاقة تشكيلات البيانات الحقيقية.

لبناء حدس عن دالة الطاقة، تخيّلها كـتضاريس من وديان وتلال. كل نقطة بيانات حقيقية ينبغي أن تستقر في قاع وادٍ عميق. التدريب ينحت وديان تحت البيانات الحقيقية ويردم الوديان في الأماكن الأخرى. الأوزان WW هي الأداة التي تُشكِّل هذه التضاريس — تحدّد أي تركيبات من الحالات المرئية والخفية ستكون «منخفضة الطاقة» (مُحتملة) وأيها ستكون «عالية الطاقة» (نادرة الحدوث).

افتح في المختبر
اضغط «تدريب» لمشاهدة تضاريس الطاقة وهي تتغيّر — الوديان تتعمّق تحت أنماط البيانات الحقيقية.
تستيقظ التجربة عند وصولك…

قاعدة التعلم: التباعد التبايني

تدريب آلة بولتزمان المقيَّدة يتطلّب من حيث المبدأ حساب تدرُّج يشمل جمعاً على كل التشكيلات الممكنة — وعددها أُسِّي. هنا يأتي دور التباعد التبايني (CD) الذي يتجاوز هذه العقبة بتقريب ذكي يعتمد على خطوة إعادة بناء واحدة فقط:

الطور الموجب: ثبِّت البيانات الحقيقية على الوحدات المرئية، ثم احسب تنشيطات الوحدات الخفية في خطوة متوازية واحدة — وهذا ممكن بفضل البنية ثنائية الأجزاء.

الطور السالب: انطلاقاً من التنشيطات الخفية، أعِد بناء الوحدات المرئية، ثم أعِد حساب التنشيطات الخفية مرة أخرى من هذا البناء الجديد.

التحديث: عدِّل الأوزان لتجعل الإحصاءات المستخرجة من البيانات الحقيقية أكبر من تلك المستخرجة من إعادة البناء. القاعدة عملياً بسيطة: الفرق بين ضربين خارجيين — أحدهما للبيانات والآخر لإعادة البناء.

التباعد التبايني بخطوة واحدة (CD-1) فعّال بشكل مدهش رغم بساطته. هو لا يحسب التدرُّج الحقيقي، لكنه يُوجِّه الأوزان باستمرار نحو تقليل خطأ إعادة البناء ومنح البيانات الحقيقية احتمالاً أعلى.

ΔWij=ϵ(⟨vihj⟩data−⟨vihj⟩recon)\Delta W_{ij} = \epsilon \left( \langle v_i h_j \rangle_{\text{data}} - \langle v_i h_j \rangle_{\text{recon}} \right)
قاعدة تحديث الأوزان بالتباعد التبايني — ε = معدَّل التعلُّم · ⟨v_i h_j⟩_data = الارتباط بين المرئي والخفي حين تكون البيانات الحقيقية مثبَّتة · ⟨v_i h_j⟩_recon = الارتباط نفسه بعد خطوة إعادة بناء واحدة · الفكرة: قرِّب الأوزان من البيانات الحقيقية وأبعدها عن ما يتخيّله النموذج.
افتح في المختبر
تتبّع جولة واحدة من التباعد التبايني خطوة بخطوة: ثبِّت البيانات ← احسب الخفي ← أعِد البناء ← حدِّث الأوزان.
تستيقظ التجربة عند وصولك…

الخوارزمية: التدريب المسبق الجشع طبقةً بطبقة

الآن نجمع كل ما سبق في خوارزمية متكاملة تبني شبكة اعتقاد عميق (DBN) من الأسفل إلى الأعلى:

الخطوة الأولى: درِّب آلة RBM على البيانات الخام (مثلاً قيم ). هذه الآلة تتعلّم سمات منخفضة المستوى كالحواف وأجزاء الخطوط.

الخطوة الثانية: جمِّد أوزان الآلة الأولى، ثم خُذ تنشيطاتها الخفية واعتبرها «بيانات» لآلة RBM ثانية. هذه الآلة الجديدة تتعلّم كيف تتركّب سمات الطبقة الأولى — فتكتشف أجزاءً ومنحنيات وزوايا.

الخطوة الثالثة: كرِّر العملية. كل آلة RBM جديدة تتعلّم سمات أعلى تجريداً ممّا تحتها، والضمان النظري يكفل أن كل طبقة تُحسِّن الحد المتغيّري على احتمالية لوغاريتم البيانات.

الخطوة الرابعة (اختيارية): اضبط الشبكة بالكامل. بما أن كل طبقة تملك الآن أوزاناً ذات معنى، استخدم النسخة التبايُنية من خوارزمية اليقظة والنوم لضبط جميع الأوزان معاً. ولأن نقطة البداية جيدة، يصل الضبط الدقيق إلى حل أفضل بكثير ممّا يمكن أن تبلغه التهيئة العشوائية.

الناتج النهائي نموذج هجين: الطبقتان العلويتان تُشكّلان آلة RBM غير موجَّهة (ذاكرة ترابطية)، والطبقات السفلى موجَّهة (توليدية). هذه البنية الهجينة هي ما يجعل نظرية الأوائل المتمِّمة تعمل.

افتح في المختبر
شاهد الشبكة وهي تنمو طبقةً بطبقة. كل آلة RBM تتدرّب على سمات الطبقة السابقة قبل إضافة التالية.
تستيقظ التجربة عند وصولك…

الضبط الدقيق: خوارزمية اليقظة والنوم التبايُنية

بعد التدريب المسبق الجشع، تمتلك الشبكة أوزاناً جيدة لكل طبقة على حدة — لكنها لم تُضبط بعد كمنظومة واحدة. هنا يأتي دور خوارزمية اليقظة والنوم التبايُنية التي تُصقل الشبكة بالكامل:

طور اليقظة: أدخل بيانات حقيقية ومرِّرها صعوداً عبر أوزان التعرُّف لاستنتاج . ثم استخدم هذه الحالات لضبط الأوزان التوليدية النازلة — بحيث يصبح النموذج التوليدي أفضل في تفسير البيانات الحقيقية.

طور النوم (النسخة التبايُنية): في الخوارزمية التقليدية كان طور النوم يولّد خيالات من النموذج العلوي مباشرة، وهذا يُنتج عيّنات رديئة لأن النموذج لم يكتمل بعد. الحل التبايني مختلف: ابدأ من البيانات الحقيقية، مرِّرها صعوداً إلى آلة RBM العلوية، شغِّل بضع خطوات من عيّنات غيبس المتناوبة هناك، ثم أنزل النتيجة عبر الطبقات الموجَّهة. بعد ذلك اضبط أوزان التعرُّف الصاعدة لتتنبأ بالحالات الخفية بدقة أكبر.

الفرق الجوهري إذاً أن عيّنات طور النوم هنا مُرسَّاة في بيانات حقيقية — فهي تمرّ أولاً بالتمريرة الصاعدة ثم بعيّنات غيبس — فتكون أقرب للواقع بكثير من خيالات تُولَّد من الأعلى فقط.

البنية والنتائج على MNIST

اختبرت الورقة شبكة اعتقاد عميق بثلاث طبقات خفية على مجموعة بيانات MNIST للأرقام المكتوبة يدوياً. البنية صُمِّمت لتتعلّم المشترك لصور الأرقام وعناوينها معاً:

  • الطبقة المرئية: 784 وحدة بكسل (صورة 28×28) + 10 وحدات عنوان ()
  • الطبقة الخفية الأولى: 500 وحدة
  • الطبقة الخفية الثانية: 500 وحدة
  • الطبقة الخفية الثالثة + العنوان: 2000 وحدة (الذاكرة الترابطية العلوية، على شكل آلة RBM مقترنة بوحدات العنوان)

بعد التدريب المسبق الجشع ثم الضبط الدقيق، حققت الشبكة نسبة خطأ 1.25% على مجموعة الاختبار — وهذا أفضل من آلات المتجهات الداعمة (1.4%) ومن الشبكات العميقة المُدرَّبة بـالانتشار العكسي من تهيئة عشوائية (~2%)، بل كان مقارباً لأفضل التي استخدمت معرفة هندسية مصمَّمة يدوياً.

لكن الإنجاز الأهم لم يكن في دقة وحده — بل في أن الشبكة كانت نموذجاً توليدياً حقيقياً. يمكنك تثبيت عنوان رقم معيّن، وأخذ عيّنات من آلة RBM العلوية، ثم تمريرها نزولاً عبر الطبقات الموجَّهة لتوليد صور جديدة تبدو كأرقام مكتوبة بخط اليد. الشبكة تعلّمت فعلاً البنية الداخلية للبيانات.

افتح في المختبر
انقر على أي طبقة لمعرفة دورها. بدِّل إلى «توليد» لرؤية أرقام مُعيَّنة من النموذج.
تستيقظ التجربة عند وصولك…

الخوارزمية بالشيفرة البرمجية

التدريب المسبق الجشع طبقةً بطبقة لشبكة اعتقاد عميقpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-np.clip(x, -500, 500)))

def train_rbm(data, n_hidden, lr=0.01, epochs=10, k=1):
    """تدريب طبقة RBM واحدة بالتباعد التبايني (CD-k)."""
    n_visible = data.shape[1]
    W = np.random.randn(n_visible, n_hidden) * 0.01
    b_v = np.zeros(n_visible)   # انحياز الوحدات المرئية
    b_h = np.zeros(n_hidden)    # انحياز الوحدات الخفية

    for epoch in range(epochs):
        for batch in np.array_split(data, len(data) // 64):
            # الطور الموجب: البيانات ← الخفي
            h_prob = sigmoid(batch @ W + b_h)
            pos_associations = batch.T @ h_prob

            # الطور السالب: k خطوة من عيّنات غيبس
            v_sample = batch
            for _ in range(k):
                h_sample = (sigmoid(v_sample @ W + b_h) > np.random.rand(*h_prob.shape))
                v_sample = sigmoid(h_sample @ W.T + b_v)
            h_recon = sigmoid(v_sample @ W + b_h)
            neg_associations = v_sample.T @ h_recon

            # تحديث الأوزان: قرِّب من البيانات، ابعد عن إعادة البناء
            W  += lr * (pos_associations - neg_associations) / len(batch)
            b_v += lr * (batch - v_sample).mean(axis=0)
            b_h += lr * (h_prob - h_recon).mean(axis=0)

    return W, b_h, b_v

# === التدريب المسبق الجشع طبقةً بطبقة ===
layer_sizes = [784, 500, 500, 2000]
weights, biases = [], []
current_data = X_train  # الشكل (N, 784)

for i in range(len(layer_sizes) - 1):
    print(f"تدريب طبقة RBM رقم {i+1}: {layer_sizes[i]} ← {layer_sizes[i+1]}")
    W, b_h, b_v = train_rbm(current_data, layer_sizes[i+1])
    weights.append(W)
    biases.append(b_h)
    # تنشيطات الطبقة الخفية تصبح «بيانات» الطبقة التالية
    current_data = sigmoid(current_data @ W + b_h)

# بعد التدريب المسبق: الضبط الدقيق بخوارزمية اليقظة والنوم التبايُنية
# (أو استخدم الأوزان المُدرَّبة مسبقاً لتهيئة شبكة إشرافية)

الضمان النظري: كل طبقة تُحسِّن النموذج

من أبرز ما قدّمته الورقة إثبات رياضي بأن التدريب المسبق الجشع يُحسِّن النموذج فعلاً وليس مجرد حيلة تعمل عملياً. الفكرة تحديداً: إضافة طبقة RBM جديدة فوق الشبكة القائمة لا يمكن أن تُسيء إلى الحد الأدنى المتغيّري لاحتمالية لوغاريتم بيانات التدريب، بل إنها تُحسِّنه أو تُبقيه كما هو على الأقل:

log⁡P(v)≥∑hQ(h∣v)log⁡P(v,h)Q(h∣v)\log P(\mathbf{v}) \geq \sum_{\mathbf{h}} Q(\mathbf{h}|\mathbf{v}) \log \frac{P(\mathbf{v}, \mathbf{h})}{Q(\mathbf{h}|\mathbf{v})}

سبب تحسّن الحد واضح: كل طبقة جديدة تُوفِّر توزيعاً أوَّلياً أغنى للطبقة التي تحتها، فتستبدل تقريباً بسيطاً مستقل العوامل بـنموذج أكثر تعبيراً. وفي الحالة المثالية — لو دُرِّبت كل RBM تدريباً كاملاً — يصل هذا الحد إلى احتمالية اللوغاريتم الحقيقية.

كان هذا اختراقاً لأنه منح التعلُّم العميق أول تبرير نظري صارم: العمق يُفيد، بدليل رياضي.

القدرة التوليدية: شبكة تحلم

ما يميّز شبكة الاعتقاد العميق عن البحتة أنها نموذج توليدي — تتعلّم التوزيع المشترك P(صورة,عنوان)P(\text{صورة}, \text{عنوان}) وليس فقط P(عنوان∣صورة)P(\text{عنوان}|\text{صورة}). عملياً، هذا يعني أنها تستطيع إنتاج بيانات جديدة عبر :

  1. ثبِّت عنوان رقم معيّن (مثلاً «3»)
  2. شغِّل عيّنات غيبس في آلة RBM العلوية لتستكشف «الأخدود» الذي تستقر فيه أنماط الثلاثات في تضاريس الطاقة
  3. مرِّر العيّنة نزولاً عبر الطبقات التوليدية الموجَّهة
  4. تحصل على صورة جديدة وواقعية لرقم «3»

استعار هينتون تشبيهاً جميلاً لوصف ما يحدث: كل فئة رقم تشغل «أخدوداً طويلاً» في تضاريس الطاقة الحرة لآلة RBM العلوية. عيّنات غيبس تسير على طول هذا الأخدود فتُنتج عيّنات متنوعة ضمن الفئة نفسها. كان هذا دليلاً مقنعاً على أن الشبكة تعلّمت فعلاً البنية الداخلية للبيانات وليس مجرد حدّ فاصل بين الفئات.

افتح في المختبر
اختر فئة رقم وشاهد الشبكة وهي «تحلم» — تولِّد عيّنات متنوعة بالسير على طول أخدود الطاقة.
تستيقظ التجربة عند وصولك…

لماذا غيّرت كل شيء

  1. 2002

    التباعد التبايني (هينتون)

    طريقة تقريب سريعة لحساب تدرُّج احتمالية اللوغاريتم في آلات RBM. هذه الطريقة هي التي جعلت تدريب RBM ممكناً عملياً، وأصبحت قاعدة التعلُّم التي تُشغِّل الخوارزمية الجشعة في هذه الورقة.

  2. 2006

    هذه الورقة (هينتون، أوزيندِرو، تيه)

    قدّمت شبكات الاعتقاد العميق مع وصفة التدريب المسبق الجشع طبقةً بطبقة، وأثبتت نظرياً أن كل طبقة تُحسِّن حداً متغيّرياً على احتمالية البيانات. كسرت القناعة السائدة بأن الشبكات العميقة غير قابلة للتدريب.

  3. 2006

    المرمّزات التلقائية العميقة (هينتون وسالاخوتدينوف)

    طبّقت وصفة التدريب المسبق نفسها على المرمّزات التلقائية، وأظهرت أن الضغط العميق غير الخطي يتفوق على PCA بفارق كبير — ممّا وسّع أثر استراتيجية التدريب المسبق إلى ما هو أبعد من شبكات الاعتقاد العميق.

  4. 2010

    تنشيط ReLU (نير وهينتون)

    حلّ دالة التنشيط ReLU مشكلة تلاشي التدرُّج في التدريب الإشرافي إلى حد بعيد، فقلّت الحاجة إلى التدريب المسبق غير المُوجَّه. لكن نجاح ReLU في الشبكات العميقة أكّد بحدّ ذاته أن الرهان على العمق كان صائباً.

  5. 2012

    AlexNet — شبكات التفافية عميقة بدون تدريب مسبق

    أثبتت أن الشبكات الالتفافية العميقة مع ReLU والإسقاط العشوائي يمكن تدريبها مباشرة من تهيئة عشوائية على بيانات إشرافية ضخمة. أنهت فعلياً حقبة التدريب المسبق بآلات RBM، لكنها في جوهرها بُنيت على الفكرة ذاتها: العمق ممكن ومفيد.

  6. 2013

    تقطير المعرفة (هينتون وآخرون)

    امتداد للفكرة التوليدية: «الأهداف الرخوة» التي تُخرجها شبكة عميقة مُدرَّبة تحتوي معرفة مضغوطة يمكن نقلها لتدريب شبكة أصغر وأسرع. الفكرة مرتبطة مفاهيمياً بالقدرات التوليدية التي أظهرتها شبكات الاعتقاد العميق.

  7. 2018

    BERT وGPT: التدريب المسبق ثم الضبط الدقيق على نطاق هائل

    الوصفة التي ظهرت في 2006 — درِّب أولاً بدون إشراف ثم اضبط بإشراف — عادت بقوة على نطاق هائل مع بنية المحوِّلات. الخيط المفاهيمي لهذه الورقة يمتد عبر كل نموذج تأسيسي حديث.

المرجعHinton, G. E., Osindero, S., Teh, Y.-W.. A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 2006.

مصطلحات هذه الورقة