أساسيات تعلم الآلة2015تأسيسي10 دقيقة قراءة

التعلُّم العميق

Deep Learning

LeCun, Y. · Bengio, Y. · Hinton, G. — Nature

المشكلة

قبل ظهور التعلُّم العميق، كان بناء أي نظام ذكاء اصطناعي يتطلّب من المهندس تصميم مستخرجات السمات يدوياً — عملية مُكلفة وهشّة ومحصورة بمهمة واحدة. المصنِّفات الضحلة مثلاً لم تستطع التمييز بين كلب السامويد والذئب الأبيض حين يتشابهان في الوضعية والخلفية، لأنها ببساطة لا تملك عمقاً تمثيلياً كافياً لفصل عوامل التباين عن بعضها. أمّا شبكات عميقة من أوزان عشوائية فكان يفشل باستمرار: التدرُّجات تتلاشى كلّما مرّت بطبقات أكثر، وتنحصر عملية الأمثَلة في نهايات صغرى محلية سيئة.

الإسهام

مراجعة شاملة كتبها الروّاد الثلاثة الذين مُنحوا لاحقاً جائزة تورينغ (2018). جمعت الورقة الأفكار الأساسية التي أنجحت التعلُّم العميق تحت سقف واحد: الانتشار العكسي لتدريب الشبكة من طرف إلى طرف، والشبكات الالتفافية لمعالجة الصور، والشبكات التكرارية وLSTM لمعالجة التسلسلات، والتمثيلات الموزَّعة لفهم اللغة، فضلاً عن ابتكارات عملية حاسمة مثل تنشيط ReLU والإسقاط العشوائي والتسريع بالمعالجات الرسومية. نسجت الورقة كل هذه الخيوط في رؤية فكرية واحدة مفادها أن تعلُّم التمثيلات عبر مستويات متعددة من التجريد هو الطريق الحقيقي لتقدُّم الذكاء الاصطناعي.

الأثر

تجاوزت 90,000 اقتباس، ما يجعلها من أكثر الأوراق العلمية استشهاداً في التاريخ. كانت بمثابة البيان الفكري لثورة التعلُّم العميق، وصدرت في توقيت مثالي: الشبكات الالتفافية كانت قد حسمت الرؤية الحاسوبية (AlexNet عام 2012)، والشبكات التكرارية تُعيد تشكيل التعرّف على الكلام والترجمة الآلية، وأسس عصر المحوِّلات بدأت تتبلور. كل منظومة ذكاء اصطناعي كبرى نراها اليوم — GPT وClaude وAlphaFold وDALL·E وWhisper — تعود جذورها إلى المبادئ التي وثّقتها هذه الورقة.

تخيّل خطّ تجميع في مصنع فيه عشرات المحطات. الخام يدخل من أحد الأطراف، والمحطة الأولى تفرز الأحجار حسب حجمها فقط. المحطة التالية تُعيد ترتيبها حسب اللون. التي بعدها تصقل الأوجه. عند المحطة الأخيرة تكون الأحجار الخشنة قد صارت ألماساً مقطوعاً — كل محطة أضافت مستوى من التنقيح.

هذه هي فكرة : بيانات خام (بكسلات، صوت، نص) تمرّ بسلسلة من البسيطة، وكل طبقة تُحوِّل ما تستقبله إلى أكثر تجريداً وأقرب للفائدة. لا توجد طبقة ذكية بمفردها — القوة كلها في تراكم العمق.

الاختراع المحوري هو : حين يُقطع الألماس بشكل خاطئ، ترجع إشارة الخطأ عبر كل محطة فتُعدِّل أدواتها بمقدار ضئيل. وبعد ملايين الأحجار يُتقن المصنع حرفته — دون أن يبرمج أحدٌ شكل الألماس المطلوب.

التعلُّم بإشراف: التعلُّم من أمثلة مُعنونة

الجزء الأكبر من نجاحات التعلُّم العميق العملية يقوم على . الوصفة تبدو بسيطة: أعرض على الشبكة مدخلاً (صورة مثلاً)، أعطها الإجابة الصحيحة («قطة»)، قِس مقدار خطئها عبر ، ثم حرِّك كل باتجاه يُقلّل هذا الخطأ.

الأداة المستخدمة لتحريك الأوزان هي : بدل حساب على مجموعة البيانات بأكملها — وهو أمر بطيء جداً عملياً — نختار عشوائية من الأمثلة، نحسب متوسط التدرُّج عليها، ونُحدِّث الأوزان. نُكرّر ذلك مليارات المرات. والمفاجأة أن الضجيج الناتج عن صِغر الدفعات مفيد فعلاً: فهو يدفع بعيداً عن الحادة والضيقة نحو نهايات عريضة ومسطحة تُعطي أفضل على بيانات لم تُشاهَد من قبل.

والذي يجعل كل هذا ممكناً في الشبكات العميقة هو الانتشار العكسي — ببساطة، تطبيق قاعدة السلسلة طبقةً بطبقة. نبدأ بحساب تدرُّج الخسارة عند المخرج، ثم ننشره عكسياً عبر كل طبقة: كل طبقة تحسب تدرُّجها المحلي وتُمرّر الإشارة للطبقة التي قبلها. بهذا الشكل يحصل كل وزن في الشبكة على اتجاه تحديث خاص به.

\theta \leftarrow \theta - \eta \frac{1}{|B|} \sum_{i \in B} \nabla_\theta \mathcal{L}(f(x_i; \theta), y_i)

قاعدة تحديث نزول التدرُّج العشوائي — محرِّك كل تدريب في التعلُّم العميق — θ = كل الأوزان · η = معدّل التعلُّم (حجم الخطوة) · B = دُفعة صغيرة عشوائية · ∇ = تدرُّج دالة الخسارة لكل مثال · كرِّر حتى التقارب

افتح في المختبر

شاهد البيانات وهي تتدفق للأمام عبر الطبقات (بالأزرق)، ثم إشارة الخطأ وهي تعود للخلف (بالأحمر)، مُعدِّلةً كل وزن في طريقها.

تستيقظ التجربة عند وصولك…

فتح باب العمق: تنشيط ReLU والإسقاط العشوائي والمعالجات الرسومية

ثلاثة ابتكارات عملية هي التي نقلت التعلُّم العميق من حيّز النظرية إلى الهيمنة الفعلية:

تنشيط — بدل دالتي و اللتين يتشبّع تدرُّجهما، جاءت دالة بسيطة: $f(x) = \max(0, x)$ . تدرُّجها إمّا 0 أو 1 — لا انضغاط ولا تشبُّع ولا تلاشٍ عبر عشرات الطبقات. التدريب الذي كان يتوقّف عند 3–4 طبقات صار يعمل مع 8 و20 بل وأكثر من 150 طبقة.

— أثناء التدريب، نُطفئ كل عصبون عشوائياً باحتمال 0.5. الفكرة أنّنا نُجبر الشبكة على توزيع المعرفة: لا يستطيع عصبون واحد حفظ نمط بمفرده. عند الاختبار تعمل كل العصبونات لكن مخرجاتها تُقسم على 2. النتيجة تُشبه تدريب مجموعة ضخمة من الشبكات المُخفَّفة ثم أخذ متوسط تنبؤاتها، وهذا يحدّ من بشكل فعّال.

التدريب على — عمليات في جوهرها ضرب مصفوفات، وهذا تحديداً ما صُمّمت معالجات الرسوميات لأدائه. معالج رسومي واحد يُسرّع الحوسبة من 10 إلى 50 ضعفاً مقارنة بالمعالج المركزي، فتنكمش أشهر التدريب إلى أيام معدودة.

افتح في المختبر

قارن بين دوال التنشيط. لاحظ كيف يتلاشى تدرُّج دالة السيني قرب 0 و1، بينما يظل تدرُّج ReLU مساوياً لـ 1 لكل المدخلات الموجبة.

تستيقظ التجربة عند وصولك…

افتح في المختبر

فعِّل الإسقاط العشوائي وأوقفه. شاهد كيف تُسكَت عصبونات عشوائية أثناء التدريب، مما يُجبر الشبكة على توزيع معرفتها.

تستيقظ التجربة عند وصولك…

الشبكات الالتفافية: الرؤية بمرشّحات مشتركة

الصور تملك بنية خاصة تختلف عن البيانات الأخرى: المتجاورة مترابطة، والنمط نفسه (حافة أو زاوية) يمكن أن يظهر في أيّ مكان من الصورة، والأهم هو وجود النمط لا موقعه الدقيق. تُترجم هذه الملاحظات الثلاث مباشرة إلى تصميم المعمارية:

المحلية — كل عصبون يرتبط برُقعة صغيرة فقط من المدخل، لا بالصورة كلّها. تخيّل عدسة مكبّرة تنزلق على صفحة: تعالج منطقة محلية واحدة في كل مرة.

مشاركة الأوزان — الواحد (مجموعة الأوزان نفسها) يُطبَّق في كل موضع من الصورة. كاشف الحواف العمودية الذي تعلّمته الشبكة في الزاوية العلوية اليسرى يعمل بالكفاءة ذاتها في الزاوية السفلية اليمنى. وهذا يُخفّض عدد المعاملات من ملايين إلى آلاف.

— بعد ، تأتي طبقة تجميع تأخذ القيمة العظمى (أو المتوسط) من مناطق صغيرة فتُقلِّص الأبعاد المكانية. الفائدة أنّ الشبكة تصبح متسامحة مع الإزاحات الطفيفة: الرقم «7» يبقى «7» سواء تحرّك بكسلاً لليسار أو لليمين.

المحصّلة تسلسل هرمي من : الطبقات الأولى تكشف الحواف، والوسطى تجمع الحواف في نسيج وأجزاء، والعميقة تتعرّف على أجسام كاملة. لا أحد يبرمج هذه السمات — الانتشار العكسي يكتشفها تلقائياً.

افتح في المختبر

انقر على الطبقات لترى كيف تبني الشبكة الالتفافية سمات أكثر تجريداً تدريجياً: حواف ← نسيج ← أجزاء ← أجسام.

تستيقظ التجربة عند وصولك…

(f * g)(i, j) = \sum_m \sum_n f(m, n) \cdot g(i - m, j - n)

الالتفاف ثنائي الأبعاد — المرشّح المشترك ينزلق على كامل الصورة — f = صورة المدخل · g = المرشّح المُتعلَّم (النواة) · القيمة الناتجة عند الموضع (i,j) هي مجموع حواصل الضرب عنصراً بعنصر بين المرشّح ورُقعة الصورة التي يغطّيها

طبقة التفاف من الصفر — جوهر كل شبكة التفافيةpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def conv2d(image, kernel, stride=1):
    """تطبيق مرشّح واحد على صورة ثنائية الأبعاد (بدون حشو)."""
    H, W = image.shape
    kH, kW = kernel.shape
    out_h = (H - kH) // stride + 1
    out_w = (W - kW) // stride + 1
    output = np.zeros((out_h, out_w))
    for i in range(out_h):
        for j in range(out_w):
            patch = image[i*stride:i*stride+kH, j*stride:j*stride+kW]
            output[i, j] = np.sum(patch * kernel)  # الضرب النقطي
    return output

# مرشّح واحد = خريطة سمات واحدة. طبقة الالتفاف تحتوي عدة مرشّحات،
# كلٌّ منها يتعلّم كشف نمط مختلف (حافة، زاوية، بقعة).
# المرشّح ذاته يمسح كل موضع — هذه هي مشاركة الأوزان.
# AlexNet كانت تحتوي 96 مرشّحاً في الطبقة الأولى؛ الشبكات الحديثة تستخدم 64–2048.

التمثيلات الموزَّعة: حين تصبح الكلمات متجهات

في معالجة اللغة التقليدية، كانت الكلمات تُمثَّل بترميز أحادي (): «قطة» = [0,0,1,0,...,0]. في هذا التمثيل، كل كلمة تبعد المسافة نفسها عن أي كلمة أخرى — «قطة» ليست أقرب إلى «هريرة» منها إلى «دراجة نارية». وهذا يُضيّع كل البنية الدلالية الموجودة في اللغة.

تحلّ هذه المشكلة بتحويل كل كلمة إلى كثيف من 300 رقم حقيقي مثلاً. الكلمات المتقاربة في المعنى تقع قرب بعضها في هذا . نتيجة الشهيرة بيّنت أن العلاقات بين الكلمات تصبح حتى جبرية: ملك − رجل + امرأة ≈ ملكة. الشبكة لم تحفظ قاموساً — بل اكتشفت هندسة المعنى من أنماط التواجد المشترك في مليارات الكلمات.

هنا يتجلّى المبدأ الجوهري لـالتعلُّم العميق حين يُطبَّق على اللغة: بدل تصميم سمات يدوية لكل مهمة، نتعلّم تمثيلاً يلتقط المعنى ثم نُجري عليه لمهام لاحقة. هذا المبدأ — تعلَّم تمثيلاً عاماً ثم تخصَّص — هو البذرة التي نمت لتصبح BERT وGPT و الحديثة.

افتح في المختبر

اسحب الكلمات في الإسقاط ثنائي الأبعاد. لاحظ كيف تُشكّل العلاقات الدلالية أنماطاً هندسية: الدول تتعنقد معاً، والأفعال تتعنقد معاً.

تستيقظ التجربة عند وصولك…

الشبكات التكرارية: معالجة التسلسلات عبر الزمن

الصور لها بنية مكانية، لكن النصوص والكلام يتميّزان بـبنية زمنية — معنى أي كلمة يعتمد على ما جاء قبلها. صُمّمت لمعالجة عنصراً بعد آخر، وهي تحتفظ بـ تعمل كذاكرة مضغوطة لكل ما مرّ حتى الآن.

في كل خطوة زمنية، تأخذ الشبكة التكرارية المدخل الحالي مع الحالة المخفية السابقة، تدمجهما بتحويل مُتعلَّم، وتُخرج حالة مخفية جديدة. الأمر يُشبه قراءة كتاب كلمة بكلمة مع تحديث ملخص ذهني باستمرار.

لكن المشكلة الكبرى في هي تلاشي التدرُّج: حين ننشر التحديث العكسي عبر خطوات زمنية كثيرة، يتقلّص التدرُّج أُسِّيّاً، فتعجز الشبكة عن تعلُّم — عند الكلمة المئة يكون تأثير الكلمة الأولى قد تلاشى عملياً.

الحلّ جاء مع شبكات (LSTM). الفكرة المحورية هي إضافة — أشبه بطريق سريع للمعلومات يمتدّ عبر الزمن، تحميه ثلاث بوابات مُتعلَّمة:

بوابة النسيان تُقرّر أيّ معلومات تُمحى من الذاكرة
بوابة الإدخال تُقرّر أيّ معلومات جديدة تُكتب
بوابة الإخراج تُقرّر ما يُكشف لبقية الشبكة

الميزة الجوهرية أنّ الحالة الخلوية تستطيع التدفّق للأمام دون تغيير (حين تبقى بوابة النسيان مفتوحة)، وهذا يعني أنّ التدرُّج يستطيع العودة عبر مئات الخطوات الزمنية دون أن يتلاشى. بفضل ذلك، أصبح ممكناً نمذجة الارتباطات بعيدة المدى في النصوص والكلام والسلاسل الزمنية — وظلّت LSTM النموذج المهيمن لمعالجة التسلسلات حتى ظهور عام 2017.

افتح في المختبر

تتبّع جملة كلمة بكلمة. شاهد بوابات النسيان والإدخال والإخراج وهي تُفتح وتُغلق مع تطوُّر الحالة الخلوية.

تستيقظ التجربة عند وصولك…

f_t = \sigma(W_f [h_{t-1}, x_t] + b_f) \quad i_t = \sigma(W_i [h_{t-1}, x_t] + b_i) \quad C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

بوابات LSTM — الآلية التي حلّت مشكلة تلاشي التدرُّج في التسلسلات — f_t = بوابة النسيان (ما يُمحى) · i_t = بوابة الإدخال (ما يُكتب) · C_t = الحالة الخلوية المُحدَّثة = (القديم × النسيان) + (الجديد × الإدخال) · σ = دالة السيني، تضغط القيم إلى [0,1] فتعمل كمفتاح سلس

المبدأ الجامع: تعلُّم التمثيلات

أعمق رسالة في هذه الورقة ليست بنية معمارية بعينها — بل المبدأ الذي يجمعها كلّها: . بدل أن يُصمِّم المهندس السمات يدوياً لكل مهمة، نترك الشبكة تكتشف تمثيلاتها بنفسها عبر مستويات متدرّجة من التجريد.

الشبكة الالتفافية تتعلّم: حواف ← نسيج ← أجزاء ← أجسام. الشبكة التكرارية تتعلّم: حروف ← كلمات ← عبارات ← معنى. الكلمات يتعلّم: تواجد مشترك ← تشابه ← علاقات قياسية.

المبدأ واحد في كل الحالات: بيانات خام تدخل، وكل طبقة تُحوّلها إلى تمثيل أكثر تجريداً وأقرب للفائدة في المهمة المطلوبة. الورقة تُحاجج — والعقد الذي تلاها أثبت — أنّ مفتاح الذكاء الاصطناعي ليس خوارزميات ذكية لمهام بعينها، بل آلات تعلُّم تمثيلات عامة تُدرَّب على كمّيات ضخمة من البيانات.

افتح في المختبر

مرِّر المؤشر فوق كل مستوى لرؤية أمثلة على ما تتعلمه الشبكة عند ذلك العمق — من البكسلات إلى المفاهيم.

تستيقظ التجربة عند وصولك…

لماذا غيَّرت هذه الورقة كل شيء

البيان في اللحظة المناسبة

كتبها الباحثون الثلاثة الذين ظلّوا يدافعون عن الشبكات العصبية طوال فترتَي شتاء الذكاء الاصطناعي. جاءت الورقة عام 2015 — في اللحظة التي كان فيها التعلُّم العميق ينفجر بقوة. كانت AlexNet قد فازت بمسابقة ImageNet عام 2012 بفارق مذهل. التعرّف العميق على الكلام بدأ يحلّ محلّ عقود من الأنظمة المُهندَسة يدوياً. شبكات LSTM كانت تُشغّل ترجمة Google. الورقة لم تكتفِ بوصف المجال — بل أعلنت أنّ تعلُّم التمثيلات عبر البنى العميقة هو المسار الحقيقي لتطوّر الذكاء الاصطناعي بأسره.

1986
التحديث التراجعي (روملهارت، هينتون، ويليامز)
قاعدة السلسلة مطبَّقة على شبكات متعددة الطبقات. جعلت تدريب الشبكات العصبية بالتدرُّج ممكناً عملياً لأول مرة.
1989
الشبكات الالتفافية (لوكان)
طبّق لوكان التحديث التراجعي على الشبكات الالتفافية لتمييز الخط اليدوي. عالجت LeNet ملايين الشيكات البنكية — أول نشر صناعي للتعلُّم العميق.
1997
LSTM (هوخرايتر وشميدهوبر)
خلايا ذاكرة ببوابات حلّت مشكلة تلاشي التدرُّج في التسلسلات. مكّنت من نمذجة الارتباطات بعيدة المدى في النص والكلام.
2006
شبكات الاعتقاد العميق (هينتون)
أثبتت أن الشبكات العميقة يمكن تدريبها بالتهيئة طبقة تلو طبقة، فأعادت إحياء الاهتمام بالعمق بعد سنوات من الركود.
2012
AlexNet تفوز بمسابقة ImageNet
شبكة التفافية عميقة مُدرَّبة بـ ReLU والإسقاط العشوائي والمعالجات الرسومية فازت بفارق 10 نقاط. اللحظة التي أصبح فيها التعلُّم العميق النموذج المهيمن في الرؤية الحاسوبية.
2014
النماذج التسلسلية وآلية الانتباه للترجمة
شبكات LSTM بنمط مُرمِّز-فاكّ ترميز مع آليات الانتباه أحدثت ثورة في الترجمة الآلية، ووضعت الأساس الذي بُني عليه المحوِّل.
2015
هذه الورقة — بيان التعلُّم العميق
لوكان وبنجيو وهينتون وحّدوا عقدين من أبحاث الشبكات العصبية في رؤية متماسكة. أكثر من 90,000 اقتباس — من أكثر الأوراق العلمية اقتباساً في التاريخ.
2017
المحوِّل — الانتباه هو كل ما تحتاجه
الانتباه الذاتي استبدل التكرار بالكامل، مُتيحاً توازياً حوسبياً كاملاً. كل نموذج لغوي حديث ينحدر من هذه البنية.
2018
جائزة تورينغ للوكان وبنجيو وهينتون
«الآباء المؤسسون للتعلُّم العميق» نالوا أرفع جائزة في الحوسبة عن إسهاماتهم المفاهيمية والهندسية في الشبكات العصبية العميقة.

تُنهي الورقة بنظرة إلى المستقبل — ، و، والمزج بين المعماريات المختلفة. ما لم يتوقّعه المؤلفون هو السرعة التي وحَّد بها المحوِّل الشبكات الالتفافية والتكرارية في بنية واحدة، وكيف أنّ توسيع تلك البنية أفرز قدرات ناشئة لم يبرمجها أحد. لكن كل إنجاز من تلك الإنجازات يرتكز على الأسس التي وضعتها هذه الورقة: التعلُّم القائم على التدرُّج، والتمثيل عبر العمق، ومبدأ أنّ السمات ينبغي أن تُتعلَّم لا أن تُصمَّم يدوياً.

المرجعLeCun, Bengio, Hinton. Deep Learning. Nature, 2015.

مصطلحات هذه الورقة

التعلم العميقDeep Learning
التحديث التراجعيBackpropagation
الشبكة العصبية الالتفافيةConvolutional Neural Network (CNN)
الشبكة العصبية التكراريةRecurrent Neural Network (RNN)
شبكة الذاكرة الطويلة قصيرة المدىLSTM
الانحدار التدريجيGradient Descent
تعلُّم السماتFeature Learning
تعلم التمثيلات الرقميةRepresentation Learning
التمثيل الموزّعDistributed Representation
التعلم الـمُوجّه (المصحوب ببيانات مرجعية)Supervised Learning
التعلّم غير الخاضع للإشرافUnsupervised Learning
التجميع المكانيPooling
الإسقاط العشوائي للعصبوناتDropout
الانحدار التدريجي العشوائيStochastic Gradient Descent (SGD)