الرؤية الحاسوبية2012مبتدئ10 دقيقة قراءة

تصنيف صور ImageNet بالشبكات العصبية الالتفافية العميقة

ImageNet Classification with Deep Convolutional Neural Networks

Krizhevsky, A. · Sutskever, I. · Hinton, G. — NeurIPS

المشكلة

تصنيف 1.2 مليون صورة عالية الدقة ضمن 1,000 فئة كان يتجاوز بكثير قدرات الأساليب المتاحة آنذاك. السمات المصمَّمة يدوياً — وهي النهج السائد وقتها — وصلت إلى سقف عند نحو 26% في خطأ top‑5 على ImageNet. لم تستطع نماذج تعلّم الآلة التقليدية تعلُّم سمات بصرية غنية وهرمية تكفي للتمييز بين آلاف الفئات الحقيقية. في المقابل، أظهرت الشبكات العصبية الالتفافية نتائج واعدة على مجموعات صغيرة مثل MNIST، لكن لم ينجح أحد في توسيعها إلى ملايين الصور الطبيعية عالية الدقة — العتاد كان بطيئاً والبيانات المتاحة لا تكفي.

الإسهام

: شبكة التفافية عميقة تضم 60 مليون مُعامِل، مُدرَّبة من الطرف إلى الطرف على معالجَيْن رسوميَّيْن. خمسة ابتكارات رئيسية جعلت ذلك ممكناً — تنشيط ReLU لتسريع ، لتحسين التعميم، لاستخلاص سمات أغنى، وDropout لمنع ، وتكثير البيانات بكثافة لمضاعفة الحجم الفعّال لمجموعة التدريب. تتكوّن البنية من 5 طبقات التفافية تليها 3 طبقات كاملة الاتصال، موزّعة على معالجَيْن لا يتواصلان إلا عند طبقات محددة. حققت خطأ top‑5 بنسبة 15.3% في مسابقة ILSVRC‑2012، متفوّقة على الوصيف عند 26.2% بأكثر من 10 نقاط مئوية.

الأثر

لم تكتفِ AlexNet بالفوز في مسابقة — بل أشعلت ثورة بأسرها. قبل 2012 كان معظم باحثي يعتمدون على سمات مصمَّمة يدوياً. بعد AlexNet تحوّل المجال بالكامل تقريباً نحو التعلم العميق. كل بنية رئيسية جاءت بعدها — VGG وGoogLeNet وResNet ومحوِّلات الرؤية لاحقاً — بُنيت مباشرة على ما أثبتته AlexNet: أنّ العمق والبيانات والمعالجات الرسومية قادرة على حلّ مسائل كانت تُعَدّ مستعصية. بل إنها قادت صناعة الحوسبة بالمعالجات الرسومية — فمسار NVIDIA البحثي وسعر سهمها يعودان مباشرة إلى تلك اللحظة.

تخيّل أنّ LeNet كانت حِرَفياً ماهراً يميّز العملات بلمسها — دقيق لكنه بطيء، ولا يتعامل إلا مع عملات الجيب الصغيرة.

AlexNet هو الحِرَفي نفسه بعدما حصل على ماكينات صناعية () ومستودع عملات من كل بلد (مجموعة بيانات ImageNet)، وخمس أدوات جديدة: غراء سريع الجفاف ()، وعصابات عشوائية أثناء التمرين ()، ومرايا تُولّد نسخاً إضافية للتدريب ()، وتنافس بين كاشفات متجاورة (التسوية الاستجابية المحلية)، ومناطق فحص متراكبة (التجميع المتداخل).

النتيجة؟ ليست تحسيناً تدريجياً — بل قفزة أقنعت المجال بأكمله بالتخلّي عن أدواته القديمة.

السياق: لماذا كان 2012 هو التوقيت المناسب

تقاطعت ثلاثة عوامل في 2012 لتجعل AlexNet ممكنة:

البيانات: وفّرت ImageNet نحو 1.2 مليون صورة مُعنوَنة موزّعة على 1,000 فئة — أضعاف أي مجموعة سابقة بمراتب. بدون هذا الحجم كانت الشبكات العميقة ستحفظ بيانات التدريب بدل أن تتعلّم منها.
القدرة الحوسبية: المعالجات الرسومية من NVIDIA، التي صُمِّمت أصلاً لألعاب الفيديو، تبيّن أنّها مثالية لعمليات ضرب المصفوفات التي تهيمن على تدريب الشبكات العصبية. معالجان من طراز GTX 580 منحا AlexNet القوة اللازمة لإتمام التدريب في أقلّ من أسبوع.
الخوارزميات: ReLU للتنشيط، وDropout للتنظيم، وتكثير البيانات — كل منها مفيد بمفرده — اجتمعت لتجعل التدريب العميق سريعاً ومستقراً.

كانت ورقة LeNet عام 1998 قد أثبتت نجاح وصفة التفاف–تجميع–تصنيف. ما أضافته AlexNet هو البرهان على أنّ هذه الوصفة ذاتها، حين تُضخَّم بالمكوّنات الصحيحة، قادرة على حلّ مسائل رؤية حقيقية عجز عنها المجال بأسره.

ReLU: دالة التنشيط التي غيّرت كل شيء

قبل AlexNet كانت معظم الشبكات العصبية تستخدم أو كـ. كلتاهما تضغط المخرجات في نطاق ثابت، وهذا يخلق مشكلة جوهرية أثناء التدريب: حين يكون المُدخَل كبيراً جداً أو صغيراً جداً يقترب من الصفر — أي أنّ يدخل حالة «تشبُّع» ويتوقف فعلياً عن التعلّم. هذه هي مشكلة التي عانت منها الشبكات العميقة لسنوات طويلة.

ReLU بسيطة للغاية: $f(x) = \max(0, x)$ . إذا كان المُدخَل موجباً مرّره كما هو، وإذا كان سالباً أعطِ صفراً. لا ضغط ولا تشبُّع في المنطقة الموجبة — التدرّج إمّا 0 أو 1، ولن يكون كسراً ضئيلاً أبداً. أظهر كريزيفسكي وزملاؤه أنّ بدالة ReLU تتدرّب أسرع بستّ مرات من شبكة مكافئة بدالة الظل الزائدي، إذ بلغت 25% خطأ تدريب على CIFAR‑10 في عدد أقلّ بكثير من التكرارات.

بساطة ReLU هي مصدر قوّتها — حسابات أقلّ لكل عصبون، ولا حاجة لدوال أسّية مُكلفة، وتدرّجات تتدفّق بحرّية عبر المنطقة الموجبة.

افتح في المختبر

قارن استجابة ReLU مقابل سيجمويد والظل الزائدي — لاحظ كيف يتشبّع سيجمويد بينما تبقى ReLU خطّية.

تستيقظ التجربة عند وصولك…

f(x) = \max(0, x)

دالة تنشيط ReLU — أخرِج المُدخَل كما هو إن كان موجباً، وإلا أخرِج صفراً. التدرّج يساوي 1 للمدخلات الموجبة و0 للسالبة — لا تشبُّع ولا تلاشٍ للتدرّجات في المنطقة الموجبة.

البنية: خمس طبقات التفافية وثلاث طبقات كثيفة

تستقبل AlexNet صورة ملوّنة بأبعاد 224×224 بكسل (ثلاث قنوات: أحمر وأخضر وأزرق) وتمرّرها عبر 8 طبقات مُتعلَّمة. الأولى تطبّق 96 بحجم 11×11 بـ مقدارها 4 — مرشّحات كبيرة لالتقاط الأنماط الواسعة. الثانية تستخدم 256 مرشّحاً بحجم 5×5. أمّا الطبقات 3 و4 و5 فتستخدم 384 و384 و256 مرشّحاً بحجم 3×3 — مرشّحات أصغر تلتقط تفاصيل أدقّ.

بعد الطبقات الالتفافية تُسطَّح إلى متّجه بـ4,096 بُعداً، ثم يمرّ عبر بـ4,096 عصبوناً لكلٍّ منهما، وينتهي بمصنّف ذي 1,000 مخرج.

قرار تصميمي جوهري: الشبكة مقسومة على معالجَيْن رسوميَّيْن. كل معالج يحتفظ بنصف المرشّحات، ولا يتبادلان البيانات إلا عند الطبقة 3 والطبقات كاملة الاتصال. كان ذلك ضرورة عملية — فمعالج GTX 580 الواحد يملك 3 غيغابايت فقط — لكنه حسّن السمات أيضاً، إذ تخصّص كل معالج في جوانب بصرية مختلفة.

افتح في المختبر

استكشف طبقات AlexNet الثماني — انقر على أي طبقة لمعرفة أبعادها وأحجام مرشّحاتها وعدد معاملاتها.

تستيقظ التجربة عند وصولك…

افتح في المختبر

شاهد كيف توزّع AlexNet مرشّحاتها على معالجَيْن رسوميَّيْن لا يتواصلان إلا عند طبقات محددة.

تستيقظ التجربة عند وصولك…

التجميع المتداخل: التقاط سياق أوسع

الشبكات الالتفافية التقليدية استخدمت غير متداخل — نافذة 2×2 تنزلق بخطوة 2، فكل بكسل يُغطّى مرة واحدة فقط. ما قدّمته AlexNet هو التجميع المتداخل: نافذة 3×3 بخطوة 2، بحيث تتشارك النوافذ المتجاورة في بعض البكسلات. هذا التعديل الصغير خفّض خطأ top‑1 بنحو 0.4% وخطأ top‑5 بنحو 0.3%، وجعل النموذج أقلّ عرضة لـفرط التخصيص.

الفكرة بسيطة: حين تتراكب نوافذ التجميع يحمل كل خرج معلومات من مناطق مجاورة، فيلتقط السياق المكاني بشكل أغنى. الأمر أشبه بقراءة نص عبر فقرات متراكبة بدل جمل منفصلة — تلتقط الروابط والانتقالات التي تضيع حين تكون الحدود صارمة.

Dropout: التدريب بنسيان مقصود

مع 60 مليون و1.2 مليون صورة تدريب فقط، كان فرط التخصيص هو الخطر الأكبر. أذكى دفاعات AlexNet كان Dropout: في كل خطوة تدريب يُصفَّر نصف العصبونات في الطبقات كاملة الاتصال عشوائياً.

المنطق واضح: إذا كان أي عصبون قد يختفي في أي لحظة، فلن يستطيع الاعتماد على شركاء بعينهم. كل عصبون مُجبَر على تعلُّم سمات مفيدة بالتعاون مع تشكيلات مختلفة من بقية العصبونات. هذا يمنع ما يُعرف بـ — أي تكوين شراكات هشّة تعمل جيداً على بيانات التدريب لكنها تنهار أمام صور جديدة.

عند الاختبار تنشط جميع العصبونات لكن مخرجاتها تُضرَب في 0.5. الأمر كتدريب فريق كرة قدم تُقصي فيه لاعبين عشوائياً من كل حصّة — كل لاعب مُلزَم بالانسجام مع أي زميل، فينتج عن ذلك فريق أصلب وأكثر مرونة.

افتح في المختبر

فعّل Dropout وأوقفه لترى كيف يُجبر التعطيل العشوائي كل عصبون على تعلّم سمات مستقلة ومتينة.

تستيقظ التجربة عند وصولك…

تكثير البيانات: تعليم الشبكة الثبات

أبسط طريقة للحدّ من فرط التخصيص هي توفير مزيد من البيانات. وحين لا يمكنك جمع المزيد، تصنعها — وهنا استخدمت AlexNet شكلين من تكثير البيانات لا يكادان يكلّفان شيئاً حوسبياً:

الإزاحة المكانية والانعكاس الأفقي. من كل صورة 256×256 تُقتطع عشوائياً رقع بأبعاد 224×224 مع نسخها المعكوسة أفقياً. هذا يضاعف مجموعة التدريب بمعامل 2,048. فالقطة المتّجهة يساراً يجب أن تُعرَف تماماً كالقطة المتّجهة يميناً.

عبر . نُجري تحليل مكونات رئيسية على قيم بكسلات RGB، ثم نضيف مضاعفات عشوائية من المكوّنات الرئيسية لكل صورة. بذلك تصبح الشبكة غير حساسة لتغيّرات الإضاءة — السيارة الحمراء تحت الشمس المباشرة أو في الظل تبقى سيارة حمراء. هذه الخطوة وحدها خفّضت خطأ top‑1 بأكثر من 1%.

كلا التحويلين ينفَّذان على المعالج المركزي بينما يتدرّب المعالج الرسومي على السابقة، فتأتيان مجّاناً عملياً. كان هذا درساً مبكّراً: تكثير البيانات من أعلى الاستثمارات عائداً في التعلم العميق.

افتح في المختبر

شاهد كيف تتحوّل صورة تدريب واحدة إلى عشرات النسخ عبر الاقتصاص والانعكاس وتبديل الألوان.

تستيقظ التجربة عند وصولك…

التسوية الاستجابية المحلية

مستوحاةً من ظاهرة في العصبونات البيولوجية — حيث يكبت العصبون النشط جيرانه — تطبّق AlexNet التسوية الاستجابية المحلية بعد الطبقتين الالتفافيتين الأولى والثانية. الآلية بسيطة: مخرج كل عصبون يُقسَم على مجموع مربّعات مخرجات المرشّحات المجاورة. النتيجة أنّ المرشّحات عالية النشاط تُخمد الأضعف منها، فيصبح استخلاص السمات أكثر حدّة — تماماً كما يُبرز التنافس بين خلايا الشبكيّة حواف الأجسام في الرؤية البشرية.

b^{i}_{x,y} = a^{i}_{x,y} \bigg/ \bigg(k + \alpha \sum_{j=\max(0,i-n/2)}^{\min(N-1,i+n/2)} (a^{j}_{x,y})^2 \bigg)^{\beta}

التسوية الاستجابية المحلية — مخرج المرشّح i عند الموضع (x,y) يُقسَم على معامل محسوب من n مرشّحاً مجاوراً. الثوابت في AlexNet هي: k=2، α=10⁻⁴، β=0.75، n=5.

تفاصيل التدريب والنتائج

دُرِّبت AlexNet بخوارزمية بـ 0.9 و 0.0005 و 128. بدأ عند 0.01 وقُسِّم على 10 كلّما توقّف خطأ مجموعة التحقّق عن التحسّن. استمر التدريب نحو 90 على مدى خمسة إلى ستة أيام على معالجَيْن رسوميَّيْن GTX 580.

في مسابقة ILSVRC‑2012 حققت AlexNet بنسبة 15.3%، بينما حلّ الوصيف عند 26.2%. وفي ILSVRC‑2010 حققت 37.5% / 17.0% (top‑1 / top‑5) مقابل أفضل نتيجة سابقة 45.7% / 25.7%.

الفجوة بعشر نقاط كانت غير مسبوقة — أكبر قفزة في عام واحد شهدتها المسابقة. بينما استخدم المنافسون سمات مصمَّمة يدوياً كـ، تعلّمت AlexNet كل شيء من البكسلات الخام مباشرة. ولمّا أزال المؤلّفون طبقة التفافية واحدة تراجع الأداء بشكل ملحوظ، ممّا أثبت أنّ العمق يُحدث فرقاً حقيقياً وقابلاً للقياس.

افتح في المختبر

قارن معدّل خطأ AlexNet بالمنافسين — الفجوة تتحدّث عن نفسها.

تستيقظ التجربة عند وصولك…

ماذا تعلّمت الشبكة

فحص المرشّحات المُتعلَّمة كشف عن تسلسل هرمي واضح: الطبقة الأولى تعلّمت كواشف حواف وألوان — حواف موجَّهة، وبقع لونية، وأنماط ترددية — تُشبه الخلايا البسيطة في القشرة البصرية. الطبقات الأعمق دمجت هذه الكواشف لتشكّل أنسجة وزوايا وأجزاء أجسام ثم أجساماً كاملة.

تخصُّص المعالجَيْن كان لافتاً: الأول تعلّم سمات مستقلة عن اللون (حواف وأنسجة) بينما تعلّم الثاني سمات مرتبطة باللون — وهذا التخصُّص يظهر باتّساق بغضّ النظر عن التهيئة العشوائية الأولية للأوزان.

الطبقات كاملة الاتصال التقطت : الصور التي أنتجت تنشيطات متقاربة في فضاء الـ4,096 بُعداً أظهرت تشابهاً بصرياً ملحوظاً. صورة اختبار لفيل مثلاً أنتجت أقرب جيران هم فيلة أخرى في أوضاع مختلفة — ما يعني أنّ الشبكة تعلّمت تجريد التفاصيل غير الجوهرية والاحتفاظ بالجوهر.

افتح في المختبر

استكشف كيف تبني طبقات AlexNet سمات متصاعدة التعقيد — من حواف بسيطة إلى أجسام كاملة.

تستيقظ التجربة عند وصولك…

AlexNet في نحو 30 سطراً من بايثونpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np
def relu(x):  return np.maximum(0, x)       # دالة التنشيط التي غيّرت كل شيء
def conv2d(x, W, b, stride=1):
    """التفاف ثنائي مبسّط — مرشّح واحد، قناة واحدة."""
    H, W_in = x.shape[:2]
    kH, kW = W.shape[:2]
    out_h = (H - kH) // stride + 1
    out_w = (W_in - kW) // stride + 1
    out = np.zeros((out_h, out_w))
    for i in range(out_h):
        for j in range(out_w):
            patch = x[i*stride:i*stride+kH, j*stride:j*stride+kW]
            out[i, j] = np.sum(patch * W) + b
    return relu(out)

def max_pool(x, size=3, stride=2):
    """تجميع متداخل: الحجم > الخطوة (حيلة AlexNet)."""
    H, W_in = x.shape
    out_h = (H - size) // stride + 1
    out_w = (W_in - size) // stride + 1
    out = np.zeros((out_h, out_w))
    for i in range(out_h):
        for j in range(out_w):
            out[i, j] = np.max(x[i*stride:i*stride+size, j*stride:j*stride+size])
    return out

def dropout(x, p=0.5, training=True):
    if training:
        mask = np.random.binomial(1, 1-p, x.shape)
        return x * mask
    return x * (1 - p)

# وصفة AlexNet: التفاف←ReLU←تجميع←...←تسطيح←كثيفة←Dropout←Softmax
# ط1: 96 × 11×11، خطوة 4 ← ReLU ← تسوية ← تجميع(3,2)
# ط2: 256 × 5×5 ← ReLU ← تسوية ← تجميع(3,2)
# ط3: 384 × 3×3 ← ReLU
# ط4: 384 × 3×3 ← ReLU
# ط5: 256 × 3×3 ← ReLU ← تجميع(3,2)
# ط6: كاملة 4096 ← ReLU ← Dropout(0.5)
# ط7: كاملة 4096 ← ReLU ← Dropout(0.5)
# ط8: كاملة 1000 ← Softmax

لماذا كانت مهمّة إلى هذا الحدّ

1998
LeNet-5 — ولادة الوصفة
أثبتت شبكة LeCun الالتفافية نجاح وصفة التفاف–تجميع–تصنيف على الأرقام المكتوبة يدوياً، لكنّ محدودية العتاد والبيانات أبقتها صغيرة.
2009
ImageNet — وصول البيانات
جمعت فاي-فاي لي 14 مليون صورة مُعنوَنة. لأوّل مرة تتوفّر بيانات بالحجم الذي تحتاجه الشبكات العميقة.
2012
AlexNet — الاختراق
أثبت كريزيفسكي وساتسكيفر وهينتون أنّ الشبكات الالتفافية العميقة قادرة على سحق السمات اليدوية، وفازوا بمسابقة ILSVRC‑2012 بفارق 10 نقاط.
2014
VGG وGoogLeNet — أعمق وأوسع
كدّست VGG مرشّحات 3×3 البسيطة بعمق كبير، وقدّمت GoogLeNet وحدات Inception. كلتاهما سارتا على نهج AlexNet.
2015
ResNet — 152 طبقة
حلّت الوصلات التخطّيية مشكلة التدهور، فأصبحت الشبكات أعمق بعشرين ضعفاً من AlexNet.
2020
محوِّلات الرؤية — ما بعد الالتفافات
الانتباه الذاتي البحت ضاهى الشبكات الالتفافية عند التوسّع، لكنّ فلسفة AlexNet (بيانات + حوسبة + عمق) ظلّت هي المعادلة.

المرجعKrizhevsky, Sutskever, Hinton. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012.

مصطلحات هذه الورقة

AlexNetAlexNet
دالة الوحدة الخطية المصححةReLU
الإسقاط العشوائي للعصبوناتDropout
التجميع المتداخلOverlapping Pooling
التسوية الاستجابية المحليةLocal Response Normalization
تعزيز البياناتData Augmentation
معدل خطأ أعلى 5 احتمالاتTop-5 Error Rate
التكيّف المشتركCo-adaptation
التثبيط الجانبيLateral Inhibition
اهتزاز الألوانColor Jitter
مسابقة التعرف البصري واسعة النطاقILSVRC