التقريب بتراكب دوال سيغمويدية

عام 1969 نشر مينسكي وبابرت كتاب Perceptrons، وأثبتا فيه أنّ البيرسبترون ذا الطبقة الواحدة لا يستطيع حساب بوابة XOR. كانت هذه النتيجة بمثابة صدمة للمجال — فجّرت أول «شتاء للذكاء الاصطناعي» وتركت وراءها شكّاً عميقاً: حتى لو أضفنا طبقات مخفية، هل ستبقى في الشبكات العصبية ثغرات تمثيلية لا يمكن سدّها؟

بحلول أواخر الثمانينيات، أعاد الانتشار العكسي الروح إلى المجال لأنّه مكّن الباحثين من تدريب شبكات متعددة الطبقات لأول مرة بشكل فعّال. بدأت الشبكات تحلّ مسائل حقيقية على أرض الواقع. لكنّ النجاح في التطبيق شيء والبرهان الرياضي شيء آخر. المجتمع البحثي كان بحاجة إلى إجابة حاسمة: هل تستطيع الشبكة العصبية تمثيل أيّ دالة متصلة، أم أنّ هناك دوالّ ستظلّ خارج قدرتها مهما فعلنا؟

ما المقصود بالدالة السيغمويدية؟ هي ببساطة أيّ دالة مقيَّدة وقابلة للقياس تقترب من الصفر حين يذهب مدخلها نحو $-\infty$، وتقترب من الواحد حين يذهب نحو $+\infty$. أشهر مثال عليها هو السيغمويد اللوجستي $\sigma(t) = 1/(1 + e^{-t})$، لكنّ المبرهنة تنطبق على أيّ دالة تسلك هذا السلوك الحدّي المعروف بشكل S.

لنتأمّل الآن كيف تعمل شبكة بـطبقة مخفية واحدة. تأخذ مدخلاً $\mathbf{x} \in \mathbb{R}^n$ وتحسب:

$\hat{f}(\mathbf{x}) = \sum_{i=1}^{N} \alpha_i \, \sigma(\mathbf{w}_i^\top \mathbf{x} + b_i)$

كل عصبون $i$ يُسهم بمنحنى S واحد هو $\sigma(\mathbf{w}_i^\top \mathbf{x} + b_i)$، مضروباً في المعامل $\alpha_i$. متجه الأوزان $\mathbf{w}_i$ يتحكّم في اتجاه المنحنى وحدّته، والانحياز $b_i$ يُزيحه يميناً أو يساراً، أمّا $\alpha_i$ فيضبط سعته. المحصّلة النهائية للشبكة هي مجموع موزون — أي تراكب — لهذه المنحنيات.

لننتقل الآن إلى الصياغة الرسمية. لتكن $\sigma$ أيّ دالة سيغمويدية متصلة، ولتكن $f$ أيّ دالة متصلة معرّفة على المكعب الفائق الواحدي $[0,1]^n$. عندها، لكل $\varepsilon > 0$، يوجد عدد عصبونات $N$ وأوزان $\{\mathbf{w}_i\}$ وانحيازات $\{b_i\}$ ومعاملات $\{\alpha_i\}$ بحيث:

$\sup_{\mathbf{x} \in [0,1]^n} \left| f(\mathbf{x}) - \sum_{i=1}^{N} \alpha_i \, \sigma(\mathbf{w}_i^\top \mathbf{x} + b_i) \right| < \varepsilon$

ماذا تعني هذه الصياغة ببساطة؟ مهما اخترت من دالة متصلة، ومهما ضيّقت هامش الخطأ، ستجد شبكة بطبقة واحدة تقع داخل هذا الهامش في كل نقطة من المجال دون استثناء.

البرهان يسير بأسلوب الخُلف (البرهان بالتناقض) ويستعين بمبرهنتين قويّتين من التحليل الدالّي. تصوَّر الأمر كأنّه مرافعة في محكمة:

الخطوة 1 — افترض العكس. لنفترض أنّ المجموعة $\mathcal{H}$ التي تمثّل كل المخرجات الممكنة للشبكة ليست كثيفة في فضاء الدوال المتصلة $C([0,1]^n)$. معنى هذا أنّ هناك دالة متصلة لا يستطيع أيّ خَرج من الشبكة الاقتراب منها.

الخطوة 2 — استدعِ مبرهنة هان-باناخ. إذا لم تكن $\mathcal{H}$ كثيفة فعلاً، فمبرهنة الفصل لهان-باناخ تُضمن وجود دالٍّ خطي مقيَّد غير صفري $L$ يُعطي صفراً على كل عنصر في $\mathcal{H}$. فكّر في $L$ كأنّه «كاشف» لا يرى أيّ مخرج من مخرجات الشبكة.

الخطوة 3 — استدعِ مبرهنة ريس التمثيلية. بحسب مبرهنة ريس، الدالّ $L$ يُقابله مقياس مُوقَّع محدود $\mu$ على $[0,1]^n$ بحيث $L(g) = \int g \, d\mu$. وهذا يعني أنّ $\mu$ يُلغي كل تراكب سيغمويدي: $\int \sigma(\mathbf{w}^\top \mathbf{x} + b) \, d\mu = 0$ لكل $\mathbf{w}$ و$b$.

الخطوة 4 — أثبت أنّ μ يجب أن يساوي صفراً. يُبيّن سايبينكو أنّ أيّ مقياس يُلغي كل الدوال السيغمويدية لا بدّ أن يُلغي كذلك دوال المؤشر لأنصاف الفضاءات، وبالتالي كل الدوال البسيطة، ومن ثمّ كل الدوال المقيَّدة القابلة للقياس — أي أنّ $\mu = 0$. لكنّنا افترضنا أنّ $L \neq 0$. هذا تناقض. إذن $\mathcal{H}$ كثيفة فعلاً، وبذلك يكتمل البرهان.

من أجمل الأفكار في البرهان حقيقة هندسية أنيقة: حين يكبر مقدار الوزن $\|\mathbf{w}\|$، فإنّ السيغمويد $\sigma(\mathbf{w}^\top \mathbf{x} + b)$ يبدأ بالتحوّل تدريجياً إلى دالة خَطْوية — أي أنّه يقفز بحدّة من 0 إلى 1 عند عبور مستوى فائق معيّن.

ما الذي يعنيه هذا عملياً؟ يعني أنّ الدوال السيغمويدية تستطيع تقريب دوال المؤشر لأنصاف الفضاءات. وبدمج عدة سيغمويدات «حادة» بتوجّهات ومواضع مختلفة، يمكنك نحت أيّ منطقة تريدها في فضاء المدخلات. وما إن تستطيع تقريب دوال المؤشر، حتى تستطيع تقريب أيّ دالة بسيطة (فكّر فيها كسُلَّم من درجات)، والدوال البسيطة بدورها كثيفة في فضاء الدوال المتصلة.

سلسلة التقريب إذن تسير هكذا: سيغمويدات ← دوال خَطْوية ← دوال مؤشر ← دوال بسيطة ← أيّ دالة متصلة.

مبرهنة التقريب الشامل قوية لكنها ليست إجابة على كل شيء. من المهم أن نفهم حدودها بوضوح:

• لا سقف محدّد للعرض. عدد العصبونات $N$ المطلوب قد ينمو بشكل أُسِّي مع بُعد المدخلات أو مع الدقة المطلوبة. المبرهنة تقول فقط إنّ $N$ محدوداً موجود، لكنها لا تحدّ من حجمه.

• لا خوارزمية تعلّم. أن تعرف أنّ الحل موجود لا يساعدك في الوصول إليه. الانحدار التدريجي قد يعلق في نهايات صغرى محلية أو يحتاج وقت تدريب غير عملي.

• دوال متصلة فقط. المبرهنة تُغطّي فضاء $C([0,1]^n)$. الدوال غير المتصلة خارج نطاقها، وإن كانت توسيعات هورنيك اللاحقة عالجت فضاءات $L^p$.

• لا ميزة للعمق. المبرهنة تتحدّث عن العرض فقط — أي طبقة واحدة عريضة. أعمال تيلغارسكي (2016) أظهرت لاحقاً أنّ العمق يمنح ميزة كفاءة أُسِّية: بعض الدوال تحتاج عدداً أُسِّياً من العصبونات في طبقة واحدة، بينما تكفيها أعداد متعددة الحدود في شبكة عميقة.

برهان سايبينكو عام 1989 كان لحظة فارقة في تاريخ المجال. رسالته لمجتمع الشبكات العصبية كانت واضحة: البنية التي بين أيديكم كاملة نظرياً. وجّهوا جهدكم الآن نحو خوارزميات التدريب والبيانات والعمق. هذا التحوّل في السؤال المركزي — من «هل نستطيع التمثيل؟» إلى «هل نستطيع التعلّم بكفاءة؟» — هو ما مهّد الطريق نحو التعلّم العميق الحديث كما نعرفه اليوم.