نماذج اللغة2017متوسط6 دقيقة قراءة
الانتباه هو كل ما تحتاجه
Attention Is All You Need
Vaswani, A. · Shazeer, N. · Parmar, N. · Uszkoreit, J. · Jones, L. · Gomez, A. · Kaiser, Ł. · Polosukhin, I. — NeurIPS
المشكلة
النماذج التكرارية مثل LSTM تعالج الرموز بالترتيب رمزاً تلو الآخر، وهذا يمنع أي شكل من على وحدات المعالجة الرسومية. أضف إلى ذلك أن ربط كلمتين متباعدتين يتطلب المرور بسلسلة طويلة من الخطوات تضعف خلالها المعلومات وتتلاشى فيها التدرجات. النتيجة: جودة الترجمة وصلت إلى سقف لم تستطع تجاوزه، والتدريب كان يستغرق أسابيع.
الإسهام
: بنية تستغني تماماً عن التكرار. يربط أي موضعين ببعضهما في خطوة واحدة — كل رمز يصوغ استعلاماً ويقارنه بمفاتيح جميع الرموز الأخرى، ثم يجمع مزيجاً موزوناً من قيمها. الانتباه متعدد الرؤوس يُجري عدة عمليات بحث كهذه بالتوازي، يُعيد معلومات الترتيب. كل المواضع تُحسب في آنٍ واحد، فيصبح التدريب قابلاً للتوازي الكامل.
الأثر
أكثر بنية تأثيراً في الذكاء الاصطناعي الحديث بلا منازع. GPT وClaude وGemini وBERT ومحوِّلات الرؤية وAlphaFold وWhisper — كلها محوِّلات. التوازي الحوسبي الذي أتاحته هذه البنية هو ما جعل التدريب على تريليونات الرموز — وبالتالي النماذج اللغوية الكبيرة — ممكناً فعلياً.
تخيّل أن تقرأ جملة بأسلوب لعبة الهمس: كل كلمة تهمس ملخصاً مضغوطاً للكلمة التي تليها، وعند الكلمة المئة يكون أثر الكلمة الأولى قد تلاشى وتحوّل إلى مجرد إشاعة.
المُحوِّل يستبدل سلسلة الهمس بـغرفة اجتماعات: كل كلمة تجلس إلى الطاولة نفسها وتستطيع مخاطبة أي كلمة أخرى مباشرةً.
كلمة «هو» في جملة «ذهب الطالب إلى المكتبة وهو سعيد» لا تنتظر أن يصلها الملخص سليماً — بل تسأل الطاولة كلها: «على مَن أعود؟»، فتجيب كلمة «الطالب» بأعلى صوت.
المشكلة: السلاسل التتابعية بطيئة وكثيرة النسيان
بحلول 2017 اصطدمت الترجمة القائمة على LSTM بجدارين لم تستطع تجاوزهما:
-
غياب . الخطوة تحتاج مخرجات الخطوة قبل أن تبدأ. معالجات الرسوميات — المصمَّمة أصلاً لتنفيذ آلاف العمليات في وقت واحد — تظل معطّلة معظم الوقت، والتدريب يستغرق أسابيع.
-
مسارات طويلة بين الكلمات المترابطة. في جملة «لم يعبر الحيوانُ الشارعَ لأنه كان متعباً»، ربط «ـه» بـ«الحيوان» يتطلب خطوات تكرارية عديدة، وكل خطوة فرصة لضياع المعلومات (رأينا هذا التلاشي في فصل LSTM).
الفكرة: كل كلمة تستعلم عن كل كلمة
كل كلمة تحصل على ثلاثة متجهات تتعلمها أثناء التدريب، ولكلٍّ منها دور مختلف:
- — عمّ أبحث؟
- — بأي صفة يمكن العثور عليّ؟
- — ماذا أقدّم إن وقع الاختيار عليّ؟
تقيس كل كلمة درجة تطابق استعلامها مع مفتاح كل كلمة أخرى، ثم تمرّر هذه الدرجات عبر دالة لتتحول إلى أوزان مجموعها 1، وأخيراً تأخذ المتوسط الموزون للقيم. هذا المتوسط — الذي يمزج معلومات الكلمات التي اختارت الانتباه إليها — يصبح الجديد.
فكّر فيها كزيارة مكتبة: استعلامك هو ورقة الطلب التي تحملها، ومفتاح كل كتاب هو بطاقته في الفهرس. حين تطابق طلبك مع البطاقات تحصل على درجات صلة، فتخرج حاملاً مزيجاً موزوناً من قيم الكتب الأكثر صلة بطلبك.
لماذا نقسم على √d_k؟
حين تكون المتجهات عالية الأبعاد، يصبح بينها كبيراً جداً. هذه القيم الكبيرة تدفع softmax إلى منطقة يتركّز فيها كل الوزن تقريباً على كلمة واحدة (≈ 1) بينما تؤول البقية إلى صفر — وفي هذه المنطقة تتلاشى تقريباً، تماماً كمشكلة تلاشي التدرجات التي رأيناها مع LSTM. القسمة على √d_k تحافظ على الدرجات في النطاق الذي تستجيب فيه softmax بشكل سليم.
شاهد الانتباه أثناء العمل
في الأسفل خريطة حرارية تحاكي أوزان لجملة «الحيوان لم يعبر الشارع لأنه كان متعبًا.» جرّب التبديل بين الرؤوس — كل رأس يتعلم أنماط علاقات مختلفة. لاحظ كيف أن «ـه» ينتبه بقوة إلى «الحيوان»: المُحوِّل يحلّ مرجعية الضمير في خطوة واحدة، دون سلسلة تضيع فيها الإشارة.
العناصر المكمِّلة: الانتباه متعدد الرؤوس والترميز الموضعي
فكرتان أساسيتان تكمّلان البنية:
— بدلاً من إجراء عملية انتباه واحدة، نُجري 8 عمليات بالتوازي، كلٌّ منها بإسقاطات مُتعلَّمة مختلفة: رأس قد يتتبع العلاقات النحوية، وآخر يربط الضمائر بمراجعها، وثالث ينتبه للكلمات المتجاورة. تُجمَع الإجابات الثمانية وتُسقَط مرةً أخرى على البعد الأصلي. الفكرة أشبه بسؤال 8 أمناء مكتبة عن الموضوع ذاته — كلٌّ منهم يعود بكتب مختلفة، ومعاً يمنحونك صورة أكمل مما يقدّمه أي بحث منفرد.
الترميز الموضعي — آلية الانتباه بطبيعتها لا تفرّق بين المواضع، فـ«عضّ الكلبُ الرجلَ» و«عضّ الرجلُ الكلبَ» تبدوان متطابقتين لها. لحل هذه المشكلة يُضاف لكل توقيع موضعي يعتمد على دوال جيبية بترددات مختلفة، فيحصل كل موضع على بصمة فريدة يتعلم النموذج قراءتها.
تجميع القطع معاً
يُكدِّس المُحوِّل هذه المكونات في وحدة تتكرر 6 مرات. كل وحدة تتبع النمط ذاته: انتباه ذاتي متعدد الرؤوس ← جمع و ← ← جمع وتسوية. عملية «الجمع» هنا هي يُعيد إضافة المدخل الأصلي، مما يحافظ على تدفق التدرجات عبر الطبقات العميقة.
انقر على أي طبقة أدناه لترى وظيفتها:
الفكرة ذاتها في شيفرة برمجية
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
import numpy as np
def softmax(x):
e = np.exp(x - x.max(axis=-1, keepdims=True)) # softmax مستقر عددياً
return e / e.sum(axis=-1, keepdims=True)
def attention(Q, K, V):
"""Q, K, V: مصفوفات (عدد_الكلمات، d) — صف لكل كلمة."""
d_k = K.shape[-1]
scores = Q @ K.T / np.sqrt(d_k) # كل كلمة تقيّم كل كلمة: (n, n)
weights = softmax(scores) # كل صف مجموعه 1: "أين أنظر؟"
return weights @ V # كل كلمة = مزيج موزون من كل القيم
def multi_head_attention(X, W_q, W_k, W_v, W_o, n_heads=8):
"""شغّل n_heads عمليات بحث انتباهية بالتوازي واجمع النتائج."""
d = X.shape[-1]
head_dim = d // n_heads
heads = []
for h in range(n_heads):
Q = X @ W_q[h] # (n, head_dim)
K = X @ W_k[h]
V = X @ W_v[h]
heads.append(attention(Q, K, V))
return np.concatenate(heads, axis=-1) @ W_o # (n, d)
# في الانتباه الذاتي، Q وK وV ثلاثة إسقاطات خطية لتضمينات
# الكلمات ذاتها: X @ W_q و X @ W_k و X @ W_v. مصفوفات W مُتعلَّمة.
# هذا كل ما في الأمر. GPT وClaude وGemini تشغّل هذه الحلقة مليارات المرات.لماذا غيَّر كل شيء
2018
GPT-1
طبقات فك الترميز من المحوِّل، دُرِّبت مسبقاً على التنبؤ بالكلمة التالية ثم ضُبطت على مهام محددة. أثبتت أن التدريب المسبق غير المُوجَّه ينقل المعرفة بفعالية.
2018
BERT
طبقات الترميز من المحوِّل، دُرِّبت على تخمين الكلمات المحذوفة من السياق بالاتجاهين. تصدّرت جميع معايير معالجة اللغة وأرست نموذج «التدريب المسبق ثم الضبط الدقيق».
2020
GPT-3 — 175 مليار معامل
التوسّع في الحجم أطلق قدرات لم يبرمجها أحد — ترجمة وحساب وبرمجة. أظهر أن الحجم وحده يمكن أن يكون متغيّراً بحثياً مستقلاً.
2020
محوِّل الرؤية (ViT)
أثبت أن المحوِّلات تتعامل مع الصور أيضاً — رُقَع من البكسلات تُعامَل كرموز والانتباه الذاتي يحلّ محل الالتفاف. تحدّى عقدين من هيمنة الشبكات الالتفافية.
2021
AlphaFold 2
المحوِّلات حلّت مسألة طيّ البروتين — تحدٍّ علمي استمر خمسين عاماً — بدقة تضاهي الطرق التجريبية. أول إنجاز علمي كبير تقوده المحوِّلات.
2022
ChatGPT
المحوِّلات دخلت الاستخدام العام. الضبط بالتعليمات والتعلّم المعزّز من التغذية الراجعة البشرية حوّلا نموذج اللغة إلى منتج حواري استخدمه 100 مليون شخص خلال شهرين.
2023
Claude
ذكاء اصطناعي دستوري مبني على المحوِّلات — يُدرَّب وفق مجموعة مبادئ مكتوبة بدلاً من الاعتماد الكلي على التقييمات البشرية، سعياً لنماذج أكثر أماناً وأسهل في التوجيه.
2024
DeepSeek
محوِّلات مقترنة بأسلوب مزيج الخبراء — جزء صغير فقط من المعاملات يُفعَّل لكل رمز، فتنخفض تكلفة الحوسبة بشكل كبير مع الحفاظ على سعة النموذج.
2026
Qwen
نموذج يتفوق في مهام الهندسة البرمجية المكثفة والاستدلال متعدد الخطوات، يدفع حدود ما يمكن للوكلاء المبنيّين على المحوِّلات إنجازه ذاتياً.
GPT هو طبقات من المحوِّل، وBERT طبقات الترميز منه. ما تقرأه الآن هو ثمرة جهود باحثين لا يُحصون، كلٌّ منهم أضاف فكرة دفعت حدود المعرفة خطوةً إلى الأمام.
المرجعVaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, Polosukhin. Attention Is All You Need. NeurIPS, 2017.
مصطلحات هذه الورقة
- المحوِّلTransformer
- الانتباه الذاتيSelf-Attention
- الانتباه المتعدد المساراتMulti-Head Attention
- مصفوفة الطلب (الاستعلام)Query
- مصفوفة المفتاح (الاستدلال)Key
- مصفوفة القيمة (المحتوى)Value
- الترميز الموضعيPositional Encoding