نماذج اللغة2018متوسط9 دقيقة قراءة
تحسين فهم اللغة عبر التدريب المسبق التوليدي
Improving Language Understanding by Generative Pre-Training
Radford, A. · Narasimhan, K. · Salimans, T. · Sutskever, I. — OpenAI Technical Report
المشكلة
بحلول 2018 كانت أنظمة معالجة اللغات الطبيعية تُبنى من الصفر لكل مهمة: تحليل المشاعر يحتاج نموذجاً خاصاً، والإجابة عن الأسئلة تحتاج نموذجاً آخر، والاستدلال النصي يحتاج ثالثاً. المشكلة أن البيانات المُعنوَنة — التي يضع فيها بشر الإجابات الصحيحة يدوياً — شحيحة ومكلفة. في المقابل، النصوص غير المُعنوَنة متوفرة بكميات هائلة على الإنترنت، لكن لم يُثبت أحد طريقة عملية لتحويل تلك النصوص الخام إلى قدرة لغوية عامة قابلة للنقل عبر مهام مختلفة.
الإسهام
منهج شبه مُوجَّه من مرحلتين: أولاً، تدريب مسبق توليدي لمعمارية decoder مبنية على من 12 طبقة، على مجموعة BooksCorpus (نحو 7000 كتاب) بهدف التنبؤ بالرمز التالي. ثانياً، ضبط دقيق تمييزي لكل مهمة لاحقة بتعديل طفيف — مجرد طبقة خطية واحدة للمخرجات. تحويلات خاصة بالمدخلات تُعيد صياغة مهام التصنيف والاستدلال النصي والتشابه والإجابة عن الأسئلة في تنسيق تسلسلي موحّد. يُضاف هدف مساعد لنمذجة اللغة أثناء كمُنظِّم يعزّز . النتيجة: أفضل أداء على 9 من 12 معياراً.
الأثر
أثبت GPT-1 أن غير المُوجَّه ينتقل بفاعلية إلى مهام مُوجَّهة متنوعة. نموذج «دَرِّب أولاً ثم اضبط» هو الوصفة التي تُشغّل كل نموذج لغوي كبير حديث. أرسى GPT-1 معمارية decoder-only بوصفها الهيكل الأساسي للنماذج اللغوية، فتبعه GPT-2 وGPT-3 وGPT-4، وألهم BERT الذي عكس الاتجاه واستخدم encoder ثنائي الاتجاه. كل نموذج لغوي كبير تتعامل معه اليوم — Claude وGemini وLLaMA — ينحدر من هذه الوصفة.
تخيّل طالبة قضت سنوات تقرأ آلاف الروايات والمقالات دون أن تحضر حصة دراسية واحدة. خلال تلك القراءة الموسّعة، بَنَت دون وعي فهماً عميقاً للغة: قواعد النحو، والدلالات، وأنماط الاستدلال، بل وحقائق عن العالم. حين جلست أخيراً لامتحان في تحليل المشاعر أو الاستدلال النصي، احتاجت دقائق مراجعة فقط لتتفوّق — لأن القراءة أنجزت العمل الحقيقي.
GPT-1 هو تلك الطالبة. المرحلة الأولى — — هي القراءة: النموذج يتدرّب على التنبؤ بالكلمة التالية ملايين المرات عبر آلاف الكتب. المرحلة الثانية — الضبط الدقيق — هي المراجعة السريعة: يرى حفنة من الأمثلة المُعنوَنة فيتعلّم التصنيف أو الإجابة عن الأسئلة. القراءة بنت الفهم، أما التحضير للامتحان فشبه بديهي.
المشكلة: البيانات المُعنوَنة شحيحة والمهام كثيرة
قبل GPT-1 كان بناء أي نظام لمعالجة اللغات الطبيعية يشبه بناء مصنع جديد لكل منتج: اجمع بيانات مُعنوَنة لمهمتك، صمّم بنية شبكة مخصصة، ودرّب الأوزان من الصفر. تحليل المشاعر؟ نموذج مخصص. الإجابة عن الأسئلة؟ نموذج آخر. الاستدلال النصي؟ ثالث.
هذا المنهج عانى من ثلاث نقاط ضعف جوهرية:
- الجوع للبيانات المُعنوَنة. تعنون آلاف الأمثلة لكل مهمة جديدة عملية بطيئة ومكلفة — وهذا يجعل التوسّع شبه مستحيل.
- انعدام . كل نموذج يبدأ من أوزان عشوائية، عاجز عن إعادة استخدام أي معرفة لغوية اكتسبها نموذج آخر.
- تشتّت المعماريات. كل مهمة تتطلب هندسة مخصصة — من آلية إلى طبقة المخرجات — مما يُضاعف الجهد ويُبطئ البحث.
في المقابل، كان الإنترنت يفيض بنصوص غير مُعنوَنة — كتب ومقالات وصفحات ويب — تحتوي ضمنياً على قواعد اللغة وحقائق العالم وأنماط الاستدلال. لكن لم يكن أحد يعرف كيف يُحوّل تلك النصوص الخام إلى نموذج واحد ينقل معرفته لأي مهمة. السؤال كان: كيف نُقطّر كل هذا النص في نموذج يفهم اللغة فعلاً؟
الفكرة: تدريب مسبق توليدي ثم ضبط دقيق تمييزي
وصفة GPT-1 مكوّنة من مرحلتين، وقوّتها في بساطتها.
المرحلة الأولى — التدريب المسبق بدون إشراف. نأخذ مجموعة نصية كبيرة — هنا BooksCorpus التي تضم نحو 7000 كتاب كامل وليست مقتطفات، مما يتيح تعلُّم التبعيات بعيدة المدى — وندرّب مبنياً على المُحوِّل على هدف بسيط لكنه عميق الأثر: التنبؤ بالكلمة التالية بناءً على ما سبقها. هذا هو هدف — «ما الكلمة التالية؟». لإتقان هذا الهدف، يضطر النموذج لتعلُّم قواعد اللغة والدلالات وأنماط الاستدلال وحقائق عن العالم. استخدام المُحوِّل هنا بدلاً من يلتقط التبعيات بعيدة المدى بكفاءة أعلى، لأن يربط أي كلمتين مباشرة بدلاً من تمرير المعلومات عبر سلسلة خطوات تتلاشى فيها تدريجياً.
المرحلة الثانية — الضبط الدقيق المُوجَّه. نأخذ النموذج المُدرَّب مسبقاً ونضيف فوقه طبقة خطية واحدة فقط، ثم ندرّبه على بيانات مُعنوَنة لمهمة محددة. الأوزان المُدرَّبة مسبقاً تمنحه بداية هائلة — النموذج يفهم اللغة أصلاً فيحتاج فقط لربط ذلك الفهم بالمهمة المطلوبة. ثلاث تكفي عادةً، مقارنة بمئات الحقب حين نبدأ من الصفر.
يُضيف المؤلفون أيضاً نمذجة اللغة كهدف مساعد أثناء الضبط الدقيق. هذا الهدف يعمل كـ يمنع — أي يحول دون نسيان ما تعلّمه النموذج خلال القراءة الموسّعة حين يركّز على مهمة محددة — ويُحسّن التعميم خاصة مع مجموعات البيانات الأكبر.
بعد أن فهمنا الفكرة وراء كل مرحلة، لنرَ الصياغة الرياضية. هدف المرحلة الأولى واضح: نريد أن يصبح النموذج قارئاً ماهراً يستطيع التنبؤ بما يأتي بعد أي بداية جملة. رياضياً، نحقق ذلك بتعظيم — أي رفع احتمال ظهور كل بناءً على الرموز k السابقة:
في مرحلة الضبط الدقيق، يواجه النموذج مهمة محددة كالتصنيف. لكن لو دُرِّب على هدف المهمة وحده، قد يقع في على البيانات المُعنوَنة القليلة وينسى المعرفة العريضة التي اكتسبها. الحل: دمج هدفين في دالة واحدة:
البنية: محوِّل يعمل بفاكّ الترميز فقط
يأخذ GPT-1 من ورقة المُحوِّل الأصلية جزء فاكّ الترميز فقط، ويُزيل طبقة (لعدم وجود منفصل). ما يتبقى هو رصّة من طبقات الانتباه الذاتي المحجوبة بـ — كل رمز لا يرى إلا ما سبقه ولا ينظر أبداً للمستقبل. لماذا؟ لأن الهدف هو التنبؤ بالكلمة التالية، فلو رأى النموذج المستقبل لنسخ الإجابة بدلاً من تعلُّم الأنماط.
تخيّل البنية كبرج من 12 طابقاً، كل طابق يحتوي ثلاثة مكونات:
- مع قناع سببي: 12 رأس انتباه تعمل بالتوازي، كل رأس يعالج 64 بُعداً (12 × 64 = 768). هذا يتيح للنموذج رصد أنماط نحوية ودلالية متنوعة في آنٍ واحد — رأسٌ قد يتعلّم توافق الفاعل والفعل، وآخر يربط الضمائر بمراجعها.
- : توسّع التمثيل من 768 إلى 3072 بُعداً (4 أضعاف) ثم تضغطه مجدداً. هذا «التنفس» البُعدي يمنح الشبكة مساحة لمعالجة معلومات أغنى. دالة التنشيط بدلاً من ، لأنها تمنح تدرّجات أنعم.
- و**** حول كل مكوّن فرعي — نفس الآلية المُثبتة في ResNet لمنع تلاشي التدرّجات عبر الطبقات العميقة.
في قاعدة البرج طبقتا : الأولى عبر مُجزئ بنحو 40,000 رمز في المفردات. الثانية مُتعلَّم — وليس جيبياً كالمحوِّل الأصلي — يمنح النموذج إدراكاً لترتيب الكلمات. نافذة السياق: 512 رمزاً.
الحجم الإجمالي: نحو 117 مليون مُعامَل. ملاحظة مهمة: هذا مطابق تماماً لحجم BERT-Base (12 طبقة، 768 بُعداً، 12 رأساً). الفرق الوحيد: GPT-1 يستخدم قناعاً سببياً يحجب المستقبل، بينما BERT يزيل القناع ويرى السياق من الاتجاهين. هذا التطابق في الحجم يجعل المقارنة بينهما اختباراً نظيفاً لاتجاه المعالجة لا لحجم النموذج.
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
import numpy as np
def gpt1_forward(tokens, W_emb, W_pos, blocks, W_out):
"""
tokens: قائمة معرّفات الرموز، بحد أقصى 512 رمزاً
W_emb: مصفوفة تضمين الرموز (حجم المفردات × 768)
W_pos: مصفوفة التضمين الموضعي المُتعلَّم (512 × 768)
blocks: رصّة من 12 كتلة decoder مبنية على المحوِّل
W_out: مصفوفة إسقاط المخرجات (768 × حجم المفردات)
"""
seq_len = len(tokens)
# الخطوة 1: نجمع تضمين الرمز مع التضمين الموضعي
# هذا يمنح النموذج معرفة بهوية الكلمة وموقعها في التسلسل
h = W_emb[tokens] + W_pos[:seq_len] # (seq_len, 768)
# الخطوة 2: نمرّر عبر 12 كتلة انتباه ذاتي مقنّعة بقناع سببي
# كل رمز يرى فقط ما قبله — هذا ما يفرضه النموذج اللغوي السببي
for block in blocks:
h = block(h) # الرمز i يرى الرموز 0..i فقط
# الخطوة 3: نُسقط الحالة المخفية على المفردات
# للحصول على اللوجيتات (القيم الخام قبل softmax) للتنبؤ بالرمز التالي
logits = h @ W_out.T # (seq_len, المفردات)
return logits
# أثناء الضبط الدقيق نأخذ h[-1] — الحالة المخفية للرمز الأخير —
# ونمرّرها لطبقة خطية واحدة خاصة بالمهمة:
# y = softmax(h[-1] @ W_task)
# هذا كل شيء. طبقة واحدة جديدة. كل الأوزان الأخرى جاءت من التدريب المسبق.
صبّ جميع المهام في قالب تسلسلي واحد
من أذكى ابتكارات GPT-1 طريقة تكيّفه مع مهام مختلفة بدون تغيير المعمارية. تخيّل صندوق بريد واحد يقبل رسائل بأشكال مختلفة: بدلاً من بناء صندوق جديد لكل نوع رسالة، نُعيد طيّ الرسالة لتناسب الفتحة الموجودة. المؤلفون يفعلون ذلك بتحويل كل مهمة إلى تسلسل نصي واحد برموز فاصلة خاصة:
- التصنيف:
[Start] نص [Extract]— للرمز الأخير [Extract] تُمرَّر عبر طبقة خطية لإنتاج التنبؤ. مثلاً: هل هذا التقييم إيجابي أم سلبي؟ - الاستدلال النصي:
[Start] مقدّمة [Delim] فرضية [Extract]— النموذج يرى الجملتين معاً ويتعلّم العلاقة بينهما: هل الثانية تنتج عن الأولى، تناقضها، أم لا علاقة بينهما؟ - التشابه: تُمرَّر الجملتان بالترتيبين (أ∥ب وب∥أ) — لأن التشابه خاصية متماثلة — ثم تُجمع التمثيلات عنصرياً قبل التصنيف.
- الاختيار المتعدد / الإجابة عن الأسئلة: كل خيار يُدمج مع السياق في تسلسل مستقل ويُحسب له تمثيل، ثم تُطبَّق عبر الخيارات لاختيار الأعلى درجة.
هذا التنسيق التسلسلي للمدخلات هو الجدّ المباشر لـ التي ستُعرّف لاحقاً GPT-3 والنماذج اللغوية الكبيرة الحديثة. الرؤية العميقة هنا: لا تحتاج معمارية جديدة لكل مهمة — تحتاج فقط أن تصوغ المهمة كنص.
ما الذي يُنقل — ولماذا تهمّ الطبقات
من أكثر تجارب الورقة إثارة تجربة النقل الجزئي: ماذا يحدث حين ننقل أول n طبقة فقط من النموذج المُدرَّب مسبقاً ونترك الباقي بأوزان عشوائية؟
النتيجة لافتة: كل طبقة إضافية مُنقولة تُحسّن الأداء بنحو 9% على معيار MultiNLI. تخيّل البنية كبناء من طوابق — كل طابق يبني فهماً أعمق فوق الذي تحته:
- الطبقات السفلية تتعلّم البنية النحوية والأنماط المحلية — كالتعرف على الأفعال والفاعلين والتراكيب الأساسية.
- الطبقات الوسطى تتعلّم الدلالات والعلاقات بين أجزاء الجملة — كفهم أن «العين» في سياق «عين الماء» ليست عضو جسم بل مصدر ماء.
- الطبقات العليا تتعلّم الاستدلال المجرد والتمثيلات المناسبة للمهام اللاحقة — كفهم العلاقات الضمنية بين الجمل والتمييز بين الحقائق والآراء.
التخلي عن الطبقات العليا يعني فقدان التمثيلات الأكثر تجريداً — والأكثر قابلية للنقل. هذا اكتشاف عميق: التدريب المسبق لا يحفظ إحصاءات سطحية عن الكلمات، بل يبني تدريجياً فهماً لغوياً حقيقياً عبر طبقات متصاعدة من التجريد.
والأكثر إثارة: أظهرت الورقة أنه حتى بدون أي ضبط دقيق — أي في وضع — يؤدي النموذج المُدرَّب مسبقاً أداءً معقولاً في بعض المهام. ومع تقدّم التدريب المسبق يتحسّن هذا الأداء بثبات — دليل على أن هدف التنبؤ بالكلمة التالية يُكسب الشبكة معرفة لغوية حقيقية قابلة للنقل، وليس مجرد إحصاءات سطحية.
النتائج: تفوّق على 9 من أصل 12 معياراً
حقق GPT-1 أفضل النتائج على 9 من أصل 12 مهمة مدروسة. التحسينات الأبرز ظهرت في المهام التي تحتاج فهماً عميقاً واستدلالاً بعيد المدى — وهذا منطقي لأن المُحوِّل يتفوّق تحديداً في التقاط التبعيات البعيدة عبر الانتباه الذاتي:
- تحسين مطلق 8.9% على Stories Cloze للاستدلال بالمعرفة العامة
- تحسين 5.7% على RACE لفهم القراءة متعدد الخيارات
- تحسين 1.5% على MultiNLI للاستدلال النصي
- تحسين 5.5% على SciTail للاستدلال النصي العلمي
لكن الأهم من الأرقام هي — التجارب التي نزيل فيها مكوّناً واحداً في كل مرة لنكشف أيها الأكثر أهمية:
- إزالة التدريب المسبق بالكامل تُسقط الأداء بنسبة 14.8% — العامل الأكبر على الإطلاق. المعنى: التعلُّم غير المُوجَّه من النصوص الخام هو المحرك الحقيقي، وليس المعمارية أو الخوارزمية.
- استبدال المُحوِّل بـLSTM يُسقط الأداء بنسبة 5.6% في المتوسط — مما يؤكد أن اختيار المعمارية مهم أيضاً، لأن الانتباه الذاتي يلتقط التبعيات البعيدة بكفاءة أعلى من السلاسل التكرارية.
- إزالة الهدف المساعد لنمذجة اللغة يضرّ بمجموعات البيانات الأكبر لكنه يساعد الأصغر — لأن البيانات القليلة قد تعاني من فرط التخصيص حين تتنافس إشارتان على ضبط أوزان محدودة.
لمحة عن التقييم الصفري: قدرات ناشئة قبل أن تُسمّى
ربما الاكتشاف الأكثر استشرافاً في الورقة: أظهر GPT-1 أن النموذج المُدرَّب مسبقاً يستطيع أداء بعض المهام بمستوى معقول بدون أي ضبط دقيق — أي في وضع التقييم الصفري.
تأمّل ما يعنيه هذا: مجرد التنبؤ بالرمز التالي — هدف بسيط ظاهرياً — يُكسب النموذج ضمنياً قدرات على التصنيف والاستدلال وقياس التشابه دون أن يرى مثالاً مُعنوَناً واحداً. تتبّع المؤلفون أداء التقييم الصفري عبر مراحل التدريب المسبق ووجدوا أنه يتحسّن بثبات مع كل حقبة تدريبية — دليل على أن توليد النصوص يُعلّم الشبكة معرفة لغوية حقيقية قابلة لـنقل التعلُّم، وليس مجرد إحصاءات سطحية عن تكرار الكلمات.
هذه الإشارة الخافتة ستتضخم في الأجيال اللاحقة: GPT-2 سيُسمّيها «التعلُّم المتعدد المهام بدون إشراف»، وGPT-3 سيُحوّلها إلى و عبر . ما نراه هنا في GPT-1 هو البذرة الأولى لثورة هندسة المُحفِّزات — وبذرة مفهوم الذي سيُفاجئ الباحثين مع توسُّع النماذج.
سلسلة النسب: من GPT-1 إلى العصر الحديث
2018
GPT-1 — 117 مليون مُعامَل
أثبت أن <Term en="Pretraining">التدريب المسبق</Term> غير المُوجَّه ينتقل بفاعلية إلى المهام اللاحقة. رصّة <Term en="Decoder">فاكّ ترميز</Term> من 12 طبقة مُدرَّبة على BooksCorpus. تفوّق على 9 من 12 معياراً.
2018
BERT — 110 / 340 مليون مُعامَل
قلب الفكرة: حوّل <Term en="Decoder">فاكّ الترميز</Term> إلى <Term en="Encoder">مُرمِّز</Term> مع <Term en="Masked Language Modeling (MLM)">نمذجة لغوية مُقنَّعة</Term> ثنائية الاتجاه. النموذج المنهجي ذاته — تدريب مسبق ثم ضبط دقيق — لكن بسياق شامل بدلاً من <Term en="Causal Mask">القناع السببي</Term>. هيمن على معايير فهم اللغة.
2019
GPT-2 — 1.5 مليار مُعامَل
وسّع GPT-1 عشر مرات ودُرّب على WebText. أظهر أداءً صفرياً بلا أي <Term en="Fine-Tuning">ضبط دقيق</Term> — فأعلنت ورقته أن النماذج اللغوية متعلمات متعددة المهام بدون إشراف.
2020
GPT-3 — 175 مليار مُعامَل
توسيع إضافي 100 ضعف. ظهر <Term en="In-Context Learning">التعلُّم في السياق</Term> كقدرة ناشئة: صِف المهمة في <Term en="Prompt">المُحفِّز</Term> ببضعة أمثلة وGPT-3 يحلّها بدون ضبط دقيق على الإطلاق.
2022
InstructGPT و ChatGPT
أُضيف <Term en="Instruction Tuning">الضبط بالتعليمات</Term> و<Term en="Reinforcement Learning from Human Feedback">التعلُّم المعزَّز من التقييم البشري</Term> إلى GPT-3.5. حوّل النموذج اللغوي إلى مساعد حواري يستخدمه مئات الملايين.
2023
GPT-4 — متعدد الوسائط
وسّع وصفة <Term en="Decoder-Only">فاكّ الترميز فقط</Term> لتشمل الصور والنصوص معاً. المعمارية التي ابتكرها GPT-1 صارت تعالج الصور والشفرة البرمجية واللغة في نموذج واحد.
إسهام GPT-1 الأعمق لم يكن رقماً على لوحة المتصدرين — بل كان وصفة صمدت أمام الزمن: خذ فاكّ ترميز مبنياً على المُحوِّل، أطعمه كميات هائلة من النصوص، ثم اضبطه دقيقاً. تلك الوصفة التي لم يتغيّر جوهرها هي ما يُشغّل كل تتعامل معه اليوم. GPT-1 هو النقطة التي انبثق منها التعلُّم العميق اللغوي الحديث بأسره — من التوليد إلى الاستدلال إلى الرؤية الحاسوبية. الوصفة بسيطة، لكن أثرها غيّر مسار الذكاء الاصطناعي.
المرجعRadford, Narasimhan, Salimans, Sutskever. Improving Language Understanding by Generative Pre-Training. OpenAI Technical Report, 2018.
مصطلحات هذه الورقة
- التدريب المسبق التوليديGenerative Pre-Training
- الضبط الدقيق التمييزيDiscriminative Fine-Tuning
- تحويل المدخلات الخاص بالمهمةTask-Specific Input Transformation
- وحدة تفكيك ترميز فقطDecoder-Only
- مدوّنة الكتب (BooksCorpus)BooksCorpus