السَّمْت

نماذج اللغة2019متوسط12 دقيقة قراءة

استكشاف حدود نقل التعلُّم باستخدام محوِّل موحَّد يعمل بصيغة نصّ إلى نصّ

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

Raffel, C. · Shazeer, N. · Roberts, A. · Lee, K. · Narang, S. · Matena, M. · Zhou, Y. · Li, W. · Liu, P. J. — JMLR

المشكلة

بحلول عام 2019، استقر المجتمع البحثي على وصفة واحدة: درِّب النموذج أولاً على كمية كبيرة من النصوص غير المُعنونة، ثم اضبطه على مهمتك المحددة. لكن المشكلة أن كل فريق كان يطبّق هذه الوصفة بطريقة مختلفة تماماً: BERT اعتمد على مُرمِّز مُقنَّع، وGPT اعتمد على مُفكِّك ترميز سببي، وغيرهم خلطوا بين بنيات وأهداف ومجموعات بيانات مختلفة دون ضوابط موحَّدة. لم يُجرِ أحد تجربة منهجية تعزل أثر كل عامل على حدة، فلم يكن واضحاً هل التحسينات مصدرها البنية الأفضل أم هدف أم حجم البيانات أم مجرد زيادة في موارد الحوسبة.

الإسهام

يُقدِّم T5 إطاراً موحَّداً يُحوِّل كل مهمة لغوية — ترجمة وتلخيصاً وتصنيفاً وإجابة عن أسئلة — إلى صيغة «». الفكرة بسيطة: يستقبل النموذج نصاً مسبوقاً بوصف قصير للمهمة المطلوبة، ويُنتج نصاً كمُخرَج. هذا التوحيد أتاح للمؤلفين إجراء دراسة منهجية واسعة قارنوا فيها البنيات (مُرمِّز-فاكّ ترميز مقابل مُفكِّك ترميز فقط مقابل مُرمِّز فقط)، وأهداف التدريب المسبق (نموذج لغوي مقابل أسلوب BERT مقابل تشويه النطاقات)، ومجموعات البيانات (C4 وهي مدوَّنة ضخمة بحجم 750 جيجابايت مُستخلصة من Common Crawl بعد تنظيف مكثف)، واستراتيجيات والتوسعة — وكل ذلك بشروط تجريبية موحَّدة. الوصفة الفائزة: محوِّل بمعمارية مُرمِّز-فاكّ ترميز يُدرَّب مسبقاً على C4، ويُوسَّع حتى 11 مليار معامل، محققاً أفضل النتائج على معايير GLUE وSuperGLUE وSQuAD وترجمة WMT.

الأثر

تحوَّل T5 إلى المرجع الأساسي لنموذج «نصّ إلى نصّ». دراسته المنهجية حسمت عدة نقاشات محورية في المجال: بنية -فاكّ الترميز تتفوق في التوليد، وتشويه النطاقات يتغلب على نمذجة اللغة المُقنَّعة، وجودة البيانات أهم من كميتها. كذلك صارت مدوَّنة C4 مجموعة بيانات معيارية يعتمد عليها المجتمع البحثي. ومن رحم إطار T5 وُلدت عائلة كاملة من النماذج: FLAN للضبط بالتعليمات، وSwitch Transformer لمزيج الخبراء بتريليون معامل، وPrompt Tuning للتكيُّف بمعاملات قليلة، وFiD للتوليد المعزَّز بالاسترجاع، وImagen لتوليد الصور من النصوص، وChronos للتنبؤ بالسلاسل الزمنية — كلها مبنية على العمود الفقري لـ T5.

تخيَّل أن معالجة اللغة قبل T5 كانت أشبه بمستشفى كل قسم فيه يعمل بنظام مختلف تماماً: قسم يستخدم مربعات اختيار، وقسم يعتمد على قواميس ثنائية اللغة، وقسم يستعمل أقلام تظليل. كل قسم بأدواته واستماراته وبرامج تدريبه المنفصلة.

T5 هو اللحظة التي قرر فيها المستشفى الانتقال إلى نظام سجلات طبية موحَّد: كل الأقسام تملأ الاستمارة نفسها — نصّ يدخل ونصّ يخرج — وطبيب واحد (النموذج) يتنقل بين جميع الأقسام. السرّ ليس في مهارة الطبيب، بل في الاستمارة الموحَّدة التي تُمكِّن طبيباً واحداً من خدمة كل الأجنحة.

المشكلة: مشهد مُشتَّت وتجارب لا يمكن مقارنتها

بحلول أواخر 2019 صارت وصفة — تدريب مسبق ثم ضبط دقيق — هي المعيار السائد. لكن كل فريق بحثي كان يطبّقها بطريقته الخاصة:

  • BERT استخدم مُرمِّزاً مُقنَّعاً بـ 340 مليون مُدرَّباً على BooksCorpus وويكيبيديا.
  • GPT-2 استخدم سببياً بـ 1.5 مليار معامل مُدرَّباً على WebText.
  • XLNet غيَّر ترتيب الرموز عشوائياً، بينما RoBERTa اكتفت بتدريب BERT لفترة أطول وبيانات أكثر.
  • ALBERT تشارك المعاملات بين الطبقات لتقليل الحجم، وERNIE أضاف معرفة بالكيانات أثناء التدريب.

المشكلة أن كل ورقة بحثية كانت تُغيِّر عدة عوامل دفعة واحدة — البنية والهدف والبيانات والحجم — فلم يكن ممكناً معرفة أيّ تغيير هو المسؤول فعلاً عن التحسُّن. المجال كان يتقدم بسرعة، لكن بلا بوصلة: عشرات الوصفات المختلفة ولا تجربة مضبوطة واحدة تُقارن بينها.

افتح في المختبر
كل بطاقة تُمثِّل نهجاً مختلفاً من الفترة السابقة لعام 2019. لاحظ كيف يُغيِّر كلٌّ منها عدة متغيرات في الوقت نفسه، مما يجعل أي مقارنة عادلة مستحيلة.
تستيقظ التجربة عند وصولك…

الفكرة المحورية: كل مهمة هي نصّ إلى نصّ

فكرة T5 الأساسية بسيطة لكنها مؤثرة جداً: حوِّل كل مهمة لغوية إلى عملية توليد نصّ من نصّ. النموذج يستقبل سلسلة نصية ويُنتج سلسلة نصية. الفرق الوحيد بين مهمة وأخرى هو بادئة قصيرة في بداية المُدخل تُحدِّد للنموذج المطلوب منه:

  • الترجمة: "translate English to German: That is good" → "Das ist gut"
  • التلخيص: "summarize: The article discusses..." → "Scientists found..."
  • التصنيف: "sst2 sentence: This movie is great" → "positive"
  • : "question: When did... context: The event..." → "1969"

حتى نتائج التصنيف تخرج كنصوص — كلمة "positive" أو "negative" — وليس كأرقام فئات. معنى ذلك أن النموذج نفسه و نفسها وفاكّ الترميز نفسه وحلقة التدريب نفسها تتعامل مع كل المهام. لا يوجد شيء خاص بأي مهمة سوى البادئة.

افتح في المختبر
اختر مهمة لترى كيف يُعيد T5 صياغتها بصيغة «نصّ يدخل ونصّ يخرج».
تستيقظ التجربة عند وصولك…

البنية: تفوُّق المُرمِّز-فاكّ الترميز

يستخدم T5 معمارية الأصلية من ، مُتَّبعاً التصميم الوارد في ورقة Attention Is All You Need مع عدة تحسينات عملية:

  • بدلاً من الجيبي — كل رأس يتعلَّم جدولاً صغيراً من قيم الانحياز بحسب المسافة بين موضعَي و. الفائدة أن النموذج يستطيع التعامل مع تسلسلات أطول مما شاهده أثناء التدريب.
  • التسوية قبل المعالجة بدلاً من بعدها: تُطبَّق قبل كل طبقة فرعية (سواء انتباه أو ) وليس بعدها. هذا يُحسِّن استقرار التدريب عند التوسُّع.
  • إلغاء حدود الانحياز في الطبقات الكثيفة، مع تبسيط تسوية الطبقات بإزالة الإزاحة الجمعية.

المُرمِّز يعالج النصّ المُدخل ويبني تمثيلاً يراعي السياق الكامل. فاكّ الترميز يقرأ مُخرجات المُرمِّز عبر ثم يُولِّد واحداً تلو الآخر. هذا الفصل جوهري: المُرمِّز يرى كل رموز المُدخل في الاتجاهين دون أي حجب، بينما فاكّ الترميز لا يرى إلا الرموز التي سبق توليدها (حجب سببي).

افتح في المختبر
انقر على أي طبقة لتفهم وظيفتها. لاحظ طبقة الانتباه التبادلي التي تربط المُرمِّز بفاكّ الترميز.
تستيقظ التجربة عند وصولك…

من أبرز نتائج الورقة: المؤلفون وضعوا ثلاث بنيات في مواجهة مباشرة — مُرمِّز-فاكّ ترميز، وفاكّ ترميز فقط (على غرار GPT)، ونموذج لغوي بادئي (فاكّ ترميز مع انتباه ثنائي الاتجاه على المُدخل). كل بنية تملك العدد نفسه تقريباً من المعاملات والعمليات الحسابية. النتيجة: بنية المُرمِّز-فاكّ الترميز تفوَّقت باستمرار على البديلين، وبخاصة في المهام التوليدية. السبب واضح: المُرمِّز يستطيع النظر إلى كامل المُدخل في الاتجاهين فيفهمه بعمق، بينما فاكّ الترميز يتفرَّغ لعملية التوليد — وهذا تقسيم أدوار لا تستطيع بنية فاكّ الترميز وحده محاكاته.

افتح في المختبر
قارن بين البنيات الثلاث. لاحظ كيف تفصل بنية المُرمِّز-فاكّ الترميز بين الفهم (ثنائي الاتجاه) والتوليد (السببي).
تستيقظ التجربة عند وصولك…

هدف التدريب المسبق: تشويه النطاقات يتغلَّب على التقنيع

بدلاً من تقنيع رموز منفردة كما يفعل BERT، يستخدم T5 أسلوباً أذكى يُسمَّى تشويه النطاقات: يختار بشكل عشوائي مجموعات متصلة من الرموز ويحذفها من النصّ، ويضع مكان كل مجموعة فريداً (مثل <extra_id_0> و<extra_id_1> ...)، ثم يُطلب من النموذج إعادة بناء الأجزاء المحذوفة فقط.

الفكرة أشبه بـمستند مُعتَّم: تخيَّل أنك تُسوِّد بعض العبارات من فقرة ثم تطلب من شخص أن يملأ الفراغات فقط — دون إعادة كتابة الفقرة كاملة. المُدخل هو المستند بأشرطته السوداء، والمُخرَج المطلوب هو العبارات الناقصة فقط، مُرفَقاً بكل منها الرمز الحارس الذي يُحدِّد موقعها الأصلي.

لماذا هذا الأسلوب أفضل من تقنيع BERT؟ لسببين. أولاً: حذف نطاقات كاملة بدل رموز منفردة يُنتج تنبؤات أصعب وأغنى — تخمين عبارة من ثلاث كلمات يحتاج فهماً أعمق للسياق مقارنة بتخمين كلمة واحدة. ثانياً: التسلسل المستهدف يصير أقصر بكثير من المُدخل — نحو 15% فقط من الطول الأصلي — وهذا يعني تدريباً أسرع لأن فاكّ الترميز الانحداري المُكلِف يعالج رموزاً أقل في كل مثال.

افتح في المختبر
اضغط «شوِّه» لترى كيف يحذف T5 النطاقات ويبني الهدف التدريبي.
تستيقظ التجربة عند وصولك…
Input: x1  ⟨s1⟩  x4  x5  ⟨s2⟩  x8Target: ⟨s1⟩  x2  x3  ⟨s2⟩  x6  x7\text{Input: } x_1 \; \langle s_1 \rangle \; x_4 \; x_5 \; \langle s_2 \rangle \; x_8 \qquad \text{Target: } \langle s_1 \rangle \; x_2 \; x_3 \; \langle s_2 \rangle \; x_6 \; x_7
تشويه النطاقات — الرموز الحارسة تُحدِّد مواضع النطاقات المحذوفة — الرموز الأصلية x₂ وx₃ وx₆ وx₇ تُحذف من النصّ وتُوضع مكانها رموز حارسة ⟨s₁⟩ و⟨s₂⟩. المُخرَج المستهدف يحتوي فقط على الرموز المحذوفة مسبوقة برمزها الحارس. بهذا يتعلم النموذج إعادة بناء ما ينقص، لا تكرار المُدخل بالكامل.

البيانات: C4 — تنظيف الإنترنت على نطاق ضخم

قدَّمت الورقة مجموعة بيانات جديدة سمَّتها (C4) — مجموعة بيانات إنجليزية بحجم 750 جيجابايت تضم نحو 800 مليار رمز مُستخرَجة من Common Crawl. عمليات التنظيف كانت مكثفة: إزالة المحتوى المُكرَّر، واستبعاد الصفحات غير الإنجليزية، وحذف النصوص القصيرة أو النمطية، وإزالة المحتوى المسيء، وإسقاط أي صفحة تحتوي على عدد قليل جداً من الجمل.

أثبتت الدراسة المنهجية أن جودة البيانات أهم من حجمها. فالتدريب على مجموعة بيانات أصغر حجماً لكن أنظف تفوَّق باستمرار على التدريب بمجموعة أكبر لكنها مليئة بالضوضاء. وسرعان ما تحوَّلت C4 إلى مجموعة بيانات معيارية في المجال — اعتمد عليها كثير من النماذج اللاحقة في التدريب المسبق.

الدراسة المنهجية: تجربة مضبوطة تغطي كل شيء

جوهر ورقة T5 ليس نموذجاً بعينه — بل هو المقارنة المنهجية الشاملة لكل قرار تصميمي رئيسي في نقل التعلُّم. المؤلفون ثبَّتوا جميع المتغيرات ما عدا المتغير قيد الدراسة، باستخدام ميزانية الحوسبة نفسها والبيانات نفسها وأسلوب التقييم نفسه. وهذه أبرز النتائج:

البنية: مُرمِّز-فاكّ ترميز أفضل من فاكّ ترميز فقط ومن النموذج اللغوي البادئي، وبخاصة في مهام التوليد. هدف التدريب المسبق: تشويه النطاقات أفضل من تقنيع أسلوب BERT وأفضل من النمذجة اللغوية. تشويه النطاقات كان الأكفأ حوسبياً لأن التسلسل المستهدف قصير. نسبة التشويه: تشويه 15% من الرموز يُعطي أفضل النتائج (وهي النسبة ذاتها التي استخدمها BERT). طول النطاق: متوسط 3 رموز لكل نطاق تفوَّق على تقنيع الرموز المنفردة. البيانات غير المُعنونة: C4 (ويب مُنظَّف) أفضل من ويب خام وأفضل من بيانات تخصصية (ويكيبيديا وحدها). استراتيجية التدريب: التدريب المسبق متعدد المهام ثم ضبط دقيق فردي يتأخر قليلاً عن الضبط الدقيق على مهمة واحدة، لكنه يُوفِّر نقطة انطلاق واحدة لجميع المهام. التوسعة: النماذج الأكبر تتفوق باستمرار، وصولاً إلى 11 مليار معامل (T5-XXL) التي حققت أعلى النتائج. تجميع عدة نماذج معاً يُحسِّن الأداء أكثر.

افتح في المختبر
بدِّل كل متغير لترى أيّ الخيارات وجدتها دراسة T5 الأفضل.
تستيقظ التجربة عند وصولك…

التوسعة: من 60 مليون إلى 11 مليار معامل

درَّب المؤلفون خمسة أحجام من النموذج لدراسة أثر التوسعة على الأداء:

  • T5-Small: 60 مليون معامل — نموذج خفيف للتجريب السريع.
  • T5-Base: 220 مليون معامل — بحجم مُقارب لـ BERT-Base.
  • T5-Large: 770 مليون معامل — نقطة التوازن المثلى لكثير من المهام.
  • T5-3B: 3 مليارات معامل — أداء قوي ومتَّسق عبر جميع المعايير.
  • T5-11B (XXL): 11 مليار معامل — الأعلى أداءً في وقته.

الاتجاه كان واضحاً: كل زيادة في حجم النموذج أدت إلى تحسُّن في الأداء على كل المعايير المرجعية بلا استثناء. لكن الورقة لاحظت أيضاً أن العوائد تتناقص: مضاعفة المعاملات من 3 مليارات إلى 11 ملياراً أعطت مكاسب أصغر من المضاعفة من 220 مليون إلى 770 مليون. هذه الملاحظة مهَّدت الطريق لـ التي طوَّرتها لاحقاً أعمال مثل Chinchilla، والتي أظهرت أن معظم النماذج الكبيرة لم تحصل على تدريب كافٍ بالنسبة لحجمها.

افتح في المختبر
قارن بين أحجام T5 المختلفة عبر المعايير المرجعية. لاحظ أن المكاسب متَّسقة لكنها تتناقص مع التوسُّع.
تستيقظ التجربة عند وصولك…

الفكرة في الكود

تشويه النطاقات في T5 — مراحل إعداد بيانات التدريب المسبقpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def span_corruption(tokens, corruption_rate=0.15, mean_span_length=3):
    """تشويه النطاقات في T5: احذف نطاقات عشوائية واستبدلها برموز حارسة.

    يُعيد (input_ids, target_ids) بصيغة نصّ إلى نصّ.
    """
    n = len(tokens)
    n_corrupt = max(1, int(n * corruption_rate))

    # حدِّد عشوائياً الرموز التي ستنتمي لنطاقات مشوَّهة
    mask = np.zeros(n, dtype=bool)
    i = 0
    while mask.sum() < n_corrupt and i < n:
        if np.random.random() < corruption_rate:
            span_len = max(1, np.random.poisson(mean_span_length))
            span_len = min(span_len, n - i, n_corrupt - mask.sum())
            mask[i:i + span_len] = True
            i += span_len
        i += 1

    # ابنِ المُدخل: الرموز الأصلية مع استبدال النطاقات برموز حارسة
    input_ids, target_ids = [], []
    sentinel_id = 0
    in_span = False

    for i, tok in enumerate(tokens):
        if mask[i]:
            if not in_span:             # بداية نطاق جديد
                input_ids.append(f"<extra_id_{sentinel_id}>")
                target_ids.append(f"<extra_id_{sentinel_id}>")
                sentinel_id += 1
                in_span = True
            target_ids.append(tok)       # الرمز المشوَّه يذهب للهدف
        else:
            input_ids.append(tok)         # الرمز السليم يبقى في المُدخل
            in_span = False

    return input_ids, target_ids

# مثال:
tokens = ["The", "quick", "brown", "fox", "jumps", "over", "the", "lazy", "dog"]
inp, tgt = span_corruption(tokens)
# inp: ["The", "<extra_id_0>", "fox", "jumps", "<extra_id_1>", "lazy", "dog"]
# tgt: ["<extra_id_0>", "quick", "brown", "<extra_id_1>", "over", "the"]
# النموذج يتعلم ملء الفراغات فقط — هدف قصير يعني تدريباً أسرع.

النتائج: تصدُّر جميع المعايير المرجعية

حقَّق T5-11B أعلى النتائج على كل المعايير المرجعية تقريباً:

  • GLUE: متوسط 89.7 — متفوقاً على RoBERTa وXLNet.
  • SuperGLUE: 88.9 — أول نموذج يقترب من مستوى الأداء البشري (89.8).
  • SQuAD: تطابق تام 90.1 — منافس لأفضل النماذج المتخصصة.
  • تلخيص CNN/DailyMail: درجة ROUGE-2 بقيمة 21.55 — رقم قياسي جديد.
  • ترجمة WMT إنجليزي-ألماني: 30.90 BLEU — أعلى نتيجة لنموذج لغوي عام.

الأهم من الأرقام نفسها هو أن كل هذه النتائج جاءت من إطار واحد: بنية واحدة ودالة خسارة واحدة ومسار تدريب واحد. بلا حيل خاصة بأي مهمة، ولا تعديلات معمارية، ولا استراتيجيات فكّ ترميز مُخصَّصة. أثبت نهج «نصّ إلى نصّ» أن التوحيد لا يأتي على حساب الأداء.

ما الذي فتحه T5 من أبواب

  1. 2019

    T5

    إطار موحَّد بصيغة «نصّ إلى نصّ». مقارنة منهجية شملت البنيات والأهداف والبيانات والحجم. قدَّم مجموعة بيانات C4 وأسلوب تشويه النطاقات.

  2. 2020

    mT5 — النسخة متعددة اللغات من T5

    وسَّع T5 ليشمل 101 لغة باستخدام مجموعة mC4. البنية نفسها وإطار «نصّ إلى نصّ» نفسه، مما أثبت أن النهج يتعمَّم عبر اللغات المختلفة.

  3. 2021

    FLAN — الضبط بالتعليمات

    ضبط T5 على أكثر من 60 مهمة لغوية مصاغة على شكل تعليمات. أداء النموذج بدون أمثلة مسبقة ارتفع بشكل كبير، مما أكد أن صيغة «نصّ إلى نصّ» ملائمة تماماً لاتّباع التعليمات.

  4. 2021

    Switch Transformer — تريليون معامل

    بُني على بنية T5 مع إضافة طبقات مزيج الخبراء. بلغ حجم تريليون معامل بتكلفة حوسبية دون خطية، إذ يُوجَّه كل رمز إلى خبير واحد فقط.

  5. 2021

    الضبط بالمحفِّزات

    بدلاً من ضبط جميع معاملات T5، يكفي تعلُّم مجموعة صغيرة من متجهات «المحفِّز المرن» تُضاف إلى بداية المُدخل. عند التوسُّع لأحجام كبيرة، يُضاهي هذا الأسلوب الضبط الدقيق الكامل بأقل من 0.1% من المعاملات.

  6. 2021

    FiD — الدمج داخل فاكّ الترميز

    المُرمِّز يعالج كل فقرة مُسترجعة بشكل مستقل، ثم يتولى فاكّ الترميز دمج المعلومات من جميعها. بنية محورية في مجال التوليد المعزَّز بالاسترجاع.

  7. 2022

    Imagen — توليد الصور من النصوص

    استخدم مُرمِّز T5-XXL المُجمَّد لفهم النصوص كأساس لتوليد الصور. أظهر أن التمثيلات النصية التي تعلَّمها T5 يمكن نقلها حتى إلى مجالات بصرية.

  8. 2024

    Chronos — التنبؤ بالسلاسل الزمنية

    كيَّف T5 للعمل مع السلاسل الزمنية عن طريق تحويل القيم العددية إلى رموز. أثبت أن نموذج «نصّ إلى نصّ» يمتد إلى ما وراء اللغة ليشمل البيانات العددية المتسلسلة.

الإرث الأعمق لـ T5 هو صيغة «نصّ إلى نصّ» نفسها. قبل T5 كانت لكل مهمة لغوية صيغة مُخرجات خاصة بها ومسار تدريب مستقل. بعد T5 توحَّد المجال حول واجهة واحدة: إذا استطعت التعبير عن مهمة بصيغة «نصّ يدخل ونصّ يخرج» فبإمكانك حلها بالنموذج نفسه. هذه الفكرة هي الأصل المباشر لنماذج اتّباع التعليمات مثل ChatGPT وClaude — كل ما فعلته هو توسيع مبدأ «نصّ إلى نصّ» من إطار تدريبي إلى واجهة يتعامل معها المستخدم مباشرة.

المرجعRaffel, Shazeer, Roberts, Lee, Narang, Matena, Zhou, Li, Liu. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. JMLR, 2020.

مصطلحات هذه الورقة