الدمج في المفكِّك: الاستفادة من استرجاع المقاطع مع النماذج التوليدية للإجابة عن الأسئلة المفتوحة

الإجابة عن الأسئلة في المجال المفتوح تعني أن النموذج يتلقّى سؤالاً واقعياً ويبحث في مجموعة نصوص ضخمة كويكيبيديا ليجد الإجابة، من دون أن يعرف مسبقاً أيّ مستند يحتويها. بحلول 2020 تبلور أسلوبان رئيسيان لحل هذه المهمة.

الأسلوب الأول هو النماذج التوليدية التي تعمل بنظام «الكتاب المغلق»: تحفظ الحقائق في معاملاتها أثناء التدريب المسبق. نموذج T5-11B مثلاً يضمّ أحد عشر مليار معامل ويستطيع الإجابة دون أيّ استرجاع خارجي — لكن تخزين ويكيبيديا بأكملها داخل الأوزان ثمنه باهظ حسابياً. الأسلوب الثاني هو أنابيب «استرجِع ثم استخلص»: أولاً تُسترجع المقاطع ذات الصلة باستخدام استرجاع متفرّق (BM25) أو استرجاع كثيف (DPR)، ثم يمرّ كل مقطع على قارئ مبنيّ على BERT يحدّد نطاق الإجابة داخله.

لكنّ الأسلوب الاستخلاصي كانت فيه ثغرة جوهرية: ماذا لو احتاجت الإجابة إلى ربط معلومات من أكثر من مقطع؟ مثلاً، تاريخ ميلاد في مستند واسم مدينة في مستند آخر — القارئ الاستخلاصي لا يملك طريقة لدمج هذه القرائن لأنه يتعامل مع كل مقطع بمعزل عن غيره. بعض الحيل كتطبيع النطاقات الشامل ساعدت قليلاً، لكن المشكلة الأساسية بقيت: النموذج مُقيّد بتنبؤ نطاق واحد من مقطع واحد.

قبل أن يبدأ النموذج بالإجابة، عليه أن يعثر على المقاطع المناسبة. يستخدم FiD إستراتيجيتين للاسترجاع حسب مجموعة البيانات.

BM25 أسلوب استرجاع متفرّق كلاسيكي، يعتمد على مطابقة الكلمات: يُمثّل السؤال والمقطع كأكياس كلمات ويحسب درجة التشابه من تكرار المصطلحات ومعكوس تكرار المستندات. ميزته أنه سريع ولا يحتاج إلى تدريب، ويؤدي جيداً حين يتشارك السؤال والمقطع الكلمات نفسها. يستخدمه FiD مع مجموعة SQuAD المفتوحة.

الاسترجاع الكثيف (DPR) يعمل بطريقة مختلفة: يرمِّز كلاً من السؤال والمقطع إلى متجه كثيف باستخدام مرمِّزَي BERT منفصلَين، ثم يبحث عن المقاطع التي يحقّق متجهها أعلى جداء نقطي مع متجه السؤال، مستعيناً ببحث الجار الأقرب التقريبي عبر مكتبة FAISS. القوة هنا أن DPR يفهم التشابه الدلالي — فيطابق «مسقط رأس» في السؤال مع «وُلد في» في المقطع — ويُستخدم مع NaturalQuestions وTriviaQA.

في الحالتين يُعيد المسترجِع أفضل 100 مقطع من ويكيبيديا، كل منها جزء غير متداخل من 100 كلمة. تُرسَل هذه المقاطع مع عناوينها إلى نموذج القراءة.

الفكرة المحورية في هذا النموذج هي تقسيم واضح للأدوار بين المُرمِّز والمفكِّك. تخيّلها كعملية من مرحلتين: أولاً قراءة مستقلة لكل مقطع، ثم تفكير مشترك يجمع كل ما قُرئ.

المرحلة الأولى — الترميز المستقل. كل مقطع مُسترجَع يُلصق مع السؤال في تسلسل واحد بصيغة: question: [السؤال] title: [العنوان] context: [المقطع]. ثم يمرّ كل زوج سؤال–مقطع على حدة عبر مرمِّز T5. هنا تكمن حيلة الكفاءة: بما أن كل مقطع يُعالَج بمعزل عن غيره، فإن الانتباه الذاتي يعمل داخل مقطع واحد فقط في كل مرة. النتيجة أن التكلفة الحسابية تنمو خطياً مع عدد المقاطع — لا تربيعياً كما لو جمعناها في تسلسل واحد طويل.

المرحلة الثانية — الفكّ المشترك. بعد ترميز كل المقاطع، تُصفّ تمثيلاتها جنباً إلى جنب في تسلسل واحد كبير. المفكِّك يبدأ بتوليد الإجابة رمزاً تلو الآخر، وفي كل خطوة يُطبّق الانتباه المتقاطع على هذا التسلسل بأكمله. هنا بالضبط يحدث دمج الأدلة: المفكِّك يستطيع أن ينظر إلى أي موضع من أي مقطع، فيأخذ معلومة من هنا ومعلومة من هناك ويجمعها بحرّية لإنتاج كل رمز في الإجابة.

الاسم «الدمج في المفكِّك» يصف بدقة أين يحصل العمل الحقيقي: الأدلة لا تُدمج في المُرمِّز (الذي يعزل كل مقطع عن غيره)، بل تُدمج في المفكِّك (الذي يرى كل شيء معاً).

الأساليب الثلاثة — FiD وRAG والقرّاء الاستخلاصيون — تشترك في استخدام مسترجِع، لكنها تختلف جذرياً في الطريقة التي يتعامل بها القارئ مع المقاطع المُسترجَعة.

القارئ الاستخلاصي (كقارئ DPR) يستخدم مرمِّزاً على نمط BERT: يأخذ كل مقطع مع السؤال ويُقيّم كل رمز ليحدّد أين تبدأ الإجابة وأين تنتهي، ثم يختار أفضل نطاق من بين كل المقاطع. المشكلة واضحة: النموذج لا يرى إلا مقطعاً واحداً في كل مرة، فلا يستطيع ربط دليل من مقطع بدليل من مقطع آخر.

RAG نموذج توليدي يمرّر كل مقطع مع السؤال عبر مرمِّز ثم يولّد الإجابة بـمفكِّك. لكنّ RAG يتعامل مع كل مقطع كأنه مصدر مستقل: يولّد إجابة منفصلة لكل مقطع ثم يحسب المتوسط المرجّح لاحتمالات الرموز. عملياً، المفكِّك لا يرى أبداً مقطعين في الوقت نفسه.

FiD هو النقلة النوعية: المفكِّك يرى كل المقاطع المُرمَّزة معاً دفعة واحدة. الانتباه المتقاطع يمتد على مخرجات المُرمِّز من جميع المقاطع، فيستطيع المفكِّك أن يأخذ تاريخاً من المقطع الثالث واسماً من المقطع السابع عشر وموقعاً من المقطع الثاني والأربعين — كل ذلك في تمريرة أمامية واحدة. هذا الانتباه المشترك هو ما يجعل أداء FiD يتحسّن فعلاً مع كل مقطع إضافي.

كل مقطع مُسترجَع يُحوَّل إلى تسلسل نصي واحد باستخدام بادئات خاصة تفصل بين أجزائه. الشكل يبدو كالتالي:

يُطبَّق هذا التنسيق على كل مقطع من المقاطع المئة المُسترجَعة بشكل مستقل، ويُقتطع كل مقطع عند 250 قطعة كلمية كحدّ أقصى. المُرمِّز يُعالج المدخلات المئة بالتوازي فيُنتج 100 تسلسل من الحالات الخفية، ثم تُصفّ هذه التسلسلات جنباً إلى جنب على بُعد التسلسل وتُمرَّر إلى المفكِّك.

حقّق FiD أفضل النتائج على ثلاثة معايير رئيسية للإجابة عن أسئلة المجال المفتوح. بالنموذج الكبير (770 مليون معامل) وصل إلى 51.4 في الدقة التامة على NaturalQuestions، و67.6 على TriviaQA، و56.7 على SQuAD المفتوح — متفوّقاً على كل النماذج السابقة بما فيها T5-11B (الذي يفوقه بأربعة عشر ضعفاً في عدد المعاملات)، وRAG، وDPR، وREALM.

لكنّ الاكتشاف الأبرز يتعلّق بسلوك التوسُّع: حين ننتقل من 10 إلى 100 مقطع، يتحسّن الأداء بنسبة 6% على TriviaQA و3.5% على NaturalQuestions. منحنى الأداء لا يتسطّح بل يواصل الصعود. في المقابل، النماذج الاستخلاصية مثل Multi-Passage BERT تبلغ ذروتها عند 10–20 مقطعاً ثم تقف أو حتى تتراجع، لأن القارئ الاستخلاصي ببساطة لا يعرف ماذا يفعل بكل هذه المقاطع الإضافية.

هذا السلوك دليل قوي على أن آلية الانتباه المتقاطع في المفكِّك تدمج المعلومات فعلاً من المقاطع المختلفة، ولا تكتفي بانتقاء الأفضل من بينها.

التدريب بمئة مقطع مُكلف حسابياً. لذلك استكشف المؤلفون طريقاً مختصراً عملياً: درِّب أولاً بعدد صغير من المقاطع (5 أو 10 مثلاً)، ثم أجرِ ضبطاً دقيقاً قصيراً بمئة مقطع في آخر ألف خطوة.

النتيجة: التدريب بخمسة مقاطع ثم الضبط بمئة يصل إلى 45.0 في الدقة التامة على NaturalQuestions — أقل بـ1.5 نقطة فقط من التدريب الكامل بمئة مقطع (46.5) — لكنه يستهلك ثلث ساعات المعالجة تقريباً (147 مقابل 425). السبب أن المفكِّك يتعلّم مهارة دمج الأدلة من بضعة مقاطع، ثم مرحلة الضبط القصيرة تُكيّفه مع أنماط الانتباه الأطول التي يحتاجها مع مئة مقطع.

هذا اكتشاف مهم عملياً: يعني أن الفِرق ذات الميزانيات الحسابية المحدودة تستطيع بناء نماذج FiD فعّالة دون الحاجة إلى موارد ضخمة.

يبدأ FiD من أوزان T5 المُدرَّبة مسبقاً (النسخة الأساسية: 220 مليون معامل، والكبيرة: 770 مليون). يُجرى الضبط الدقيق على كل مجموعة بيانات باستقلال، باستخدام محسِّن Adam بـمعدَّل تعلُّم ثابت $10^{-4}$ وتسرُّب بنسبة 10%. يستمر التدريب لعشرة آلاف خطوة تدرُّج بـحجم دُفعة 64 على 64 وحدة Tesla V100. تُختار أفضل نقطة حفظ بناءً على الدقة التامة على مجموعة التحقق، وتُقيَّم كل 500 خطوة.

توليد الإجابة يستخدم الفكّ الجشع — دون حاجة إلى بحث الشعاع. يُقتطع كل مقطع عند 250 قطعة كلمية. تُسترجع المقاطع بـDPR لمجموعتَي NaturalQuestions وTriviaQA، وبـBM25 لمجموعة SQuAD المفتوحة. مجموعة ويكيبيديا مُقسّمة إلى مقاطع غير متداخلة من 100 كلمة وفق خط معالجة DPR.

الرؤية المركزية لـFiD — أن الترميز المستقل مع الفكّ المشترك يعطيك كفاءة وقوة في آن واحد — تحوّلت إلى نمط تصميمي انتشر في المجال. أثبت هذا النموذج أنك لا تحتاج بالضرورة إلى استرجاع قابل للاشتقاق من طرف إلى طرف (كـREALM أو RAG) للحصول على نتائج قوية؛ أحياناً يكفيك مسترجِع ثابت مع قارئ قوي وانتهى الأمر. البنية بسيطة بما يكفي لتُنفَّذ في ساعات قليلة، ومع ذلك ظلّت تتصدّر النتائج لسنوات.