أَرِني، انتبِه وأخبرني: توليد وصف الصور بالانتباه البصري

قبل هذه الورقة، كان وصف الصور يسير بخطوتين بسيطتين:

1. شبكة التفافية (عادةً VGGNet أو GoogLeNet) تعالج الصورة وتُخرج متجه سمات واحداً — ملخصاً رقمياً ثابت الطول للمشهد بأكمله.

2. مُفكِّك ترميز من نوع LSTM يستقبل ذلك المتجه مرة واحدة عند الخطوة الأولى، ثم يولّد الوصف كلمةً بكلمة معتمداً فقط على حالته الخفية.

المشكلة هنا هي عنق الزجاجة: آلاف البكسلات وعشرات الأشياء وجميع علاقاتها المكانية يجب أن تنضغط في متجه واحد من 512 أو 4096 رقماً. الكلمات الأولى من الوصف تحظى بإشارة واضحة، لكن كلما تقدّمنا في الوصف تلاشت ذاكرة LSTM عن تلك اللقطة الأولية. وكلما زاد تعقيد المشهد، أصبح الوصف أكثر عمومية — فالنموذج يقول «رجل في ملعب» بدلاً من «لاعب كرة قدم يمسك الكرة قرب المرمى».

الفكرة الجوهرية مستوحاة من آلية انتباه بهداناو في الترجمة الآلية: بدلاً من ضغط الصورة في متجه واحد، نحتفظ بـشبكة كاملة من متجهات السمات وندع المُفكِّك يقرر أيّ خلايا هذه الشبكة يركّز عليها في كل خطوة. البنية تتكون من ثلاثة أجزاء:

المُرمِّز (شبكة التفافية): بدلاً من أخذ السمات من الطبقة المتصلة بالكامل الأخيرة، نأخذها من طبقة التفافية أدنى — تحديداً الطبقة الرابعة من VGGNet. الناتج هو $L = 14 \times 14 = 196$ من متجهات التوصيف، كل منها ببُعد $D = 512$. كل متجه يحمل معلومات عن رقعة مكانية محددة من الصورة. تخيّلها كشبكة 14×14 مُسقَطة فوق الصورة، كل خلية فيها تحتوي وصفاً غنياً لمحتواها.

آلية الانتباه: عند كل خطوة زمنية، تقوم شبكة عصبية صغيرة بتقييم مدى ارتباط كل موقع من المواقع الـ196 بما يحتاجه المُفكِّك حالياً. تتحوّل هذه الدرجات إلى أوزان (عبر softmax)، والمجموع الموزون لمتجهات التوصيف يُعطينا متجه سياق — ملخص ديناميكي يُبرز الجزء من الصورة الذي يخص الكلمة الحالية.

المُفكِّك (LSTM): يولّد كلمة واحدة في كل خطوة، بناءً على الكلمة السابقة والحالة الخفية السابقة ومتجه السياق الآتي من آلية الانتباه. بمعنى آخر، مدخلات المُفكِّك تتغيّر في كل خطوة — كأنه ينظر إلى الصورة من زاوية مختلفة كل مرة حسب الكلمة التي يوشك على توليدها.

عند كل خطوة زمنية $t$، يحتاج النموذج أن يقرر أيّ المناطق الـ196 في الصورة يركّز عليها. يتمّ ذلك عبر ثلاث مراحل:

المرحلة الأولى — درجة الطاقة: شبكة محاذاة صغيرة تأخذ كل متجه توصيف $a_i$ مع الحالة الخفية السابقة $h_{t-1}$، وتُخرج قيمة عددية $e_{ti}$ تعبّر عن مدى ارتباط المنطقة $i$ بالخطوة الحالية. هذا هو الانتباه الجمعي — الآلية نفسها التي استخدمها بهداناو في الترجمة.

المرحلة الثانية — أوزان الانتباه: تُطبَّع درجات الطاقة عبر softmax ليصبح مجموعها 1. بذلك يصبح $\alpha_{ti}$ هو احتمال أن الموقع $i$ هو المكان الصحيح للنظر إليه عند توليد الكلمة $t$.

المرحلة الثالثة — متجه السياق: متجه السياق $\hat{z}_t$ هو تركيبة موزونة من متجهات التوصيف. هذا المتجه — وهو ملخص ديناميكي للصورة يتغيّر مع كل كلمة — يُمرَّر إلى LSTM مع تضمين الكلمة السابقة.

تقترح الورقة صيغتين لآلية الانتباه، لكل منهما مفاضلاتها:

الانتباه الناعم (الحتمي) يحسب المتوسط الموزون لـجميع متجهات التوصيف. كل منطقة تُساهم في الناتج، لكن المناطق ذات أوزان $\alpha$ الأعلى تُساهم أكثر. هذه الصيغة قابلة للتفاضل بالكامل — يمكن تدريبها من البداية إلى النهاية بـالانتشار العكسي المعتاد. تخيّل أنك تنظر إلى اللوحة كلها عبر مرشّح يُسطِّع المناطق المهمة ويُخفت الباقي.

الانتباه الصلب (العشوائي) يسحب عيّنة من منطقة واحدة وفق توزيع $\alpha$. في كل خطوة زمنية، يختار النموذج موقعاً واحداً بالضبط $s_t$ من الشبكة ويستخدم $a_{s_t}$ فقط كسياق. هذا أشبه بأن تسلّط كشّافاً على جزء واحد من اللوحة وتتجاهل كل ما عداه. ولأن عملية السحب العشوائي ليست قابلة للتفاضل، يحتاج الانتباه الصلب إلى التدريب بخوارزمية REINFORCE — وهي أسلوب تدرّج السياسة من التعلم المعزَّز يعامل قرارات الانتباه كسلسلة أفعال متتالية.

الصيغة الناعمة أبسط في التدريب وأكثر استقراراً. الصيغة الصلبة قد تحقق أداءً أفضل قليلاً لأنها تفرض تركيزاً أحدّ، لكن الثمن هو تباين أعلى أثناء التدريب.

بحكم التصميم، أوزان الانتباه $\alpha_{ti}$ في كل خطوة زمنية مجموعها 1 على جميع المواقع — أي أن تركيز كل كلمة يمثّل توزيعاً احتمالياً صحيحاً. لكن لا شيء يمنع النموذج من أن يظل دائماً ينظر إلى المناطق نفسها ويتجاهل بقية الصورة.

لحل هذه المشكلة، يُدخل المؤلفون ما يُسمى التنظيم ثنائي العشوائية: إلى جانب قيد الصفوف ($\sum_i \alpha_{ti} = 1$)، يُضيفون عقوبة تدفع مجموع الأعمدة ليكون قريباً من 1 أيضاً ($\sum_t \alpha_{ti} \approx 1$). الفكرة أن كل منطقة في الصورة يجب أن تحظى بحصة عادلة من الانتباه على مدار الوصف الكامل — لا منطقة يُسمح بتجاهلها كلياً.

لتقريب الفكرة، تخيّل مؤتمراً فيه عدة متحدثين (الكلمات) وجمهور (المناطق). القيد الأول يقول إن كل متحدث يجب أن يوزّع نظراته على الجمهور بشكل يمثّل توزيعاً صحيحاً. القيد الثاني يقول إنه لا يجوز أن يبقى أحد من الجمهور دون أن يلتفت إليه أيّ متحدث — كل شخص يحظى بنظرة من أحدهم على الأقل.

ليست كل كلمة في الوصف تحتاج إلى معلومات من الصورة. الكلمات الوظيفية مثل «في» و«على» و«من» يحددها السياق اللغوي والنحو لا محتوى الصورة. لذلك تُقدِّم الورقة قيمة بوابة مُتعلَّمة $\beta_t = \sigma(f_\beta(h_{t-1}))$ تتحكّم في قوة متجه السياق: $\hat{z}_t = \beta_t \sum_i \alpha_{ti} a_i$. حين تقترب $\beta$ من 1، يعتمد LSTM بشكل كبير على الصورة. وحين تقترب من 0، يعتمد على السياق اللغوي وحده.

فكرة بسيطة لكن فعّالة جداً: النموذج يتعلّم بنفسه متى يحتاج أن ينظر إلى الصورة ومتى يكتفي بأنماط اللغة. عند توليد حرف جر مثل «في»، تنخفض $\beta$ لأن الصورة لا تفيد هنا. وعند توليد كلمة مثل «كلب»، ترتفع $\beta$ لأن النموذج يحتاج أن يرى الشيء الذي يتحدث عنه.

تدريب الانتباه الناعم عملية مباشرة: نُقلِّل الاحتمال اللوغاريتمي السالب للكلمات الصحيحة في الوصف، مع إضافة عقوبة العشوائية الثنائية. وبما أن الانتباه الناعم ما هو إلا متوسط موزون قابل للتفاضل، فإن التدرجات تتدفق عبر أوزان الانتباه بلا مشاكل.

تدريب الانتباه الصلب أعقد بكثير. لأن سحب عيّنة من منطقة واحدة عملية غير قابلة للتفاضل، يلجأ المؤلفون إلى خوارزمية REINFORCE. الهدف هنا يتحوّل إلى حد أدنى تبايني على الاحتمال اللوغاريتمي، ويُقدَّر التدرج باستخدام عيّنات مونت كارلو. ولتخفيف التباين، يستخدمون خط أساس من المتوسط المتحرك ويضيفون حداً لـالإنتروبيا يُشجّع على الاستكشاف.

كلا النموذجين يستخدمان المُرمِّز الالتفافي نفسه (VGGNet المُدرَّب مسبقاً على ImageNet)، والمُفكِّك هو LSTM بـ512 وحدة خفية. الحالة الخفية الأولية وحالة الخلية في LSTM تُحسبان من متوسط متجهات التوصيف عبر إسقاطات خطية مُتعلَّمة.

قُيِّم النموذج على ثلاث مجموعات بيانات قياسية في وصف الصور: Flickr8k وFlickr30k وMS COCO، باستخدام مقياسي BLEU وMETEOR. كلا نموذجي الانتباه — الناعم والصلب — تفوّقا على نموذج أَرِني وأَخبرني الذي لا يستخدم انتباهاً، وهذا يؤكد أن الانتباه يقدّم تحسيناً حقيقياً وليس مجرد تعقيد إضافي.

لكن النتيجة الأبرز لم تكن في الأرقام — بل في خرائط الانتباه. حين عرض المؤلفون أوزان $\alpha$ عند كل خطوة من التوليد، ظهر بوضوح أن النموذج يتعلّم فعلاً أن يثبّت نظره على الأشياء الصحيحة: عند توليد كلمة «طائر»، يُسلَّط الانتباه على الطائر، وعند توليد «ماء»، ينتقل التركيز إلى الماء. كان هذا أول دليل مقنع على أن الانتباه في الشبكات العصبية يعكس شيئاً يستطيع الإنسان فهمه وتفسيره.

تحتل هذه الورقة موقعاً محورياً في تاريخ الانتباه البصري. أخذت فكرة أثبتت نجاحها في معالجة اللغة الطبيعية — انتباه بهداناو لـالترجمة الآلية — وأثبتت أنها تنطبق على وسائط مختلفة تماماً: من سلاسل كلمات إلى شبكات رقع صور. أظهرت أن الانتباه ليس مجرد أداة لتحسين الأداء بل يمكن أن يكون نافذة على قابلية تفسير النموذج أيضاً. وأرست النمط المعماري «مُرمِّز-مُفكِّك مع انتباه» الذي سيُهيمن لاحقاً على وصف الصور والإجابة البصرية عن الأسئلة، وصولاً إلى النماذج متعددة الوسائط.