RAFT: تحويلات الحقل التكرارية لجميع الأزواج للتدفق البصري

الفكرة وراء التدفق البصري بسيطة: لدينا إطاران متتاليان من فيديو، ونريد أن نعرف لكل بكسل $(u, v)$ في الإطار الأول أين انتقل في الإطار الثاني. النتيجة متجه إزاحة $(f^1, f^2)$ يقول إن هذا البكسل صار عند $(u + f^1, v + f^2)$. حين نحسب هذا المتجه لكل بكسل في الصورة نحصل على حقل تدفق — خريطة أسهم تصف حركة المشهد بالكامل.

المهم هنا أننا لا نتتبّع بضع نقاط مميّزة فحسب، بل نحسب الحركة لـكل بكسل على حدة. إطار بدقة 1080p فيه أكثر من مليوني بكسل، وكل واحد يحتاج متجه إزاحة خاصاً. تخيّل أنك ترسم سهماً على كل نقطة في لوحة تنقيطية لتُبيّن إلى أين انزاحت بين لحظتين.

التدفق البصري يدخل في تطبيقات كثيرة: تثبيت الفيديو، التعرّف على الأفعال، القيادة الذاتية، تحرير الفيديو، والتصوير الطبي. هو لبنة أساسية لأي نظام يحتاج أن يفهم الحركة في الفيديو.

تصميم RAFT يتكوّن من ثلاث مراحل واضحة، كل واحدة لها دور محدّد:

المرحلة الأولى — استخلاص السمات. شبكة التفافية مشتركة تأخذ الصورتين وتُحوّلهما إلى متجهات سمات مُكثّفة لكل بكسل عند دقة ⅛. وهناك مُرمّز سياق ثانٍ يعالج الصورة الأولى فقط ويُنتج سمات تُوجّه عملية التحديث لاحقاً.

المرحلة الثانية — حجم الارتباط. نأخذ الجداء النقطي بين كل زوج من متجهات السمات في الصورتين، فنحصل على مصفوفة رباعية الأبعاد بحجم $H \times W \times H \times W$ عند دقة ⅛. بعدها نُجمّع هذا الحجم بالتوسيط على البُعدين الأخيرين لنحصل على هرم ارتباط من أربعة مستويات يلتقط التشابه على مقاييس مكانية مختلفة.

المرحلة الثالثة — التحديثات التكرارية. وحدة ConvGRU التفافية تبدأ من تدفق أولي يساوي صفراً. في كل تكرار تبحث في هرم الارتباط عن رقعة محلية حول تقديرها الحالي للتدفق، وتدمج سمات الارتباط مع سمات السياق، ثم تُخرج تصحيحاً $\Delta f$ يُضاف إلى التدفق. بعد عدّة تكرارات يتقارب التدفق نحو تقدير دقيق.

المراحل الثلاث قابلة للتفاضل وتُدرَّب بشكل شامل من البداية إلى النهاية.

يستخدم RAFT شبكتي ترميز لتحويل الصور الخام إلى تمثيلات مُكثّفة:

مُرمّز السمات ($g_\theta$) — يعمل على الصورتين $I_1$ و$I_2$ معاً. وهو شبكة التفافية ذات وصلات متبقية تأخذ كل صورة بأبعاد $H \times W \times 3$ وتُنتج خريطة سمات بأبعاد $\frac{H}{8} \times \frac{W}{8} \times D$ حيث $D = 256$. النقطة المهمة أن هذا المُرمّز يستعمل تسوية النسخة التي تعمل على كل صورة بمعزل عن الأخرى، فتصبح السمات غير متأثرة بالفروقات الشاملة في السطوع أو التباين بين الإطارين. الأوزان مشتركة بين الصورتين — كأنك تُعطي الصورتين لنفس المحلّل ليفحصهما بنفس القواعد.

مُرمّز السياق ($h_\theta$) — يعمل على $I_1$ فقط. بنيته مطابقة لمُرمّز السمات لكنه يستعمل تسوية الدفعة بدلاً من تسوية النسخة، ويُنتج سمات السياق والحالة المخفية الأولية لوحدة GRU. دوره أن يلتقط معلومات خاصة بالصورة المرجعية — الحواف وحدود النسيج والإشارات الدلالية — ليُرشد مشغّل التحديث إلى كيفية تنقيح التدفق في كل موقع. إذا كان مُرمّز السمات يُشبه مترجماً يُحوّل الصورتين إلى لغة مشتركة، فمُرمّز السياق هو المُرشد المحلي الذي يعرف تضاريس الصورة الأولى جيّداً.

حجم الارتباط هو جوهر RAFT. الفكرة أننا نأخذ خريطتي السمات $g_\theta(I_1)$ و$g_\theta(I_2)$ ونحسب الجداء النقطي بين كل متجه سمات في الصورة الأولى وكل متجه في الصورة الثانية. إذا كان لكلتا الخريطتين أبعاد مكانية $H' \times W'$ (حيث $H' = H/8$ و$W' = W/8$)، فالناتج مصفوفة رباعية الأبعاد:

فكّر في حجم الارتباط كجدول بحث ضخم. لكل بكسل في الصورة الأولى تستطيع أن تبحث فيه عن مدى تشابهه مع أي بكسل في الصورة الثانية. القيم المرتفعة تعني تطابقاً قوياً والمنخفضة تعني تطابقاً ضعيفاً. لكن بدلاً من تفتيش الجدول بأكمله في كل مرة، يبني RAFT فهرساً متعدّد المقاييس — هرم الارتباط.

حجم الارتباط الواحد يلتقط التشابه بدقة، لكن حقل استقباله محدود — لا يرى إلا التطابقات القريبة. والمشكلة أن الأجسام السريعة تتحرّك مسافات كبيرة بين إطارين. لذلك يبني RAFT هرم ارتباط بتجميع البُعدين الأخيرين من $C$ بـالتوسيط المتكرّر بأحجام نوى 1 و2 و4 و8:

في المستوى 0 يبقى الحجم بالدقة الكاملة $H' \times W'$ على أبعاد الصورة الثانية. في المستوى 3 تنكمش تلك الأبعاد إلى $\frac{H'}{8} \times \frac{W'}{8}$. والنقطة الجوهرية أن البُعدين الأوّلين (أبعاد $I_1$) لا يُمسّان أبداً — فيظلّ لكل بكسل في الإطار المرجعي معلومات ارتباطه الخاصة.

لماذا هذا مهم؟ المستويات الخشنة من الهرم ترى مساحة أوسع فتلتقط الحركات الكبيرة، بينما المستويات الدقيقة تحفظ التفاصيل المكانية للحركات الصغيرة. الاثنتان معاً تُغطّيان كل الحالات. وهذا يختلف جذرياً عن الأساليب التقليدية متدرّجة الدقة، لأن الهرم هنا يُبنى من حجم ارتباط واحد بدقة سمات واحدة، لا من عدّة مستخلصات سمات بدقّات مختلفة.

البحث في حجم الارتباط. في كل تكرار يسأل مشغّل التحديث سؤالاً بسيطاً: «بناءً على تقديري الحالي للتدفق، ماذا يقول حجم الارتباط؟» عملياً، لكل بكسل $\mathbf{x}$ في $I_1$ يحسب التدفق الحالي موقعه المُقدَّر $\mathbf{x}' = \mathbf{x} + \mathbf{f}$ في الصورة الثانية. بعدها يأخذ مُشغّل البحث رقعة بنصف قطر $r$ حول $\mathbf{x}'$ في حجم الارتباط ويأخذ عيّنات منها بـالتقحيم الخطي الثنائي. يتكرّر ذلك عند كل مستوى من الهرم، وتُدمج النتائج في متجه سمات واحد.

الفكرة تُشبه أنك تأخذ تخمينك الحالي وتفحص المنطقة المحيطة به في جدول البحث: «هل الدلائل القريبة تؤكّد تخميني أم تقول إن البكسل ذهب لمكان آخر؟» وبما أن البحث يتمّ على عدّة مستويات في آن واحد — نظرة شاملة من بعيد ونظرة مُفصّلة من قريب — يحصل مشغّل التحديث على سياق واسع ودقة محلية معاً.

مشغّل التحديث هو المحرّك الفعلي لـ RAFT. فكرته مستوحاة من خوارزميات الأمثَلة التقليدية: تبدأ من حلّ أولي وتُحسّنه تدريجياً. هنا يبدأ من تدفق صفري $\mathbf{f}_0 = \mathbf{0}$ ويُنتج سلسلة من التقديرات المتحسّنة $\{\mathbf{f}_1, \mathbf{f}_2, \ldots, \mathbf{f}_N\}$ حيث كل تحديث عبارة عن:

في كل تكرار $k$، يمرّ مشغّل التحديث بأربع خطوات:

1. البحث في الارتباط — يستعمل التدفق الحالي $\mathbf{f}_k$ ليأخذ عيّنة من رقعة محلية عند كل مستوى من هرم الارتباط.
2. تجميع المدخلات — يدمج سمات الارتباط مع التدفق الحالي (المُرمَّز عبر طبقتي التفاف) ومع سمات السياق.
3. تحديث GRU — يُمرّر المدخلات المُجمَّعة عبر وحدة GRU التفافية تُحدّث الحالة المخفية $\mathbf{h}_k$. الوحدة تستعمل بوابات منفصلة للأنماط الأفقية والعمودية (التفاف $1 \times 5$ و$5 \times 1$).
4. التنبؤ بالتدفق — يُمرَّر $\mathbf{h}_k$ عبر طبقتي التفاف لإنتاج التصحيح $\Delta \mathbf{f}_k$.

الحالة المخفية تحمل ذاكرة تتراكم عبر التكرارات — الوحدة «تتذكّر» ما تعلّمته في الخطوات السابقة. الأمر يُشبه محقّقاً لا يبدأ من الصفر في كل جولة بل يبني على ما جمعه من أدلّة. والمهم أن أوزان GRU مشتركة عبر كل التكرارات بفضل مشاركة الأوزان، فيبقى النموذج صغيراً (5.3 مليون معامل فقط).

مشغّل التحديث يعمل بدقة ⅛ فقط. لاستعادة التدفق بالدقة الكاملة يستعمل RAFT أسلوب ترقية محدّبة مُتعلَّمة، وهو أذكى بكثير من التقحيم الخطي الثنائي العادي.

الفكرة أنه لكل بكسل في المخرج النهائي، تتنبّأ الشبكة بتسعة أوزان (قناع $3 \times 3$) تُشكّل تركيبة محدّبة من أقرب 9 جيران في حقل التدفق الخشن. هذه الأوزان تُحسب من الحالة المخفية النهائية لوحدة GRU وتمرّ عبر softmax لتضمن أن مجموعها 1. النتيجة أن كل بكسل عالي الدقة يصبح متوسطاً مُرجّحاً لجيرانه الخشنين، لكن بأوزان مُتعلَّمة تعرف أين حدود الحركة.

لتوضيح الفرق: التقحيم الثنائي يحسب المتوسط من أقرب أربعة جيران بأوزان ثابتة تعتمد على المسافة فقط — لا يعرف شيئاً عن حدود الأجسام. أما الترقية المحدّبة فتسأل الشبكة: «هذه البلاطات التسع جيرانك — كيف تمزجها؟» والشبكة تتعلّم أن تُعطي الوزن الأكبر للجيران الموجودين على نفس الجانب من حدّ الحركة، وتقريباً صفراً للجيران على الجانب الآخر. هكذا تبقى حواف التدفق حادّة ومطابقة لحدود الأجسام الحقيقية.

نقطة مهمة في تدريب RAFT أن دالة الخسارة تُشرف على كل تكرار وليس فقط على المخرج النهائي. أي أنه لسلسلة من $N$ تدفقاً متنبّأاً $\{\mathbf{f}_1, \ldots, \mathbf{f}_N\}$ وتدفق حقيقي $\mathbf{f}_{gt}$:

قبل RAFT كان الأسلوب السائد في التدفق البصري هو المعالجة متدرّجة الدقة. فكرته بسيطة: قدّر التدفق بدقة منخفضة أولاً حيث تبدو الحركات الكبيرة صغيرة، ثم اثنِ الصورة الثانية بناءً على هذا التقدير وانتقل لدقة أعلى. كرّر الخطوات حتى تصل للدقة الكاملة.

المشكلة أن هذا الأسلوب فيه ثلاث نقاط ضعف جوهرية تجنّبها RAFT:

تراكم الأخطاء. أي خطأ في المستويات الخشنة ينتقل للمستويات الأدقّ ولا يمكن تصحيحه. تقدير خاطئ لحركة كبيرة في الأعلى يُفسد محاذاة الصورة المثنية في كل المستويات التالية.

ضياع الأجسام الصغيرة. تقليص العيّنات الشديد في المستويات الخشنة قد يُصغّر أجساماً صغيرة إلى أقل من بكسل واحد، فتضيع حركتها تماماً.

تعقيد البنية. كل مستوى يحتاج مستخلص سمات خاصاً وحجم تكلفة ومُقدِّراً مستقلاً، فيتضاعف عدد المعاملات وتزداد صعوبة التدريب.

RAFT يتجاوز هذا كله بالعمل عند دقة واحدة فقط (⅛). هرم الارتباط لا يُبنى من دقّات مختلفة بل من تجميع حجم ارتباط واحد. الحركات الكبيرة تُلتقط عبر المستويات الخشنة من الهرم، والتحديثات التكرارية تستطيع تصحيح أي خطأ مبكر لأن كل تكرار يعيد فحص أدلّة الارتباط من جديد.

سجّل RAFT نتائج قياسية جديدة على عدّة معايير:

على Sintel (المسار النهائي) وصل خطأ النقطة الطرفية (EPE) إلى 2.855 بكسل — أي تخفيض بنسبة 30% مقارنة بأفضل نتيجة سابقة (4.098). وعلى KITTI 2015 بلغ خطأ F1-all نسبة 5.10% — تخفيض بنسبة 16% من النتيجة السابقة (6.10%).

لكن الأرقام ليست القصة الكاملة. ثلاثة جوانب أخرى لفتت الانتباه:

التعميم عبر مجموعات البيانات. حين دُرِّب على بيانات اصطناعية فقط (FlyingChairs + FlyingThings3D) وقُيِّم على KITTI مباشرة بدون ضبط دقيق، حقّق خطأ 5.04 — تحسّن بنسبة 40%. هذا يدلّ على أن البنية تتعلّم تمثيلات حركة قابلة للنقل فعلاً.

كفاءة التدريب. يتقارب RAFT في نحو 100 ألف تكرار فقط — أسرع بنحو 10 مرات من أساليب مثل FlowNet2 وPWC-Net.

نموذج صغير. النموذج الكامل فيه 5.3 مليون معامل فقط. والنسخة المُصغّرة (RAFT-S) بمليون معامل تتفوّق على كل الأساليب السابقة في Sintel، وتعمل بسرعة 20 إطاراً في الثانية على بطاقة 1080Ti.

الدرس الأكبر من RAFT أنك لا تحتاج بنيات معقدة متعددة المقاييس لتقدير المطابقات الكثيفة. حجم ارتباط واحد، ومُحدِّث تكراري خفيف، وتنقيح متكرّر — ثلاث أفكار بسيطة تتضافر بإحكام لتتفوّق على سنوات من الهندسة المعقّدة. وهذا الدرس يتجاوز التدفق البصري: حين تشكّ في التصميم، اختر التنقيح التكراري على التنبؤ بضربة واحدة. دع الشبكة تُصحّح أخطاءها بنفسها.