إلى أين يتّجه تمييز الأفعال؟ نموذج جديد ومجموعة بيانات Kinetics

بحلول 2017 كان تمييز الصور مسألة محسومة عملياً — الشبكات الالتفافية العميقة المُدرَّبة على 1.2 مليون صورة من ImageNet وصلت إلى دقة تفوق أداء البشر. في المقابل، ظلّ فهم الفيديو متأخراً بمراحل. السبب الجوهري هو شُحّ البيانات: المعياران الأساسيان UCF-101 (نحو 13 ألف مقطع) وHMDB-51 (نحو 7 آلاف مقطع) أصغر من ImageNet بنحو مئة ضعف.

بهذا القدر الضئيل من البيانات، أعطت كل البنى تقريباً الدقة نفسها. لا يمكنك أن تعرف إن كان الأفضل هو تطبيق شبكة التفافية ثنائية الأبعاد على كل إطار وحده، أو وضع LSTM فوق سمات الصور، أو تدريب شبكة التفافية ثلاثية الأبعاد من الصفر — فالجميع اصطدم بالسقف نفسه. بدون مجموعة بيانات فيديو بحجم ImageNet، لم يكن بالإمكان الحكم على أيّ تصميم.

قيّمت الورقة خمس بنى بشكل منهجي، كلّ واحدة تمثّل فلسفة مختلفة في التعامل مع البُعد الزمني:

(أ) شبكة التفافية + LSTM — تستخلص شبكة التفافية ثنائية الأبعاد (Inception-v1) السمات من كل إطار على حدة، ثم تتولّى شبكة LSTM نمذجة التسلسل الزمني. المشكلة أنّ المعالجة الزمنية هنا مجرد إضافة سطحية فوق شبكة صور قوية.

(ب) شبكة التفافية ثلاثية الأبعاد (C3D) — تستخدم مرشّحات التفافية ثلاثية الأبعاد تعمل على مقاطع قصيرة وتتعلّم الأنماط المكانية والزمنية معاً. لكنّ بنيتها كانت ضحلة مقارنة بنماذج ImageNet، والبيانات لم تكن كافية لتدريب شبكة ثلاثية عميقة من الصفر.

(ج) شبكات ثنائية التيار — شبكة تعالج إطار RGB واحداً لالتقاط المظهر، وشبكة أخرى تعالج رزمة إطارات انسياب بصري لالتقاط الحركة، ثم يُحسب متوسط تنبؤاتهما. نتائجها جيدة، لكنّ التيارين لا يندمجان فعلاً في تمثيل مكاني-زمني موحّد.

(د) ثنائي التيار مع دمج ثلاثي — الفكرة ذاتها لكن مع طبقة التفافية ثلاثية الأبعاد تدمج التيارين في منتصف الشبكة.

(هـ) شبكة I3D ثنائية التيار — وهذا إسهام الورقة. الفكرة: خُذ بنية ثنائية الأبعاد عميقة وناجحة، وسِّع كل مرشّح ونواة تجميع فيها إلى ثلاثة أبعاد، ثم انقل الأوزان المُدرَّبة إليها. النتيجة: شبكة ثلاثية عميقة جداً ترث معرفة التدريب المسبق على ImageNet دون الحاجة للبدء من الصفر.

الفكرة الجوهرية بسيطة وأنيقة: المرشّح الالتفافي ثنائي الأبعاد بحجم $N \times N$ ينزلق على ارتفاع الصورة وعرضها. أمّا المرشّح ثلاثي الأبعاد بحجم $N \times N \times N$ فينزلق على الارتفاع والعرض والزمن معاً. فإذا كان عندك مرشّح $N \times N$ مُدرَّب ومُحكَم، يمكنك صنع مرشّح $N \times N \times N$ بتكرار أوزانه $N$ مرة على محور الزمن ثم القسمة على $N$ حتى يبقى مقياس التنشيط كما هو.

الصورة الذهنية: تخيّل قاطع كعك مسطّحاً تُكدِّس منه $N$ نسخة متطابقة لتحصل على قاطع مكعّب. كل شريحة فيه لها الشكل ذاته، فالقاطع المكعّب يتعرّف على النمط المكاني نفسه الذي يعرفه الأصلي — لكنه الآن يرصد أيضاً كيف يتغيّر هذا النمط عبر الزمن.

السبب الرياضي وراء نجاح هذا هو الخطّية: إذا أنتج المرشّح الأصلي خرجاً $y$ لصورة واحدة، فإنّ المرشّح المنفوخ يُنتج $y$ نفسه حين يُطبَّق على «فيديو ثابت» ليس سوى تلك الصورة مكرّرة. أي أنّ النموذج يبدأ بنفس كفاءة نموذج الصور تماماً — ومن هناك يتعلّم الأنماط الزمنية الجديدة.

ليس من الصواب نفخ كل طبقات التجميع بالتساوي. في الطبقات الأولى يكون حقل الاستقبال الزمني صغيراً — الشبكة لا ترى سوى بضعة إطارات. لو طبّقت تجميعاً زمنياً عنيفاً في هذه المرحلة المبكرة، ستسحق التفاصيل الزمنية قبل أن تبني الشبكة أيّ سمات منها.

ما وجدته الورقة هو أنّ أول طبقتي تجميع أقصى ينبغي أن تستخدما نوى بحجم $1 \times 3 \times 3$ — أي بدون تجميع زمني — بينما تستخدم الطبقات اللاحقة نوى $2 \times 3 \times 3$ تجمع مكانياً وزمنياً معاً. هذا النهج غير المتناظر يوسّع حقل الاستقبال الزمني بالتدريج، تماماً كما تفعل الشبكات الالتفافية التقليدية مع حقل الاستقبال المكاني طبقةً بعد طبقة. عند الطبقات الأخيرة تكون كل وحدة «ترى» نافذة من 64 إطاراً — أي نحو 2.5 ثانية من الفيديو.

حتى مع وجود التفافات ثلاثية الأبعاد تلتقط الأنماط الزمنية مباشرةً من بكسلات RGB، اتّضح أنّ إضافة تيار منفصل للانسياب البصري تُحسّن الدقة بشكل ملموس. بنية I3D ثنائية التيار تدرّب شبكتي Inception-v1 منفوختين متماثلتين، كلّ واحدة بشكل مستقل:

• تيار RGB يستقبل 64 إطار فيديو متتالياً. مرشّحاته الثلاثية المنفوخة تتعلّم استخلاص سمات المظهر — ماذا يوجد في المشهد وكيف يبدو — مع التقاط بعض الديناميكيات الزمنية.

• تيار الانسياب البصري يستقبل 64 إطار انسياب بصري محسوبة مسبقاً (كل إطار بقناتين: الإزاحة الأفقية والرأسية). هذا التيار يركّز حصرياً على أنماط الحركة — المسار والسرعة والاتجاه — بمعزل عن المظهر.

عند الاختبار يُحسب المتوسط الحسابي لاحتمالات softmax من الشبكتين. رغم بساطة هذا الدمج، تفوّق باستمرار على أيّ تيار بمفرده: تيار RGB على Kinetics حقّق 71.1%، والانسياب البصري حقّق 63.4%، لكنّهما معاً وصلا إلى 74.2%.

من الإسهامات المحورية في هذه الورقة مجموعة بيانات Kinetics نفسها. تضمّ 400 فئة من الأفعال البشرية — أفعال فردية (كالرسم والضحك)، وتفاعلات بين شخصين (كالعناق والمصافحة)، وتفاعلات بين شخص وأشياء (كفتح الهدايا وغسل الأطباق) — بواقع 400 مقطع على الأقل لكل فئة، مدة كل منها نحو 10 ثوانٍ، مصدرها YouTube.

هذا الحجم يفوق UCF-101 وHMDB-51 بنحو مئة ضعف، والفارق جوهري: حين دُرِّبت كل البنى مسبقاً على Kinetics، تحسّن أداء كلّ بنية بشكل واضح على المعايير الأصغر. I3D استفادت أكثر من غيرها لأنّ بنيتها الثلاثية العميقة تملك معاملات كافية لاستيعاب الأنماط الزمنية الغنية التي لا توفّرها المجموعات الصغيرة.

باختصار، فعلت Kinetics في الفيديو ما فعلته ImageNet في الصور — مكّنت الباحثين من التمييز بين البنى الجيدة والضعيفة، ووفّرت مصدراً معيارياً لـالتدريب المسبق ونقل التعلّم نحو مهام الفيديو اللاحقة.

بعد التدريب المسبق على Kinetics، حققت I3D ثنائية التيار دقة 80.9% على HMDB-51 و98.0% على UCF-101 — أي انخفاض في معدّل الخطأ بنسبة 33% و57% على التوالي مقارنة بأفضل النماذج السابقة. واللافت أنّ كل تيار بمفرده (RGB أو الانسياب) تفوّق على جميع الطرق السابقة، والجمع بينهما وسّع الفارق أكثر.

ملاحظة مهمة ظهرت في النتائج: على Kinetics كان تيار RGB أقوى (71.1% مقابل 63.4% للانسياب)، والسبب المرجّح أنّ Kinetics تحوي حركة كاميرا كثيرة تُربك الانسياب البصري. أمّا على HMDB-51 وUCF-101 فكان تيار الانسياب البصري هو الأقوى، وهذا يشير إلى أنّ المجموعات الأصغر تعتمد أكثر على إشارات الحركة الصريحة. وفي كل الحالات، الجمع بين التيارين حسّن الدقة.

ما أثبتته I3D هو أنّ فهم الفيديو لا يحتاج البدء من الصفر — يمكنه أن يبني على عقود من التقدّم في تمييز الصور. مبدأ النفخ حالة خاصة من فكرة أعمق: حين تتشارك طريقة إدخال جديدة في بنيتها مع طريقة موجودة — كما يتشارك الفيديو البنية المكانية مع الصور — فالنهج الأنجع هو توسيع ما ينجح بدلاً من إعادة اختراعه.