الرؤية الحاسوبية2022متوسط13 دقيقة قراءة
المُرمِّزات التلقائية المُقنَّعة: نماذج رؤية قابلة للتدريج
Masked Autoencoders Are Scalable Vision Learners
He, K. · Chen, X. · Xie, S. · Li, Y. · Dollár, P. · Girshick, R. — CVPR
المشكلة
بحلول 2021 أثبتت محوِّلات الرؤية (ViT) أنّ آلية الانتباه وحدها تستطيع منافسة الشبكات الالتفافية — لكن بشرط على مئات الملايين من الصور المُعنونة يدوياً (JFT-300M). من دون هذا الحجم الهائل من البيانات المُعنونة، تقع نماذج ViT الكبيرة في فرط التخصيص بسرعة. في المقابل، كان مجال معالجة اللغة الطبيعية قد تجاوز هذه العقبة بالتدريب ذاتي الإشراف — تقنيع الكلمات في BERT والتنبؤ بالكلمة التالية في GPT — أي التعلُّم من نصوص خام دون تسميات. السؤال الطبيعي: هل يمكن تطبيق الفكرة نفسها على الصور؟ المحاولات السابقة مثل BEiT وiGPT لم تُقدِّم إجابة مُقنعة: بعضها احتاج مُرمِّزات رموز معقدة، وبعضها كان بطيئاً جداً، ولم يتدرّج أيٌّ منها بكفاءة.
الإسهام
MAE أسلوب ذاتي الإشراف بسيط بشكل لافت. الفكرة: أخفِ 75% من رُقَع الصورة عشوائياً، ثم مرِّر الرُّقَع المتبقية (25% فقط) عبر مُرمِّز ViT — دون إدخال أي رموز تقنيع إلى ، وهذه نقطة محورية في الكفاءة. بعد ذلك يتولّى فاكّ ترميز صغير وخفيف استقبال الرُّقَع المُرمَّزة مع رموز تقنيع مُتعلَّمة لإعادة بناء البكسلات المفقودة. يقوم التصميم على فكرتين أساسيتين: (1) البنية غير المتماثلة تُبعد رموز التقنيع عن المُرمِّز الثقيل فتخفّض تكلفة الحوسبة 3-4 أضعاف، (2) المرتفعة جداً تمنع النموذج من الاكتفاء بنسخ الملمس المحلي وتدفعه نحو فهم دلالي شامل للمشهد. بهذه الوصفة يحقق ViT-Huge المُدرَّب على ImageNet-1K وحدها دقة 87.8% — وهي الأعلى بين كل الأساليب المقتصرة على ImageNet-1K — مع سرعة تدريب تتفوق على الأساليب التقابلية.
الأثر
أثبت MAE أنّ وصفة التدريب المسبق ذاتي الإشراف على طريقة BERT قابلة للتطبيق في الرؤية الحاسوبية، وبذلك ردم الفجوة التي كانت تفصل الرؤية عن معالجة اللغة الطبيعية. أظهر أنّ نماذج ViT الكبيرة يمكن تدريبها على مجموعة بيانات بحجم ImageNet-1K فقط ودون أي تسميات بشرية، ففتح أمام الرؤية مسار تدريج كان حكراً على نماذج اللغة. وُلدت من MAE عائلة كاملة من أساليب النمذجة المُقنَّعة — VideoMAE وAudioMAE وMultiMAE وPoint-MAE — وتُستخدم تمثيلاته اليوم في أنظمة كشف الأجسام والتجزئة والنماذج متعددة الوسائط. والأهم أنه أثبت أنّ إعادة بناء البكسلات مباشرةً، دون مُرمِّزات رموز معقدة، تكفي لتعلُّم تمثيلات بصرية غنية.
فكرة BERT في اللغة بسيطة: احذف بعض الكلمات من جملة واطلب من النموذج تخمينها من السياق. نجحت الفكرة لأنّ اللغة مادة كثيفة — كل كلمة تحمل معنًى، وغياب كلمة واحدة يُحدث فرقاً واضحاً.
لكن الصور ليست كذلك. لو أخفيتَ رقعة صغيرة من سماء زرقاء، يستطيع أي نموذج ملأها بنسخ ألوان الجيران دون أن يفهم شيئاً عن المشهد. فكيف نصنع من «ملء الفراغات» تحدياً يُجبر النموذج على الفهم الحقيقي؟
جواب MAE: احذف معظم الصورة. أخفِ 75% من — نسبة كافية لتختفي كل القرائن المحلية من ملمس وألوان. عندها يضطر النموذج إلى فهم الأجسام والتركيب المكاني والعلاقات بين أجزاء المشهد ليتمكّن من إعادة البناء. تخيَّل أحجية صور حُذفت منها ثلاث قطع من كل أربع — لن تحلّها إلا إذا كنتَ تفهم الصورة الكاملة.
الفجوة: لماذا لا تعمل وصفة BERT مباشرةً مع الصور
في BERT، يكفي تقنيع 15% من للحصول على مهمة تنبؤ صعبة، لأنّ اللغة مادة كثيفة المعلومات — كل كلمة تحمل ثقلاً دلالياً، وغياب كلمة واحدة قد يُغيِّر المعنى كلياً.
الصور تختلف عن النصوص في ثلاث نقاط جوهرية:
- العالية. الرقعة المفقودة يمكن غالباً ملؤها بتكرار ملمس الرُّقَع المجاورة — دون أي فهم فعلي للمشهد. لذلك فإنّ تقنيع 15% فقط (كما في BERT) لن يُشكّل تحدياً كافياً ولن يدفع النموذج إلى تعلُّم شيء مفيد.
- بكسلات مقابل كلمات. في BERT يتنبأ بكلمات — وهي رموز غنية بالدلالة. أما في الصور فالهدف هو التنبؤ ببكسلات — قيم رقمية منخفضة المستوى. لهذا يجب تصميم فاكّ الترميز بعناية كي يدفع المُرمِّز إلى تعلُّم دلالية لا مجرد إحصاءات بكسلية.
- عدم توافق البنية. قبل ظهور ViT، كانت الرؤية تعتمد على التي لا تتقبّل بطبيعتها مفهوم أو . أزال ViT هذا الحاجز بمعاملة رُقَع الصورة كرموز متتابعة تماماً كالكلمات.
الفكرة: تقنيع عنيف، ترميز فعّال، فكّ ترميز خفيف
يعمل MAE بثلاث خطوات، كل واحدة منها تحمل قراراً تصميمياً مهماً:
1. قنِّع 75% من الرُّقَع. تُقسَّم الصورة (224×224) إلى 196 رقعة كما في ViT، ثم تُحذف 147 منها عشوائياً ولا تبقى سوى 49. نسبة التقنيع المرتفعة هذه ضرورية: فهي تمحو القرائن المحلية من ملمس وألوان وتُجبر النموذج على فهم الأجسام والبِنى والعلاقات المكانية ليتمكّن من إعادة البناء.
2. رمِّز الرُّقَع المرئية فقط. هنا تكمن نقطة الكفاءة الجوهرية. بخلاف BERT الذي يُدخل رموز التقنيع إلى مُرمِّزه بالكامل، لا يُدخل MAE إلى المُرمِّز سوى الرُّقَع المرئية (25%). بما أنّ تكلفة تتناسب مع O(n²)، فإنّ معالجة ربع الرموز تعني نحو 6% فقط من تكلفة الانتباه — وهذا تسريع هائل.
3. فُكّ الترميز بشبكة خفيفة. بعد الترميز، تُضاف رموز تقنيع مُتعلَّمة (رمز لكل رقعة مفقودة)، ثم تُلحق تضمينات موضعية ليعرف كل رمز موقعه في الصورة، ويُمرَّر الكل عبر فاكّ ترميز صغير (8 طبقات محوِّل بعرض 512 بُعداً — أي نحو 9% من حوسبة المُرمِّز). يُعيد فاكّ الترميز بناء البكسلات المفقودة. بعد انتهاء التدريب المسبق، يُتخلَّص من فاكّ الترميز ويُحتفظ بالمُرمِّز وحده لاستخدامه في المهام اللاحقة.
البنية غير المتماثلة: المُرمِّز لا يرى إلا الرُّقَع الحقيقية
سرّ كفاءة MAE يكمن في بنية : المُرمِّز كبير وقوي لكنّه لا يعالج سوى عدد قليل من الرموز، بينما فاكّ الترميز صغير وخفيف لكنّه يرى كل الرموز.
تخيَّل فريقاً فيه خبير ومساعد: الخبير (المُرمِّز) يدرس الأدلة المتاحة بعمق ويخرج بفهم ثري، ثم يُسلِّم استنتاجاته إلى المساعد (فاكّ الترميز) الذي يدمجها مع رموز بديلة للأجزاء المفقودة ويملأ الفراغات. التحليل العميق يجري على 25% فقط من البيانات، والتجميع الخفيف يجري على الـ 100%.
لهذا التصميم فائدة إضافية مهمة: انعدام الفجوة بين التدريب والاستخدام. في BERT، يرى المُرمِّز رموز [MASK] أثناء التدريب المسبق لكنه لا يراها أثناء — وهذا يخلق فجوة توزيعية. أمّا مُرمِّز MAE فلا يرى رموز التقنيع أبداً: هو دائماً يعالج رُقَعاً حقيقية سواء في التدريب أو في الاستخدام الفعلي. هذا التصميم يُلغي الفجوة ويُحسِّن الدقة بما يصل إلى 14% في .
لماذا 75%؟ النقطة المثلى لنسبة التقنيع
نسبة التقنيع ليست اختياراً عشوائياً — فهي تُحدِّد: هل يتعلّم النموذج بالفهم أم بمجرد نسخ الجيران؟ اختبرت الورقة نسباً تمتدّ من 10% إلى 90%:
- عند النسب المنخفضة (10-40%)، المهمة سهلة جداً. الرُّقَع المجاورة تكفي لملء الفراغات دون حاجة لفهم المشهد — كأحجية كلمات متقاطعة أُعطيت فيها معظم الحروف.
- عند 75% (النقطة المثلى)، تنهار كل الاختصارات المحلية. يضطرّ النموذج إلى التعرّف على الأجسام وفهم التخطيط المكاني وإدراك العلاقات الدلالية في المشهد. دقة الضبط الدقيق تبلغ ذروتها عند 85.0%.
- عند 90% فأكثر، لا تتبقّى معلومات كافية حتى للإنسان — إعادة بناء صورة من 20 رقعة فقط من أصل 196 مهمة شبه مستحيلة.
هذه الـ 75% أعلى بكثير من 15% في BERT، وهذا يُؤكد الفرق الجوهري بين الوسيطين: الصور تحمل وَفرة مكانية أكبر بكثير من النص، ولذلك يجب إخفاء جزء أكبر بكثير لخلق مهمة تعلُّم ذات معنى.
ماذا نُعيد بناءه؟ البكسلات تكفي
سؤال محوري في : ما الذي يجب أن يتنبأ به فاكّ الترميز؟ BEiT سلك طريقاً معقداً وتنبأ برموز بصرية منفصلة مُستخرجة من مُرمِّز dVAE مُدرَّب مسبقاً — مما أضاف مرحلة تدريب إضافية وتعقيداً غير ضروري. MAE يُثبت أنّ البكسلات الخام تُؤدي الغرض نفسه، مع ملاحظتين مهمتين:
هي (MSE)، وتُحسب على الرُّقَع المُقنَّعة فقط — أي أنّ النموذج لا يُعاقَب على الرُّقَع التي رآها فعلاً، فيبقى التركيز كاملاً على مهمة إعادة البناء.
وهناك حيلة بسيطة ترفع الجودة: على حدة. قبل حساب الخسارة، تُسوَّى كل رقعة إلى متوسط صفري وتباين واحدي. هذا يدفع النموذج إلى التنبؤ بالتباين النسبي والبنية الداخلية بدلاً من السطوع المطلق، فينتبه أكثر للتفاصيل عالية التردد. النتيجة: تحسُّن بنحو 0.5% في الدقة مقارنة بالبكسلات الخام — وأداء يُضاهي الأهداف القائمة على الترميز لكن بتعقيد أقل بكثير.
السرعة والتدريج: تدريب ViT-Huge في ساعات بدل أسابيع
البنية غير المتماثلة في MAE تُترجَم إلى مكاسب كفاءة ملموسة. لنقارن بين الأسلوبين:
مع رموز التقنيع داخل المُرمِّز (كما في BERT): يعالج المُرمِّز كل الـ 196 رمزاً بما فيها رموز التقنيع. الانتباه الذاتي يحسب 196² = 38,416 تفاعلاً. تدريب ViT-Huge لـ 800 يستغرق نحو 120 ساعة على 128 وحدة TPU.
أسلوب MAE (رموز التقنيع في فاكّ الترميز فقط): لا يعالج المُرمِّز سوى 49 رمزاً مرئياً. الانتباه الذاتي يحسب 49² = 2,401 تفاعل — أي 6% فقط من التكلفة. ViT-Huge نفسه يُدرَّب في نحو 29 ساعة — تسريع بمقدار 4.1 أضعاف. واستهلاك الذاكرة ينخفض بالتناسب، مما يفتح الباب لنماذج أكبر.
هذه الكفاءة هي ما مكّن MAE من التدريج حيث عجزت الأساليب السابقة. BEiT مثلاً — الذي يُدخل رموز التقنيع إلى مُرمِّزه — احتاج 36 ساعة لتدريب ViT-L لمدة 300 حقبة. في المقابل، يتدرّب ViT-L بأسلوب MAE لمدة 1600 حقبة (خمسة أضعاف) في 31 ساعة فقط — زمن إجمالي أقل رغم حقب تدريب أكثر بكثير.
دون عمليات متفرقة: حيلة الخلط والترتيب
يبرز هنا سؤال عملي: إذا كان المُرمِّز لا يعالج إلّا الرُّقَع المرئية، فكيف نفصلها بكفاءة عن الرُّقَع المُقنَّعة؟ الحل الذي يستخدمه MAE أنيق وبسيط — مجرّد خلط عشوائي دون أي عمليات متفرقة متخصصة:
- أنشئ تضمينات موضعية لكل الـ 196 رقعة.
- اخلط قائمة رموز الرُّقَع عشوائياً.
- أبقِ أول 25% (المرئية) واحذف الباقي.
- أدخل الرموز المتبقية فقط إلى مُرمِّز ViT.
- بعد الترميز، ألحق رموز التقنيع وأعد الترتيب الأصلي ليعود كل رمز إلى موقعه الصحيح.
- أضف التضمينات الموضعية ومرِّر الكل عبر فاكّ الترميز.
عمليتا الخلط وإعادة الترتيب سريعتان للغاية — لا تتعدّيان كونهما تبديلاً في الفهارس. التنفيذ بأكمله لا يُضيف عبئاً حسابياً يُذكر ولا يحتاج نوى GPU مخصصة.
مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.
import numpy as np
def mae_pretrain_step(image, encoder, decoder, mask_ratio=0.75):
"""خطوة تدريب مسبق واحدة لـ MAE — قنِّع، رمِّز، فُكّ الترميز، احسب الخسارة."""
# 1. قسِّم الصورة إلى رُقَع (كما في ViT)
patches = split_into_patches(image, patch_size=16) # (196, 768)
n = len(patches)
# 2. تقنيع عشوائي عبر حيلة الخلط
indices = np.random.permutation(n)
n_visible = int(n * (1 - mask_ratio)) # 49 رقعة
visible_idx = sorted(indices[:n_visible])
masked_idx = sorted(indices[n_visible:])
# 3. رمِّز الرُّقَع المرئية فقط (مفتاح التسريع!)
visible_patches = patches[visible_idx] # (49, 768)
visible_emb = visible_patches + pos_embed[visible_idx]
latent = encoder(visible_emb) # (49, 1024)
# 4. جهّز مدخل فاكّ الترميز: المُرمَّزة + رموز التقنيع
mask_tokens = np.tile(learned_mask_token, (len(masked_idx), 1))
full_tokens = np.zeros((n, decoder_dim))
full_tokens[visible_idx] = project(latent) # إسقاط إلى بُعد فاكّ الترميز
full_tokens[masked_idx] = mask_tokens
full_tokens += decoder_pos_embed # أضف المعلومات الموضعية
# 5. فُكّ الترميز واحسب الخسارة على الرُّقَع المُقنَّعة فقط
reconstructed = decoder(full_tokens) # (196, 768)
loss = mse(reconstructed[masked_idx], patches[masked_idx])
return loss
# بعد التدريب المسبق: تخلّص من فاكّ الترميز وأبقِ المرمِّز فقط.
# اضبط المرمِّز دقيقاً على المهام اللاحقة (تصنيف، كشف، إلخ).نتيجة مفاجئة: لا حاجة لتعزيز البيانات
أساليب ذاتي الإشراف (مثل SimCLR وBYOL وMoCo) تعتمد اعتماداً كبيراً على — كتغيير الألوان والقص العشوائي والتمويه الغاوسي. بدون هذه التعزيزات تنخفض دقتها بمقدار 13-28%.
MAE يختلف جذرياً في هذه النقطة: يعمل بكفاءة دون أي تعزيز — حتى دون القلب الأفقي البسيط. بل إنّ إضافة تغيير الألوان تُضرّ بالأداء. والتفسير أنيق: التقنيع العشوائي يقوم بدور التعزيز تلقائياً. في كل تكرار تدريبي يُطبَّق قناع مختلف على الصورة نفسها، فتتولّد إشارة تعلُّم مختلفة في كل مرة. القناع وحده يُنتج تنوعاً تدريبياً لا نهائياً تقريباً، مما يجعل التعزيز التقليدي غير ضروري.
هذه ميزة جوهرية: MAE لا يحتاج إلى تصميم تحويلات يدوية تحافظ على المعنى. التقنيع بطبيعته يخلق إشارة إشرافية ذاتية دون افتراضات مسبقة حول خصائص الثبات التي يجب أن يتعلّمها النموذج.
النتائج: أداء متصدِّر باستخدام ImageNet-1K فقط
نتائج MAE تُؤكد قدرته على التدريج عبر أحجام مختلفة من النماذج ومهام لاحقة متنوعة:
ImageNet-1K — ViT-Huge المُدرَّب مسبقاً بأسلوب MAE يحقق دقة 87.8% (بمدخل 448 بكسل)، وهي الأعلى بين جميع الأساليب المقتصرة على ImageNet-1K. حتى بمدخل 224 يصل إلى 86.9%. والنقطة الأهم أنّ مكاسب MAE تتعاظم مع حجم النموذج: الفائدة مقارنة بالتدريب من الصفر أكبر في ViT-Large منها في ViT-Base، وأكبر في ViT-Huge — وهو سلوك التدريج نفسه الذي نعرفه من نماذج اللغة.
(COCO) — ViT-L بتدريب MAE المسبق يحقق 53.3 AP^box، متفوقاً على التدريب الإشرافي بـ 4.0 نقاط. الهدف البكسلي البسيط يُحقق أداءً مكافئاً لـ BEiT القائم على الترميز.
(ADE20K) — MAE مع ViT-L يصل إلى 53.6 mIoU، متقدّماً على التدريب الإشرافي بـ 3.7 نقاط وعلى BEiT أيضاً.
المتانة — نماذج MAE تتفوق بفارق لافت على متغيرات ImageNet الصعبة (خصومية، مشوّهة، رسومات). ViT-Huge بأسلوب MAE يسجل 68.2% على ImageNet-Adversarial، مقابل 33.1% للتدريب الإشرافي — أي أكثر من الضعف.
الاختبار الخطي مقابل الضبط الدقيق: قوة مُخبَّأة في التمثيلات
ملاحظة لافتة: دقة الاختبار الخطي في MAE (73.5% لـ ViT-L) أقل مما تحققه الأساليب التقابلية مثل MoCo v3 (77.6%). فهل يعني هذا أنّ MAE يتعلّم أضعف؟
العكس تماماً. بمجرد أن تضبط طبقة واحدة فقط (مع تجميد البقية)، تقفز دقة MAE من 73.5% إلى 81.0% — ويتفوق على MoCo v3 عند كل مستوى من . الفارق يصل إلى 2.6% عند ضبط 4 طبقات فقط.
التفسير: تمثيلات MAE لا خطية بطبيعتها. تحتوي على بنية عميقة وغنية لا يستطيع مصنِّف خطي بسيط استخلاصها، لكنّ رأساً لا خطياً صغيراً يكفي لإطلاق قوتها. الأساليب التقابلية تُنتج سمات أسهل في (ولذلك تتفوق في الاختبار الخطي)، لكنّ سمات MAE أقوى بمجرد إتاحة أدنى قدر من التكيُّف.
هذا الاكتشاف يُشكّك في جدوى تقييم أساليب بالاختبار الخطي وحده. القابلية للفصل الخطي ليست المقياس الكامل — ثراء التمثيل هو ما يُحدث الفرق في المهام اللاحقة الحقيقية.
لماذا يُهمّ: لحظة BERT في عالم الرؤية الحاسوبية
2020
iGPT — GPT للصور
طبّق فكرة التنبؤ التسلسلي على بكسلات الصور. أثبت أنّ المبدأ يعمل، لكنّه كان بطيئاً جداً للاستخدام العملي ولم يعمل إلّا على صور منخفضة الدقة.
2021
BEiT — تدريب BERT المسبق لمحوِّلات الصور
تنبّأ بالرُّقَع المُقنَّعة عبر رموز بصرية منفصلة مُستخرجة من dVAE. حقّق نتائج قوية لكنّه احتاج مُرمِّز رموز معقداً ومُدرَّباً مسبقاً، وكان أبطأ من MAE.
2022
MAE — المُرمِّزات التلقائية المُقنَّعة
إعادة بناء بكسلات مباشرة ببنية مُرمِّز-فاكّ ترميز غير متماثلة. حقّق 87.8% على ImageNet-1K وأثبت أنّ الترميز المعقد غير ضروري وأنّ البساطة تتفوّق.
2022
SimMIM — نمذجة الصورة المُقنَّعة البسيطة
عمل متزامن أظهر أنّ نمذجة الصورة المُقنَّعة تنجح أيضاً مع محوِّلات Swin. أدخل رموز التقنيع إلى المُرمِّز (بخلاف MAE) لكنّه أكّد فعالية التقنيع عبر بنى متعددة.
2022
VideoMAE — مُرمِّزات تلقائية مُقنَّعة للفيديو
وسّع فكرة MAE إلى الفيديو باستخدام تقنيع أنبوبي يمتدّ عبر الإطارات. أظهر أنّ الوَفرة الزمنية في الفيديو تسمح برفع نسبة التقنيع إلى 90-95%.
2023
SAM — نموذج تجزئة أي شيء
نموذج أساسي للتجزئة يعتمد على مُرمِّز ViT مُدرَّب مسبقاً بأسلوب MAE. دُرِّب على مليار قناع ويستطيع تجزئة أي جسم بنقرة واحدة. التدريب المسبق بـ MAE كان عاملاً محورياً في كفاءته مع البيانات.
الإسهام الأعمق لـ MAE هو إثبات مبدأ عملي: أساليب التعلُّم ذاتي الإشراف البسيطة التي تُعيد بناء إشارات خام تتدرّج بنجاح في الرؤية الحاسوبية، تماماً كما حدث في معالجة اللغة الطبيعية. لا حاجة لأزواج تقابلية ولا لتعزيزات مصمَّمة يدوياً ولا لمُرمِّزات رموز معقدة. بأهداف بكسلية يُدرَّب على صور خام دون تسميات، وينتج تمثيلات تُضاهي أو تتفوّق على سنوات من أبحاث التدريب الإشرافي. مسار تدريج الرؤية أصبح واضحاً: المزيد من البيانات، والمزيد من الحوسبة، والوصفة البسيطة نفسها.
المرجعHe, Chen, Xie, Li, Dollár, Girshick. Masked Autoencoders Are Scalable Vision Learners. CVPR, 2022.
مصطلحات هذه الورقة
- مُرمِّز تلقائي مُقنَّعMasked Autoencoder
- نسبة التقنيعMasking Ratio
- بنية غير متماثلةAsymmetric Encoder-Decoder
- رمز التقنيعMask Token
- هدف إعادة البناءReconstruction Target
- الوَفرة المكانيةSpatial Redundancy
- نمذجة الصورة المُقنَّعةMasked Image Modeling
- تسوية كل رقعةPer-Patch Normalization
- الضبط الدقيق الجزئيPartial Fine-Tuning