Spatial Redundancy

خاصية الصور حيث تحمل المناطق المتجاورة معلومات متشابهة — بخلاف النص حيث كل كلمة فريدة. هذه الخاصية تجعل تقنيع 15% كما في BERT سهلاً جداً في الصور وتتطلب نسبة تقنيع أعلى بكثير.

The property of images where nearby regions contain similar information — unlike text where every word is unique. This property makes BERT's 15% masking too easy for images and demands a much higher masking ratio.