التقنيع الثابت

أسلوب التقنيع الأصلي في BERT حيث تُحدَّد مواضع الأقنعة مرة واحدة أثناء معالجة البيانات قبل التدريب. تُنسخ البيانات عدة مرات بأنماط مختلفة لإضافة بعض التنوع، لكن كل نمط يتكرّر عدة مرات خلال التدريب.

The original masking approach in BERT where mask positions are determined once during data preprocessing. Data is duplicated multiple times with different patterns to add variety, but each pattern repeats several times during training.