Partial Fine-Tuning

ضبط دقيق لعدد محدود من الطبقات الأخيرة في النموذج مع تجميد الباقي. كشف أن تمثيلات MAE تحمل سمات لاخطية قوية تتفوق على الأساليب التقابلية حتى بضبط وحدة واحدة فقط.

Fine-tuning only a limited number of the last layers while freezing the rest. Revealed that MAE representations carry strong non-linear features that outperform contrastive methods even when tuning just one block.