RETROfitting

عملية تحويل محوِّل مُدرَّب مسبقاً إلى نموذج معزَّز بالاسترجاع عن طريق تجميد الأوزان الأصلية وتدريب طبقات الانتباه التقاطعي المقسَّم ومرمِّز الاسترجاع فقط، مما يتطلب نحو 3% من بيانات التدريب الأصلية.

The process of converting a pre-trained Transformer into a retrieval-enhanced model by freezing original weights and training only the chunked cross-attention and retrieval encoder layers, requiring about 3% of the original training data.