Oracle Retrieval

إعداد تجريبي يُقدَّم فيه للنموذج بالضبط الملفات التي يُعدّلها الحلّ الصحيح، ويُستخدم لقياس السقف الأعلى لأداء النموذج عند إزالة تحدي الاسترجاع.

An experimental setting where the model is provided exactly the files edited by the gold solution, used to measure the upper bound of model performance when the retrieval challenge is removed.