الاسترجاع المرجعي
Oracle Retrieval
إعداد تجريبي يُقدَّم فيه للنموذج بالضبط الملفات التي يُعدّلها الحلّ الصحيح، ويُستخدم لقياس السقف الأعلى لأداء النموذج عند إزالة تحدي الاسترجاع.
An experimental setting where the model is provided exactly the files edited by the gold solution, used to measure the upper bound of model performance when the retrieval challenge is removed.
تُرجم أيضاًالاسترجاع المثالي
أول ظهور في هذه المجموعة: SWE-bench: هل تستطيع النماذج اللغوية حلّ مشكلات GitHub الحقيقية؟ (2024)
يظهر في هذه الأوراق