توافق المُصنِّف الآلي

مقياس يقيس مدى توافق تفضيلات النموذج اللغوي المُصنِّف مع تفضيلات المُعلِّقين البشريين، ويُحسب كنسبة الأمثلة التي يتطابق فيها التفضيل الآلي مع البشري.

A metric measuring how well the LLM labeler's preferences match human annotators' preferences, calculated as the fraction of examples where the AI and human preferences agree.