نسبة اللوغاريتم

log(π_θ(y|x) / π_ref(y|x)): تقيس مقدار انحراف السياسة عن المرجع لإجابة معينة، وهي اللبنة الأساسية للمكافأة الضمنية في DPO.

log(π_θ(y|x) / π_ref(y|x)): measures how much the policy has drifted from the reference for a given response, the building block of DPO's implicit reward.