Gibbs' Inequality

نتيجة رياضية أساسية تنصّ على أن تباعد كولباك-لايبلر دائماً غير سالب — أي لا يمكنك كسب بتات إضافية باستخدام توزيع خاطئ.

A fundamental result stating that KL divergence is always non-negative — you can never gain extra bits by using the wrong distribution.