نظرية PAC-Bayes

إطار نظري يربط بين أداء التعميم وتوزيع معاملات النموذج. يُقدّم حدوداً عليا لفجوة التعميم بدلالة تباعد KL بين التوزيع اللاحق (المُتعلَّم) والتوزيع الأولي (المُفتَرض مسبقاً) على المعاملات.

A theoretical framework linking generalization performance to the distribution over model parameters. It provides upper bounds on the generalization gap in terms of the KL divergence between the posterior (learned) and prior (assumed) distributions over parameters.