Nonstationarity

في تدرُّج السياسة، توزيع البيانات التي يجمعها الوكيل يتغيّر كلما تغيّرت السياسة، مما يجعل عملية الأمثلة غير مستقرة. المنطقة الموثوقة تُعالج هذه المشكلة بتقييد حجم التحديثات.

In policy gradients, the distribution of data collected by the agent changes as the policy changes, making optimization unstable. Trust regions address this by constraining update sizes.