Diagonal Approximation

تبسيط لمصفوفة كاملة بالاحتفاظ بعناصر قُطرها فقط وإهمال العناصر الأخرى. في AdaGrad، يعني هذا تتبّع مربعات التدرّجات لكل معامل على حدة بدلاً من تتبّع جميع الارتباطات بينها، ممّا يخفّض التعقيد من $O(d^2)$ إلى $O(d)$.

A simplification of a full matrix by keeping only its diagonal elements and ignoring the rest. In AdaGrad, this means tracking squared gradients per parameter independently rather than all correlations between them, reducing complexity from O(d²) to O(d).