Gumbel Softmax

تقنية استرخاء تتيح أخذ عيّنات من توزيعات منفصلة بطريقة قابلة للاشتقاق. تستخدم مُعامل حرارة يُخفَّض تدريجياً ليتحوّل التوزيع من مزيج ليّن إلى اختيار أحادي حادّ، مما يسمح بتدفّق التدرّجات عبر اختيارات منفصلة أثناء التدريب.

A relaxation technique that enables differentiable sampling from discrete distributions. It uses a temperature parameter that is gradually annealed so the distribution transitions from a soft blend to a hard one-hot selection, allowing gradients to flow through discrete choices during training.