Softplus

دالة تنشيط ناعمة بالصيغة log(1 + eˣ)، تُقرِّب ReLU بشكل مستمر وقابل للاشتقاق في كل نقطة. تنشأ طبيعياً كنهاية مجموع لا نهائي من دوال سيجمويد مُزاحة.

A smooth activation function defined as log(1 + eˣ), closely approximating ReLU while being differentiable everywhere. Arises naturally as the limit of an infinite sum of shifted sigmoids.