Dead Neuron

خلية عصبية تُخرج صفراً دائماً بسبب وقوعها في المنطقة السالبة لدالة ReLU. تُنتج تدرجاً صفرياً ولا تتعافى أبداً أثناء التدريب. المنحنى الناعم لدوال مثل SwiGLU يتفادى هذه المشكلة.

A neuron that permanently outputs zero because it fell into ReLU's negative region. It produces zero gradient and never recovers during training. Smooth activations like SwiGLU avoid this problem.