الخلايا العصبية الميتة

خلية عصبية تُخرج صفراً دائماً بسبب وقوعها في المنطقة السالبة لدالة ReLU. تُنتج تدرجاً صفرياً ولا تتعافى أبداً أثناء التدريب. المنحنى الناعم لدوال مثل SwiGLU يتفادى هذه المشكلة.

A neuron that permanently outputs zero because it fell into ReLU's negative region. It produces zero gradient and never recovers during training. Smooth activations like SwiGLU avoid this problem.