لامب

مُحسِّن مُصمَّم للتدريب بدفعات ضخمة جداً، طوّره يانغ يو وزملاؤه، يُطبِّق تكيّفاً طبقياً على تحديثات آدم، مما أتاح تدريب بيرت في نحو 76 دقيقة على دفعات بحجم 32 ألف عيّنة دون خسارة في الدقة.

An optimizer designed for very large-batch training, developed by Yang You and colleagues, that applies layer-wise adaptation on top of Adam updates and enabled BERT to be trained in about 76 minutes with batch sizes of 32K without loss of accuracy.