النسيان الكارثي
Catastrophic Forgetting
ميل الشبكات العصبية لفقدان المعرفة المكتسبة سابقاً بشكل مفاجئ حين تُضبط دقيقاً على بيانات جديدة، لأن مُتجهات الميل الجديدة تُعيد كتابة الأوزان التي ترمِّز المعرفة القديمة.
The tendency of neural networks to abruptly lose previously learned knowledge when fine-tuned on new data, because the new gradients overwrite weights encoding old knowledge.
تُرجم أيضاًالفقد المعرفي المفاجئ للشبكة، الفقدان الكارثي، المحو التلقائي للمعرفة السابقة عند التحديث، النسيان التداخلي الكارثي
أول ظهور في هذه المجموعة: التحكم بمستوى بشري عبر التعلم العميق بالتعزيز (2015)
يظهر في هذه الأوراق
- نقل التعلُّم بكفاءة المُعاملات في معالجة اللغة الطبيعية2019في السماء ✦
- BLIP-2: بناء تدريب مسبق للرؤية واللغة انطلاقاً من مرمِّزات صور ونماذج لغوية كبيرة مُجمَّدة2023في السماء ✦
- التحكم بمستوى بشري عبر التعلم العميق بالتعزيز2015في السماء ✦
- Flamingo: نموذج لغوي بصري للتعلّم بأمثلة قليلة2022في السماء ✦
- تحسين فهم اللغة عبر التدريب المسبق التوليدي2018في السماء ✦
- Open X-Embodiment: مجموعات بيانات التعلّم الروبوتي ونماذج RT-X2024في السماء ✦
- RT-2: نماذج الرؤية-اللغة-الفعل تنقل معرفة الويب إلى التحكم الروبوتي2023في السماء ✦
- الضبط الدقيق الشامل لنموذج اللغة من أجل تصنيف النصوص2018في السماء ✦
- Voyager: وكيل مُجسَّد مفتوح النهاية يعمل بالنماذج اللغوية الكبيرة2023في السماء ✦