Low-Rank Adaptation

التكيّف مُنخَفِض الرُّتبة

أسلوب لتكييف النماذج اللغوية الكبيرة بتجميد الأوزان المُدرَّبة مسبقاً وحقن مصفوفات صغيرة مُنخَفِضة الرُّتبة قابلة للتدريب بموازاة مصفوفات الأوزان الأصلية.

A method for adapting large language models by freezing pre-trained weights and injecting small trainable low-rank matrices alongside the original weight matrices.

Also translated asالتعديل الجانبي منخفض الأبعاد، التعديل منخفض الرتبة، التكييف منخفض الرتبة، الضبط الدقيق بالأوزان المضافة

First appears in this corpus in: LoRA: Low-Rank Adaptation of Large Language Models (2021)

Appears in these papers

LoRA: Low-Rank Adaptation of Large Language Models2021 in the sky ✦
QLoRA: Efficient Finetuning of Quantized LLMs2023 in the sky ✦
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?2024 in the sky ✦
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?2024 in the sky ✦