QLoRA

امتداد لـ LoRA يدمجه مع تكميم الأوزان المُجمَّدة إلى 4 بتات، مما يُتيح ضبط نماذج بحجم 65 مليار معامل على معالج رسومي واحد.

An extension of LoRA that combines it with 4-bit quantization of frozen weights, enabling fine-tuning of 65B-parameter models on a single GPU.