Low-Rank Adapters

مصفوفات صغيرة قابلة للتدريب (A و B) تُحقن بجانب الأوزان المُجمَّدة للنموذج، حيث يُقرَّب تغيير الأوزان ΔW بجداء مصفوفتين منخفضتي الرتبة: ΔW = BA والرتبة r أصغر بكثير من أبعاد المصفوفة الأصلية.

Small trainable matrices (A and B) injected alongside frozen model weights, where the weight change ΔW is approximated by the product of two low-rank matrices: ΔW = BA with rank r much smaller than the original matrix dimensions.