—مدخل نصي
[B, 128]no weights
التكييف الموفّر للمعاملات
تكييف نموذج كبير على المذكرات السريرية
مستشفى يريد نموذج فرز على مذكراته السريرية. البيانات لا تغادر المبنى، والمبنى فيه معالج رسومي واحد. وتكييف كل أوزان نموذج كبير مدرَّب مسبقاً ليس خياراً مطروحاً.
جمّد الأساس المدرَّب مسبقاً ودرّب محوّلات إلى جانبه. صنّف المذكرات إلى ثلاث درجات استعجال مع إبقاء الأوزان القابلة للتدريب دون 400 ألف — رغم أن النموذج نفسه أكبر بكثير.
العدّاد
ما تكلفه هذه المعمارية
[B, 128, 768]المعاملات
25M
قابلة للتدريب
0
25M مجمَّدة
عمليات لكل مثال
0
ذاكرة التنشيط
384 KB
لكل مثال
السلسلة
ما بنيتَه
[B, 128]تضمين الرموز
[B, 128, 768]25M params (25M frozen) · 384 KB
التصدير
هذه السلسلة بلغة PyTorch
كل كتلة تعرف شكلها ومعاملاتها، فهي تعرف باني وحدتها. الناتج وحدة nn.Module عادية بلا أي اعتماد على أزيموث — انسخها إلى دفترك.
الفحص
ما الذي يتحقق حتى الآن
40%
الأشكال متصلة سليمة
كل كتلة تقبل ما تنتجه سابقتها.
يُنتج المخرج المطلوب
المطلوب [B, 3] · السلسلة تنتهي حالياً عند [B, 128, 768]
يستخدم الكتل التي تتطلبها الفكرة
ما زال ناقصاً: محوِّل LoRA، انتباه متعدد الرؤوس، رأس التصنيف
الانتباه المدرَّب مسبقاً يبقى مجمَّداً
لا توجد انتباه متعدد الرؤوس في السلسلة بعد.
ضمن ميزانية المعاملات المدرَّبة
0 من ميزانية 400K
الرف
الكتل المتاحة
المصادر
التضمين
الطبقات الأساسية
إعادة التشكيل
التطبيع والتنظيم
المحوِّلات
الرؤوس
الأقراص
لم تُحدَّد كتلة
اختر كتلة من السلسلة لضبط أقراصها وقراءة ما تفعله.