—مدخل نصي
[B, 128]no weights
الانتباه والتجميع
مصنّف مشاعر للنصوص العربية
فريق دعم عملاء يتلقى آلاف الرسائل العربية يومياً بعدة لهجات. يريدون تصنيف كل رسالة إلى إيجابية أو سلبية قبل أن يراها موظف.
ابنِ سلسلة تحوّل دفعة من الجمل المقطّعة إلى درجتَي تصنيف. يجب أن يقوم الانتباه بالعمل السياقي، وأن يتسع النموذج في ميزانية 30 مليون معامل.
العدّاد
ما تكلفه هذه المعمارية
[B, 128]المعاملات
0
عمليات لكل مثال
0
ذاكرة التنشيط
0 B
لكل مثال
السلسلة
ما بنيتَه
التصدير
هذه السلسلة بلغة PyTorch
كل كتلة تعرف شكلها ومعاملاتها، فهي تعرف باني وحدتها. الناتج وحدة nn.Module عادية بلا أي اعتماد على أزيموث — انسخها إلى دفترك.
الفحص
ما الذي يتحقق حتى الآن
40%
الأشكال متصلة سليمة
كل كتلة تقبل ما تنتجه سابقتها.
يُنتج المخرج المطلوب
المطلوب [B, 2] · السلسلة تنتهي حالياً عند [B, 128]
يستخدم الكتل التي تتطلبها الفكرة
ما زال ناقصاً: تضمين الرموز، انتباه متعدد الرؤوس، إسقاط عشوائي، رأس التصنيف
ترتيب الكتل سليم
تضمين الرموز يجب أن تأتي قبل انتباه متعدد الرؤوس.
ضمن ميزانية الحجم
0 من ميزانية 30M
الرف
الكتل المتاحة
المصادر
التضمين
الطبقات الأساسية
إعادة التشكيل
التطبيع والتنظيم
دوال التنشيط
الرؤوس
الأقراص
لم تُحدَّد كتلة
اختر كتلة من السلسلة لضبط أقراصها وقراءة ما تفعله.