—مدخل نصي
[B, 128]no weights
كتل المحوّل بالتطبيع المسبق
كتلة فك التشفير التوليدية
كل نموذج لغوي حديث هو كتلة واحدة مكررة عشرات المرات. ابنِ تلك الكتلة مرة واحدة بشكل صحيح، تفهم شكلها جميعاً.
جمّع كتلة فك تشفير تقيّم كل المفردات عند كل موضع. يجب أن يكون الانتباه سببياً — النموذج التوليدي لا يقرأ المستقبل أبداً.
العدّاد
ما تكلفه هذه المعمارية
[B, 128, 512]المعاملات
16M
عمليات لكل مثال
0
ذاكرة التنشيط
256 KB
لكل مثال
السلسلة
ما بنيتَه
[B, 128]تضمين الرموز
[B, 128, 512]16M params · 256 KB
التصدير
هذه السلسلة بلغة PyTorch
كل كتلة تعرف شكلها ومعاملاتها، فهي تعرف باني وحدتها. الناتج وحدة nn.Module عادية بلا أي اعتماد على أزيموث — انسخها إلى دفترك.
الفحص
ما الذي يتحقق حتى الآن
17%
الأشكال متصلة سليمة
كل كتلة تقبل ما تنتجه سابقتها.
يُنتج المخرج المطلوب
المطلوب [B, ·, ·] · السلسلة تنتهي حالياً عند [B, 128, 512]
يستخدم الكتل التي تتطلبها الفكرة
ما زال ناقصاً: الترميز الموضعي، تطبيع الطبقة، انتباه متعدد الرؤوس، وصلة تراجعية، رأس النمذجة اللغوية
ترتيب الكتل سليم
تطبيع الطبقة يجب أن تأتي قبل انتباه متعدد الرؤوس.
العمق ضمن المدى
2 كتلة · المسموح 8+
الانتباه سببي
لا توجد انتباه متعدد الرؤوس في السلسلة بعد.
الرف
الكتل المتاحة
المصادر
التضمين
الطبقات الأساسية
إعادة التشكيل
التطبيع والتنظيم
دوال التنشيط
الرؤوس
الأقراص
لم تُحدَّد كتلة
اختر كتلة من السلسلة لضبط أقراصها وقراءة ما تفعله.