تلاشي التدرج

الرصفة التي لا تتعلم

يسلّمك زميل هذا النموذج. يُترجَم بنجاح، والأشكال كلها متوافقة، ويتدرب ساعات دون أن تتحرك دالة الفقد. لا شيء في المخطط خاطئ — وهذا هو بيت القصيد.

العرَضدالة الفقد ثابتة عند قيمتها الابتدائية. التدرجات المقيسة عند الطبقة الأولى نحو 1e-9، وعند الأخيرة طبيعية.

أصلحها. أبقِ العمق — الحل ليس تقليل عدد الطبقات — وامنح التدرج طريقاً للعودة إلى الطبقة الأولى.

العدّاد

ما تكلفه هذه المعمارية

[B, 2]

المعاملات

58K

عمليات لكل مثال

58K

ذاكرة التنشيط

4 KB

لكل مثال

السلسلة

ما بنيتَه

  1. —

    مدخل جدولي

    [B, 64]

    no weights · 256 B

  2. [B, 64]

    طبقة خطية

    [B, 128]

    8.3K params · 8.2K FLOPs · 512 B

  3. [B, 128]

    دالة تنشيط

    [B, 128]

    no weights · 512 B

  4. [B, 128]

    طبقة خطية

    [B, 128]

    17K params · 16K FLOPs · 512 B

  5. [B, 128]

    دالة تنشيط

    [B, 128]

    no weights · 512 B

  6. [B, 128]

    طبقة خطية

    [B, 128]

    17K params · 16K FLOPs · 512 B

  7. [B, 128]

    دالة تنشيط

    [B, 128]

    no weights · 512 B

  8. [B, 128]

    طبقة خطية

    [B, 128]

    17K params · 16K FLOPs · 512 B

  9. [B, 128]

    دالة تنشيط

    [B, 128]

    no weights · 512 B

  10. [B, 128]

    رأس التصنيف

    [B, 2]

    258 params · 256 FLOPs · 8 B

التصدير

هذه السلسلة بلغة PyTorch

كل كتلة تعرف شكلها ومعاملاتها، فهي تعرف باني وحدتها. الناتج وحدة nn.Module عادية بلا أي اعتماد على أزيموث — انسخها إلى دفترك.

الفحص

ما الذي يتحقق حتى الآن

60%
  • الأشكال متصلة سليمة

    كل كتلة تقبل ما تنتجه سابقتها.

  • يُنتج المخرج المطلوب

    المطلوب [B, 2] · السلسلة تنتهي حالياً عند [B, 2]

  • يستخدم الكتل التي تتطلبها الفكرة

    ما زال ناقصاً: وصلة تراجعية، تطبيع الطبقة

  • العمق ضمن المدى

    10 كتلة · المسموح 10+

  • لم تبقَ دالة تنشيط مشبعة في الرصفة

    0 من 4 مضبوطة على أي قيمة عدا Sigmoid

الرف

الكتل المتاحة

المصادر

الطبقات الأساسية

إعادة التشكيل

التطبيع والتنظيم

دوال التنشيط

الرؤوس

الأقراص

لم تُحدَّد كتلة

اختر كتلة من السلسلة لضبط أقراصها وقراءة ما تفعله.