السَّمْت

تعلم التمثيلات2008متوسط13 دقيقة قراءة

استخلاص سمات متينة وتركيبها عبر المرمّزات التلقائية المُزيلة للضجيج

Extracting and Composing Robust Features with Denoising Autoencoders

Vincent, P. · Larochelle, H. · Bengio, Y. · Manzagol, P.-A. — ICML

المشكلة

حين تملك المرمّزات التلقائية التقليدية سعة كافية، لا شيء يمنعها من تعلّم نسخ المُدخلات كما هي — أي تعلّم دالة الهُويّة — دون استخلاص أي سمات مفيدة. وحتى إن فرضنا عنق زجاجة يمنع هذا الحل الكسول، تظلّ التمثيلات الناتجة هشّة ولا تعكس الإحصائية الحقيقية للبيانات. في تلك الفترة، كان بآلات بولتزمان المقيَّدة يعطي نتائج جيدة مع الشبكات العميقة، لكنه كان معقّداً وبطيئاً. الميدان كان بحاجة إلى طريقة أبسط وأكثر صرامة نظرية لتعلّم تمثيلات تلتقط التوزيع الحقيقي للبيانات.

الإسهام

تعديل بسيط لكنه فعّال: صفِّر بعض مكوّنات المُدخلات عشوائياً، ثم درِّب الشبكة على استعادة النسخة الأصلية النظيفة من هذه النسخة المشوّهة. هذا المعيار يُجبر الشبكة على تعلّم العلاقات الإحصائية بين أبعاد المُدخلات، لأنها لن تستطيع ملء الفراغات إلا إذا فهمت بنية البيانات. يمكن تكديس هذه المرمّزات طبقةً فوق طبقة لتهيئة شبكات عميقة، وتحقّق نتائج تضاهي أو تتفوّق على آلات بولتزمان المقيَّدة في مهام ، مع بساطة أكبر بكثير في التنفيذ.

الأثر

أسّست هذه الورقة لمبدأ أصبح ركيزة في تعلّم التمثيلات: درِّب بأن تُفسد بياناته ثم تطلب منه استعادتها. هذا المبدأ تكرّر لاحقاً في شتّى فروع الذكاء الاصطناعي: BERT يُخفي رموزاً ويتنبأ بها، وMAE يُخفي رُقَعاً من الصور ويعيد بناءها، ونماذج الانتشار تعكس عملية إضافة الضجيج خطوة بخطوة، والنماذج التوليدية القائمة على الدرجات تُقدِّر اتجاه الضجيج. الرسالة الأعمق لهذه الورقة: البيانات عمداً ثم تعلّم التراجع عنه هو من أنجع الطرق لفهم بنيتها.

تخيّل طالباً ينسخ ملاحظات المحاضرة حرفياً — النسخة مثالية لكنه لم يفهم شيئاً. هذا هو حال التقليدي.

الآن تخيّل طالباً آخر يتسلّم الملاحظات نفسها لكن بعض الجمل محذوفة عشوائياً، وعليه أن يُكمل الناقص اعتماداً على فهمه. لن ينجح في ذلك إلا إذا أدرك كيف تترابط الأفكار — أيّ مفهوم يقود إلى أيّ مفهوم، وماذا يُشير إليه السياق. هذا هو .

النتيجة: بعد تمرين كافٍ، يستوعب هذا الطالب المادة بعمق يمكّنه من إعادة بناء المعنى حتى من ملاحظات مشوّهة بشدة. التشويه المتعمَّد هو ما أجبره على التعلّم الحقيقي.

المشكلة: مرمّزات تلقائية لا تتعلم شيئاً

كما رأينا في فصل المرمّزات التلقائية العميقة، يعتمد المرمّز التلقائي على ضغط المُدخلات عبر ثم محاولة إعادة بنائها. عنق الزجاجة هو ما يفرض الضغط — لكن ماذا يحدث حين تكون أوسع من المُدخلات؟

في هذه الحالة — ما يُعرف بالطبقة مُفرطة الاكتمال — يستطيع المرمّز التلقائي ببساطة أن يُخصّص خلية عصبية لكل بُعد من المُدخلات وينسخه كما هو. لا ضغط حقيقي، ولا تعلّم لسمات مفيدة، ولا فهم لبنية البيانات. بل حتى مع وجود عنق زجاجة، لا ضمان أن التحويلات المُتعلَّمة ستكون ذات معنى — قد تكون سطحية هشّة تنهار عند أدنى اضطراب.

السؤال المحوري الذي طرحه فانسون وزملاؤه كان: ما الشرط الإضافي الذي يُجبر المرمّز التلقائي على تعلّم مفيدة فعلاً؟

افتح في المختبر
على اليسار: مرمّز تلقائي عادي ينسخ المُدخلات كما هي (دالة الهُويّة). على اليمين: المرمّز المُزيل للضجيج يملأ الفراغات — وهذا ما يُجبره على فهم البنية الحقيقية.
تستيقظ التجربة عند وصولك…

الفكرة: أفسِد ثم أعِد البناء

الحل أنيق في بساطته. خُذ أي مُدخل تدريبي x وأنشئ منه نسخة مشوّهة x̃ بتصفير بعض مكوّناته عشوائياً، ثم اطلب من المرمّز التلقائي أن يُعيد بناء الأصل النظيف x انطلاقاً من هذه النسخة الناقصة x̃.

تمرّ العملية بثلاث مراحل:

  • الإفساد: اختر نسبة ν من مكوّنات المُدخلات عشوائياً وصفِّرها. مثلاً، في صورة من 784 بكسلاً مع ν=25%، يُصفَّر نحو 196 بكسلاً.
  • الترميز: مرِّر النسخة المشوّهة x̃ عبر للحصول على y = f(x̃).
  • والمقارنة: أعِد بناء z = g(y) وقِس المسافة بينها وبين الأصل النظيف x — وليس النسخة المشوّهة x̃.

لاحظ أن النموذج لا يستطيع الغشّ بالنسخ، لأن المكوّنات المُصفَّرة لا تحمل أي معلومة. الطريقة الوحيدة لاستعادتها هي استنتاجها من المكوّنات الباقية — وهذا يعني أن الشبكة مُضطرة لتعلّم العلاقات الإحصائية بين أبعاد البيانات، وهي جوهر بنيتها.

افتح في المختبر
تابع المراحل الثلاث بالترتيب: إفساد ← ترميز ← إعادة بناء. جرّب تغيير مستوى الإفساد وراقب كيف يتكيّف النموذج.
تستيقظ التجربة عند وصولك…

دالة الهدف التدريبية

الهدف التدريبي لـالمرمّز التلقائي المُزيل للضجيج واضح ومباشر: قلِّل الفرق المتوقع بين المُدخل النظيف والمُخرج الذي أُعيد بناؤه من النسخة المشوّهة. والمفتاح هنا أن عملية الإفساد عشوائية — في كل مرة يمرّ فيها المُدخل نفسه، تُصفَّر مكوّنات مختلفة — وبالتالي لا تستطيع الشبكة حفظ نمط إفساد واحد، بل عليها أن تتعلّم الاستعادة من أي تشكيلة ممكنة من الفراغات.

θ∗,θ′∗=arg⁡min⁡θ,θ′  Eq0(X,X~)[LH ⁣(X,  gθ′(fθ(X~)))]\theta^*, \theta'^* = \arg\min_{\theta, \theta'} \; \mathbb{E}_{q^0(X,\tilde{X})} \Big[ L_H\!\big(X,\; g_{\theta'}(f_\theta(\tilde{X}))\big) \Big]
دالة هدف المرمّز المُزيل للضجيج — أعِد بناء النظيف من التالف — x̃ نسخة مشوّهة من x · f_θ تُرمِّز x̃ إلى التمثيل الخفي y · g_θ' تفكّ الترميز وتُنتج إعادة البناء z · L_H تقيس الإنتروبيا التقاطعية بين z والأصل النظيف x · التوقع محسوب على أمثلة التدريب وأنماط الإفساد العشوائية معاً

المستخدمة هنا هي لإعادة البناء — حيث يُعامَل كل بكسل كاحتمال برنولي، ويُقاس مدى تطابق القيمة المُعاد بناؤها مع القيمة الأصلية:

LH(x,z)=−∑k=1d[xklog⁡zk+(1−xk)log⁡(1−zk)]L_H(\mathbf{x}, \mathbf{z}) = -\sum_{k=1}^{d} \Big[ x_k \log z_k + (1 - x_k) \log(1 - z_k) \Big]
الإنتروبيا التقاطعية لإعادة البناء — لكل بُعد k: حين يكون x_k قريباً من 1 نريد z_k قريباً من 1 أيضاً (الحد الأول يهيمن) · وحين يكون x_k قريباً من 0 نريد z_k قريباً من 0 (الحد الثاني يهيمن) · هذه الصيغة مكافئة لسالب لوغاريتم الأرجحية في نموذج برنولي

لماذا يُجبر الإفساد على التعلّم الحقيقي

لنفهم لماذا: حين يكون بكسل ما مُصفَّراً، الطريقة الوحيدة لاستعادة قيمته هي التنبؤ بها من البكسلات المحيطة. هذا يعني أن الشبكة مُضطرة لتعلّم الارتباطات والعلاقات بين أبعاد المُدخلات — أي البنية التكرارية الكامنة في البيانات.

في حالة الصور مثلاً، تتعلّم الشبكة أن البكسلات المتجاورة تميل للتشابه، وأن الخطوط تسير في منحنيات سلسة، وأن لكل رقم مكتوب بنية شكلية مميّزة. وفي أي مجال آخر، تلتقط الشبكة أيّ انتظام إحصائي يسمح لجزء من البيانات بالتنبؤ بجزء آخر.

هذا يختلف جذرياً عن تقليل إعادة البناء على مُدخلات نظيفة. المرمّز التلقائي العادي — إن امتلك سعة كافية — يستطيع تحقيق خطأ صفري بمجرد تعلّم دالة الهُويّة. أما المرمّز المُزيل للضجيج فـلا يملك هذا الخيار، لأن الإفساد يُزيل المعلومة التي يحتاجها للنسخ. لا بدّ أن يتعلّم شيئاً أعمق.

منظور المتشعِّب: الإسقاط العكسي نحو البنية

تطرح الورقة تفسيراً هندسياً بديعاً لما يحدث. البيانات الحقيقية — كصور الأرقام المكتوبة يدوياً — لا تملأ كامل فضاء البكسلات ذي الأبعاد الـ784. بل تتركّز قرب سطح رقيق منخفض الأبعاد يُسمّى .

حين نُشوِّه مُدخلاً ما بتصفير بعض مكوّناته، فإننا ندفعه بعيداً عن هذا المتشعِّب — إلى مناطق فارغة من الفضاء عالي الأبعاد لا تعيش فيها بيانات حقيقية. ما يتعلّمه المرمّز المُزيل للضجيج هو إعادة هذه النقاط الشاردة إلى المتشعِّب. كلّما ابتعدت النقطة عنه، احتاجت تصحيحاً أكبر؛ والنقاط التي تقع عليه أصلاً لا تحتاج تصحيحاً.

المحصّلة أن الشبكة تتعلّم ضمنياً شكل متشعِّب البيانات وموقعه. y = f(x) يمكن فهمه بوصفه نظام إحداثيات على ذلك المتشعِّب — وصف مضغوط لموقع كل نقطة بيانات ضمن فضاء التغيُّرات ذات المعنى.

افتح في المختبر
النقاط الزرقاء هي البيانات النظيفة المتوضّعة على المتشعِّب. النقاط الحمراء هي نسخها المشوّهة التي ابتعدت عنه. الأسهم توضّح كيف يتعلّم المرمّز المُزيل للضجيج إعادتها إلى مكانها.
تستيقظ التجربة عند وصولك…

منظور النموذج التوليدي

إلى جانب تفسير المتشعِّب، تُثبت الورقة أن المرمّز التلقائي المُزيل للضجيج يُكافئ رياضياً تعظيم حدّ أدنى تغايُري على لوغاريتم الأرجحية لـ معيّن.

يمكن تصوّر الأمر كالتالي: الطبيعة تختار Y، تُولِّد منه ملاحظة نظيفة X، ثم يُنتج الإفساد نسخة مشوّهة X̃. في هذا الإطار، يلعب المُرمِّز دور — أي: بالنظر إلى الملاحظة المشوّهة، ما الرمز الكامن الأرجح؟ ويلعب فاكّ الترميز دور النموذج التوليدي — بالنظر إلى الرمز الكامن، ما المُدخل النظيف المتوقع؟

هذا الربط مهم لأنه يعني أن المرمّز المُزيل للضجيج ليس مجرد حيلة هندسية ناجحة — بل له أساس نظري متين بوصفه في نموذج متغيّرات كامنة.

تكديس المرمّزات المُزيلة للضجيج لبناء شبكات عميقة

كما يمكن تكديس آلات بولتزمان المقيَّدة لبناء شبكة عميقة عبر التدريب المسبق طبقةً بطبقة (كما فعل هينتون عام 2006)، يمكن تطبيق الأسلوب ذاته مع المرمّزات المُزيلة للضجيج:

  • درِّب أول مرمّز تلقائي مُزيل للضجيج على البيانات الخام، واحفظ المُرمِّز.
  • مرِّر المُدخلات النظيفة عبر هذا المُرمِّز المُدرَّب للحصول على تمثيلات الطبقة الأولى.
  • درِّب مرمّزاً ثانياً مُزيلاً للضجيج على تلك التمثيلات (مع إفساد هي هذه المرة).
  • كرِّر العملية لعدد الطبقات المطلوب.
  • كدِّس طبقات الترميز كلها، أضف طبقة تصنيف في الأعلى، واضبط الشبكة بالكامل عبر .

نقطة جوهرية: أثناء التكديس، تتلقّى كل طبقة جديدة المُخرجات النظيفة من المُرمِّز الذي تحتها — الإفساد يُستخدم فقط أثناء تدريب كل مرمّز على حدة. فكّر في الإفساد كسقالة بناء: يُوجِّه عملية التعلّم ثم يُزال بعدها.

افتح في المختبر
انقر على الطبقات لترى كيف يتمّ التكديس: كل طبقة تتعلّم من المُخرجات النظيفة للطبقة التي تحتها.
تستيقظ التجربة عند وصولك…

ماذا تكشف المُرشِّحات المُتعلَّمة

من أبرز ما في الورقة هو المقارنة البصرية بين التي تعلّمها المرمّز المُزيل للضجيج عند مستويات إفساد مختلفة، وتلك التي تعلّمها المرمّز التلقائي القياسي.

بدون إفساد (ν=0%)، تبدو كثير من المُرشِّحات كبقع رمادية عشوائية لا تحمل أي معنى — الشبكة وجدت طريقاً مختصراً كسولاً ولم تتعلّم سمات حقيقية.

عند إفساد 25%، تبدأ المُرشِّحات بالتحوّل إلى كاشفات حواف مُوجَّهة وخطوط وأنماط محلية — سمات فعلية تعكس بنية البيانات.

عند إفساد 50%، تصبح المُرشِّحات أكثر تنظيماً: بعضها يلتقط أجزاءً كاملة من الأرقام أو أشكال حروف بأكملها. السبب أن الإفساد الأعلى يُجبر الشبكة على جمع أدلّة من مناطق أبعد، فتتعلّم علاقات مكانية أوسع.

هذه النتيجة البصرية تؤكّد المبدأ النظري: الإفساد يدفع الشبكة لتعلّم البنية الارتباطية للبيانات، وكلّما زاد الإفساد، زادت شمولية السمات المُتعلَّمة ومتانتها.

افتح في المختبر
اسحب شريط الإفساد وراقب كيف تتطوّر المُرشِّحات. قارن بين ν=0% (بقع عشوائية) وν=50% (كاشفات حواف وخطوط واضحة البنية).
تستيقظ التجربة عند وصولك…

نتائج التصنيف: مُضاهاة شبكات الاعتقاد العميق

اختبر فانسون وزملاؤه النظام المُكدَّس (SdA-3، بثلاث طبقات خفية) على المعيار المرجعي الصعب من لاروشيل وآخرين (2007) — وهو مجموعة تنويعات على MNIST تُضيف عوامل صعوبة كالدوران وضجيج الخلفية العشوائي والخلفيات الطبيعية.

النتائج كانت لافتة. في معظم التنويعات، ضاهى SdA-3 أو تفوّق على شبكات الاعتقاد العميق (DBN-3) وآلات المتجه الداعم (SVM) والمرمّزات التلقائية المُكدَّسة القياسية (SAA-3، وهي ببساطة SdA-3 مع ν=0%). في أصعب المهام — أرقام مُدارة على خلفيات صور حقيقية (rot-bg-img) — حقّق SdA-3 نسبة خطأ 44.49% مقابل 47.39% لـDBN-3، وهو فرق ملموس.

ملاحظة عملية مهمة: مستوى الإفساد الأمثل يختلف حسب المهمة. المسائل الأسهل تحتاج إفساداً أقل (ν=10%)، بينما المسائل الأصعب — ذات التشويش الأكبر — تستفيد من إفساد أعلى (ν=25-40%). كذلك فضّل اختيار النموذج باستمرار طبقات خفية أولى واسعة (2000 لمُدخلات من 784 بُعداً) — وهو تكوين كان سيفشل حتماً بدون .

افتح في المختبر
قارن أداء SdA-3 مع DBN-3 وSAA-3 وآلات المتجه الداعم في جميع مهام المعيار المرجعي. مرّر المؤشر فوق أي عمود لرؤية التفاصيل.
تستيقظ التجربة عند وصولك…

الفكرة نفسها بالشيفرة

حلقة تدريب المرمّز التلقائي المُزيل للضجيجpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-np.clip(x, -500, 500)))

def corrupt(x, nu=0.25):
    """صفِّر نسبة nu من مكوّنات المُدخلات عشوائياً."""
    mask = np.random.binomial(1, 1 - nu, size=x.shape)
    return x * mask

def cross_entropy(x, z):
    """إنتروبيا تقاطعية لإعادة البناء: قارن z بالأصل النظيف x."""
    eps = 1e-8
    return -np.sum(x * np.log(z + eps) + (1 - x) * np.log(1 - z + eps), axis=-1)

def train_denoising_ae(data, d_hidden=2000, nu=0.25, lr=0.01, epochs=50):
    """تدريب طبقة مرمّز تلقائي مُزيل للضجيج واحدة."""
    d_input = data.shape[1]
    W = np.random.randn(d_input, d_hidden) * 0.01
    b_enc = np.zeros(d_hidden)
    b_dec = np.zeros(d_input)

    for epoch in range(epochs):
        for x in data:
            # الخطوة 1: أفسِد المُدخلات
            x_tilde = corrupt(x, nu)

            # الخطوة 2: رمِّز النسخة التالفة
            y = sigmoid(x_tilde @ W + b_enc)

            # الخطوة 3: فكّ الترميز لإعادة البناء
            z = sigmoid(y @ W.T + b_dec)    # أوزان مربوطة: W' = Wᵀ

            # الخطوة 4: قارن إعادة البناء z بالأصل النظيف x (لا بـ x_tilde!)
            # انحدار تدريجي على خسارة الإنتروبيا التقاطعية
            dz = z - x                      # تدرُّج الإنتروبيا التقاطعية
            db_dec = dz
            dy = dz @ W * y * (1 - y)
            dW = np.outer(x_tilde, dy) + np.outer(dz, y).T
            db_enc = dy

            W -= lr * dW
            b_enc -= lr * db_enc
            b_dec -= lr * db_dec

    return W, b_enc

# تكديس مرمّزات مُزيلة للضجيج للتهيئة العميقة
layer_sizes = [784, 2000, 1000, 500]  # الطبقة الأولى مُفرطة الاكتمال!
weights = []
current_data = X_train

for i, d_hidden in enumerate(layer_sizes[1:]):
    W, b = train_denoising_ae(current_data, d_hidden, nu=0.25)
    weights.append((W, b))
    current_data = sigmoid(current_data @ W + b)  # انتشار نظيف

# اضبط الشبكة كاملةً بالانتشار العكسي للتصنيف

مستوى الإفساد: مفتاح ضبط المتانة

نسبة الإفساد ν هي أهم في هذا النظام. تتحكم في مفاضلة جوهرية:

  • إفساد ضئيل جداً (ν → 0): المهمة سهلة أكثر من اللازم. الشبكة تقترب من تعلّم دالة الهُويّة، والمُرشِّحات تبقى بلا بنية واضحة.
  • إفساد مفرط (ν → 1): المهمة تصبح مستحيلة. تُدمَّر المعلومات بالكامل تقريباً، ولا يبقى أمام الشبكة سوى إخراج متوسط بيانات التدريب.
  • النقطة المثلى (ν ≈ 10-50%): تُحذف معلومات كافية لإجبار الشبكة على تعلّم سمات حقيقية، مع إبقاء ما يكفي لتستند إليه.

هناك أثر إضافي مثير: كلّما زاد الإفساد، أصبحت المُرشِّحات أقل محلّية. عند ν=10% تلتقط المُرشِّحات حواف صغيرة؛ أما عند ν=50% فتلتقط خطوطاً كاملة وأجزاء من الأرقام. السبب أن كل بكسل ناجٍ يحتاج أن يجمع أدلّة من مناطق أبعد، فتتعلّم الشبكة علاقات مكانية أوسع نطاقاً.

افتح في المختبر
اسحب ν من 0% إلى 90% وراقب أثر ذلك على جودة إعادة البناء وبنية المُرشِّحات.
تستيقظ التجربة عند وصولك…

الفرق عن التدريب بالضجيج التقليدي

أثبت بيشوب في نتيجة كلاسيكية (1995) أن إضافة تجميعي صغير أثناء التدريب يُكافئ تنظيم تيخونوف — أي أنه يُنعّم الدالة المُتعلَّمة ليس إلا. ما يفعله المرمّز المُزيل للضجيج مختلف جذرياً من ناحيتين:

أولاً، الإفساد هنا كبير وتدميري وليس خفيفاً وتجميعياً. لا نُضيف اهتزازاً غاوسياً بسيطاً — بل نحذف 25-50% من المُدخلات بالكامل. الشبكة مطلوب منها ملء الفراغات، لا مجرد تنعيم المُخرج.

ثانياً، الإفساد ضربي (إخفاء بالضرب في صفر) وليس تجميعياً. البكسل المُصفَّر لا يحمل أي أثر لقيمته الأصلية. لا تستطيع الشبكة إزالة الضجيج بطرح مقدار معلوم — عليها استنتاج القيم المفقودة بالاعتماد على علاقاتها الإحصائية بالقيم الباقية.

التجارب تؤكّد هذا الفرق: التنظيم القياسي () على المرمّزات التلقائية لم يُنتج التحسّن النوعي ذاته في المُرشِّحات ولا القفزة الكمّية ذاتها في أداء التصنيف. أسلوب إزالة الضجيج مختلف جوهرياً.

الإرث: الإفساد كمبدأ تعلّم شامل

الفكرة المحورية — شوِّه البيانات عمداً ثم تعلّم استعادتها — تبيّن أنها من أخصب المبادئ في بأكمله. نجدها تتكرّر بأشكال مختلفة في شتّى المجالات:

  1. 2008

    هذه الورقة — المرمّزات التلقائية المُزيلة للضجيج

    صفِّر بكسلات عشوائية من المُدخلات، ودرِّب الشبكة على استعادة الأصل. هذه الورقة هي التي أرست مبدأ «أفسِد ثم أعِد البناء» كأسلوب للتدريب المسبق.

  2. 2010

    المرمّزات التلقائية المُزيلة للضجيج المُكدَّسة (فانسون وآخرون)

    توسّع في ورقة 2008 بتحليل أعمق وأنواع إفساد إضافية (ضجيج غاوسي، وملح وفلفل)، مع تجارب منهجية أكّدت أن التكديس استراتيجية تدريب مسبق ناجحة وعامة.

  3. 2019

    BERT — نمذجة اللغة بالإخفاء

    أخفِ 15% من الرموز وتنبّأ بها من السياق المحيط. المبدأ نفسه — أفسِد ثم أعِد البناء — لكن مُطبَّقاً على النصوص، فأنتج أكثر نماذج معالجة اللغة تأثيراً في تلك الحقبة.

  4. 2020

    DDPM — نماذج الانتشار الاحتمالية المُزيلة للضجيج

    أضِف ضجيجاً غاوسياً بالتدريج حتى تتحوّل البيانات إلى ضجيج محض، ثم درِّب النموذج على عكس هذه العملية خطوة بخطوة. مبدأ إزالة الضجيج هذا أصبح المحرّك الرئيسي لتوليد الصور الحديث.

  5. 2021

    النماذج التوليدية القائمة على الدرجات

    تعلّم تدرُّج توزيع البيانات (ما يُسمّى بالدرجة) عبر التدريب على تقدير الضجيج المُضاف عند كل مستوى — صورة أخرى من استخدام إزالة الضجيج كإشارة تعلّم.

  6. 2022

    MAE — المرمّز التلقائي بالإخفاء

    أخفِ 75% من رُقَع الصورة وأعِد بناءها. امتداد مباشر لفكرة المرمّزات التلقائية المُزيلة للضجيج، مُطبَّق على نطاق واسع مع محوِّلات الرؤية.

  7. 2022

    BART — تسلسل-إلى-تسلسل بإزالة الضجيج

    شوِّه النص بالحذف والإخفاء وخلط ترتيب الجمل، ثم درِّب النموذج على استعادة الأصل. يجمع بين أسلوب الإفساد في BERT وأسلوب التوليد في GPT.

المرجعVincent, P., Larochelle, H., Bengio, Y. & Manzagol, P.-A.. Extracting and Composing Robust Features with Denoising Autoencoders. ICML, 2008.

مصطلحات هذه الورقة