نماذج اللغة2014متوسط11 دقيقة قراءة

تعلُّم تمثيلات العبارات باستخدام المُرمِّز-فاكّ الترميز التكراري للترجمة الآلية الإحصائية

Learning Phrase Representations Using RNN Encoder-Decoder for Statistical Machine Translation

Cho, K. · van Merriënboer, B. · Gulcehre, C. · Bahdanau, D. · Bougares, F. · Schwenk, H. · Bengio, Y. — EMNLP

المشكلة

في عام 2014 كانت أنظمة مثل Moses تعتمد على جداول عبارات — قواميس مُعدّة يدوياً تربط كل عبارة مصدر بعبارة هدف مع درجة ثقة. الشبكات العصبية بدأت تُظهر نتائج واعدة في معالجة اللغة، لكن لم تكن هناك بنية عصبية عامة قادرة على تحويل تسلسل مُدخَل متغيّر الطول إلى تسلسل مُخرَج متغيّر الطول. في الوقت نفسه، الشبكات التكرارية العادية كانت تعاني من تلاشي التدرّج، فلا تستطيع الاحتفاظ بالمعنى عبر الجمل الطويلة. المجال كان بحاجة إلى شيئين: إطار مرن يربط تسلسلاً بتسلسل، ووحدة تكرارية قادرة فعلاً على التذكّر.

الإسهام

إسهامان رئيسيان في ورقة واحدة. الأول هو بنية -فاكّ الترميز التكرارية: شبكة تكرارية تقرأ تسلسل الإدخال وتضغطه في متجه سياق ثابت الطول، ثم شبكة تكرارية ثانية تولّد تسلسل الإخراج من ذلك المتجه. كلتا الشبكتين تُدرَّبان معاً لتعظيم للهدف بمعلومية المصدر. الإسهام الثاني هو الوحدة التكرارية المبوَّبة (GRU) — خلية تكرارية جديدة ببوابتين (إعادة ضبط وتحديث) تتعلّم متى تتجاهل المعلومات القديمة ومتى تحتفظ بها كما هي. النتيجة أن GRU تحقّق أداءً مقارباً لـ LSTM لكن بمعاملات أقل وحسابات أبسط.

الأثر

أرست هذه الورقة الأساس المعماري العصبية. نمط المُرمِّز-فاكّ الترميز صار القالب الذي بُنيت عليه نماذج في كل المجالات — من روبوتات المحادثة إلى التلخيص إلى التعرّف على الكلام. وصارت GRU لَبِنة أساسية تُستخدم إلى جانب LSTM في عدد هائل من الأنظمة. والأهم من ذلك أن هذا العمل — مع ورقة Sutskever وآخرين (2014) — أثبت أن الأساليب العصبية البحتة قادرة على منافسة عقود من أنظمة الترجمة الإحصائية المُعدّة يدوياً، وفتح الباب أمام (Bahdanau وآخرون، 2015) ثم المُحوِّل.

تخيّل مترجمة فورية في مؤتمر دولي. تسمع الجملة الإنجليزية من أولها إلى آخرها، وبدل أن تحفظها كلمةً كلمة، تختزل معناها في صورة ذهنية واحدة تجمع الفكرة كلها. بعد ذلك تبدأ بصياغة الجملة بالفرنسية كلمةً كلمة، مستندةً إلى تلك الصورة الذهنية وإلى ما نطقته حتى اللحظة.

هذه الصورة الذهنية هي ما نسمّيه — الجسر الذي يربط بين فهم الجملة وتوليدها. مرحلة الاستماع والفهم هي المُرمِّز، ومرحلة النطق والتوليد هي . أما قدرة المترجمة على تذكُّر التفاصيل المهمة والتخلّي عن التفاصيل الثانوية، فهذا بالضبط ما تفعله — خلية ذاكرة فيها بوابات انتقائية تقرّر في كل لحظة: ما الذي يستحق التذكُّر، وما الذي يمكن تجاهله.

المشكلة: جداول العبارات لا تُعمِّم

قبل ظهور الترجمة الآلية العصبية، كانت أنظمة مثل Moses تعتمد على الترجمة الآلية الإحصائية المبنية على العبارات. النظام كان يمرّ بثلاث مراحل مُعدّة يدوياً: جدول عبارات يربط كل عبارة في اللغة المصدر بعبارة مقابلة في اللغة الهدف مع درجة ثقة، ثم يتأكّد من أن الناتج يبدو طبيعياً، وأخيراً مفكِّك ترميز يجمع هذه المكوّنات بأوزان مضبوطة.

كان هذا النهج يعمل فعلاً، لكن فيه مشكلة جوهرية: جدول العبارات لا يعرف إلا ما رآه أثناء . لو جاءته تركيبة كلمات جديدة لم يصادفها من قبل، يقف عاجزاً. لا يستطيع أن يدرك أنّ «كبير» و«ضخم» ينبغي أن تُترجما بشكل متقارب، لأن كل عبارة عنده مجرد سطر مستقل في قاموس — لا يوجد فهم مشترك يربط العبارات ببعضها.

في المقابل، كانت العادية تتعامل مع تمثيلات مستمرة، لكنها واجهت مشكلتها الخاصة: . الفكرة ببساطة أن إشارة الخطأ تتقلّص بشكل أُسّي كلما رجعنا خطوات زمنية أكثر أثناء ، فتصبح الشبكة عاجزة عن تعلّم العلاقات بين كلمات متباعدة. مثلاً، لو قرأت الشبكة جملة «القطة التي جلست على السجادة كانت سعيدة»، ستجد صعوبة بالغة في ربط «كانت» بـ«القطة» لأن المسافة بينهما تُضعف الإشارة إلى حد التلاشي.

موقع هذه الورقة في الخط الزمني

LSTM عالجت مشكلة تلاشي التدرّج من خلال ثلاث بوابات و منفصلة، لكنها كانت ثقيلة حسابياً. وفي الجانب الآخر، كانت الترجمة الإحصائية المبنية على العبارات (نماذج IBM ونظام Moses) مسيطرة على المجال لكنها لا تعرف التعميم. جاءت هذه الورقة لتقدّم حلّين معاً: وحدة مبوَّبة أبسط هي GRU، وإطار الذي سيصبح الأساس الذي بُنيت عليه الترجمة العصبية، وفتحت الباب مباشرةً أمام آلية الانتباه بعد عام واحد فقط.

الفكرة الكبرى: اضغط المعنى، ثم ولِّد

البنية أنيقة في بساطتها: شبكتان تكراريتان تعملان على التوالي، واحدة تفهم والأخرى تولّد.

المُرمِّز يقرأ تسلسل الإدخال تلو الآخر، ومع كل رمز يُحدِّث . بعد آخر رمز، تصبح الحالة المخفية النهائية هي متجه السياق c — تصوَّره كقُمع تمرّ منه الجملة كاملةً لتتكثّف في نقطة واحدة تحمل خلاصة المعنى.

فاكّ الترميز يبدأ من متجه السياق هذا ويولّد تسلسل الإخراج رمزاً تلو الآخر. في كل خطوة، ينظر إلى حالته المخفية الحالية والكلمة التي ولّدها للتو ومتجه السياق، ثم يقرّر الكلمة التالية. تستمر العملية حتى يُخرج رمز .

افتح في المختبر

اضغط «ترميز» لتشاهد كيف يضغط المُرمِّز المُدخلات في متجه سياق واحد، ثم اضغط «فك الترميز» لترى كيف يولّد فاكّ الترميز المُخرجات كلمةً بكلمة.

تستيقظ التجربة عند وصولك…

p(y_1, \ldots, y_T \mid x_1, \ldots, x_{T'}) = \prod_{t=1}^{T} p(y_t \mid y_1, \ldots, y_{t-1}, \mathbf{c})

هدف المُرمِّز-فاكّ الترميز — الاحتمال الشرطي المُفكَّك — احتمال تسلسل المُخرجات كاملاً بمعلومية المُدخلات يُحسب بضرب احتمالات الكلمات واحدة تلو الأخرى، كل كلمة مشروطة بما سبقها وبمتجه السياق c. أثناء التدريب نسعى لتعظيم هذا الاحتمال المشترك.

يمكنك قراءة المعادلة كخط إنتاج: في كل خطوة زمنية $t$ ، ينظر فاكّ الترميز إلى ما أنتجه حتى الآن (من $y_1$ إلى $y_{t-1}$ ) ويستحضر المُدخلات المضغوطة ( $\mathbf{c}$ )، ثم يختار الكلمة التالية الأرجح. النقطة المهمة أن المُرمِّز وفاكّ الترميز يُدرَّبان معاً — تسري من تنبؤات فاكّ الترميز رجوعاً عبر متجه السياق وصولاً إلى المُرمِّز، فيتعلّم المُرمِّز تدريجياً ما نوع الملخص الذي يحتاجه فاكّ الترميز فعلاً ليؤدّي عمله.

الوحدة التكرارية المبوَّبة: طريقة أبسط للتذكُّر

الإسهام الثاني للورقة هو الوحدة التكرارية المبوَّبة — نوع جديد من الخلايا التكرارية، هدفه التقاط دون التعقيد الذي تفرضه LSTM.

الفكرة المحورية بسيطة: بدلاً من ثلاث بوابات في LSTM (إدخال، نسيان، إخراج) مع حالة خلية منفصلة، تكتفي GRU ببوابتين فقط وتدمج حالة الخلية مع الحالة المخفية في متغيّر واحد. النتيجة: أقل، وتدريب أسرع، وأداء مكافئ في كثير من المهام.

تصوَّر GRU كـدفتر ملاحظات ذكي فيه مقبضا تحكّم. تحدّد كم من الملاحظات القديمة نمسحه قبل كتابة ملاحظات جديدة — أشبه بقرار «هل أبدأ صفحة جديدة؟». تحدّد النسبة بين الاحتفاظ بالمحتوى القديم واستبداله بمحتوى جديد — أشبه بمنزلق بين «أبقِ ما عندك» و«استبدل بالجديد».

افتح في المختبر

اسحب المنزلقات لتغيير قيم بوابتَي إعادة الضبط والتحديث وشاهد كيف تتحكّمان في تدفق الذاكرة عبر خلية GRU.

تستيقظ التجربة عند وصولك…

لنتتبّع كيف تحسب GRU حالتها المخفية الجديدة في كل خطوة زمنية:

الخطوة 1 — بوابة إعادة الضبط $r_t$ : تأخذ المُدخَل الحالي $x_t$ والحالة المخفية السابقة $h_{t-1}$ ، وتُخرج قيمة بين 0 و1 لكل بُعد. حين تقترب $r_t$ من الصفر، تُمحى الحالة السابقة — وكأن الخلية تبدأ بذاكرة فارغة. وحين تقترب من الواحد، تبقى الحالة السابقة مرئية بالكامل.

الخطوة 2 — الحالة المرشَّحة $\tilde{h}_t$ : هنا تُحسب نسخة مقترحة للحالة الجديدة، لكن باستخدام الحالة السابقة بعد ترشيحها ببوابة إعادة الضبط. الفائدة أنه حين تكون البوابة مغلقة تقريباً، تستطيع GRU أن «تبدأ من صفحة بيضاء» دون أن تتأثر بالماضي.

الخطوة 3 — بوابة التحديث $z_t$ : قيمة أخرى بين 0 و1 لكل بُعد، وهي التي تتحكّم في المزج النهائي. الحالة المخفية الناتجة هي بين الحالة القديمة والمرشَّحة. حين تكون $z_t$ مرتفعة، تُبقي الخلية على حالتها القديمة وتتجاهل المُدخَل الحالي. وحين تكون منخفضة، تتبنّى المرشَّحة الجديدة بالكامل.

r_t = \sigma(W_r x_t + U_r h_{t-1})

بوابة إعادة الضبط — تتحكّم في محو الحالة السابقة — σ هي دالة السيني التي تضغط أي قيمة إلى المجال بين 0 و1. كل من W_r وU_r مصفوفة أوزان يتعلّمها النموذج أثناء التدريب. كلما اقتربت

r_t

من الصفر، مُحيت الحالة المخفية السابقة قبل حساب الحالة المرشَّحة.

\tilde{h}_t = \tanh(W x_t + U(r_t \odot h_{t-1}))

الحالة المخفية المرشَّحة — مقترح جديد مُرشَّح ببوابة إعادة الضبط — ⊙ تعني الضرب عنصراً بعنصر. ما يحدث هنا أن بوابة إعادة الضبط تحجب أبعاداً معيّنة من الحالة القديمة، فتُحسب الحالة المرشَّحة من نسخة «مُنقّاة» منها. دالة tanh تحصر الناتج في المجال [-1, 1].

z_t = \sigma(W_z x_t + U_z h_{t-1})

بوابة التحديث — مؤشر «احتفظ أو استبدل» — الصيغة مماثلة لبوابة إعادة الضبط لكن بمجموعة أوزان مستقلة. حين تكون قيمة z مرتفعة، تحتفظ الوحدة بحالتها القديمة فتعمل كذاكرة طويلة المدى. وحين تكون منخفضة، تتبنّى المرشَّحة الجديدة.

h_t = z_t \odot h_{t-1} + (1 - z_t) \odot \tilde{h}_t

الحالة المخفية النهائية — استكمال خطي بين القديم والجديد — هذه هي المعادلة الجوهرية في GRU. بوابة التحديث تمزج بسلاسة بين الحالة القديمة والمرشَّحة الجديدة. لاحظ أنه لا توجد حالة خلية منفصلة كما في LSTM — الحالة المخفية نفسها هي الذاكرة.

لماذا قد تكفي بوابات أقل

LSTM تحتاج ثلاث بوابات (إدخال، نسيان، إخراج) مع حالة خلية منفصلة — أي 4 مجموعات من لكل طبقة. أما GRU فتكتفي ببوابتين بلا حالة خلية منفصلة — 3 مجموعات فقط. النتيجة العملية: معاملات أقل بنحو 25% لكل طبقة. على كثير من المهام، تحقّق GRU دقة مقاربة لـ LSTM لكن بتدريب أسرع، وتبرز ميزتها أكثر مع مجموعات البيانات الأصغر. السر أن بوابة التحديث وحدها تتولّى وظيفتَي بوابتَي LSTM: حين تكون $z_t$ مرتفعة فإنها «تتجاهل» المرشَّحة الجديدة (كبوابة النسيان) و«تحجب» المُدخَل الجديد (كبوابة الإدخال) في آنٍ واحد.

GRU مقابل LSTM: الهدف واحد والآلية مختلفة

افتح في المختبر

قارن البنية الداخلية لـ GRU وLSTM جنباً إلى جنب. انقر على كل بوابة لمعرفة دورها.

تستيقظ التجربة عند وصولك…

الفرق الجوهري يتعلّق بكيفية تخزين الذاكرة. في LSTM هناك حالة خلية منفصلة $c_t$ تسير بموازاة الحالة المخفية كأنها خط نقل مستقل، والبوابات تتحكّم فيما يدخل إلى هذا الخط وما يخرج منه. أما في GRU فالأمر أبسط: حالة الخلية والحالة المخفية مدمجتان في متغيّر واحد، وبوابة التحديث وحدها تتولّى المزج. هذا يعني مسارات أقل تسري فيها التدرّجات، وبالتالي تدريباً أسرع في كثير من المهام.

لكن لا يوجد فائز مطلق بينهما. LSTM تتفوّق عادةً في المهام التي تحتاج ذاكرة طويلة جداً — آلاف الخطوات — بفضل حالة الخلية المخصّصة. أما GRU فتتألّق في المهام ذات التسلسلات المعتدلة ومجموعات البيانات الأصغر، حيث تُحدث كفاءة المعاملات فرقاً واضحاً.

كيف عزّز المُرمِّز-فاكّ الترميز جودة الترجمة

Cho وزملاؤه لم يستبدلوا الترجمة الإحصائية بالكامل — بل أضافوا إليها ذكاءً عصبياً. درّبوا المُرمِّز-فاكّ الترميز على أزواج عبارات إنجليزية-فرنسية ليتعلّم حساب احتمال شرطي $p(\text{العبارة الهدف} \mid \text{العبارة المصدر})$ لكل زوج، ثم أدخلوا هذه الاحتمالات كخصائص إضافية ضمن النموذج الخطي اللوغاريتمي الذي يستخدمه نظام SMT أصلاً.

النتيجة كانت واضحة: النظام مع درجات المُرمِّز-فاكّ الترميز تفوّق على في بفارق ملموس. السبب أن النموذج العصبي يلتقط التشابه الدلالي الذي لا يراه جدول العبارات — فعبارات ذات معانٍ متقاربة تحصل على درجات متقاربة حتى لو لم تظهر معاً قط في بيانات التدريب.

افتح في المختبر

استكشف كيف يُسقِط المُرمِّز-فاكّ الترميز أزواج العبارات في فضاء مستمر. لاحظ أن العبارات المتشابهة دلالياً تتجمّع تلقائياً حتى لو لم تظهر معاً في بيانات التدريب.

تستيقظ التجربة عند وصولك…

مشكلة عنق الزجاجة: متجه واحد لتمثيل كل شيء؟

بساطة المُرمِّز-فاكّ الترميز هي في الوقت نفسه نقطة ضعفه. تسلسل الإدخال بالكامل — سواء كان 5 كلمات أو 50 — يُضغط في متجه سياق واحد ثابت الطول. كلما طالت الجملة، زادت المعلومات التي يفقدها هذا المتجه. والمشكلة أن فاكّ الترميز لا يستطيع «الرجوع» إلى كلمات الإدخال المنفردة؛ كل ما يراه هو الملخص المضغوط.

Cho وزملاؤه لاحظوا هذا القصور بأنفسهم: الأداء يتراجع بوضوح على جمل أطول من 20-30 كلمة تقريباً. مشكلة الضغط هذه هي التي دفعت مباشرةً إلى ابتكار آلية الانتباه التي قدّمها Bahdanau وآخرون عام 2015، حيث أصبح بإمكان فاكّ الترميز أن ينتبه إلى أجزاء مختلفة من المُدخلات في كل خطوة توليد، بدل الاعتماد على ملخص ثابت واحد.

افتح في المختبر

جرّب زيادة طول الجملة وراقب كيف يعجز متجه السياق عن احتواء كل المعلومات — ستلاحظ أن جودة إعادة البناء تتراجع كلما طالت الجملة.

تستيقظ التجربة عند وصولك…

الفكرة في شيفرة برمجية

خلية GRU والمُرمِّز-فاكّ الترميز، من الصفرpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-np.clip(x, -15, 15)))

def gru_cell(x_t, h_prev, W_r, U_r, W_z, U_z, W_h, U_h):
    """خطوة GRU واحدة: تأخذ المُدخَل x_t والحالة السابقة h_prev."""
    r_t = sigmoid(W_r @ x_t + U_r @ h_prev)       # بوابة إعادة الضبط
    z_t = sigmoid(W_z @ x_t + U_z @ h_prev)       # بوابة التحديث
    h_tilde = np.tanh(W_h @ x_t + U_h @ (r_t * h_prev))  # المرشَّحة
    h_t = z_t * h_prev + (1 - z_t) * h_tilde      # الحالة النهائية
    return h_t

def encode(sequence, W_r, U_r, W_z, U_z, W_h, U_h):
    """اقرأ تسلسلاً وأعِد الحالة المخفية النهائية (متجه السياق)."""
    h = np.zeros(W_r.shape[0])            # الحالة المخفية الابتدائية
    for x_t in sequence:
        h = gru_cell(x_t, h, W_r, U_r, W_z, U_z, W_h, U_h)
    return h  # هذا هو متجه السياق c

def decode_step(y_prev, h_prev, c, W_r, U_r, W_z, U_z, W_h, U_h):
    """خطوة فك ترميز واحدة: المُدخَل [y_prev; c]، تُحدِّث الحالة المخفية."""
    x_t = np.concatenate([y_prev, c])     # مُدخَل فاكّ الترميز = الكلمة السابقة + السياق
    h_t = gru_cell(x_t, h_prev, W_r, U_r, W_z, U_z, W_h, U_h)
    return h_t

# خط الإنتاج الكامل:
# 1. المُرمِّز يقرأ المصدر ← متجه السياق c
# 2. فاكّ الترميز يولّد كلمات الهدف واحدة تلو الأخرى من c
# 3. كلاهما يُدرَّب معاً بالانتشار العكسي عبر الزمن

ماذا تعلّم النموذج

إلى جانب تحسين درجات الترجمة، كشف Cho وزملاؤه عن نتيجة لافتة: المُرمِّز-فاكّ الترميز تعلّم من تلقاء نفسه تمثيلات ذات معنى للعبارات. حين أسقطوا التمثيلات المخفية لأزواج العبارات على مستوًى ثنائي الأبعاد، وجدوا أن العبارات المتشابهة دلالياً تتجمّع تلقائياً.

مثلاً، عبارتا «مُنح» و«حصل على جائزة» ظهرتا قريبتين من بعضهما في الفضاء المُتعلَّم رغم اختلاف ألفاظهما. والعبارات التي تصف أحداثاً زمنية تجمّعت معاً أيضاً. بعبارة أخرى، النموذج اكتشف بنية اللغة دون أن يُخبره أحد بما يبحث عنه — وهذه كانت لمحة مبكرة من الذي سيصبح لاحقاً الأساس الذي بُنيت عليه و.

لماذا غيّر كل شيء

بذرتان نبتتا غابتين

إطار المُرمِّز-فاكّ الترميز صار النمط الأساسي لأي مهمة تحوّل تسلسلاً إلى تسلسل آخر: الترجمة الآلية، تلخيص النصوص، الإجابة عن الأسئلة، تحويل الكلام إلى نص، التعليق على الصور. كل نموذج تسلسل إلى تسلسل جاء بعده — بما فيه الترجمة العصبية بالانتباه و — هو تطوير لهذه الفكرة.

الوحدة التكرارية المبوَّبة صارت لَبِنة أساسية إلى جانب LSTM، تُستخدم في آلاف الأنظمة التي تكون فيها البنية الأبسط والتدريب الأسرع ميزة حاسمة. أثبتت هذه الوحدة أن تصميم البوابات بذكاء أهم من كثرتها.

2014
هذه الورقة (Cho وآخرون)
قدّمت إطار المُرمِّز-فاكّ الترميز والوحدة التكرارية المبوَّبة. استخدمت الدرجات العصبية لتحسين نظام الترجمة الإحصائية القائم — وأثبتت أن النماذج العصبية تضيف قيمة حقيقية للترجمة.
2014
تسلسل إلى تسلسل (Sutskever وآخرون)
وسّعت فكرة المُرمِّز-فاكّ الترميز بطبقات LSTM عميقة وأظهرت أن الترجمة العصبية الشاملة تستطيع منافسة الترجمة الإحصائية — دون الحاجة إلى جدول عبارات البتة.
2015
آلية الانتباه (Bahdanau وآخرون)
حلّت مشكلة عنق الزجاجة بالسماح لفاكّ الترميز بالانتباه إلى جميع حالات المُرمِّز — وليس الأخيرة فحسب. كانت الوريثة المباشرة لهذه الورقة.
2017
المحوِّل (Vaswani وآخرون)
استغنى عن التكرار كلياً واعتمد الانتباه الذاتي، لكنه حافظ على بنية المُرمِّز-فاكّ الترميز. البصمة المعمارية لهذه الورقة حاضرة في كل نموذج لغوي كبير اليوم.

المرجعCho, van Merriënboer, Gulcehre, Bahdanau, Bougares, Schwenk, Bengio. Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation. EMNLP, 2014.

مصطلحات هذه الورقة

مرمِّز-فاكّ ترميزEncoder-Decoder
الوحدة العودية البوابيةGRU
الحالة المخفيةHidden State
بوابة إعادة التعيينReset Gate
بوابة التحديثUpdate Gate
متجه السياقContext Vector
الشبكة العصبية التكراريةRecurrent Neural Network (RNN)
الترجمة الآليةMachine Translation
الاحتمال الشرطيConditional Probability
تسلسل إلى تسلسلSequence-to-Sequence