نماذج اللغة2016متوسط14 دقيقة قراءة

نظام الترجمة الآلية العصبية من جوجل: ردم الفجوة بين الترجمة البشرية والآلية

Google's Neural Machine Translation System: Bridging the Gap Between Human and Machine Translation

Wu, Y. · Schuster, M. · Chen, Z. · Le, Q. V. · Norouzi, M. · Macherey, W. · Krikun, M. · Cao, Y. · Gao, Q. · Macherey, K. · Klingner, J. · Shah, A. · Johnson, M. · Liu, X. · Kaiser, Ł. · Gouws, S. · Kato, Y. · Kudo, T. · Kazawa, H. · Stevens, K. · Kurian, G. · Patil, N. · Wang, W. · Young, C. · Smith, J. · Riesa, J. · Rudnick, A. · Vinyals, O. · Corrado, G. · Hughes, M. · Dean, J. — arXiv

المشكلة

بحلول 2016 كانت الترجمة العصبية قد أثبتت جدواها في المختبرات، لكن ثلاث عقبات وقفت أمام نشرها على أرض الواقع. أولاً: بطء إلى حدّ لا يحتمله حجم حركة مرور جوجل الهائل. ثانياً: تراجع الدقة مقارنةً بالأنظمة الإحصائية المُحسَّنة عبر سنوات في كثير من أزواج اللغات. ثالثاً: الكلمات النادرة — يكفي أن تظهر كلمة واحدة مجهولة حتى تنهار ترجمة الجملة بأكملها. لم يكن أي نظام ترجمة عصبية قادراً على تلبية مليارات الطلبات اليومية بالسرعة والجودة التي ينتظرها المستخدمون.

الإسهام

قدّم الباحثون نظام GNMT الجاهز للإنتاج: مرمِّز LSTM عميق بثماني طبقات (واحدة ثنائية الاتجاه وسبع أحادية) وفاكّ ترميز بثماني طبقات أيضاً، تربطهما آلية انتباه مثبَّتة عند أسفل فاكّ الترميز لتعظيم التوازي على وحدات المعالجة الرسومية. اتصالات التخطّي تحافظ على استقرار التدريب رغم هذا العمق. WordPiece يُفكّك الكلمات النادرة إلى وحدات فرعية معروفة. البحث الشعاعي مع تسوية الطول وعقوبة التغطية يرفع جودة المخرجات. الاستدلال المُكمَّم بدقة 8 بتات يُنصِّف زمن الاستجابة. الضبط بالتعلّم المعزَّز يُحسِّن مقياس BLEU مباشرةً. المحصّلة: انخفاض أخطاء الترجمة بنحو 60% مقارنةً بالنظام الإحصائي عبر عدد كبير من أزواج اللغات.

الأثر

GNMT هو النظام الذي أثبت عملياً أن الترجمة العصبية قادرة على العمل بحجم صناعي حقيقي. حلّ محلّ محرّك الترجمة الإحصائي في أكثر من 100 زوج لغوي، وخدم مليارات الترجمات يومياً. ابتكاراته الهندسية — شبكات LSTM العميقة مع اتصالات التخطّي، وتجزئة WordPiece، والاستدلال المُكمَّم — صارت أدوات أساسية في معالجة اللغة الطبيعية. تجزئة WordPiece تحديداً هي ما تبنّاه BERT لاحقاً. والدرس الأوسع من الورقة: ردم الفجوة بين جودة الأبحاث ومتطلبات الإنتاج هو في حدّ ذاته مساهمة بحثية، وقد مهّد ذلك الطريق أمام المحوِّل ليرث هذه الأفكار ويأخذها أبعد.

الترجمة الإحصائية المبنية على العبارات تشبه تجميع أحجية من كتيّب عبارات سياحي: تبحث عن قطع جاهزة — «القطة»، «جلست على»، «الحصيرة» — ثم تُلصقها بجانب بعضها. تعمل هذه الطريقة مع الجمل القصيرة المألوفة، لكنّ مواضع اللصق تبقى ظاهرة دائماً، وأي كلمة لا يغطّيها الكتيّب تُوقف العملية بأكملها.

GNMT يستبدل هذا الكتيّب بـقارئ ثنائي اللغة يفهم النصّ فعلاً: يقرأ الجملة الأصلية ثماني مرات — كل قراءة أعمق من سابقتها — حتى يبني صورة ذهنية متكاملة، ثم يكتب الترجمة كلمةً بكلمة وهو يعود بنظره إلى الأصل كلّما احتاج. وإن صادفته كلمة لم يرها من قبل؟ لا يتوقف — بل يُقطّعها إلى مقاطع يعرفها ويُعيد بناء المعنى منها.

المشكلة: الترجمة العصبية كانت بطيئة وهشّة وغير دقيقة بما يكفي

بحلول 2016 كانت نماذج مع آلية قد حقّقت نتائج مبهرة في الأبحاث. لكن حين حاول المهندسون نشرها على نطاق خدمة ترجمة جوجل — مليارات الترجمات يومياً وأكثر من 100 زوج لغوي — ظهرت ثلاث مشكلات جوهرية:

السرعة. تدريب شبكات LSTM العميقة كان يحتاج أسابيع. الاستدلال كان أبطأ بكثير من أن يخدم المستخدمين لحظياً، والتكلفة الحوسبية لكل جملة تفوق تكلفة الأنظمة الإحصائية بمراتب.
الدقة. في أزواج لغوية كثيرة ظلّت أفضل الأنظمة العصبية متأخّرة عن النظام الإحصائي الذي صقله المهندسون على مدار عقدٍ كامل. والجمل الطويلة تحديداً كانت تتسبّب في انهيار جودة الترجمة.
الكلمات النادرة. قاموس على مستوى الكلمات الكاملة لا يستطيع تغطية كل اسم علم ومصطلح تقني وتصريف صرفي في كل لغة. ظهور كلمة واحدة خارج — يُرمز لها بـ <UNK> — كان غالباً يُفسد الترجمة بأكملها أو يُسقط الكلمة كأنها لم تكن.

افتح في المختبر

اضغط «ترجِم» لمقارنة مخرجات النظام الإحصائي مع النظام العصبي على جملة صعبة.

تستيقظ التجربة عند وصولك…

البنية: ثماني طبقات عميقة وثلاث حيل هندسية جوهرية

بنية GNMT هي مبنيّة على شبكات LSTM عميقة. ثلاثة قرارات هندسية هي ما يجعل هذا العمق ممكناً وقابلاً للتطبيق:

1. : طبقة واحدة ثنائية الاتجاه + سبع أحادية. الطبقة الأولى هي LSTM ثنائية الاتجاه تقرأ الجملة المصدر بالاتجاهين لتلتقط السياق الكامل. أمّا الطبقات السبع الباقية فأحادية الاتجاه. لماذا لا نجعلها جميعاً ثنائية؟ السبب عملي بحت: الطبقة أحادية الاتجاه $i+1$ تستطيع أن تبدأ العمل فور أن تُنتج الطبقة $i$ أوّل مخرجاتها، دون أن تنتظر انتهاء التسلسل بأكمله. هذا يتيح توزيع الطبقات كخطّ إنتاج عبر وحدات المعالجة الرسومية، فيتضاعف التوازي بشكل ملحوظ.

2. بدءاً من الطبقة الثالثة. بدون اتصالات التخطّي تتلاشى في شبكة LSTM من 8 طبقات حتى تقترب من الصفر، ويصبح التدريب بعد أربع طبقات مستحيلاً عملياً. اتصالات التخطّي تفتح ممرّاً سريعاً يسمح للتدرّج بتجاوز كل طبقة والانسياب مباشرةً من الأعلى إلى الأسفل. بذلك يتقارب التدريب بثبات حتى مع 8 طبقات.

3. الانتباه مُثبَّت عند أسفل . أغلب البنى في تلك الفترة كانت تحسب الانتباه عند الطبقة العليا. GNMT يفعل العكس: يربط الطبقة السفلى من فاكّ الترميز بالطبقة العليا من المرمِّز. ناتج الانتباه يتدفّق بعدها صعوداً عبر الطبقات الثمانية لفاكّ الترميز، فتحصل كل طبقة على سياق الجملة المصدر. والنقطة الجوهرية: الطبقات من 2 إلى 8 في فاكّ الترميز تستطيع العمل على وحدات معالجة منفصلة بأسلوب أنبوبي، لأن كل طبقة لا تعتمد إلا على ما تحتها — دون الحاجة إلى إعادة حساب الانتباه.

افتح في المختبر

انقر على أي مكوّن لتعرف وظيفته. لاحظ كيف يربط الانتباه الطبقة السفلى من فاكّ الترميز بالطبقة العليا من المرمِّز.

تستيقظ التجربة عند وصولك…

اتصالات التخطّي: الطريق السريع للتدرّجات

تخيّل شبكة LSTM بثماني طبقات كمبنىً من ثمانية طوابق، كل طابق يُعالج البيانات التي تمرّ عبره. خلال التدريب، إشارة الخطأ — أي التدرّج — يجب أن تنتقل من السطح نزولاً إلى الطابق الأرضي. المشكلة أنه بدون مصاعد، تصل الإشارة بعد ثمانية طوابق على الدَّرَج وقد فقدت معظم قوّتها — وهذه هي مشكلة تلاشي التدرّجات.

اتصال التخطّي هو المصعد الذي يعمل بموازاة الدَّرَج: مدخل كل طبقة يُضاف مباشرةً إلى مخرجها. أثناء ، يركب التدرّج هذا المصعد فينزل مباشرةً ويصل سليماً إلى الطبقات الأولى. في GNMT تبدأ اتصالات التخطّي من الطبقة الثالثة في المرمِّز وفاكّ الترميز على حدّ سواء (الطبقتان الأوليان قد تختلف أبعادهما، فلا يُطبَّق عليهما مسار التخطّي).

ما وجده الباحثون واضح: الشبكات الأعمق من 4 طبقات LSTM بدون اتصالات تخطّي بالكاد تتعلّم أي شيء. أمّا معها فإن 8 طبقات تتقارب بسلاسة.

\text{output}_l = f_l(\text{output}_{l-1}) + \text{output}_{l-1}

اتصال التخطّي — مدخل كل طبقة يُضاف إلى مخرجها — f_l هي عملية LSTM في الطبقة l. علامة الجمع تُنشئ ممرّاً مختصراً: حتى لو أنتجت f_l تدرّجات شبه معدومة، يظل مسار الهوية ينقل الإشارة كما هي دون أن تتأثر.

افتح في المختبر

فعِّل اتصالات التخطّي أو عطِّلها وراقب كيف تتغير قوة التدرّج عبر الطبقات الثمانية.

تستيقظ التجربة عند وصولك…

الانتباه: كشّاف فاكّ الترميز على الجملة المصدر

بدون الانتباه، يُضطر المرمِّز إلى حشر الجملة المصدر بأكملها في متجه واحد ثابت الطول — وهذا يُشكّل عنق زجاجة خانقاً خصوصاً مع الجمل الطويلة. الانتباه يمنح فاكّ الترميز القدرة على العودة إلى كل موضع في المرمِّز عند كل خطوة، فيُركّز على الأجزاء الأكثر صلةً بالكلمة التي يُنتجها في تلك اللحظة.

يعتمد GNMT على . عند كل خطوة توليد $t$ ، تُقارَن $s_t$ للطبقة السفلى من فاكّ الترميز بكل حالة خفية $h_i$ من الطبقة العليا للمرمِّز، فتنتج درجات محاذاة. تتحوّل هذه الدرجات إلى أوزان عبر softmax، ويصبح المجموع الموزون لحالات المرمِّز هو $c_t$ . يُلحَق هذا المتجه بالحالة $s_t$ ثم يُمرَّر صعوداً عبر بقية طبقات فاكّ الترميز.

القرار التصميمي الحاسم هنا: الانتباه يُحسَب مرة واحدة فقط عند الطبقة السفلى، ونتيجته هي ما يتدفّق صعوداً. معنى ذلك أن الطبقات من 2 إلى 8 في فاكّ الترميز لا تحتاج إلى انتظار حساب انتباه جديد — بل تُعالج ببساطة المدخل الذي يصلها من الطبقة التي تحتها. وهذا تحديداً ما يجعل التوزيع الأنبوبي عبر وحدات المعالجة الرسومية ممكناً.

c_t = \sum_{i=1}^{M} \alpha_{t,i} \cdot h_i \quad \text{where} \quad \alpha_{t,i} = \frac{\exp(e_{t,i})}{\sum_j \exp(e_{t,j})}

متجه سياق الانتباه — نظرة موزونة على الجملة المصدر — α_{t,i} = مقدار تركيز فاكّ الترميز على الموضع i في المصدر عند الخطوة t · h_i = حالة الطبقة العليا للمرمِّز عند الكلمة المصدر i · c_t = متجه السياق الناتج الذي يُوجّه فاكّ الترميز

افتح في المختبر

راقب كيف ينتقل تركيز الانتباه مع توليد كل كلمة في الترجمة.

تستيقظ التجربة عند وصولك…

WordPiece: ترويض الكلمات النادرة

حتى لو بنيت قاموساً من 200,000 كلمة، لن تتمكن من تغطية كل اسم علم ورقم وتصريف صرفي يصادفه المترجم. ظهور كلمة مجهولة — يُشار إليها بالرمز <UNK> — كان كثيراً ما يُفسد الجملة المُترجمة بأكملها.

الحل في GNMT هو نموذج WordPiece، وهو أسلوب يُشبه . الفكرة بسيطة: ابدأ بالحروف المفردة، ثم ادمج تكراراً أكثر الأزواج المتجاورة شيوعاً حتى يصل حجم القاموس إلى الحدّ المطلوب — عادةً بين 8,000 و32,000 وحدة. الكلمات الشائعة تبقى كما هي ("translation" → "translation")، أمّا النادرة فتُقسَّم إلى أجزاء معروفة ("Übersetzung" → "Über" + "setzung").

الأثر جوهري: يصبح القاموس مفتوحاً — أي كلمة في أي لغة يمكن تمثيلها بتسلسل من أجزاء معروفة، فتختفي مشكلة رمز <UNK> تماماً. والفائدة الإضافية أن الوحدات الفرعية تلتقط البنية الصرفية للكلمات: السوابق واللواحق والجذوع تصير وحدات أساسية في القاموس، فيستطيع النموذج التعميم على صيغ لم يرها كاملةً من قبل.

افتح في المختبر

اكتب كلمة لترى كيف يُفكّكها WordPiece إلى وحدات فرعية.

تستيقظ التجربة عند وصولك…

البحث الشعاعي: إيجاد أفضل ترجمة

عند كل خطوة من خطوات التوليد، يُعطي النموذج احتمالاً لكل كلمة ممكنة تالية. أبسط طريقة هي اختيار الكلمة ذات الاحتمال الأعلى في كل مرة — لكن هذا النهج قصير النظر: فالجملة الأفضل قد تبدأ بكلمة ليست الأعلى احتمالاً. هنا يأتي دور الذي يُبقي أفضل $B$ مُرشّحاً حيّاً عند كل خطوة، مستكشفاً عدة مسارات بالتوازي.

يُضيف GNMT تحسينين على البحث الشعاعي التقليدي:

تسوية الطول. بدونها يتناقص لوغاريتم الاحتمال مع كل كلمة تُضاف، فتميل الدرجات لصالح الترجمات الأقصر بشكل غير عادل. تسوية الطول تقسم لوغاريتم الاحتمال على طول الجملة مرفوعاً لأسّ $\alpha$ (يُضبط عادةً بين 0.6 و0.8)، فتتنافس الترجمات القصيرة والطويلة بإنصاف.

عقوبة التغطية. أحياناً يُفرط النموذج في ترجمة عبارة فيُكرّرها، أو يتخطّى كلمة فيُسقطها. عقوبة التغطية تُضيف حدّاً يدفع مجموع أوزان الانتباه على كل كلمة مصدر ليقترب من 1.0 — بمعنى أن كل كلمة في الجملة الأصلية يجب أن يُنتبه إليها مرة واحدة تقريباً، لا أكثر ولا أقل.

s(Y, X) = \frac{\log P(Y|X)}{\text{lp}(Y)} + \beta \cdot \text{cp}(X, Y)

درجة البحث الشعاعي — تسوية الطول + عقوبة التغطية — log P(Y|X) = درجة النموذج الخام · lp(Y) = معامل الطول الذي يمنع الانحياز للمخرجات القصيرة · cp(X,Y) = عقوبة التغطية التي تُعاقب تكرار الترجمة أو تخطّيها · β يتحكّم في ثِقل التغطية

افتح في المختبر

شاهد كيف يستكشف البحث الشعاعي مسارات ترجمة متعددة بالتوازي. فعِّل تسوية الطول وعقوبة التغطية لترى أثرهما.

تستيقظ التجربة عند وصولك…

التكميم: تقليص زمن الاستجابة للنصف في بيئة الإنتاج

نموذج دقيق لكنّه بطيء لا فائدة منه حين يواجه مليارات الطلبات يومياً. لذلك يستخدم GNMT ما يُعرف بـالاستدلال المُكمَّم: أثناء التدريب تُخزَّن بدقّة 32 بتاً كاملة، لكن عند الاستدلال تُحوَّل إلى أعداد صحيحة بدقة 8 بتات فقط. عمليات ضرب المصفوفات — وهي عنق الزجاجة في أي — تعمل أسرع بكثير حين تُنفَّذ بحساب الأعداد الصحيحة على عتاد متخصّص.

الفكرة الذكية هنا هي التدريب الواعي بـ: بدلاً من تكميم الأوزان بعد انتهاء التدريب (وهو ما يُضعف الجودة)، يُحاكي GNMT تأثيرات التكميم أثناء التدريب نفسه، فيتعلّم النموذج كيف يكون متيناً تجاه الحساب منخفض الدقة. المحصّلة: سرعة الاستدلال تتضاعف مع فقدان شبه معدوم في جودة الترجمة.

الأمر يشبه عازفاً يتمرّن كل يوم على بيانو مُعتلّ النغمات قليلاً: حين يصعد المسرح ليعزف على آلة بها بعض الشوائب، يبدو أداؤه ممتازاً — لأنه تكيَّف مسبقاً مع هذا النوع من النقص.

التدريب على نطاق واسع: توازي البيانات والنموذج

لجعل التدريب عملياً بهذا الحجم، يعتمد GNMT على نوعين من التوازي يعملان معاً:

: نحو 12 نسخة من النموذج تتدرّب في الوقت نفسه على مختلفة (128 زوج جمل لكل دفعة). جميع النسخ تتشارك مجموعة واحدة من تُحدَّث بشكل لامتزامن عبر Downpour SGD (يبدأ التدريب بمُحسِّن ثم يتحوّل إلى SGD بعد ).

: داخل كل نسخة، تُوزَّع الطبقات الثمانية لـالمرمِّز والثمانية لـفاكّ الترميز على عدة وحدات معالجة رسومية. بما أن الطبقة $i+1$ تعتمد فقط على مخرجات الطبقة $i$ ومعظم الطبقات أحادية الاتجاه، تتسلسل الحسابات أنبوبياً بشكل طبيعي: الوحدة الأولى تبدأ الطبقة الثانية فور أن تُنتج الطبقة الأولى مخرجها الأول، دون انتظار انتهاء التسلسل.

هذا المزيج يعني أن تدريباً كان سيحتاج أشهراً على وحدة معالجة واحدة يُنجَز في نحو 6 أيام على عنقود حوسبي، محقّقاً التقارب خلال 3 × 10⁹ خطوة تدريبية.

افتح في المختبر

شاهد كيف يتكامل توازي البيانات (نسخ متعددة) مع توازي النموذج (طبقة لكل وحدة معالجة).

تستيقظ التجربة عند وصولك…

الضبط بالتعلّم المعزَّز: تحسين BLEU مباشرةً

التدريب بـ يُحسِّن احتمال كل كلمة هدف على حدة، بافتراض أن كل الكلمات السابقة لها صحيحة. لكن مقياس التقييم الفعلي — BLEU — يقارن الجمل المُنتَجة بأكملها مع ترجمات مرجعية. هنا تظهر فجوة: قد يحقّق النموذج دقة ممتازة على مستوى الكلمة المفردة لكنه يُنتج جملاً كاملة ركيكة، لأن BLEU يُكافئ تطابق متتاليات الكلمات وأنماط الطلاقة التي لا يلتقطها التدريب كلمةً بكلمة.

GNMT يسدّ هذه الفجوة بـ. بعد أن يتقارب التدريب المعياري، يُضبط النموذج باستخدام — وهي أسلوب : النموذج يولّد ترجمة، يحصل على درجة BLEU بوصفها ، ثم يُحدِّث معاملاته ليزيد احتمال الترجمات التي تحصل على درجات أعلى.

عملياً يستخدم GNMT هدفاً مختلطاً: 0.017 × التعلّم المعزَّز + خسارة الأرجحية العظمى. مكوّن الأرجحية العظمى يعمل كمُثبِّت — لأن التدريب بالتعلّم المعزَّز وحده غير مستقر وقد يدفع النموذج لإنتاج ترجمات مشوّهة تصادف أنها تحصد درجات BLEU عالية. الهدف المختلط يُحقّق تحسّناً ثابتاً بمقدار +0.4 نقطة BLEU.

الفكرة في شيفرة برمجية

مرمِّز GNMT مع اتصالات التخطّي وانتباه الطبقة السفلىpython

مبسَّط لإظهار الفكرة — ليس التنفيذ الحقيقي.

import numpy as np

def lstm_cell(x, h_prev, c_prev, W):
    """خطوة LSTM واحدة — تُعيد الحالة الخفية وحالة الخلية الجديدتين."""
    combined = np.concatenate([x, h_prev])
    gates = combined @ W  # 4 بوابات: إدخال، نسيان، إخراج، مرشّح الخلية
    i, f, o, g = np.split(gates, 4)
    i, f, o = sigmoid(i), sigmoid(f), sigmoid(o)
    g = np.tanh(g)
    c = f * c_prev + i * g
    h = o * np.tanh(c)
    return h, c

def gnmt_encoder(tokens, embeddings, lstm_weights):
    """
    مرمِّز بثماني طبقات:
      الطبقة 0: LSTM ثنائية الاتجاه (تقرأ الجملة بالاتجاهين)
      الطبقات 1-7: LSTM أحادية الاتجاه مع اتصالات تخطٍّ (من الطبقة 2 فصاعداً)
    """
    x = embeddings[tokens]          # (طول_التسلسل, d_model)

    # الطبقة 0: ثنائية الاتجاه — تلتقط السياق الكامل للجملة المصدر
    fwd = run_lstm(x, lstm_weights[0])         # من اليسار إلى اليمين
    bwd = run_lstm(x[::-1], lstm_weights[0])   # من اليمين إلى اليسار
    layer_out = np.concatenate([fwd, bwd[::-1]], axis=-1)

    # الطبقات 1-7: أحادية الاتجاه مع اتصالات تخطٍّ
    for l in range(1, 8):
        raw = run_lstm(layer_out, lstm_weights[l])
        if l >= 2:  # التخطّي يبدأ من الطبقة 2 (حيث تتطابق الأبعاد)
            layer_out = raw + layer_out  # ← ممرّ التخطّي
        else:
            layer_out = raw

    return layer_out  # الشكل: (طول_التسلسل, d_model) — حالات الطبقة العليا

def attention(decoder_state, encoder_outputs):
    """انتباه جمعي: الطبقة السفلى لفاكّ الترميز ← الطبقة العليا للمرمِّز."""
    scores = np.array([
        np.tanh(decoder_state @ W_a + h @ U_a) @ v_a
        for h in encoder_outputs
    ])
    weights = softmax(scores)
    context = weights @ encoder_outputs
    return context, weights

النتائج: أخطاء أقل بنسبة 60%

قُيِّم GNMT بـدرجات BLEU والتقييم البشري عبر عدة أزواج لغوية:

إنجليزي←فرنسي (WMT'14): BLEU 38.95 — نتيجة تُنافس أفضل ما نُشر مع كون النظام قابلاً للنشر الفعلي في الإنتاج.
إنجليزي←ألماني (WMT'14): BLEU 24.17 — يُقلّص الفارق مع الأنظمة الإحصائية ونماذج البحث المبنية على الانتباه.
التقييم البشري: على مقياس من 0 إلى 6، حصل GNMT على درجات قريبة جداً من مستوى الترجمة البشرية. في زوج الإنجليزية-الإسبانية تحديداً كانت الفجوة ضئيلة بشكل لافت.
تقليص أخطاء الترجمة: عبر أزواج لغوية كثيرة، خفّض GNMT أخطاء الترجمة بنسبة 55–85% مقارنةً بالنظام الإحصائي المنشور، بمتوسط يقارب 60%.

كل مكوّن — WordPiece، والضبط بـالتعلّم المعزَّز، وتسوية الطول، وعقوبة التغطية — أسهم بتحسّن قابل للقياس. لم تكن أي حيلة وحدها كافية — قوة النظام تكمن في التكامل المحكَم بين جميع أجزائه.

افتح في المختبر

قارن درجات BLEU عبر أزواج اللغات وشاهد مساهمة كل مكوّن على حدة.

تستيقظ التجربة عند وصولك…

من GNMT إلى المحوِّل: الإرث

2014
تتابع-إلى-تتابع + انتباه
قدّم Bahdanau وزملاؤه آلية الانتباه لنماذج التتابع-إلى-تتابع، فأصبح بإمكان فاكّ الترميز أن يُركّز على الكلمات المصدر ذات الصلة عند كل خطوة. هذا هو الأساس الذي بنى عليه GNMT لاحقاً.
2016
ترميز أزواج البايتات للترجمة العصبية
طبّق Sennrich وزملاؤه ترميز أزواج البايتات على الترجمة العصبية وحلّوا بذلك مشكلة الكلمات النادرة. نموذج WordPiece في GNMT انطلق من البصيرة نفسها لكن بخوارزمية مختلفة.
2016
GNMT
نشرت جوجل الترجمة العصبية على نطاق إنتاجي: LSTM عميقة بثماني طبقات مع اتصالات تخطٍّ، وتجزئة WordPiece، واستدلال مُكمَّم. حلّ النظام محلّ المحرّك الإحصائي في أكثر من 100 زوج لغوي.
2017
المحوِّل
ورقة «الانتباه هو كل ما تحتاجه» استغنت عن شبكات LSTM بالكامل واستبدلتها بالانتباه الذاتي، محقّقةً جودة أعلى مع توازٍ أكبر بكثير. ابتكارات GNMT — تجزئة WordPiece واتصالات التخطّي والهندسة الإنتاجية — انتقلت إلى المحوِّل مباشرةً.
2018
WordPiece في BERT
تبنّى BERT مُجزّئ WordPiece من GNMT بقاموس من 30,000 وحدة — الفكرة الفرعية ذاتها لكنها تُشغّل الآن نماذج الفهم اللغوي بدلاً من الترجمة.

GNMT كان الجسر الذي عبرت عليه الترجمة العصبية من وعود المختبرات إلى واقع الإنتاج الصناعي. أثبت أن شبكة عصبية واحدة تستطيع التفوّق على عقدين كاملين من الهندسة الإحصائية — لكنه كشف أيضاً عن الحدود التي تصطدم بها شبكات LSTM. المحوِّل الذي جاء بعده حلّ عنق زجاجة التوازي المتبقّي بالتخلّي عن التكرار كلياً، لكنه ورث من GNMT تجزئة WordPiece واتصالات التخطّي والدرس الأهم: أن قيود بيئة الإنتاج يجب أن تكون هي ما يُوجّه تصميم البنية.

المرجعWu, Schuster, Chen, Le, Norouzi, Macherey, Krikun, Cao, Gao, Macherey, Klingner, Shah, Johnson, Liu, Kaiser, Gouws, Kato, Kudo, Kazawa, Stevens, Kurian, Patil, Wang, Young, Smith, Riesa, Rudnick, Vinyals, Corrado, Hughes, Dean. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv, 2016.

مصطلحات هذه الورقة

مرمِّز-فاكّ ترميزEncoder-Decoder
شبكة الذاكرة الطويلة قصيرة المدىLSTM
الوصلة التجاوزيةResidual Connection
آلية الانتباهAttention
ترميز زوج البايتByte Pair Encoding (BPE)
بحث الحزمةBeam Search
التكميمQuantization
الترجمة الآليةMachine Translation
معيار بلو الإحصائي لتقييم الترجمةBLEU Score
التعلم المعززReinforcement Learning
توازي البياناتData Parallelism
توازي النموذجModel Parallelism