شرارات الذكاء الاصطناعي العام: تجارب مبكرة مع GPT-4

في التعلم الآلي التقليدي، تُقاس النماذج على معايير مرجعية ثابتة: دقة التصنيف على ImageNet، ودرجات BLEU في الترجمة، ومقياس F1 في الإجابة عن الأسئلة. لكن المؤلفين يرون أن هذه المعايير لا تكفي لتقييم GPT-4. السبب الأول هو تلوّث بيانات الاختبار: ربما شاهد النموذج أسئلة هذه الاختبارات أثناء التدريب. والسبب الثاني أن المعايير الضيّقة تُغفل اتّساع القدرات — وهو بالتحديد ما يفصل الذكاء العام عن التخصص الضيّق.

لذلك اتّبع المؤلفون نهجاً مستوحى من علم النفس: صمّموا مهاماً جديدة وإبداعية تختبر الاستدلال والتجريد والقدرة على الانتقال بين التخصصات — مهام يستحيل أن يكون GPT-4 قد حفظها. واستندوا إلى تعريف الذكاء الذي وضعته لجنة من 52 عالم نفس عام 1994: «قدرة عقلية عامة جداً تشمل القدرة على الاستدلال والتخطيط وحلّ المشكلات والتفكير المجرّد واستيعاب الأفكار المعقدة والتعلّم السريع والتعلّم من التجربة.»

هذا الإطار ليس عفوياً بل مقصود واستفزازي. حين تستخدم تعريفاً صُمّم أصلاً للذكاء البشري مقياساً لنموذج لغوي، فأنت تفتح الباب للمقارنة المباشرة — ومعها باب الجدل.

جوهر الحجة يقوم على أداء GPT-4 عبر طيف واسع من التخصصات. اختبره المؤلفون في البرمجة والرياضيات والطب والقانون وعلم النفس والرؤية البصرية (من خلال أوصاف نصية) والكتابة الإبداعية وغيرها. وفي كل تخصص قارنوا أداءه بنموذج ChatGPT (أي GPT-3.5) لإبراز حجم القفزة. ما يجعل الأمر مقنعاً ليس نتيجة بعينها، بل الاتّساق عبر التخصصات: النموذج ذاته يتفوق في مهام تحتاج عادةً إلى سنوات من التخصّص والدراسة.

البرمجة. يستطيع GPT-4 كتابة شيفرة برمجية عاملة انطلاقاً من وصف باللغة الطبيعية، والتعامل مع هياكل بيانات معقدة، بل وحلّ مسائل من مسابقات البرمجة التنافسية. ينجح في مقابلات تقنية تجريبية بمستوى مهندس برمجيات متمكّن. وحين قُدّمت له مسائل بأسلوب LeetCode لم يصادفها من قبل، أنتج حلولاً صحيحة مع شروحات واضحة.

الرياضيات. يحلّ النموذج مسائل رياضية جديدة تتطلّب استدلالاً حسابياً متعدد الخطوات، ويُثبت نظريات، بل يكتب براهين على شكل أبيات شعرية. لكن العمليات الحسابية الصِّرفة تبقى نقطة ضعفه: يستطيع التفكير في مفاهيم رياضية لكنه يتعثّر حين تطلب منه ضرب أعداد كبيرة.

الطب. حين يُعرض عليه سيناريو سريري، يُنتج GPT-4 تشخيصاً تفاضلياً يتطابق مع استدلال الأطباء المتخصصين. اجتاز امتحان الترخيص الطبي الأمريكي USMLE بمستوى يُنافس طلاب الطب، مُظهراً ليس مجرد استرجاع حقائق بل استدلالاً سريرياً حقيقياً.

القانون. حقّق GPT-4 درجات ضمن أعلى الشرائح المئوية في امتحان نقابة المحامين الموحّد، فأظهر قدرة على الاستدلال القانوني وتحليل القضايا والمحاججة — وهي مهام تستلزم دمج القواعد والسوابق القضائية والتطبيق على الوقائع.

من أكثر النتائج إثارة للدهشة في الورقة ما يبدو أنه قدرة GPT-4 على نظرية العقل — أي أن يستدلّ حول ما يعتقده الآخرون ويقصدونه ويشعرون به، حتى حين تختلف معتقداتهم عن الواقع. تُعدّ هذه القدرة سمة أساسية في الإدراك الاجتماعي البشري، وتُختبر عادةً بما يُسمّى مهام «الاعتقاد الخاطئ» في علم النفس النمائي.

صمّم المؤلفون سيناريوهات يحتاج فيها GPT-4 إلى تتبّع ما تعرفه كل شخصية وما تجهله. مثلاً: تحفظ أليس ملفاً في مجلد مشترك، ثم ينقله بوب دون إخبارها. حين تسأل النموذج «أين ستبحث أليس عن الملف؟»، يجيب بالموقع الأصلي — مما يدلّ على أنه يبني نموذجاً ذهنياً لاعتقاد أليس الخاطئ بدلاً من أن يُخبرك ببساطة أين انتقل الملف فعلاً.

أهمية هذه النتيجة أن نظرية العقل كانت تُعتبر لزمن طويل خارج متناول النماذج اللغوية، لأنها تتطلّب الاحتفاظ بنماذج ذهنية مستقلة لكل شخصية والاستدلال حول الفجوة بين ما يعتقده الشخص وما هو واقع فعلاً.

لعلّ أكثر أقسام الورقة استشرافاً هو القسم الذي يتناول قدرة GPT-4 على استخدام الأدوات. يُبيّن المؤلفون أنه يكفي تزويد النموذج بتعليمات بسيطة تُعلمه بتوفر وظائف معينة — محرك بحث، آلة حاسبة، استدعاءات واجهة برمجية — حتى يُقرّر من تلقاء نفسه متى يستدعي كل أداة، ويصوغ الاستدعاء بشكل صحيح، ثم يدمج النتيجة في مسار استدلاله.

الأثر العميق هنا أن النموذج يتحوّل من مولّد نصوص إلى وكيل فاعل يتّخذ إجراءات. يستطيع البحث في الإنترنت عن معلومات محدّثة، واستدعاء آلة حاسبة للحسابات الدقيقة (ليعوّض عن نقطة ضعفه الحسابية)، وربط عدة استدعاءات أدوات معاً لحلّ مهام مركّبة. ويلاحظ المؤلفون أن استخدام الأدوات يُعدّ من السمات المميّزة للذكاء البشري، وكان يُعتبر تاريخياً بعيد المنال عن الذكاء الاصطناعي.

بل يستطيع GPT-4 أن يستخدم نفسه كأداة: يولّد خطة، ثم ينتقدها في محادثة منفصلة، ثم يُعدّلها بناءً على ذلك النقد. هذه الحلقة من التحسين الذاتي المتكرّر تُلمّح إلى شكل بدائي ممّا نسمّيه ما وراء المعرفة.

حرص المؤلفون على عدم الادّعاء بأن GPT-4 ذكاء اصطناعي عام. ما فعلوه هو توثيق أربعة أنماط فشل منهجية تكشف عن قيود جوهرية في بنية النموذج الذاتي الانحدار.

الهلوسة. يولّد GPT-4 بثقة تامة معلومات خاطئة: استشهادات مختلَقة، وحقائق غير صحيحة، وإحصاءات لا أساس لها. لا يستطيع التمييز بين ما يعرفه فعلاً وما يخمّنه. والمسألة هنا ليست خللاً عابراً يمكن ترقيعه، بل سمة بنيوية: النموذج مُدرَّب على إنتاج نص يبدو معقولاً، لا نص صحيح بالضرورة. ببساطة، لا توجد بداخله آلية تحقّق من الحقائق.

الحساب والعمليات الرقمية. رغم قوة استدلاله الرياضي، يتعثّر GPT-4 في الحسابات البسيطة. يستطيع صياغة معادلات معقدة لكنه يُخطئ في حساب $7 \times 4 + 8 \times 8$. هذا القيد كاشفٌ جداً: النموذج يتعامل مع الأرقام بوصفها رموزاً لغوية وليس بوصفها كميّات لها بنية رياضية.

التخطيط والذاكرة العاملة. يواجه GPT-4 صعوبة في المهام التي تتطلّب الاحتفاظ بحالة معقدة عبر خطوات كثيرة. دمج قائمتين مرتّبتين، أو لعب الشطرنج بمستوى احترافي، أو كتابة قصة بقيود بنيوية صارمة — كلها تتدهور كلما زاد التعقيد.

غياب التراجع. بنية التوليد الذاتي الانحداري تُنتج الرموز واحداً تلو الآخر من اليسار إلى اليمين دون إمكانية مراجعة ما سبق. إذا انطلق النموذج في مسار خاطئ فلا سبيل للعودة. كل رمز يُثبَّت لحظة إنتاجه. لذلك يصبح النموذج هشاً في المهام التي تُقيّد فيها القرارات الأولى كل ما يأتي بعدها.

النموذج حسن المعايرة يجب أن يتردّد حين يُرجَّح خطؤه ويثق حين يُرجَّح صوابه. وجد المؤلفون أن معايرة GPT-4 متذبذبة: في بعض التخصصات يبدو معايَراً بشكل معقول — حين يُجيب بثقة عالية يكون محقّاً في الغالب. لكن في تخصصات أخرى، وبالأخص حين يسترجع حقائق، يأتي واثقاً وخاطئاً بنسب مُقلقة.

هذه مسألة أمان جوهرية. نموذج يبدو واثقاً حتى حين يُخطئ أخطر من نموذج يتحفّظ ويُبدي شكّه، لأن المستخدم يتعلّم بمرور الوقت الوثوق بنبرة الحزم. يرى المؤلفون أن تحسين المعايرة من أهم التحديات التي تواجه الجيل القادم من النماذج.

الادّعاء الأجرأ في الورقة — أن GPT-4 يُظهر «شرارات» من الذكاء الاصطناعي العام — استقطب انتقادات حادة. أثار المعترضون عدة نقاط. أولاً: التقييم نوعي في معظمه، فقد انتقى المؤلفون أمثلة مبهرة بدلاً من إجراء تجارب مُحكمة بدلالة إحصائية. وانتقاء النجاحات مع الاعتراف بالإخفاقات لا يرقى إلى تقييم صارم. ثانياً: لا يوجد تعريف متّفق عليه للذكاء الاصطناعي العام، واعتماد تعريف نفسي من عام 1994 كمقياس أمر خلافي — فهو لم يُصمَّم أصلاً لأنظمة ذكاء اصطناعي.

ثالثاً — وهو الأعمق: هل النجاح في الامتحانات يعني الفهم؟ نموذج يُخرج إجابات صحيحة قد يكون يمارس مطابقة أنماط بالغة الإتقان دون أي تمثيل داخلي للمعنى. اعتراض «الزومبي الفلسفي» ينطبق تماماً هنا: المخرجات تبدو ذكية، لكن هل ثمة «أحدٌ» بالداخل فعلاً؟

المؤلفون توقّعوا هذه الانتقادات وردّوا عليها بسؤال مقابل: هل التمييز بين «فهم حقيقي» و«ارتجال مُقنع للغاية» له معنى أصلاً؟ إذا كان GPT-4 يحلّ مسائل لم يرَها قط، في تخصصات لم يُدرَّب عليها صراحةً، بخطوات استدلال تُحاكي التفكير البشري — فمتى بالضبط ينهار هذا التمييز؟

منهجية الورقة تخرج عن أعراف التعلم الآلي بطرقٍ هي في الوقت نفسه نقطة قوتها ونقطة ضعفها. من جهة، الاختبار الإبداعي المفتوح هو تحديداً ما كشف اتّساع قدرات GPT-4 — لو اعتمدوا معايير مرجعية معيارية لأغفلوا معظم ما يجعله مثيراً للاهتمام. لكن من الجهة الأخرى، غياب الضوابط المنهجية والاختبارات الإحصائية والتقييم الأعمى يُصعّب الفصل بين قدرة حقيقية وانحياز في انتقاء الأمثلة.

اختبر المؤلفون نسخة مبكرة من GPT-4 كان لا يزال قيد التطوير، ما يعني أن النموذج الذي قيّموه قد يختلف عن النسخة التي أُطلقت لاحقاً للعموم. ولاحظوا أيضاً أن حساسية النموذج للصياغة — حيث تغيير كلمة واحدة في السؤال قد يُغيّر المخرجات جذرياً — تجعل إعادة الإنتاج أمراً صعباً. النموذج نفسه قد يبدو عبقرياً أو متواضعاً بحسب طريقة طرح السؤال عليه.

رغم هذه التحفظات، لا يمكن إنكار أثر الورقة. حوّلت النقاش من «كم يُحرز من الدرجات؟» إلى «ما الذي يستطيع فعله فعلاً؟»، وبذلك فتحت باباً لخطاب أغنى وأكثر إنتاجية حول قدرات الذكاء الاصطناعي.

يختم المؤلفون بالتحديات التي ينبغي التصدّي لها للمضيّ قدماً. يُلمّحون إلى أن نموذج التنبؤ بالرمز التالي قد يكون له سقف متأصّل لا يمكن تجاوزه — وربما يحتاج الأمر إلى بنية مختلفة جذرياً لتحقيق تخطيط حقيقي وتأسيس حقائقي موثوق وتعلّم مستمر.

يطرحون كذلك مخاوف مجتمعية: نموذج بهذه القدرات لكن بهذا المستوى من عدم الموثوقية يخلق مخاطر جدية في تخصصات حساسة كالطب والقانون والتعليم. واحتمالات سوء الاستخدام — من إقناع وتلاعب وتضليل — تتضخّم بقدر ما تتضخّم القدرات. لذلك يدعون إلى أُطر تقييم جديدة وآليات أمان وهياكل حوكمة مناسبة.

أسلوب التقييم في الورقة — اختبار النموذج بمهام إبداعية — يمكن اختزاله في حلقة بسيطة: وجّه سؤالاً، ثم قيّم الإجابة. فيما يلي نسخة مبسّطة توضّح كيف تختبر نموذجاً بشكل منهجي عبر عدة تخصصات وتحسب دقّته في كل منها.