تسببت هلاوس نماذج الذكاء الاصطناعي الجديدة من شركة openAl في حالة من الجدل، بعد وقوعها في أخطاء اختلاق معلومات غير موجودة، وبالتالي تضليل المستخدمين.
معدل أخطاء نماذج «تشات جي بي تي» الأولى كان طفيفاً مقارنة بما حدث مع آخر النسخ، رغم أنها كانت أقل كفاءة.
تفاصيل اختبارات الهلاوس في نماذج OpenAI
أظهرت اختبارات جديدة على نماذج OpenAI المتطورة o3 و o4-mini زيادة ملحوظة في معدل الهلاوس، وهي حالات يصنع فيها النموذج معلومات غير صحيحة أو غير واقعية، كما أكدت نتائج الاختبارات أن معدل الهلاوس في هذه النماذج أعلى مقارنة بالنماذج السابقة.
في اختبار PersonQA، الذي يقيس دقة النموذج في معرفة المعلومات حول الأشخاص، سجل نموذج o3 معدل هلاوس بلغ 33%، وهو ضعف معدل الهلاوس الذي سجلته نماذج o1 و o3-mini (16% و 14.8% على التوالي، أما نموذج o4-mini فقد سجل أسوأ أداء، حيث وصل معدل الهلاوس إلى 48%.
كما أظهرت الاختبارات أن o3 قد يختلق معلومات حول الإجراءات التي اتخذها للوصول إلى إجابات، وأشار الباحثون إلى أن السبب وراء هذه الهلاوس قد يكون تقنيات التعلم المعزز المستخدمة في تدريب نماذج o-series، والتي قد تؤدي إلى تفاقم هذه المشكلة مقارنة بالأساليب التقليدية التي تهدف إلى تقليل الهلاوس.
وتواجه هذه النماذج تحديات في التطبيقات التي تتطلب دقة عالية، مثل القانون، حيث قد تخلق الهلاوس مشاكل في المستندات القانونية أو العقود.
من جانبها، أكدت OpenAI أنها تواصل البحث لإيجاد حلول لتحسين دقة النماذج وتقليل الهلاوس، ومن بين الحلول المقترحة تمكين النماذج من الوصول إلى البحث عبر الإنترنت. وهذا النهج أظهر نتائج واعدة، حيث سجل GPT-4o مع البحث عبر الإنترنت دقة تصل إلى 90% في اختبار SimpleQA، ما قد يسهم في تقليل الهلاوس في المستقبل.

أسباب ارتفاع نسبة الأخطاء في النماذج الجديدة

ارتفعت نسبة الأخطاء والهلاوس في النماذج الجديدة من OpenAI، بسبب اعتمادها على تقنيات التعلم المعزز التي قد تؤدي إلى تعزيز الأخطاء بدلاً من تقليصها، حيث يتم مكافأة النماذج بناءً على الإجابات التي قد تكون غير دقيقة ولكنها بدت مفيدة في سياقات معينة.
كما أن هذه النماذج تعتبر نماذج تفكير معقدة، تهدف إلى معالجة المشكلات الصعبة، ما قد يؤدي في بعض الأحيان إلى توليد إجابات غير صحيحة أو مبتكرة، وزيادة حدوث الهلاوس، ومع زيادة حجم البيانات التي تتعامل معها النماذج، تصبح أكثر عرضة للأخطاء بسبب تعقيد المعلومات التي تجب معالجتها وربطها.
كما يسهم نقص آلية التحكم بعد التدريب في زيادة الهلاوس، حيث إن النماذج الجديدة تفتقر إلى آليات دقيقة تمنع الأخطاء بعد التدريب، كذلك التركيز على تقديم أكبر عدد من الإجابات قد يؤدي إلى توليد معلومات غير دقيقة أو مغلوطة، ما يزيد من تكرار الأخطاء.

ردود فعل المستخدمين تجاه السلوكيات الغريبة

أبدى العديد من المستخدمين قلقهم من السلوكيات الغريبة التي تظهر في النماذج الجديدة مثل o3 و o4-mini من OpenAI، والتي تتجسد بشكل رئيسي في الهلاوس أو الأخطاء التي ينتجها النموذج، حيث يقوم بتوليد معلومات غير دقيقة أو غير واقعية.
كما أشار آخرون إلى أن النموذج يكرر بعض الروابط أو المعلومات المفقودة، ما يسبب ارتباكاً في مهامهم اليومية، ورغم تحسن الأداء في بعض المهام مثل البرمجة والرياضيات، إلا أن ارتفاع نسبة الهلاوس يجعلها أقل قابلية للاعتماد في المجالات التي تتطلب دقة عالية.

آراء المطورين في التحديثات الأخيرة لـChatGPT

بعض المطورين أبدوا تفاؤلهم بأن هذه السلوكيات الغريبة ستكون قابلة للتحسين مع الوقت ومع تطور الأبحاث المتعلقة بتقنيات الذكاء الاصطناعي، وأشاروا إلى أن التعلم المستمر وتحسين الخوارزميات قد يؤدي إلى تقليل نسبة الهلاوس في الإصدارات القادمة.