في تطور رائد، حقق باحثون من جامعة أكسفورد تقدمًا حاسمًا في تحديد ومنع ظاهرة الهلوسة في نماذج اللغات الكبيرة (LLMs) المستخدمة في أبحاث الذكاء الاصطناعي (AI).
ابتكر الباحثون طريقة جديدة لاكتشاف الحالات التي من المحتمل أن يصاب فيها حاملو شهادة الماجستير في القانون "بالهلوسة" أو يخترعون حقائق تبدو معقولة ولكنها خيالية.
قد يكون التفسير الأكثر وضوحًا هو أن ماجستير إدارة الأعمال لا يحدد ما الذي يحدد الإجابة الصحيحة ولكنه يشعر بأنه ملزم بتقديم إجابة، مما يؤدي إلى اختلاق المعلومات، وهو سلوك يُعرف باسم "التباس".
يمكن أن تكون نتائج هذا البحث مفيدة، خاصة في مجالات مثل الإجابة على الأسئلة القانونية والطبية، حيث يمكن أن تؤدي عدم الدقة إلى عواقب وخيمة.
المنهجية وراء الكشف عن Confabulations LLM
تعتمد المنهجية التي طورها فريق البحث بقوة على الإحصائيات وتركز على تقدير عدم اليقين على مستوى المعنى بدلاً من تسلسل الكلمات الفردية.
تستخدم الطريقة الإنتروبيا الدلالية، التي تقيس مقدار التباين بين النواتج المتعددة، لحساب عدم اليقين في استجابات LLM.
من خلال ترجمة الاحتمالات التي تنتجها LLMs إلى احتمالات على المعاني، تمكن الباحثون من تحديد الحالات التي كان فيها LLMs غير متأكدين من المعنى الفعلي لإجاباتهم، وليس فقط الصياغة.
خلال تجاربهم، تفوقت الطريقة الجديدة باستمرار على الأساليب السابقة في الكشف عن الخلطات.
اختبر فريق البحث هذه الطريقة على ستة برامج ماجستير إدارة أعمال مفتوحة المصدر، بما في ذلك نماذج معروفة مثل GPT-4 وLLaMA 2، باستخدام مجموعات بيانات متنوعة تتراوح من عمليات بحث Google إلى الأسئلة الطبية الحيوية الفنية والمسائل الرياضية اللفظية. نجحت هذه الطريقة في تحديد ادعاءات كاذبة محددة في السير الذاتية القصيرة التي أنشأها ChatGPT .
إحدى المزايا الرئيسية لهذه التقنية هي أنه، على عكس الأساليب السابقة التي تتطلب بيانات خاصة بالمهمة، تعمل هذه الطريقة على مجموعات البيانات والمهام المختلفة دون معرفة مسبقة. إن تعميمها القوي على المهام الجديدة يجعلها ذات قيمة لضمان الدقة والموثوقية في مجموعة واسعة من التطبيقات.
في حين أن طريقة الكشف تعالج مشاكل موثوقية محددة تتعلق بالخلطات، إلا أن هناك المزيد من التحديات التي تنتظرنا. الأخطاء المستمرة التي يرتكبها LLMs هي مجال يتطلب المزيد من الاهتمام.
تحدث الإخفاقات الأكثر ضررًا للذكاء الاصطناعي عندما ينتج النظام باستمرار نتائج غير صحيحة ولكنها واثقة ومنهجية. ويقر الباحثون بأنه لا يزال هناك الكثير من العمل الذي يتعين القيام به في هذا الصدد.