ในการพัฒนาที่ก้าวล้ำ นักวิจัยจากมหาวิทยาลัยออกซ์ฟอร์ดมีความก้าวหน้าที่สำคัญในการระบุและป้องกันปรากฏการณ์ภาพหลอนในแบบจำลองภาษาขนาดใหญ่ (LLM) ที่ใช้ในการวิจัยปัญญาประดิษฐ์ (AI)
นักวิจัยได้คิดค้นวิธีการใหม่ในการตรวจจับเมื่อ LLM มีแนวโน้มที่จะ "เห็นภาพหลอน" หรือประดิษฐ์ข้อเท็จจริงที่ฟังดูน่าเชื่อถือแต่เป็นจินตนาการ
คำอธิบายที่ตรงไปตรงมากว่านี้อาจเป็นได้ว่า LLM ไม่ได้ระบุสิ่งที่กำหนดคำตอบที่ถูกต้อง แต่รู้สึกว่าจำเป็นต้องเสนอคำตอบ ซึ่งนำไปสู่การประดิษฐ์ข้อมูล ซึ่งเป็นพฤติกรรมที่เรียกว่า "การรวมตัวกัน"
ผลการวิจัยนี้อาจมีประโยชน์ โดยเฉพาะอย่างยิ่งในสาขาต่างๆ เช่น การตอบคำถามทางกฎหมายและทางการแพทย์ ซึ่งความไม่ถูกต้องอาจนำไปสู่ผลลัพธ์ที่ร้ายแรงได้
ระเบียบวิธีเบื้องหลังการตรวจจับ LLM Confabulation
วิธีการที่ทีมวิจัยพัฒนาขึ้นนั้นใช้พื้นฐานทางสถิติเป็นหลักและมุ่งเน้นไปที่การประมาณค่าความไม่แน่นอนในระดับความหมายแทนที่จะเป็นลำดับคำแต่ละคำ
วิธีการนี้ใช้เอนโทรปีความหมาย ซึ่งวัดปริมาณความแปรผันระหว่างเอาต์พุตหลายรายการ เพื่อคำนวณความไม่แน่นอนในการตอบสนองของ LLM
ด้วยการแปลความน่าจะเป็นที่เกิดจาก LLM ให้เป็นความน่าจะเป็นเหนือความหมาย นักวิจัยจึงสามารถระบุกรณีที่ LLM มีความไม่แน่ใจเกี่ยวกับความหมายที่แท้จริงของคำตอบ ไม่ใช่แค่การใช้ถ้อยคำ
ในระหว่างการทดลอง วิธีการใหม่นี้มีประสิทธิภาพเหนือกว่าวิธีการตรวจจับการสับสนแบบก่อนหน้านี้อย่างต่อเนื่อง
ทีมวิจัยได้ทดสอบวิธีการนี้กับ LLM แบบโอเพ่นซอร์ส 6 รายการ รวมถึงโมเดลที่รู้จักกันดี เช่น GPT-4 และ LLaMA 2 โดยใช้ชุดข้อมูลที่หลากหลายตั้งแต่การค้นหา Google ไปจนถึงคำถามทางชีวการแพทย์ทางเทคนิคและปัญหาคำศัพท์ทางคณิตศาสตร์ วิธีการนี้สามารถระบุคำกล่าวอ้างที่เป็นเท็จในชีวประวัติขนาดสั้นที่สร้างโดย ChatGPT ได้สำเร็จ
ข้อได้เปรียบที่สำคัญประการหนึ่งของเทคนิคนี้คือ วิธีนี้แตกต่างจากวิธีการก่อนหน้านี้ที่ต้องใช้ข้อมูลเฉพาะงาน โดยจะทำงานบนชุดข้อมูลและงานต่างๆ โดยปราศจากความรู้เบื้องต้น ลักษณะทั่วไปที่แข็งแกร่งสำหรับงานใหม่ทำให้มีคุณค่าในการรับรองความถูกต้องและความน่าเชื่อถือในการใช้งานที่หลากหลาย
แม้ว่าวิธีการตรวจจับจะจัดการกับปัญหาความน่าเชื่อถือเฉพาะที่เกี่ยวข้องกับการ Confabulations แต่ก็มีความท้าทายอีกมากมายรออยู่ข้างหน้า ข้อผิดพลาดที่เกิดขึ้นอย่างต่อเนื่องโดย LLM เป็นประเด็นที่ต้องได้รับการดูแลเพิ่มเติม
ความล้มเหลวที่เป็นอันตรายที่สุดของ AI เกิดขึ้นเมื่อระบบสร้างผลลัพธ์ที่ไม่ถูกต้องแต่มั่นใจและเป็นระบบอย่างสม่ำเสมอ นักวิจัยรับทราบว่ายังมีงานอีกมากที่ต้องทำในเรื่องนี้