Dalam perkembangan yang inovatif, para peneliti dari Universitas Oxford telah mencapai kemajuan penting dalam mengidentifikasi dan mencegah fenomena halusinasi dalam model bahasa besar (LLM) yang digunakan dalam penelitian kecerdasan buatan (AI).
Para peneliti telah merancang metode baru untuk mendeteksi kapan LLM cenderung "berhalusinasi" atau menciptakan fakta yang terdengar masuk akal namun hanya khayalan.
Penjelasan yang lebih jelas mungkin adalah bahwa LLM tidak mengidentifikasi apa yang mendefinisikan jawaban yang benar tetapi merasa berkewajiban untuk menawarkannya, sehingga mengarahkannya untuk mengarang informasi, suatu perilaku yang dikenal sebagai “konfabulasi”.
Hasil penelitian ini dapat berguna, terutama dalam bidang-bidang seperti tanya jawab hukum dan medis, dimana ketidakakuratan dapat mengakibatkan konsekuensi yang parah.
Metodologi Dibalik Mendeteksi Konfabulasi LLM
Metodologi yang dikembangkan oleh tim peneliti sangat didasarkan pada statistik dan berfokus pada memperkirakan ketidakpastian pada tingkat makna, bukan pada rangkaian kata individual.
Metode ini menggunakan entropi semantik, yang mengukur jumlah variasi antara beberapa keluaran, untuk menghitung ketidakpastian dalam respons LLM.
Dengan menerjemahkan probabilitas yang dihasilkan oleh LLM menjadi probabilitas atas makna, para peneliti dapat mengidentifikasi contoh-contoh di mana LLM tidak yakin tentang arti sebenarnya dari jawaban mereka, bukan hanya ungkapannya.
Selama percobaan mereka, metode baru ini secara konsisten mengungguli pendekatan sebelumnya dalam mendeteksi percampuran.
Tim peneliti menguji metode ini terhadap enam LLM sumber terbuka, termasuk model terkenal seperti GPT-4 dan LLaMA 2, menggunakan beragam kumpulan data mulai dari penelusuran Google hingga pertanyaan teknis biomedis dan soal kata matematika. Metode ini bahkan berhasil mengidentifikasi klaim palsu tertentu dalam biografi singkat yang dihasilkan oleh ChatGPT .
Salah satu keuntungan utama dari teknik ini adalah, tidak seperti pendekatan sebelumnya yang memerlukan data tugas spesifik, metode ini beroperasi pada berbagai kumpulan data dan tugas tanpa sepengetahuan sebelumnya. Generalisasinya yang kuat terhadap tugas-tugas baru menjadikannya berharga untuk memastikan akurasi dan keandalan dalam berbagai aplikasi.
Meskipun metode pendeteksian mengatasi masalah keandalan spesifik yang terkait dengan konfabulasi, masih banyak tantangan yang akan dihadapi. Kesalahan konsisten yang dilakukan oleh LLM merupakan area yang memerlukan perhatian lebih lanjut.
Kegagalan AI yang paling merugikan terjadi ketika sistem secara konsisten memberikan hasil yang salah namun meyakinkan dan sistematis. Para peneliti mengakui bahwa masih banyak pekerjaan yang harus dilakukan dalam hal ini.