Çığır açan bir gelişmeyle, Oxford Üniversitesi'nden araştırmacılar, yapay zeka (AI) araştırmalarında kullanılan büyük dil modellerinde (LLM'ler) halüsinasyon olgusunu tanımlama ve önleme konusunda önemli ilerleme kaydetti.
Araştırmacılar, yüksek lisans yapanların ne zaman "halüsinasyon" görebileceğini veya akla yatkın görünen ancak hayali gerçekler icat edebileceğini tespit etmek için yeni bir yöntem geliştirdiler.
Daha basit bir açıklama, Yüksek Lisans'ın doğru cevabı neyin tanımladığını tanımlamaması ancak bir cevap sunmak zorunda hissetmesi ve bunun da "konfabülasyon" olarak bilinen bir davranış olan uydurma bilgi üretmesine yol açması olabilir.
Bu araştırmanın sonuçları, özellikle yanlışlıkların ciddi sonuçlara yol açabileceği hukuki ve tıbbi soru cevaplama gibi alanlarda faydalı olabilir.
LLM Konfülasyonlarını Tespit Etmenin Arkasındaki Metodoloji
Araştırma ekibi tarafından geliştirilen metodoloji güçlü bir şekilde istatistiklere dayanıyor ve belirsizliği tek tek kelime dizileri yerine anlam düzeyinde tahmin etmeye odaklanıyor.
Yöntem, LLM yanıtlarındaki belirsizliği hesaplamak için birden fazla çıktı arasındaki varyasyon miktarını ölçen anlamsal entropiyi kullanır.
Araştırmacılar, Yüksek Lisans'ların ürettiği olasılıkları anlamlar üzerinden olasılıklara dönüştürerek, Yüksek Lisans'ların yalnızca ifadelerden değil, cevaplarının gerçek anlamından da emin olmadığı durumları tespit edebildiler.
Deneyleri sırasında, yeni yöntem, konfabülasyonların tespitinde önceki yaklaşımlardan sürekli olarak daha iyi performans gösterdi.
Araştırma ekibi, Google aramalarından teknik biyomedikal sorulara ve matematiksel kelime problemlerine kadar çeşitli veri kümelerini kullanarak yöntemi, GPT-4 ve LLaMA 2 gibi iyi bilinen modeller de dahil olmak üzere altı açık kaynaklı LLM'ye karşı test etti. Yöntem, ChatGPT tarafından oluşturulan kısa biyografilerdeki belirli yanlış iddiaları da başarıyla tespit etti.
Bu tekniğin en büyük avantajlarından biri, göreve özel veriler gerektiren önceki yaklaşımlardan farklı olarak, bu yöntemin, önceden bilgi gerektirmeden çeşitli veri kümeleri ve görevler üzerinde çalışmasıdır. Yeni görevlere sağlam bir şekilde genelleştirilmesi, onu geniş bir uygulama yelpazesinde doğruluk ve güvenilirliğin sağlanması açısından değerli kılar.
Tespit yöntemi, konfabülasyonlarla ilgili belirli güvenilirlik sorunlarını ele alırken, ileride daha fazla zorluk bulunmaktadır. Yüksek Lisans'ların yaptığı tutarlı hatalar, daha fazla dikkat gerektiren bir alandır.
Yapay zekanın en zararlı başarısızlıkları, bir sistemin sürekli olarak yanlış ancak kendinden emin ve sistematik sonuçlar üretmesi durumunda ortaya çıkar. Araştırmacılar bu konuda hala yapılacak çok iş olduğunu kabul ediyorlar.