I en banebrydende udvikling har forskere fra University of Oxford gjort afgørende fremskridt med at identificere og forhindre fænomenet hallucination i store sprogmodeller (LLM'er), der bruges i kunstig intelligens (AI) forskning.
Forskerne har udtænkt en ny metode til at opdage, hvornår LLM'er sandsynligvis "hallucinerer" eller opfinder plausible, men imaginære fakta.
En mere ligetil forklaring kan være, at en LLM ikke identificerer, hvad der definerer et rigtigt svar, men føler sig forpligtet til at tilbyde et, hvilket får det til at fremstille information, en adfærd kendt som "konfabulering".
Resultaterne af denne forskning kan komme til nytte, især inden for områder som juridisk og medicinsk besvarelse af spørgsmål, hvor unøjagtigheder kan føre til alvorlige konsekvenser.
Metodik bag registrering af LLM-konfabulationer
Metodikken udviklet af forskergruppen er stærkt baseret på statistik og fokuserer på at estimere usikkerhed på betydningsniveau i stedet for individuelle ordsekvenser.
Metoden anvender semantisk entropi, som måler mængden af variation mellem flere output, til at beregne usikkerheden i LLM-svar.
Ved at oversætte de sandsynligheder produceret af LLM'er til sandsynligheder over betydninger, var forskerne i stand til at identificere tilfælde, hvor LLM'er var usikre på den faktiske betydning af deres svar, ikke kun formuleringen.
Under deres eksperimenter overgik den nye metode konsekvent tidligere tilgange til at opdage konfabulationer.
Forskerholdet testede metoden mod seks open source LLM'er, herunder velkendte modeller som GPT-4 og LLaMA 2, ved hjælp af forskellige datasæt lige fra Google -søgninger til tekniske biomedicinske spørgsmål og matematiske ordproblemer. Metoden har endda med succes identificeret specifikke falske påstande i korte biografier genereret af ChatGPT .
En stor fordel ved denne teknik er, at i modsætning til tidligere tilgange, der krævede opgavespecifikke data, fungerer denne metode på forskellige datasæt og opgaver uden forudgående viden. Dens robuste generalisering til nye opgaver gør den værdifuld til at sikre nøjagtighed og pålidelighed i en lang række applikationer.
Mens detektionsmetoden adresserer specifikke pålidelighedsproblemer relateret til konfabulationer, ligger der flere udfordringer forude. Konsekvente fejl begået af LLM'er er et område, der kræver yderligere opmærksomhed.
De mest skadelige fejl ved AI opstår, når et system konsekvent producerer forkerte, men sikre og systematiske resultater. Forskere anerkender, at der stadig er meget arbejde at gøre i denne henseende.