I en banebrytende utvikling har forskere fra University of Oxford gjort avgjørende fremskritt i å identifisere og forhindre fenomenet hallusinasjon i store språkmodeller (LLM) som brukes i forskning på kunstig intelligens (AI).
Forskerne har utviklet en ny metode for å oppdage når LLM-er sannsynligvis vil "hallusinere" eller finne opp plausible, men imaginære fakta.
En mer enkel forklaring kan være at en LLM ikke identifiserer hva som definerer et riktig svar, men føler seg forpliktet til å tilby et, noe som fører til at den fremstiller informasjon, en oppførsel kjent som "konfabulering".
Resultatene av denne forskningen kan komme til nytte, spesielt på felt som juridisk og medisinsk spørsmålssvar, der unøyaktigheter kan føre til alvorlige konsekvenser.
Metodikk bak å oppdage LLM-konfabulasjoner
Metodikken utviklet av forskergruppen er sterkt basert på statistikk og fokuserer på å estimere usikkerhet på betydningsnivå i stedet for individuelle ordsekvenser.
Metoden bruker semantisk entropi, som måler mengden variasjon mellom flere utdata, for å beregne usikkerheten i LLM-svar.
Ved å oversette sannsynlighetene produsert av LLM-er til sannsynligheter over betydninger, var forskerne i stand til å identifisere tilfeller der LLM-er var usikre på den faktiske betydningen av svarene deres, ikke bare fraseringen.
Under eksperimentene deres overgikk den nye metoden konsekvent tidligere tilnærminger for å oppdage konfabulasjoner.
Forskerteamet testet metoden mot seks åpen kildekode LLM-er, inkludert velkjente modeller som GPT-4 og LLaMA 2, ved å bruke forskjellige datasett som spenner fra Google -søk til tekniske biomedisinske spørsmål og matematiske ordproblemer. Metoden har til og med identifisert spesifikke falske påstander i korte biografier generert av ChatGPT .
En stor fordel med denne teknikken er at, i motsetning til tidligere tilnærminger som krevde oppgavespesifikke data, opererer denne metoden på ulike datasett og oppgaver uten forkunnskaper. Dens robuste generalisering til nye oppgaver gjør den verdifull for å sikre nøyaktighet og pålitelighet i et bredt spekter av applikasjoner.
Mens deteksjonsmetoden tar for seg spesifikke pålitelighetsproblemer knyttet til konfabulasjoner, venter flere utfordringer. Konsekvente feil gjort av LLM-er er et område som krever ytterligere oppmerksomhet.
De mest skadelige feilene i AI oppstår når et system konsekvent produserer feil, men sikre og systematiske resultater. Forskere erkjenner at det fortsatt er mye arbeid å gjøre i denne forbindelse.