Derfor bliver AI ved med at finde på ting, der ikke passer

Du har nok selv oplevet det. Nogle gange giver én af de store AI-modeller dig svar, der umiddelbart virker korrekte.

Svaret, som fremstår helt tillidsvækkende, viser sig at være fuldstændig opdigtet.

Et eksempel er en rapport fra Tromsø kommune i Norge, hvor ChatGPT blev bedt om at finde faglige kilder til viden om skolelukninger.

Sprogmodellen opfandt en hel række kilder ifølge Norges public service-udbyder af radio og tv, NRK.

Det er et grundlæggende problem i sprogmodeller, og 'hallucinationerne' fortsætter med at være et problem selv i de mest avancerede modeller, ifølge en artikel skrevet af flere forskere fra OpenAI, som står bag den mest kendte sprogmodel, ChatGPT.

Artiklen ligger på preprint-arkivet Arxiv, men den er ikke fagfællebedømt i et tidsskrift.

Alligevel har artiklen skabt debat i forskningsmiljøet om, hvordan usikkerhed i sprogmodeller kan håndteres, siger Erik Velldal, som er professor ved Institut for Informatik ved Universitetet i Oslo.

En anden forsker mener, at OpenAI's løsning fuldstændig vil ødelægge vores forhold til disse AI-modeller. Mere om det senere.

Men hvordan opstår disse hallucinationer egentlig? Og hvad skal modellerne gøre, når de ikke har et godt svar på et spørgsmål?

Det kan gå helt galt

Såkaldte hallucinationer er en helt almindelig del af, hvordan sprogmodellerne fungerer, siger Erik Velldal.

»Modellerne er sandsynlighedsfordelinger over sekvenser af ord og ikke databaser over fakta om verden. Det betyder, at sætningerne, der kommer ud af for eksempel ChatGPT, er et resultat af en masse sandsynlighedsberegninger.

»Når du får et svar, er det sammensat af de mest sandsynlige ord, som følger de mest sandsynlige ord – og så videre. Og så kan det nogle gange gå galt,« advarer Erik Velldal, som uddyber:

»Det kan gå galt, især når det handler om emner, der kun i begrænset omfang er repræsenteret i deres træningsdata. «

Så begynder modellerne at finde svar, der virker sandsynlige, men som ikke er korrekte. For eksempel fiktive studier.

»Den kan finde på noget, der lyder sandsynligt. Så opdigter den både titler og referencer, som virker ægte. Måske bruger den endda navne på rigtige forskere som forfattere.«

I artiklen skriver forskerne, at træningen af modellerne belønner gætteri, men ikke usikkerhed.

Multiple choice

Når AI-modellerne bliver trænet, bruges forskellige typer tests til at vurdere, hvor gode de er.

Det kan også være multiple choice-tests, hvor modellerne får klart definerede svarmuligheder, de skal vælge imellem.

Det kan sammenlignes med mennesker, der tager multiple choice-tests, skriver forskerne i artiklen. Det er bedre at gætte, for så er der i det mindste en chance for, at man gætter rigtigt.

»Problemet er, at modellen ikke belønnes for at erkende, at der er noget, den ikke ved og derfor bare gætter,« siger Erik Velldal.

»Forskerne argumenterer for at indføre et 'jeg ved det ikke'-alternativ. Så kan modellerne trænes til at indrømme usikkerhed i stedet for at finde på noget.«

Erik Velldal tror, det kan føre til færre hallucinationer, hvis det bliver en større del af selve evalueringen under træningen.

Han understreger, at det kun er én måde at træne modellerne på, og at det måske ikke altid kan overføres til længere tekster, som modellen skriver.

»Folk beder modellerne om at opsummere viden inden for et eller andet område, og for eksempel skrive et essay om et bestemt emne. Så er det langt mere vanskeligt at se, hvordan man konkret kan overføre det forslag, de kommer med her,« mener Erik Velldal.

Modellerne kæmper altså stadig med hallucinationer. Et helt aktuelt eksempel kommer fra NRK, som lod sprogmodeller svare på spørgsmål om nyheder på deres og andre public service-mediers hjemmesider.

Resultatet var betydelige fejl i 45 procent af svarene blandt andet opdigtede nyhedsartikler med fiktive links ifølge NRK.

Erik Velldal mener dog, at det er blevet bedre det seneste år.

»Det skyldes især, at man i højere grad bruger sprogmodeller i kombination med internetsøgning og eksterne værktøjer. Det giver en bedre forankring i den tekst, man får ud.«

Bør modellerne blive bedre til at kommunikere usikkerhed?

Brugerne vil forlade systemet

Én af de løsninger, som OpenAI har foreslået, er at lade sprogmodellerne vurdere, hvor sikre de er på et svar, før de giver det, skriver forsker Wei Xing hos The Conversation.

Baseret på tallene i artiklen argumenterer han for, at det kan føre til, at en stor sprogmodel vil begynde sine svar med 'jeg ved det ikke' i omkring en tredjedel af tilfældene.

»Brugere, der er vant til at få svar med stor sikkerhed, vil sandsynligvis hurtigt forlade systemet,« mener han.

Det er Erik Velldal ikke helt enig i.

»Man vil jo gerne have klare svar, men ikke hvis de er forkerte. Så vil jeg hellere have at vide, at modellen ikke ved det. Samtidig må den heller ikke blive for forsigtig.«

Erik Velldal påpeger, at en model, som alt for ofte svarer 'det kan jeg ikke hjælpe dig med', fordi den er bange for at sige noget forkert, ikke vil være til meget nytte.

©Forskning.no. Oversat af Stephanie Lammers-Clark. Læs den oprindelige artikel her.