Drømmer androider om elektriske får?
Sådan spurgte Philip K. Dick i sin dystopiske science fiction-roman fra 1968.
I dag kunne man måske i stedet spørge: 'Hallucinerer ChatGPT om falske artikler?’
Og svaret på det spørgsmål er ja.
I hvert fald kan vi på Videnskab.dk konstatere, at der er begyndt at komme besøgende på vores hjemmeside fra AI-tjenester som ChatGPT, Perplexity, Microsoft Copilot, Claude og så videre.
Det er til artikler om, hvor mange køn der findes, depression og grønlandske børn. Der er bare lige et stort men:
Mange af artiklerne findes ikke. Det er URL’er, som AI’en selv har fundet på, og som derfor fører til fejlmeldinger hos den nysgerrige læser.
»Den problematik er en ‘AI classic’,« konstaterer adjunkt Peder Hammerskov, der underviser i AI på Danmarks Medie- og Journalisthøjskole.
»Den finder på alle mulige kilder, der ikke findes. Ikke som bevidst manipulation, men fordi den har en tendens til at gætte plausible formuleringer. Det ligner en god kilde, men er det ikke nødvendigvis.«
Kort og godt: Ekspertens 6 råd til at søge viden fra AI
Peder Hammerskov giver flere råd til, hvordan man bør bære sig ad, hvis man vil søge viden fra AI-tjenester såsom ChatGPT eller Microsoft Copilot:
- Sørg for, at AI’en har adgang til nettet. Så er sandsynligheden for rigtige kilder større (men selv med angivne netkilder kan dens konklusioner stadig være forkerte).
- Husk, at en AI-tjeneste ikke er en faktamaskine. Se den i stedet som en sparringspartner, der ikke nødvendigvis har ret.
- Hvis den angiver kilder, skal du klikke på dem og vurdere, om de er rigtige og siger det samme som AI’en.
- Du skal også vurdere, om kilden er troværdig. Er det for eksempel en virksomhed, der i virkeligheden vil tale et produkt op eller lignende?
- Hvis den ikke angiver kilder, skal man selv efterprøve påstanden med troværdige kilder.
- Flere AI-tjenester har funktioner, der kan gøre det nemmere at følge de ovenstående råd. For eksempel har ChatGPT værktøjet ‘Grundig research’, der kan slås til. Det erstatter dog ikke de andre råd.
En farlig kombination
Når en AI finder på ting, der ikke findes, kaldes det en 'hallucination’. Og ifølge Peder Hammerskov sker det, fordi »den i bund og grund bare prøver at hjælpe os«:
»Sprogmodeller (såsom ChatGPT, red.) er skabt til at imitere os mennesker. Den 'ved', hvordan artikler og hjemmesider skal se ud, og den ved, hvordan vi kommunikerer og formulerer os på skrift.«
Men samtidig er AI’en også trænet til at give os det indhold, vi gerne vil læse – uanset om det findes eller ej.
»Det er jo en farlig kombination. For når jeg søger noget specifik viden, så tænker den: ‘Det her medie har skrevet en masse om noget lignende før. De har ikke lige skrevet om præcist det, der spørges til, så det leger vi bare, at de har, for jeg ved jo, hvordan det skal se ud’,« lyder det videre fra adjunkten, som uddyber, at hallucinationerne ofte skyldes, at AI'en mangler data og forsøger at udfylde hullerne.
Og det kan altså ende med henvisninger til hallucinationer: artikler, der ikke findes.
\ Når hallucinationer bliver til journalistik
Det er dog ikke kun falske artikler, AI’en kan hallucinere om. Den kan også finde på kunstigt indhold til artikler, advarer Peder hammerskov:
»En af mine kolleger bad den om at skrive en artikel ud fra en smiley-rapport om en restaurant. Men fordi den ved, hvordan en artikel normalt ser ud, så fandt den bare på en kilde, der ikke findes, og nogle citater, som sådan en kilde nok ville have sagt.«
Der findes da også flere eksempler på, at AI’ens fantasi er blevet til misinformation i den etablerede presse.
Så sent som i sidste uge måtte det amerikanske medie Chicago Sun-Times bringe en berigtigelse af den sommer-læseliste, de havde udgivet.
For listen var skrevet af en journalist, der havde fået lige lovlig meget hjælp af AI – så meget, at flere bogtitler og resuméer var pure opspind.
Under en uge senere begik Politiken en lignende fejl, dog i mindre skala, da de i en artikel om forfatteren Harald Voetmann brugte en faktaboks med eksempler på hans arbejde. Men den AI, der blev brugt som værktøj, krediterede ham for værker, han ikke havde udgivet, priser, han ikke havde vundet, og flere mindre misinformationer om forfatteren, som endte med at blive udgivet.
Råd: Øv dig på ‘slow AI’
Men hvordan kan man så være sikker på, at kilderne, AI’en henviser til, er til at stole på?
Det kan man jo passende spørge ChatGPT selv om. Den svarer blandt andet:
»Du kan godt bruge ChatGPT til at finde kilder, men du bør ikke stole blindt på dem. Nogle gange kan AI finde på at opdigte titler, forfattere eller links, der ser troværdige ud, men ikke findes i virkeligheden. Det gælder især videnskabelige artikler. Derfor bør du altid selv tjekke, om kilden faktisk eksisterer.«
Og i dette tilfælde har den helt ret, lyder det fra Peder Hammerskov:
»Man skal ikke tænke den som en faktamaskine, for det er ikke det, den er designet til. Du skal hellere se den som en slags sparringspartner.«
\ Medier har nægtet AI adgang til deres indhold. Er det en fejl?
Mange medier, herunder Videnskab.dk, har truffet en beslutning om, at AI-sprogmodeller ikke må bruge deres indhold til at lære af og blive klogere.
Den må altså gerne henvise til Videnskab.dk, hvis man spørger den ind til noget, Videnskab.dk har skrevet om – men den må ikke selv ‘huske’ det til at svare generelt på spørgsmål.
Men skyder medierne indirekte sig selv i foden, hvis deres store mål er at holde borgerne informeret?
»Jeg ved ikke, om de skyder sig i foden, men medierne har jo en publicistisk forpligtelse til at oplyse borgerne til at deltage i demokratiet. Det ville I bidrage bedre til, hvis I åbnede op for AI, for så var der meget bedre indhold til sprogmodellerne,« svarer Peder Hammerskov.
»Men jeg forstår selvfølgelig også, at medierne ikke bare kan forære deres indhold gratis væk. De har jo også nogle forretningsmodeller, de er nødt til at følge.«
Hvis man alligevel gerne vil bruge den til at søge konkret viden, har han nogle råd til, hvordan man bør gribe det an:
»Du skal i hvert fald sørge for, at den er på nettet. For så er der større chance for, at den angiver kilder. Og så kan du jo klikke på linket og se, om kilden er rigtig, og om det, der står i den, er det samme, som AI’en påstår.«
Derudover skal man ikke kun vurdere, om kilden er ægte. Man skal også vurdere, om den er troværdig.
»Nogle tjenester mere end andre bruger også partsindlæg og lignende. Hvis jeg for eksempel vil have noget viden om Kroatien, så kan det være, at den henter det fra en turistinformation, der jo gerne vil sælge landet til læseren i stedet for at give rene fakta.«
Hans råd er derfor, at man sætter tempoet ned. En tilgang, som han kalder for ‘slow AI’:
»Det er ikke AI’en, der skal arbejde langsommere, men dig. Tjek kilderne grundigt. Hvis ikke den angiver kilder, så må du selv i gang med at finde dem. Ja, det tager mere tid, men det er sådan, du er sikker på, at det er ordentlig viden, du får,« afslutter Peder Hammerskov.
Læs også Videnskab.dk's chefredaktørs kommentar til sagen i lederartiklen 'AI snyder dig på nye måder'.
