Hvordan ved man, om en tekst er skrevet af AI?

Føler du, at de fleste informationskilder, som du plejede at stole på, er blevet værre? Du er ikke alene.

Internettet er allerede oversvømmet med syntetiske tekster. Det vil sige tekster, som er genereret af store sprogmodeller (teknologien bag ChatGPT, Gemini og andre chatbotter).

Forskellige former for falsk indhold har eksisteret i lang tid, men med den nye AI-teknologi er problemet vokset i omfang, da det nu er muligt at generere indhold uden hverken teknisk viden eller en menneskelig 'troldefarm'.

For eksempel har Amazons boghandel nu en masse misvisende resuméer af rigtige bøger såvel som skodbøger, der er helt maskingenererede - endda om risikobehæftede emner som for eksempel svampejagt, hvor man kan komme galt afsted med forkerte oplysninger.

Som du måske har fornemmet, er der også falske forbrugeranmeldelser og opslag på sociale medier. På nogle brugermodererede hjemmesider som Quora og StackOverflow, der oprindeligt tog deres moderation alvorligt, er syntetisk indhold nu velkomment. Men det er ikke alt.

Sprogmodeller bruges også i såkaldte 'SEO-røverier'. Det betyder, at nogen bevidst opretter hjemmesider, der efterligner populære hjemmesider, men blot består af maskinskreven tekst.

Endnu mere foruroligende er de falske historier om en persons død (uanset om de er sande eller ej), der tjener som clickbait for de mennesker, der forsøger at finde ud af, hvad der er sket med vedkommende.

Men hvordan gennemskuer man, om en tekst er skrevet af en sprogmodel? I øjeblikket er der ingen pålidelige metoder, der kan bruges i den virkelige verden. Men i denne artikel vil jeg forklare, hvordan mine kolleger og jeg arbejder på at opdage syntetiske tekster.

Hvad er 'syntetiske nyheder'?

'Syntetiske nyheder' er tekster, der præsenteres på hjemmesider, der ligner legitime nyhedsmedier, men er fuldstændig maskingenererede, uden at nogen sikrer kvalitet og faktualiteten af teksterne. Her er et eksempel på sådan en hjemmeside:

Hensigten med denne hjemmeside ser ud til at være at vise annoncer til folk, der besøger den i troen på, at det er et troværdigt nyhedsmedie. De besøgende spilder tid og ressourcer og ender muligvis med at blive misinformeret.

En anden type syntetiske nyheder findes på hjemmesider, der omskriver og genudgiver indhold fra rigtige nyhedssider. Sådanne tekster kan være faktuelt korrekte, men de er produceret for at drive trafikken og indtægterne væk fra de oprindelige kilder.

Endelig kan der produceres syntetiske nyheder for at formidle propaganda, hvilket potentielt kan skade samfundet generelt.

Hvis man er interesseret i at se opgørelser over syntetiske nyhedssider, så er mit bedste bud NewsGuard, som er en organisation med uddannede journalister, der tilbyder deres vurdering af forskellige nyhedsmedier (manuelt udarbejdet af deres team).

I april 2023 rapporterede de 49 syntetiske nyhedssider. I november 2024 er deres seneste optælling 1.121 nyhedssider.

Det reelle tal er dog muligvis højere, fordi NewsGuard kun inkluderer de 'forretninger', hvor der er stærke beviser for, at teksterne er lavet uden 'betydeligt menneskeligt tilsyn'.

Hvor nemt er det at generere syntetiske nyheder?

For engelsk er svaret på det spørgsmål klart: Meget nemt.

Tilbage i 2019 sagde forskere fra firmaet OpenAI, at deres GPT-2-model var for farlig til at udgive, især på grund af dens potentiale til at gøre det let at sprede ​​misinformation. GPT-2 blev dog udgivet alligevel.

Efterfølgende kom OpenAI's rapport om GPT-3 med eksperimenter, der viste, at menneskers evne til at vurdere, om nyhedslignende tekster var genereret af GPT-3, ikke var bedre end tilfældige gæt.

Her fem år senere indbringer sprogmodellerne mange penge for generative AI-virksomheder – men der er ingen pålidelige metoder til at identificere deres output.

Der er dog ikke mange undersøgelser af, om det også er tilfældet med andre sprog end engelsk. Og det er vigtigt, fordi andre sprogsamfund kan have det indtryk, at sprogmodeller endnu ikke er gode nok til at forurene informationskilder på deres modersmål.

For at udfylde det hul i forskningen samarbejdede jeg med forskere fra CNR Pisa for at lave et studie af syntetiske nyheder på italiensk.

Let at skabe, svært at opdage

Vi fandt ud af, at selv personer uden megen maskinlæringserfaring eller kendskab til italiensk nemt kunne finjustere en eksisterende model til at producere falske nyheder på italiensk.

Træningsprocessen kan koste helt ned til 100 dollar på Amazon Web Services, hvor det er muligt at leje GPU'er (enheder, der kan bearbejde grafik). Vi var i stand til at opnå gode resultater ved at bruge en relativt gammel, førstegenerations-Llama-model, som ikke engang var trænet til at være flersproget.

Denne basismodel blev finjusteret med kun 40 tusinde italienske nyhedsartikler fra et offentligt datasæt. Der findes offentligt tilgængelige nyhedsdatasæt på mange sprog.

De blev oprindeligt indsamlet til forskning, men potentielle operatører af syntetiske nyhedssider kan også bruge dem (eller indsamle deres egne ved at skrabe nyhedssider af høj kvalitet).

Vi fandt også ud af, at folk med italiensk som modersmål var i stand til at identificere syntetiske nyhedsartikler skrevet af vores bedste model i kun 64 procent tilfældene (sammenlignet med de 50 procent ved tilfældige gæt).

For italiensk skal disse resultater tolkes som en lav grænse: Tekstkvaliteten ville sandsynligvis være endnu højere, hvis en nyere model, en flersproget model eller en specialiseret ensproget model blev brugt. I de tilfælde ville det være endnu sværere at opdage de syntetiske tekster.

Det er svært at sige, om resultaterne ville være lignende for andre sprog. For succesen afhænger af sproget, modellen og mængden af ​​nyhedsdata til finjustering, men det er sandsynligt, at lignende eller bedre resultater (med hensyn til syntetisk tekstkvalitet) kan opnås for mange europæiske sprog.

Næsten umuligt at opdage syntetiske nyheder

En af tilgangene til at opdage syntetiske tekster er ved hjælp af såkaldt 'overvåget klassifikation'.

Her bruger man en model, der er trænet på menneskelige og maskingenererede tekster med den opgave at forudsige, hvilken kategori teksterne tilhører.

Men for at blive god til det skal modellen på en eller anden måde finde ud af, hvilke egenskaber der adskiller menneskelige tekster fra syntetiske. Og det er meget svært at modellere.

Tænk bare på, hvor mange forskellige nyhedsmedier der er, hvor mange forskellige emner de dækker, og hvor forskelligt journalister kan skrive.

Vores undersøgelse viste, at en blanding af blot to italienske nyhedsdatasæt som kilder til menneskelige tekster konsekvent reducerer modellens nøjagtighed.

I den virkelige verden er der tusindvis af mulige menneskelige kilder alene til italienske nyheder. Med andre ord er der rig mulighed for at gøre det svært at opdage syntetiske tekster.

I 2023 udgav OpenAI faktisk en 'AI-klassifikator', der havde til formål at opdage tekster skrevet af ChatGPT. Men de trak den tilbage på grund af lav nøjagtighed.

Den mest nøjagtige metode

I vores eksperimenter var den mest nøjagtige måde at finde frem til syntetiske tekster at bruge noget, der kaldes 'token likelihood information'.

Forestil dig, at du skriver en sætning, der begynder med »jeg er på vej i...«. Nu skal du beslutte dig for det næste ord (eller 'token') i den sætning. Nogle ord giver mere mening end andre. For eksempel er ord som »banken« eller »biografen« mere sandsynlige som det næste ord end »kagedåsen«.

I en sprogmodel tildeles ord en sandsynlighed. Hvis man har fuld adgang til modellen, kan man udtrække de oplysninger og se, hvilken sandsynlighed modellen tildeler hvert ord ('token').

Den metode kræver dog, at vi har sandsynlighedsoplysningerne fra den model, der bruges til at skabe syntetiske nyheder. Men vi ved naturligvis ikke, hvilken de har brugt, og med hundredvis af offentligt tilgængelige modeller er det umuligt at teste dem alle.

For nogle kommercielle modeller som for eksempel GPT-4, der leveres via API (hvilket betyder, at brugeren ikke downloader modellen, men kun sender forespørgsler til den), er sandsynlighedsoplysningerne ikke tilgængelige.

Brug af vandmærker til at opdage AI-indhold

En anden teknik er vandmærkning, som du sikkert kender fra billeder på internettet, der er tilplastret med ejerens navn. Men vandmærkede tekster, der er genereret af sprogmodeller, er også afhængige af at bruge sandsynlighedsoplysninger.

Det er en teknik, hvor ordfordelingen bevidst ændres for at gøre modellens output mere genkendeligt. Det er muligt at påføre vandmærket i det øjeblik, hvor teksten genereres, i stedet for at gøre det når modellen bliver trænet, og på den måde er det muligt for modeller leveret via API.

Men ifølge et nyt studie ser de store modeller som GPT-4, Gemini og Claude ud til at være uden vandmærke.

OpenAI meddelte, at de internt allerede har en pålidelig vandmærkebaseret metode til tekstmodeller, men den er ikke blevet udgivet. Som begrundelse for beslutningen nævner de letheden ved at omgå vandmærkerne og stigmatisering af ​​flersprogede elever, der bruger ChatGPT til at oversætte tekst.

Den manglende sporbarhed appellerer dog også til andre brugere, som foretrækker, at deres brug forbliver uopdaget, for eksempel svindlere eller studerende, der snyder med opgaver. Det er uklart, hvordan muligheden for at blive afsløret ville påvirke brugerne af ​​ChatGPT og dermed virksomhedens pengeinteresser.

Når det kommer til modeller, hvor man har adgang til deres kilder og indstillinger, er det endnu sværere, fordi vandmærket sandsynligvis ville blive fjernet af svindlerne, der ønsker at undgå at blive opdaget.

Og selv med et intakt vandmærke vil det være besværligt, fordi vi dermed skal kende til alle mulige vandmærker for hundredvis af mulige modeller og teste dem alle. På nuværende tidspunkt ser der ikke ud til at være bestræbelser i den retning.

Hvad skal vi gøre?

På kort sigt må vi erkende, at internettet, som vi kendte det, er fortid. Enhver tekst fra en kilde, du ikke kender, er i udgangspunktet mistænkelig. Især hvis du finder kilden øverst i søgeresultater, og den ser ud til at være skræddersyet til din forespørgsel.

I det lange løb ser det ud til, at vores bedste håb er metoder, der er afhængige af 'token'-sandsynlighedsfordelinger. Men de er i øjeblikket upraktiske.

Dette betyder ikke, at open source-modeller skal forbydes - men vi er nødt til at overveje, hvordan vi kan fremme ansvarlige design af modellerne.

Ideelt set ville vandmærkning være indbygget i modelvægte, så det i det mindste ville være vanskeligt at fjerne. Der ville også være en centraliseret tjeneste, der gør det muligt for enhver at kontrollere, om en given tekst indeholder nogle af de kendte vandmærker.

Udbyderne af API-adgang til sprogmodeller ville ideelt set sikre, at de konsekvent anvender vandmærker, og at deres vandmærker også er en del af det centraliserede register.

Men nytter det overhovedet at forsøge, når man tænker på, at ingen af ​​de ovenstående strategier vil lykkes fuldt ud?

Ethvert vandmærke kan fjernes, hvis du prøver ihærdigt nok, og der er ondsindede folk, der er tilstrækkeligt velfinansierede til at udvikle deres egne modeller.

Det er sandt, men her vil jeg minde om en nyttig analogi fra Hany Farid, der er professor ved University of California, Berkeley: Vi låser stadig vores døre, selvom der er mennesker, der kan låse de fleste huslåse op. Da vi ved, at det er en relativt sjælden evne, er det stadig rationelt at låse døren.

Tilsvarende bør foranstaltninger, der markant hæver barrieren for svindlere, i det mindste sænke mængden af ​​svindel.