AI spøger i forskningen: Massevis af studier afsløret for skjult chatbot-brug

Et spøgelse går gennem de akademiske tidsskrifter.

Videnskabelige efterforskere har i de seneste to-tre år fundet hundredvis af eksempler på, at en bred vifte af videnskabelige tidsskrifter er hjemsøgt af hemmelig brug af AI.

Det vil sige, at forskerne bruger chatbotter som ChatGPT til at skrive og rette i deres studier. Vel og mærke uden at angive det i studiets metodeafsnit eller under særlige bemærkninger.

»Jeg synes ikke, det er et problem, at forskere bruger ChatGPT og anden generativ AI som værktøj eller redskab til at skrive artikler med. Problemet er, når det ikke bliver deklareret,« mener Kristian Hvidtfelt Nielsen.

Han forsker i videnskabsformidling og er selv involveret i studier, der handler om mistro til forskning samt om åben og ansvarlig forskning.

»Frygtscenariet er jo, at tidsskrifter bliver spammet med manuskripter, som er hundrede procent genereret af ChatGPT og andre værktøjer. Du kan jo sagtens fodre ChatGPT med lidt data og få den til at skrive et helt studie, og så sende det ukritisk til et tidsskrift,« siger han.

Chatbotter sætter sproglige fingeraftryk

Hvis man ikke kender de særlige karakteristika, er de ofte næsten usynlige - dog ikke for det trænede øje.

Chatbotter som ChatGPT efterlader sproglige fingeraftryk, som forskere indenfor computer science, AI og lignende felter efterhånden er ved at lære at genkende.

Et af de tidligste eksempler, den amerikanske professor Alex Glynn kan huske, stammer fra en nu-tilbagetrukket videnskabelige artikel fra 2024, hvor der stod sort på hvidt: ‘I am an AI language model’.

»Det var så åbenlyst, som det overhovedet kunne være. Alligevel gik det forbi både forfatternes, redaktørernes, bedømmernes, typografernes og alle andres øjne, som var involveret i udgivelsesprocessen,« siger Glynn i en artikel i Nature.

AI-sprog kan dække over forsknings-fup

Problemet med AI’en er dog ikke så meget vendingerne i sig selv, men at de er et tegn på, at der kan være mere voldsomme fejl og mangler ved studierne, siger Glynn.

Det er der da også fundet flere eksempler på.

Et af dem er et nu tilbagetrukket studie i PloS One fra 2024. Her ledte opdagelsen af AI-sprog til, at man fandt ud af, at studiet var overstrøet med problemer. Blandt andet kunne man ikke verificere en stor del af kilderne i studiets kildeliste, og referencerne var spækket med fejl.

Den AI-vending, der kickstartede gennemgangen af studiet, var 'regenerate response’. Det er en kommando, der får chatbotten til at generere et nyt svar, og den dukker ofte op i studier, fordi forskere har kopieret teksten fra chatbotten direkte ind.

Mere subtile formuleringer som ‘certainly, there are…’ er også på efterforskernes radar. Sådan begynder chatbotter ofte deres svar, når man stiller dem et spørgsmål.

Genvej eller glidebane?

Hvis man spørger Kristian Hvidtfelt Nielsen, må vi ikke glemme, at forskere også kan høste gevaldige fordele af at bruge AI.

AI kan for eksempel oversætte tekst i videnskabelige studier til engelsk.

»Langt de fleste forskningsartikler er jo på engelsk, og for forskere, der ikke har engelsk som modersmål, kan det være svært at formulere sig præcist og nuanceret. Der kan de her værktøjer hjælpe med at gøre sproget mere tydeligt og klart,« siger han.

Det er også helt okay, at forskere bruger sprogmodeller til at forbedre strukturen i deres studier, til at gøre afsnit mere udførlige eller til at ideudvikle.

»Men hvis man bare ukritisk bruger AI og ikke vurderer den tekst, der kommer ud af ChatGPT, eller om den passer meningsfyldt ind i sammenhængen, så er det tvivlsom forskningspraksis,« mener Kristian Hvidtfelt Nielsen.

Når forskere ikke angiver, at de har brugt AI, kan læserne netop ikke afgøre, om studiets forfatter har foretaget en sådan kritisk vurdering, lyder det.

»Ansvarlig forskningspraksis handler netop om åbenhed og gennemsigtighed. Hvis forskere ikke er åbne og gennemsigtige omkring, hvilke værktøjer de har brugt, kan det være et problem, for så er det svært for andre forskere at bedømme deres studier,« siger han.

Smug-rettelser og hemmelig AI spørger også i topforskning

Det er svært at slå omfanget af skjult AI-brug fast, men der bliver hele tiden gjort nye ihærdige forsøg.

En af dem, der har været på AI-jagt, er den polske forsker Artur Strzelecki.

Han har fundet 64 studier, hvor forskere har benyttet sig af tjenester som ChatGPT uden at oplyse det. De er alle udgivet i den øverste fjerdedel af de mest prestigefyldte tidsskrifter inden for deres felter.

Den førnævnte amerikanske Alex Glynn har lavet lignende dokumentationsarbejde. Han har oprettet en online-tracker til at registrere uoplyst brug af AI, hvor der i skrivende stund står over 700 tilfælde på listen.

De første 500 tilfælde er udgivet i et preprint, og det viser, at 13 procent af artiklerne er bragt af store videnskabelige forlag som Elsevier, Springer Nature og MDPI.

Glynn har også også afsløret en anden risikabel tendens, når det gælder AI i forskningsverdenen. I et studie fra februar 2025 dokumenterer han over 100 tilfælde, hvor forskere har gjort brug af såkaldte ‘stealth corrections’ eller smug-rettelser.

Det dækker over, at forskere, der har brugt AI uden at gøre opmærksom på det, går ind og fjerner de særlige AI-vendinger fra deres studier, når deres AI-brug er blevet opdaget. De laver vel at mærke rettelsen uden at deklarere, at de har rettet i studiet.

Tidsskrifter har været sløve

Først og fremmest er AI’s spøgen i den videnskabelige kulisse et udtryk for, at sprogmodellerne stadig er ret nye, mener Kristian Hvidtfelt Nielsen.

I dag er de fleste store tidsskrifter begyndt at få retningslinjer for, hvornår man må bruge AI, og hvornår man skal oplyse det. Men ChatGPT, som var den første store sprogmodel, der for alvor blev tilgængelig for offentligheden, kom først i 2022, så på det tidspunkt var AI i forskningen det vilde vesten.

»Jeg tror, tidsskrifterne har været lidt langsomme og ikke helt har vidst, hvad de skulle gøre. Selvfølgelig ligger en stor del af ansvaret hos forskerne, men der ligger også et ansvar hos redaktørerne og hos tidsskrifterne. Det virker jo mærkeligt, at studier er kommet igennem peer review og er blevet trykt, hvis der står en masse mærkelige ting i dem,« siger Kristian Hvidtfelt Nielsen.

Hvilke AI-regler har tidsskrifterne?

Der er forskel på reglerne for brug af AI i tidsskrifterne. For eksempel tillader det store forlag Elsevier AI til at forbedre sproget og læsevenligheden i et studie. Teksten skal dog altid læses igennem og redigeres af et menneske, og al AI-brug skal deklareres.

Et andet stort forlag, SAGE Publishing, kræver ikke, at man oplyser brug af AI, hvis det kun er blevet brugt til at forbedre sprog, grammatik eller struktur. Her mener Kristian Hvidtfelt Nielsen, det optimale ville være, hvis man altid skulle deklarere det.

En anden grund til, at forskere kan have interesse i at bruge AI i det skjulte, er, at der er prestige i at få så mange studier som muligt udgivet i tidsskrifter. Derfor kan man blive fristet til at misbruge AI-værktøjer til at masseproducere studier og booste deres publikationsliste, mener han.

Samtidig kan såkaldte underlødige tidsskrifter, hvor fagfællebedømmelsen er af lav kvalitet, og hvor forskerne skal betale for at få et studie trykt, »have en usund interesse i at trykke en masse artikler, så de kan få penge for det.«

Ryster ikke forskningens fundament

Når det så er sagt, er Kristian Hvidtfelt Nielsen faktisk optimistisk på forskningens vegne.

Selvom fake news, misinformation og desinformation har gjort sit indtog og sået mistillid til forskningen i nogle kredse, mener han ikke, AI-brugen i forskningen kan forværre den tendens.

»Der er mange meningsmålinger, der indikerer, at folk generelt har en rigtig stor tillid - både i Danmark og i rigtig mange andre lande. Så der skal åbenbart mere end nogle eksempler på dårlig forskning til at rokke ved folks tillid,« siger han og fortsætter:

»De her værktøjer udfordrer desuden ikke kun de eksisterende praksisser indenfor forskningen. I mange virksomheder og offentlige organisation vil man også stå i problemer med, hvordan man skal håndtere sprogmodellerne. Så jeg er ikke sikker på, at AI rykker ved tilliden til videnskaben. Jeg tænker snarere, at forskningen også skal finde sine ben at stå på i det her.«