En række af verdens største akademiske tidsskriftsforlag forbyder eller forhindrer deres forfattere i at bruge den avancerede AI-drevne chatbot, ChatGPT.
Fordi chatbotten bruger information fra internettet til at producere meget læselige svar på forskellige spørgsmål, er forlæggerne bekymrede for, at unøjagtigt eller plagieret arbejde kan finde vej ind i videnskabslitteraturen.
Adskillige forskere har allerede sat chatbotten som medforfatter på videnskabelige studier, hvilket har fået en del forlæggere til at tage affære for at forbyde denne praksis.
Men chefredaktøren for Science, ét af verdens mest velrenommerede tidsskrifter, er gået et skridt videre ved at forbyde enhver brug af tekst fra programmet i indleverede artikler.
En billig elektronisk assistent
Det er ikke overraskende, at brugen af sådanne chatbots er af interesse for akademiske forlæggere.
Vores nylige studie, publiceret i Finance Research Letters, viser, at ChatGPT kan bruges til at skrive en finansiel artikel, der kan blive accepteret til et akademisk tidsskrift.
Selvom chatbotten klarede sig bedre på visse områder end på andre, hjalp vores egen ekspertise til at overvinde programmets begrænsninger i anmeldernes øjne.
Vi hævder dog, at forlæggere og forskere ikke nødvendigvis bør se ChatGPT som en trussel, men snarere som en potentielt vigtig hjælp til forskningen – en billig eller endda gratis elektronisk assistent.
Tre forskellige versioner
Vores tankegang var: Hvis det er nemt at opnå gode resultater med ChatGPT ved blot at bruge chatbotten, er der måske noget ekstra, vi kan gøre for at forvandle gode resultater til fantastiske resultater.
Vi bad først ChatGPT om at generere fire standarddele i et forskningsstudie: Forskningsidé, litteraturreview (evaluering af tidligere videnskabelig forskning om samme emne), datasæt samt forslag til test og undersøgelse.
Vi specificerede kun emnet bredt, og at resultatet skulle være godt nok til at blive publiceret i ‘et velrenommeret finanstidsskrift’. Det var første version af, hvordan vi valgte at bruge ChatGPT.
Til version nummer to indsatte vi knap 200 abstracts (resuméer) af relevante, eksisterende forskningsstudier i ChatGPT-vinduet.
Vi bad derefter programmet om at tage højde for disse studier, når de fire forskningsstadier blev oprettet.
Til version tre, tilføjede vi ‘domæneekspertise’ – input fra akademiske forskere. Vi læste svarene fra computerprogrammet og kom med forslag til forbedringer. På den måde integrerede vi vores ekspertise og ChatGPT.
Kreativitet og ejerskab
Vi anmodede derefter om et panel på 32 anmeldere, der hver især gennemgik en version af, hvordan ChatGPT kan bruges til at generere et akademisk studie.
Anmelderne blev bedt om at vurdere, om outputtet var tilstrækkeligt omfattende, korrekt, og om det leverede noget, der var tilstrækkeligt nyt til, at det kunne publiceres i et ‘godt’ akademisk finanstidsskrift.
Den store overraskelse var, at alle studierne generelt blev vurderet som acceptable af ekspertanmelderne. Det er ret forbløffende: En chatbot blev anset for at være i stand til at generere akademiske forskningsidéer af høj kvalitet.
Det rejser grundlæggende spørgsmål omkring betydningen af kreativitet og ejerskab af kreative idéer – spørgsmål, som ingen endnu har solide svar på.
Styrker og svagheder
Resultaterne fremhæver også en del potentielle styrker og svagheder ved ChatGPT. Vi fandt, at forskellige forskningssektioner blev bedømt forskelligt. Forskningsidéen og datasættet havde en tendens til at blive vurderet højt.
Der var en lavere, men stadig acceptabel, vurdering for litteraturgennemgange og tekstforslag.
Vores mistanke her er, at ChatGPT er særlig stærk til at tage et sæt eksterne tekster og forbinde dem (essensen af en forskningsidé), eller tage let identificerbare sektioner fra ét dokument og justere dem (et eksempel er dataresuméet – et let identificerbart ‘tekst-stykke’ i de fleste forskningsstudier).
En relativ svaghed ved platformen viste sig, når opgaven var mere kompleks – når der er for mange stadier i den konceptuelle proces. Litteraturanmeldelser og test har en tendens til at falde ind under denne kategori.
ChatGPT havde en tendens til at være god til nogle af disse trin, men ikke dem alle. Det ser ud til, at anmelderne fangede denne svaghed.
Vi var dog i stand til at overvinde disse begrænsninger i vores mest avancerede version (version tre), hvor vi arbejdede med ChatGPT for at nå frem til acceptable resultater.
Alle dele af det avancerede forskningsstudie blev derefter vurderet højt af anmelderne, hvilket indikerer, at de akademiske forskeres rolle ikke er død endnu.
Etiske implikationer
ChatGPT er et værktøj. I vores studie viser vi, at chatbotten med omtanke og omhu kan bruges til at generere et acceptabelt finansforskningsstudie. Selv uden omhu genererer det plausibelt arbejde. Det har en del klare etiske implikationer.
Forskningsintegritet er allerede et presserende problem i den akademiske verden, og websteder som RetractionWatch formidler en lind strøm af falske, plagierede og ganske enkelt ukorrekte forskningsstudier.
Kan ChatGPT gøre dette problem endnu værre? Måske, er det korte svar. Men vi får aldrig ånden tilbage i flasken.
Teknologien bliver også kun bedre (og det går hurtigt). Hvordan vi præcist kan anerkende og kontrollere ChatGPT’s rolle i forskning, er et større spørgsmål til en anden dag.
Men vores resultater er også nyttige i denne henseende – ved at afdække, at ChatGPT-studieversionen med forskerekspertise er overlegen, viser vi, at input fra menneskelige forskere stadig er afgørende for acceptabel forskning.
Hjælp til at demokratisere forskningsprocessen
Indtil videre mener vi, at forskere skal se ChatGPT som en hjælp, ikke en trussel.
Det kan især være en hjælp for grupper af forskere, der har tendens til at mangle de økonomiske ressourcer til traditionel (menneskelig) forskningsbistand: ChatGPT kan især være en hjælp for grupper af forskere, der har tendens til at mangle de økonomiske ressourcer til traditionel (menneskelig) forskningsbistand: forskere i vækstøkonomier, kandidatstuderende og forskere, som lige har startet deres karrierer.
Det kan være, at ChatGPT (og lignende programmer) kan hjælpe med at demokratisere forskningsprocessen.
Men forskere skal være opmærksomme på forbuddet mod brug af den AI-drevne chatbot til udarbejdelse af tidsskriftsartikler.
Det er klart, at der er markant forskellige syn på denne teknologi, så den skal bruges med omtanke.
Denne artikel er oprindeligt publiceret hos The Conversation og er oversat af Stephanie Lammers-Clark.
\ Læs mere
