Har adfærdsforskning tendens til at overdrive?

Adfærdsforskere har mere tendens til at overfortolke deres forskningsresultater end andre videnskabsfolk.

Sådan lyder det fra forskerne bag en ny undersøgelse, som netop er blevet publiceret i det videnskabelige tidsskrift Proceedings of the National Academy of Sciences (PNAS).

Forskerne, som kommer fra det amerikanske Stanford University og britiske University of Ediburgh, konkluderer, at det især er amerikanske adfærdsforskere, som har tendens til at overfortolke eller overdrive deres resultater.

Ifølge phys.org mener forskerne bag undersøgelsen, at deres resultat afspejler, at adfærdsforskning og andre ’bløde’ former for forskning har mere frihed til at vælge mellem videnskabelige metoder end ’hårdere’ naturvidenskabelig forskning.

På den måde kan det give en bias – altså en skævhed – i resultaterne, fordi det giver ’bløde forskere’ mere frihed til at designe deres eksperimenter, så de bekræfter netop den hypotese, som forskerne i forvejen havde opstillet.

‘Blød’ forskning giver mere rum til fortolkning

På Københavns Universitet er institutleder og uddannelsesforsker Jens Dolin ikke enig i, at adfærdsforskere er værre til at overdrive og overfortolke end andre forskere. Han medgiver dog, at blødere forskning såsom humanistiske og samfundsvidenskabelige fag, typisk giver mere rum for fortolkning end de rent naturvidenskabelige fag.

»Al forskning med et samfundsmæssigt eller socialt sigte er ikke fuldstændig faktuelt. Ofte arbejder man med nuancer i sine resultater, og det vil sige, at der er rum for fortolkning. Inden for naturvidenskabelig forskning har forskerne typisk at gøre med helt konkrete og mere objektive målinger. De her målinger skal selvfølgelig også fortolkes og kan præges, men jeg vil stadig sige, at der generelt er en mindre grad af subjektivitet i ren naturvidenskab,« siger Jens Dolin, som selv udfører adfærdsforskning og er leder af Institut for Naturfagenes Didaktik.

Han får opbakning fra lektor og filosof Henrik Jøker Bjerre fra Institut for Læring og Filosofi på Aalborg Universitet.

»Man kan mene, at der er mindre slør i videnskaber som f.eks. fysik og kemi, hvor man kan måle på ting, lave diagrammer og komme med en konklusion med en meget lille fortolkningsmulighed. Men jo mere man bevæger sig væk fra det rent naturvidenskabelige og over imod eksempelvis evolutionær biologi, samfundsvidenskab og humaniora, jo mere bliver der rum for fortolkning,« siger Henrik Jøker Bjerre.

Læs også: Hvorfor ser vi mere forskerfusk?

Lektor: Interessant undersøgelse

Lektor Henrik Jøker Bjerre mener, at den nye undersøgelse af tendensen til at overfortolke rejser en række interessante spørgsmål om, hvordan forskningsverdenen er indrettet.

»Grunden til, at undersøgelsen er interessant, er, at den påviser en uheldig tendens i fortolkningen af forskningsresultater. Især i USA skulle der åbenbart være en tendens til at komme ud med forskning, der lidt for klart viser bestemte resultater.«

»Det fortolker undersøgelsens forfattere som om, at der i USA er for stort et pres på forskerne for at få publiceret artikler i videnskabelige tidsskrifter. Forskerne bliver nærmest tilskyndet til at publicere resultater, og derfor tager de måske lidt mindre forbehold og er lidt mere tilbøjelige til at skrive en artikel, der bare skal publiceres, frem for at være grundige og skrive en artikel, som rent faktisk frembringer noget nyt,« siger Henrik Jøker Bjerre.

Produktion frem for sandhedssøgen

Logikken lyder altså, at presset på forskere for hele tiden at publicere videnskabelige artikler, kan få forskerne til at drage lidt for skarpe konklusioner, fordi de vil have deres resultater publiceret i videnskabelige tidsskrifter. At forskere ligger under for et voksende produktionspres er ifølge Henrik Jøker Bjerre også en problematik, som kendes i Danmark.

»Det kender vi fra hele universitetsverdenen, og mange er bekymrede over, at det kan gå ud over sandhedsværdien af de videnskabelige artikler. Man kan sige, at videnskaben er blevet en slags produktion frem for en sandhedssøgen. Og det tror jeg sådan set gælder for både naturvidenskab, samfundsvidenskab og humaniora,« siger Henrik Jøker Bjerre.

Siden 2009 er en del af pengene til landets universiteter netop blevet fordelt efter, hvor mange videnskabelige artikler universiteterne producerer. Systemet kaldes Den bibliometriske forskningsindikator, og på hjemmesiden for Ministeriet for Forskning, Innovation og Videregående Uddannelser kan man blandt andet læse, at systemet skal »være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte udgivelseskanaler.«

Lektor: Problem at måle forskere på produktion

Samtidig skriver ministeriet, at »den bibliometriske forskningsindikator belønner de forskningspublikationer, der publiceres i de mest anerkendte kanaler inden for faget. Det vil sige, at den skal tilgodese alle fagområder og deres forskellige publiceringstraditioner.«

Henrik Jøker Bjerre mener dog, at det kan være problematisk, at måle forskere og forskningsinstitutioner på, hvor mange videnskabelige artikler de får publiceret. Han køber heller ikke præmissen i den nye undersøgelse, hvor forfatterne påstår, at en større frihed til at vælge videnskabelig metode betyder, at ’bløde’ forskere kan have mere tendens til at overfortolke deres resultater.

»Hvis man siger, at humaniora og samfundsvidenskab er lidt friere i deres valg af metode, så har man i princippet allerede sagt, at der er gradueret metodeforståelse, og at naturvidenskaberne har de skarpeste metoder. Der er en række discipliner, som ikke skal acceptere den præmis. Men af økonomiske grunde bliver de mere og mere tvunget til det,« siger Henrik Jøker Bjerre.

Finaniseringen kan farve resultater

Økonomien kan i visse tilfælde også spille en rolle for forskeres resultater og fortolkninger, hvis undersøgelsen er betalt af virksomheder eller organisationer med særlige interesser for et bestemt resultat, fortæller Jens Dolin fra Københavns Universitet.

»Det klassiske eksempel er inden for tobaksforskning, hvor en forsker kan nå frem til, at tobak ikke er skadeligt. Hvis man så ser, at hans undersøgelse er betalt af tobaksindustrien, så er der nok højst sandsynligt tale om et lettere farvet resultat,« siger Jens Dolin.

Han tilføjer, at selvom blødere former for videnskab giver forskerne mere rum til fortolkning, så mener han ikke, at bløde forskere skulle have mere tendens til at farve deres resultater i en bestemt retning.

»Samfundsvidenskabelig og humanistisk forskning har selvfølgelig en videre tolkningsramme i sig. Men jeg er generelt ikke enig i, at det betyder, at den type forskning har mere tendens til at overfortolke. Som forsker er man selvfølgelig interesseret i at få sandt svar.«

»Men det er oplagt at kigge på, hvem der har finansieret et studie, hvis man har mistanke om, at der kan være farvede resultater. Forskere er ikke robotter, så selvom det måske ikke er bevidst, så kan finansieringen godt præge resultater og konklusioner,« siger Jens Dolin.

Læs også: Rekord i afsløring af forskerfusk

Medier og politikere forvrider resultater

Selvom han altså ikke er enig i, at adfærdsforskere overfortolker mere end andre forskere, så tilføjer han, at adfærdsforskning og anden samfundsrelateret forskning ofte bliver forvredet af medier og politikere. Dermed kan overdrivelser og overfortolkning altså opstå, når medier og politikere videreformidler forskningsresultater, siger Jens Dolin.

»Forskning inden for uddannelse og adfærd er noget alle har en forståelse af og en mening om. Så kan det være fristende at komme med en spids formulering, hvis man som forsker bliver ringet op af et medie. Men på vores institut gør vi os meget umage med at understrege forbehold og begrænsninger i vores undersøgelser. Det vil vi hellere end at komme i medierne, for så risikerer man at lægge navn til noget forskning, som man ikke har resultaterne til at understøtte,« siger Jens Dolin.

Han har ofte selv været i medierne i forbindelse med hans forskning til de såkaldte PISA-undersøgelser, der bruges som pejlemærke på folkeskoleelevernes færdigheder.

Danskere: Amerikanere ovedriver ikke mere end andre

Hverken Jens Dolin eller Henrik Jøker Bjerre kan nikke genkendende til den nye undersøgelses påstand om, at amerikanske adfærdsforskere skulle have mere tendens til at overdrive end adfærdsforskere fra andre lande.

»Det kunne selvfølgelig være fristende at sige ja til, men nu skal man ikke lade sine fordomme løbe af med sig. I dag er meget forskning selvfølgelig finansieret af private fonde og virksomheder, og så kan der i højere grad være ønske om at tolke og præge en undersøgelse i en bestemt retning.«

»Men det er min opfattelse, at inden for mit felt, som er uddannelse, så er der ikke nogen større tendens til at overfortolke i USA. Når forskningen ryger i internationale tidsskrifter er det jo de samme bedømmelseskriterier, som forskerne ligger under for, uanset hvor de kommer fra,« siger Jens Dolin.

Insitutleder: Adfærdsforskere overfortolker ikke mere end andre

På Psykologisk Institut på Aarhus Universitet bliver der også ofte lavet adfærdsforskning, men institutleder Henrik Høgh-Olesen kan heller ikke nikke genkendende til, at amerikanske adfærdsforskere skulle have mere tendens til at overdrive end andre forskere.

»Alt er stort i USA, og folk vil gerne gøre opmærksomme på deres forskningsresultater. Det er svært at komme i store internationale tidsskrifter, men om det er med til at skubbe til amerikanernes måde at skrive artikler på, det aner jeg ikke. Det har jeg i hvert fald ikke noget, jeg har hæftet mig ved,« siger professor i psykologi Henrik-Høgh-Olesen.

Han mener desuden ikke, at adfærdsforskere generelt skulle have mere tendens til at overfortolke end andre videnskabsmænd, sådan som forskerne bag den nye undersøgelse antyder.

»Det er muligt, at det er en tendens, men hvordan i alverden undersøger og dokumenterer man det på en objektiv måde? Det er i hvert fald ikke mit indtryk, at tendensen er sådan,« siger Henrik Høgh-Olesen.