Forskere: Nye publiceringskrav sænker forskningskvaliteten
Staten har strammet skruen og er begyndt at uddele en del af sine forskningsmidler til de forskere, der publicerer flest artikler i anerkendte videnskabelige tidsskrifter. Det stresser forskere og bedømmerne i peer review-processen, hvilket rammer forskningen dobbelt hårdt, advarer eksperter.

Forskere er nødt til at publicere flere artikler i de rigtige tidsskrifter for at gøre sig forhåbninger om at få tilstrækkeligt med forskningsmidler. (Foto: iStock).

 

Quick and dirty.

Den strategi har vist sig at være succesfuld inden for mange brancher, men har hidtil ikke været brugt i videnskabens verden, der nok snarere er kendt for sin opfindsomhed, omhyggelighed og grundighed. 

Ikke desto mindre er det netop forskning af denne skuffe, som mange forskere i stigende grad føler sig pressede til at begå, fordi staten har ændret den måde, hvorpå de uddeler deres forskningsmidler: De er begyndt at kanalisere midlerne over til de forskergrupper, der publicerer flest artikler i de anerkendte videnskabelige tidsskrifter, hvor resultaterne altid bliver tjekket af fagfæller i et peer review.

Videnskabsministeriet har nedsat en række forskerkommitéer, der har udformet lange lister over, hvilke tidsskrifter, der giver flest point at publicere i.

Belønningssystemet, der med et fint ord kaldes for den bibliometriske forskningsindikator, har i sit korte liv allerede fået mange fjender på halsen i forskningens verden.

Selv fremtrædende eksperter, der er blevet bedt om at udvikle systemet, finder det kritisabelt.

Fakta

De højtprofilerede videnskabelige tidsskrifter har en overvægt af positive studier, og andelen af den slags studier er oven i købet stærkt stigende, viser nyt studie. Forklaringen er, at forskere i højere grad satser på at generere positive studier, det vil sige resultater, der viser en sammenhæng mellem to faktorer. Det er nemlig velkendt, at denne type studier har en større chance for at blive publiceret. Se kildehenvisning i bunden af artiklen.

Kritikerne mener, at systemet presser forskerne til at

  • Masseproducere ligegyldige resultater
  • Flokkes om at få deres resultater publiceret i de førende videnskabelige tidsskrifter. 
  • Overbelaster tidsskrifternes bedømmere i peer review-processen

Konsekvensen er, ifølge deres vurdering, at bedømmelsernes kvalitet falder og at tvivlsomme studier har lettere ved at slippe igennem nåleøjet end tidligere.  

Kvantitet frem for kvalitet 

En af de forskere, der kan se store problemer med det nye bibliometriske system, er den danske professor i kommunikation Kim Schrøder fra Roskilde Universitet.

I 2008 var han medlem af en af de kommitéer, som Videnskabsministeriet nedsatte til at afgøre, hvilke tidsskrifter, der skulle optræde på listerne og hvilke, der skulle give flest point.

Han fortæller, at Videnskabsministeriet med indførelsen af det nye bevillingssystem forsikrede, at det kun var en lille del af universiteternes basismidler, der skulle uddeles efter det princip. Men den andel er der langsom men sikkert blevet skruet op for, fortæller han.

»Indgrebet er kommet til at handle om penge i stedet for kvalitet. Forskerne er tvunget til at få optaget deres resultater i et videnskabeligt tidsskrift for at kunne få de nødvendige midler. Det får institutlederne til at overvåge, om forskerne nu også lever op til de forskellige krav,«  siger Kim Schrøder.

Den tendens ser lektor Claus Emmeche som er leder af Center for Naturfilosofi og Videnskabsstudier ved Det Naturvidenskabelige Fakultet, KU også.

»Hvis man er institutleder, så kan man godt være fristet til at piske sine ansatte til at skrabe flere indikatorpoint hjem. Det får institutlederen til at kigge med mere kritiske øjne på den enkelte forsker og fortrinsvis bedømme personen ud fra, hvor mange point man opnår i det system. Det er vigtigt, at forskernes indsats bliver ved med at blive bedømt kvalitativt, ikke kvantitativt,« siger han. 

Hastværk er lastværk

Fakta

Artiklerne er ikke de eneste, der bliver vejet på en vægtskål - den enkelte forsker bliver også bedømt. Hver forsker har et såkaldt H-index, der kombinerer, hvor meget, man som forsker har produceret, og hvor ofte man er citeret.

Da forskerne er afhængige af at få forskningsmidler, betyder det meget for dem, at deres artikler bliver blåstemplet i peer review og bliver publiceret, fortæller Kim Schrøder. 

»Tidligere forsøgte forskerne kun at få deres resultater peer reviewede i et vist omfang - man tog ikke det der med peer review så nøje. Som forsker kunne man f.eks. godt tillade sig at indsende en artikel til et tidsskrift, som måske ikke havde så høj prestige, men som havde sin egen lille niche med en bestemt målgruppe, som man ønskede, skulle læse artiklen,« siger Kim Schrøder.

Men den publiceringsmetode belønnes ikke i det nye system. Her er det kun de peer reviewede tidsskrifter, der tæller, med det resultat, at forskerne flokkes om dem.

»Det giver rigtigt meget arbejde til de bedømmere, der skal læse de mange artikler igennem. Tidligere fik et godt videnskabeligt tidsskrift måske 100 artikler ind om året. Det tal er nu fordoblet,« pointerer Kim Schrøder.

Kim Schrøder er selv bedømmer på fem tidsskrifter og ved derfor, hvad det betyder at få pålagt det ekstra arbejdspres.

»Hvor jeg tidligere fik to til tre henvendelser fra tidsskrifterne om året, så får jeg nu én hver 14. dag. Det tager en stor bid af min tid, som jeg ellers havde tiltænkt min forskning,« siger han.

Forskerne satser på det sikre

Det voldsomt opskruede arbejdstempo i forskningsverdenen går ifølge Kim Schrøder også ud over forskningskvaliteten. 

»Det fremmer samlebåndsagtig forskning, hvor man laver en form for sikre studier, som f.eks. at udsende og analysere et spørgeskema, der hurtigt kan afkaste et resultat. I stedet for at springe ud på dybt vand og tænke nyt i forhold til en problemstilling, så tyr mange forskere nu til præcis den samme fremgangsmåde, som man brugte sidste år, og som man ved giver pote,« siger Kim Schrøder.

Den udvikling bliver ifølge lektor i biologi Arne Redsted Rasmussen fra Konservatorskolen forstærket af, at forskningsmidlerne først og fremmest gives til forskergrupper i stedet for til enkelte forskere. 

Han har med bekymring set til, at forskningsmidlerne bliver mere og mere centraliserede, så alle forskere må søge midler det samme sted.

Originaliteten går fløjten
 

Det tvinger forskerne til at slå sig sammen i større enheder, der har en tilstrækkelig stor synlighed og gennemslagskraft i forhold til konkurrenterne.

»Det er med til at ensrette forskningen og gøre den mere forudsigelig. Det er enormt vigtigt, at vi husker, at de forskningsprojekter, der gives penge til, bliver bredt ud i en vifte, da vi aldrig ved, hvilke projekter, der vil give et afkast, og som vil sætte nye projekter i gang. Og så er det vigtigt, at man tør satse på nogle ubeskrevne blade, der ikke falder lige ned i de eksisterende faglige teorier og overbevisninger. Der er ikke længere tilstrækkeligt plads til selvstændig originalitet. Hvis den enkelte forsker vover at stiller spørgsmålstegn ved et videnskabeligt paradigme, så kan de få det utroligt svært,« siger Arne Redsted Rasmussen.  

For en ung forsker, der ikke kan få sine ting publiceret, falder dommen hårdere, fordi det i sidste ende kan betyde, at han ikke bliver lektoransat.

Kim Schrøder, RUC

Professor Kim Schrøder fra Institut for Kommunikation på Roskilde Universitetscenter giver et konkret eksempel på, hvordan den nye måde at bevillige penge på disciplinerer forskningen på en uheldig måde: 

»Jeg kender en forsker, der arbejder inden for et felt, hvor det er svært at få optaget resultater i et tidsskrift, fordi der ikke er så mange, der interesserer sig for det emne. Det sted, hvor han havde en chance for at få udgivet sine resultater, giver ingen point, fordi det pågældende tidsskrift ikke optræder på publikationslisten. Men det kan være et meget værdifuldt tidsskrift, fordi det har en læserskare, der interesserer sig for de ting, han laver,« siger Kim Schrøder.

Sammenhold gør stærk

Astrofysiker Christoffer Karoff fra Institut for Fysik og Astronomi på Aarhus Universitet har også en oplevelse af, at forskerne har flyttet en stor del af deres fokus fra de videnskabelige studier og over på at få høstet forskningsmidler. Det gælder ikke kun i forhold til at få basismidler, men også med hensyn til eksterne fondsmidler.

Han forklarer, at mange forskere inden for hans forskningsfelt forsøger at leve op til kravene ved at droppe deres egen faglige identitet og i stedet vælge at gå sammen med andre forskere i publiceringen af data.

»De parter, der fordeler de eksterne forskningsmidler, er ligeglade med, om der er én forfatter på en artikel, eller om der er 100 forfattere. For forskerne betyder det derimod meget, fordi det giver point hver gang ens navn optræder på en artikel. Det gør, at man ser flere og flere artikler med 100 forfattere. Men det er problematisk, for det siger jo sig selv, at hver forskers bidrag er betydeligt mere afgrænset og overfladisk end tidligere,« siger han.

Bedømmerne tænker på sig selv

Antallet af publikationer er det eneste, der tæller, i det bibliometriske system.

Jeg har ikke noget imod peer review, men jeg har noget imod, at det bliver en del af det her måle-veje-system, som kryber ind over os. Det bliver sværere at lave noget utradtionelt, fordi det er sikrere at lave de sikre ting.

Kim Schrøder, RUC

Men citeringer er med til at give forskeren status, og det har skabt en ny tendens, hvor mange forskergrupper laver uformelle citationsnetværk, hvor en håndfuld forskere altid citerer hinanden, fordi man på den måde er med til at fremhæve sit eget forskningsområde.

Det fortæller lektor Claus Emmeche fra Københavns Universitet.

»Det er en fagpolitisk handling, som der sker rigtigt meget af herhjemme, men som man kan diskutere om er etisk korrekt. Det er en gråzone,« siger han.

Forskerne er ikke de eneste, der bruger alle kneb for at få midlerne i hus. Også bedømmerne på tidskrifterne har ændret adfærd og meler i højere grad deres egen kage end tidligere, da deres egen forskning også er underlagt det nye system.

»Det smitter af på bedømmernes vurderinger og gør, at de mere eller mindre ubevidst kommer til at forfordele artikler inden for deres eget område,« siger Christoffer Karoff.

Belønning kan give bagslag

Lektor Jesper Wiborg Scheider fra Det Informationsvidenskabelige Akademi i Ålborg bekræfter, at det bibliometriske system påvirker forskernes adfærd. Og han må om nogen vide det, da han fungerer som konsulent for Forsknings- og innovationsstyrelsen i forhold til bibliometri.

»Men nu er det jo sådan, at man netop indfører sådanne systemer for at påvirke forskningssystemet. Det danske system er inspireret af det norske, der blev indført for at fremme den internationale publicering,« siger han.

I Norge ser systemet faktisk ud til at være lykkes - men det kan man ikke sige om Australien, hvor man i 1990’erne indførte et lignende system. Her belønnede man alene forskningsinstitutionerne ud fra, hvor meget de hver især publicerede uden at vurdere kvaliteten af publikationerne.

Få år efter, at systemet var blevet indført, kunne man konstatere, at kvaliteten og den internationale gennemslagskraft for australske forskningspublikationer var faldet markant. De australske forskere publicerede mere end tidligere, men ud fra det motto, at det ikke længere var kvaliteten, der talte. 

»Når man indfører sådanne systemer, så skal man spørge sig selv, om det nu også fremmer god og relevant forskning. Der kan ligge udmærkede intentioner bag sådan et indgreb, men man glemmer ofte, hvor adfærdsregulerende, det rent faktisk er,« siger han og slutter:

»Her i Danmark klarer vi os faktisk ufatteligt godt, hvis vi måler vores internationale gennemslagskraft på forskningsområdet, og har efterhånden gjort det længe. Derfor kan det jo undre en smule, hvad det nye bibliometriske indikatorsystem egentlig kan forbedre?«  

 Artiklen er korrigeret 9. marts 2011. Se tillige præciseringer nedenfor.

Rettelser og præciseringer den 9. marts 2011:

Efter publicering af artiklen har Videnskabsministeriet gjort indsigelse i forhold til nogle af de fakta, der optræder i artiklen. Videnskab.dk bringer nedenstående rettelse/præcisering. Enkelte afsnit i ovenstående artikel er præciseret i overensstemmelse hermed.

I den oprindelige artikel stod der

»Videnskabsministeriet forsikrede med indførelsen af det nye bevillingssystem, at det kun var 10 procent af universiteternes basismidler, der skulle uddeles efter det princip. Men den andel er der langsomt men sikkert blevet skruet op for, fortæller han, så den nu gælder for halvdelen af basisbevillingerne.«

Videnskabsministeriet påpeger:

• I 2010 blev der samlet bevilliget ca. 7,5 mia. kr. i basismidler til forskning på universiteterne.

• Den Bibliometriske Forskningsindikator bruges kun i forbindelse med fordelingen af de nye basismidler. Puljen for de nye basismidler udgjorde i 2010 knapt 300 mio. kr. og af dem blev ca. 30 mio. kr. (svarende til 10 pct.) fordelt på baggrund af den Bibliometriske Forskningsindikator.

• Det er således kun ca. 0,4  procent af basisbevillingerne, der i 2010 blev fordelt via Den Bibliometriske Forskningsindikator.

• Frem til 2012 vil Den Bibliometriske Forskningsindikator gradvist komme til at danne grundlag for fordelingen af 25 pct. af de nye basismidler.

I artiklen stod der:

”Staten har som en service udformet lange lister over, hvilke tidsskrifter, der giver flest point at publicere i.”

Videnskabsministeriet påpeger:

• Det er ikke staten, som har udarbejdet lister over de tidsskrifter, som giver point i Den Bibliometriske Forskningsindikator. Det er faglige eksperter på de enkelte fagområder, som har udarbejdet lister over de tidsskrifter inden for deres forskningsfelt, som er af international videnskabelig standard, har fagfællebedømmelse, og som skal give point.

I artiklen udtaler Christoffer Karoff:

 ”Videnskabsministeriet er ligeglade med, om der er én forfatter på en artikel, eller om der er 100 forfattere.”

Videnskabsministeriet påpeger:

• Den Bibliometriske Forskningsindikator tager højde for, at der kan være flere forfattere på en publikation ved at benytte sig af fraktionering ved tildeling af point.

•  Når der er mere end én forfatter på en publikation får hver forfatter en brøkdel af de samlede publikationspoint, som publikationen får.

•  Fraktioneringenforegår ud fra følgende kriterier:

1.   Der foretages fraktionering, når der er mere end én forfatter på en publikation

2.   Fraktionering sker udelukkende på organisationsniveau (universitetsniveau)

3.   Der sættes en nedre grænse for fraktionering, således at en organisation (et universitet) aldrig kan få mindre end 1/10 af publikationspointene

4.   Der etableres et belønningssystem for samarbejde på tværs af organisationsgrænser både nationalt og internationalt, således at publikationer med forfattere fra forskellige universiteter multipliceres med 1,25, inden fraktionering foretages.

Christoffer Karoff præciserer:

”Det, jeg talte om, var ikke basisbevillingerne fra Videnskabsministeriet, men de eksterne fondsmidler, som man kan søge fra videnskabsministeriet og andre steder og her er det stadig min opfattelse, at der alt for ofte tælles publikationer.”

I artiklen står der:

 ”Også citeringer giver point…”

Videnskabsministeriet påpeger:

•   Citationer giver ikke point i Den Bibliometriske Forskningsindikator - kun publikationer giver point.

Den pågældende vending er ændret til "Også citeringer giver status".

Lyt på Videnskab.dk!

Hver uge laver vi digital radio, der udkommer i form af en podcast, hvor vi går i dybden med aktuelle emner fra forskningens verden. Du kan lytte til den nyeste podcast i afspilleren herunder eller via en podcast-app på din smartphone.

Har du en iPhone eller iPad, kan du finde vores podcasts i iTunes og afspille dem i Apples podcast app. Bruger du Android, kan du med fordel bruge SoundClouds app.
Du kan se alle vores podcast-artikler her eller se hele playlisten på SoundCloud