Salamiforskning: Intet bevis for, at BFI får forskere til at 'slice'

»Jeg nærmest sidder og laver det samme to gange bare for at få en publikation på listen og lidt flere point ind, uden at jeg nødvendigvis er særlig stolt af den ene af dem.«

Sådan siger en anonym forsker på Københavns Universitet i et af en lang række kvalitative interview, som professor Poul Mouritzen og to forskerkollegaer har udført i forbindelse med et nyt forskningsprojekt.

I projektet har de gennem otte år undersøgt og kortlagt indførslen af statens pointsystem for forskning, BFI.

\ Læs mere

BFI evalueret: Virker som »flammekastere til børn«

Siden BFI blev indført i 2009, har kritiske røster påstået, at fordi systemet belønner forskerne for at publicere, ville det opildne til en praksis, hvor man 'slicer' sine forskningsresultater op i mange mindre dele – de 'Mindst Publicerbare Enheder' (MPE) – og udgiver dem hver for sig.

Denne forskningspraksis, som har fået kælenavnet 'salamiforskning', er imidlertid ikke til at genfinde empirisk på landets otte universiteter, lyder den overraskende konklusion i det nye projekt.

»Der er ikke så mange af myterne om BFI, vi kan bekræfte. Den mest gængse myte er den med slicing, men heller ikke den har evidens bag sig,« lyder fra professor og forskningsleder Poul Erik Mouritzen, som arbejder ved Institut for Statskundskab på Aarhus Universitet.

Forskerne er ligeglade med BFI

I kortlægningen har Mouritzen og co. ud over de mange kvalitative interview med forskere, institutledere og rektorer også benyttet sig af stikprøver og spørgeskemaundersøgelser.

De har blandt andet spurgt ind til forskernes arbejdsmetoder i henholdsvis 2011 og 2015 for at undersøge, om der i denne periode er sket en udvikling.

Helt overordnet tyder det ikke på, at BFI-systemet har ført til store ændringer i udførslen og publiceringen af forskning, lyder det fra forskergruppen, der har publiceret deres resultater i en ny bog.

De adspurgte forskere peger til gengæld på andre incitament-systemer som vigtigere for deres publiceringsbeslutninger end BFI.

Særligt status i forskningsverdenen – eksempelvis hvilke tidsskrifter, der blandt kollegaerne er prestige i at publicere i – og mulighederne for at rykke op på karrierestigen dominerer beslutninger om, hvordan de vælger at publicere deres resultater.

BFI ligger derimod langt nede på listen og har ikke fået en større betydning i 2015, end den havde i 2011, viser resultaterne.

\ Læs mere

Forsker: Afskaf kapitalismen i forskningen

Undersøgelsen fanger ikke alt

Når der alligevel er forskere, der udtaler sig som den anonyme forsker først i denne artikel, skyldes det formentlig, at undersøgelsen ikke fanger alt, lyder det fra Poul Erik Mouritzen.

Dels fordi der ikke findes data fra 2009, hvor BFI blev indført, eller fra før 2009 – begge dele havde været godt, eftersom eventuelle ændringer i forskernes publiceringsstrategier allerede kan være slået igennem i 2011.

Og dels fordi forskerne i deres undersøgelse kun kan »tale for hele landet over én kam, og blot fordi der som hovedregel ikke kan registreres en stigning i de forskellige typer opportunistisk adfærd, betyder det jo ikke, at den adfærd slet ikke finder sted,« siger Poul Erik Mouritzen.

\ Læs mere

Styrelse kritiserer juraforskere: I forstår ikke systemet

• »BFI [sørger] for en pervers 'tvang’ til at publicere så meget som muligt i stedet for at publicere det bedste arbejde. Dermed øger BFI presset på den enkelte forsker og opmuntrer næsten til adskillige former for snyd,« (lektor, sundhedsvidenskab, KU, survey 2015).
• »Systemet får, hvad systemet ønsker. Derved fremmes opportunistisk forskning og publicering,« (professor, sundhedsvidenskab, KU, survey 2011).
• »Desuden er det slet ikke sikkert, at vi får bedre forskning ud af at bedømme og belønne outputtet af publikationer: Det opfordrer til 'salami-taktik', hvor resultater opdeles i 'netop publicérbare enheder', for at optimere BFI, i stedet for at samle mange resultater i færre, men på langt sigt mere citerbare og indflydelsesrige artikler,« (adjunkt, naturvidenskab, KU, survey 2011).

Kunne det være blevet til en bog?

En anden fejlkilde til undersøgelsens resultat kan være, at det kan være nærved umuligt at sige noget om, hvorvidt noget, der for eksempel ellers kunne være blevet til en bog, i stedet er blevet udgivet som flere forskellige artikler, forklarer Poul Erik Mouritzen.

Incitamentet for at gøre sådan virker åbenlyst: Det er notorisk lettere at opnå BFI-point for en tidsskriftartikel end en bogudgivelse, som Videnskab.dk også tidligere har beskrevet.

I de åbne svarmuligheder i spørgeskemaundersøgelsen lyder det eksempelvis fra en humanistisk lektor fra Aarhus Universitet:

»Der eksisterer fortsat et misforhold mellem pointgivning for de enkelte publikationskategorier og publikationsadfærd inden for de humanistiske fag […] Vi [er] opdragede med, at monografien er det højeste niveau, men pointgivningen belønner de naturvidenskabelige publikationsvaner,« (survey 2015)

»Vi har ikke undersøgt og kan ikke undersøge, om monografier 'klippes' op til artikler, eller om længden 'skæres' mest muligt ned,« siger Poul Erik Mouritzen.

Artiklerne bliver ikke kortere

I et forsøg på alligevel at undersøge, om der er sket en udvikling i længden på publicerede artikler, har forskerne i stedet gjort en indsats for at se efter ændringer i fordelingen af artikler opgjort efter længde. Tankegangen er, at slicing ville føre til kortere artikler.

Forskerne har kigget efter sådan en ændring inden for hver af de fire hovedområder – humaniora, naturvidenskab/teknisk, samfundsfag og sundhedsvidenskab – mellem 2009 og 2015.

En indikation på øget 'slicing'-adfærd ville konkret være, hvis sidetallene for 2015 lå markant under tallene for 2009 relativt set. Men det er ikke tilfældet inden for nogen af hovedområderne, som det fremgår af denne tabel fra undersøgelsen:

Det generelle billede er, at danske forskere ikke i højere grad udviser opportunistisk forsknings- og publiceringsadfærd, viser den nye undersøgelse. Der er dog to undtagelser:

• For det første vurderer forskere fra sundhedsvidenskab i højere grad, at de eller deres kollegaer »fravælger vigtige forskningsemner, fordi de falder uden for de dominerende paradigmer inden for forskningsområdet« i 2015, end de gjorde i 2011.
• For det andet angiver forskere inden for humaniora, at deres fagfæller i højere grad »undlader forskning om danske forhold, fordi det gør det vanskeligere at publicere internationalt«. Det kan du læse mere om i artiklen 'BFI kvæler dansksproget forskning'.

BFI-glade universiteter lavede flere fejl

Selvom undersøgelsen viser, at BFI på landsplan ikke ser ud til at have ført til markante ændringer i forskernes publiceringskultur, er der dog også noget, der tyder på, at billedet er et andet på de enkelte universiteter.

På Aalborg Universitet, hvor BFI fra start blev indført mest konsekvent, oplevede man eksempelvis en større vækst i forskningspublikationer, end på de universiteter hvor BFI blev taget knap så alvorligt. Det gælder eksempelvis DTU, hvor ledelsen fra start meldte ud, at BFI nærmest skulle ignoreres.

Væksten i publikationer er dog sket forholdsmæssigt mest i de lavere rangerende tidsskrifter og på de lavere rangerede forlag, som det generelt er lettere at få sin forskning publiceret i.

Derudover finder Mouritzen og hans to forskningskollegaer Niels Opstrup og Pernille Bak Pedersen også, at der på de mest BFI-glade universiteter har været en højere grad af 'fejlindberetninger'. Det vil sige publikationer, som er registreret som forskning, der skal udløse BFI-point, men som ikke bør udløse point, fordi det ikke lever op til systemets krav om videnskabelighed.

»Vi er meget påpasselige med at tale om årsagssammenhænge, og vi kan generelt ikke finde tendenser til, at forskerne publicerer mere. Det gør de simpelthen ikke i den periode, vi undersøger. Men vi kan sandsynliggøre, at produktiviteten er steget ganske meget de steder, hvor BFI er implementeret kraftigt, og vi kan derudover dokumentere, at fejlindberetningerne har en tæt sammenhæng med, hvor meget BFI er blevet implementeret,« siger Poul Erik Mouritzen.

\ Læs mere

»Mistænkeliggørelse«: Styrelse kræver redegørelse for forskning

Ikke flere af de bedste publikationer

Det var faktisk håbet, at BFI-systemet ville føre til flere publikationer i højere rangerende tidsskrifter og forlag – det såkaldte 'niveau 2' – ligesom man så, at det var tilfældet med et lignende system i Norge, som i sin tid inspirerede til BFI.

»Man forventede, at der generelt ville komme flere publikationer på baggrund af BFI, og at produktiviteten ville stige specielt på niveau 2. Ingen af de forventninger er blevet indfriet,« siger Poul Erik Mouritzen.

Ser man på landet som helhed, kan den markante udvikling i mængden af niveau 2-artikler i Norge på ingen måde genfindes i Danmark, fortæller han.

Niveau 2-artiklernes andel af den totale forskningspublikation er tilbage på de cirka 60 procent, som den lå på i udgangspunktet.

»Den forventede incitamentseffekt er således udeblevet,« tilføjer Poul Erik Mouritzen.

Heller ingen salami i Norge

Til gengæld er det helt i tråd med evalueringen af det norske system, at man ikke finder indikationer på salamipublicering i Danmark, lyder det fra seniorforsker Kaare Aagaard fra Dansk Center for Forskningsanalyse.

Han har ikke deltaget i det nye forskningsprojekt, men har været med til at evaluere det norske system i 2012. Evalueringen gav ikke indikationer på salamipublicering, og Kaare Aagaard kender heller ikke til andre studier, der har givet indicier i den retning.

\ Læs mere

»Stærkt skråplan« at sætte citationer lig med kvalitet

»Det skyldes nok dels, at det er svært at påvise empirisk, hvis det finder sted, dels at det i praksis kan være svært at trække grænsen for, hvornår noget kan karakteriseres som salami-publicering,« siger seniorforskeren og fortsætter:

»Der er ikke nogen entydig grænse for, hvornår forskningsresultaterne splittes så meget op, at det begynder at blive tvivlsomt i et integritets-perspektiv.«

Kaare Aagaard påpeger, at der også kan være gode argumenter for at dele sine forskningsresultater op i flere dele:

»De artikler, der står stærkest, er typisk dem, der formår at skarpvinkle, skære ind til benet og have et skarpt og afgrænset forskningsspørgsmål. Det vil så tit være på bekostning af kompleksiteten og behandlingen af andre mulige forklaringer, men det er helt naturligt, og det er svært at sige, hvornår det er skåret for hårdt til. Det er hele tiden en vurderingssag.«

»BFI bliver talt for meget op«

Kaare Aagaard er dog ikke i tvivl om, at der i forskningsverdenen længe har været en bevægelse i gang mod at publicere mere og mere og gerne i artikelform frem for bøger. Men han synes ikke, at det er meningsfuldt at udpege BFI som den store synder i den forbindelse.

Frem for at være den umiddelbare årsag er BFI’en formentlig blot med til at accelerere nogle langt stærkere bagvedliggende dynamikker, som eksempelvis forskernes tiltagende afhængighed af ekstern finansiering, mener Kaare Aagard.

»Det er noget, der ligger i publiceringssystemet, og som er i hvert fald delvist uafhængigt af BFI. Der ér et generelt publiceringspres og en dominerende publiceringspraksis, som tvinger forskerne til at tænke i nogle meget afgrænsede studier, som passer ned i det format, men det er noget, vi ser på tværs af lande, og jeg synes, at BFI bliver talt for meget op som årsag i Danmark,« siger han.

Kaare Aagaard lægger i den forbindelse vægt på, at forskerne heller ikke selv udpeger BFI som det vigtigste incitament for deres publiceringsbeslutninger i den nye undersøgelse. De har derimod størst fokus på status og muligheder for at rykke op ad karrierestigen.

\ Læs mere

Fører høj kvantitet til høj kvalitet i forskningen?

»BFI har ikke bidraget med ret meget«

Samme pointe lyder fra professor emeritus Jørgen Grønnegaard, der ligesom Poul Erik Mouritzen arbejder på Institut for Statskundskab ved Aarhus Universitet:

Når Mouritzen og co. ikke finder tegn på salamiforskning, skyldes det formentlig netop, at forskerne på landets universiteter ikke tillægger systemet så stor betydning som eksempelvis status, mener han.

»Jeg kobler manglen på salami sammen med det andet resultat, hvor de viser, at BFI ikke er noget, forskerne i særlig høj grad går op i. Der er selvfølgelig variation fra sted til sted, men helhedsbilledet er, at forskernes kendskab til og engagement i systemet generelt er ret beskedent. Så er det jo ikke overraskende, at de ikke spiller med på hverken perverse eller gode incitamenter,« siger Jørgen Grønnegaard, som har læst den nye bog med stor interesse.

»Jeg kan i hvert fald slutte ud fra mit eget snævre miljø på AU, at der er en bevidsthed om, hvad der er prestige i, og det er generelt det, man stræber efter – ikke BFI,« tilføjer Jørgen Grønnegaard.

Han medgiver dog, at der som tidligere nævnt ér usikkerheder i undersøgelsen. Eksempelvis det faktum, at vi har en meget usikker viden om, hvordan publiceringsomfang og –mønstre så ud, før BFI kom til.

Denne viden har vi til gengæld fået idag, takket være BFI, mener han.

»Som delvist positiv ting kan man så til gengæld sige, at BFI-systemet har ført til, at man har fået en grad af gennemsigtighed i forskningen, som man ikke havde tidligere. Men alt i alt synes jeg, man kan slutte, at BFI ikke har bidraget med ret meget, hverken på godt eller ondt,« slutter Jørgen Grønnegaard.

\ Læs mere

Fordele og ulemper ved bibliometrien som værktøj til at evaluere forskning