Positiv effekt af omstridt pointsystem på dansk forskningsproduktion

I 2009 startede Forskningsstyrelsen et system til optælling og kontrol af alle forskningspublikationer udgivet af danske forskningsinstitutioner, med virkning fra 2008. Dette system kaldes den Bibliometriske Forskningsindikator, forkortet BFI.

Typisk består forskningspublikationer af fagfællebedømte artikler i videnskabelige tidsskrifter, konference- og antologibidrag, bøger og doktorafhandlinger. Antologibidrag er selvstændige kapitler med egne forfattere, samlet i en bog som derfor kaldes en antologi.

Optællingen resulterer i et samlet antal point for universitetet

Hver publikationstype opnår et bestemt antal point, alt efter om tidsskriftet eller konferencen, der udgiver artiklerne eller bidraget, er anset for at være centralt for de enkelte fag. For bøger er det forlagets status, som er afgørende.

Det er udvalgte repræsentanter for forskerne selv, som årligt afgør på hvilket niveau af to mulige de enkelte tidsskrifter, konferencer og forlag indplaceres. En videnskabelig artikel opnår således ét point (niveau 1) eller tre point (niveau 2).

Konference- og antologibidrag opnåede 0,75 point uanset niveau 2008-12. Fra 2013 tildeles de samme point som artikler på de to niveauer. Hvis der er flere forfattere fra flere institutioner, der har skrevet en artikel sammen, deles pointene efter antallet af institutioner. Dette kaldes ofte 'fraktionering'.

For dog at tilgodese samarbejde opnår de enkelte institutioner en rabat, ved at deres point per publikation ganges med 1,25. Optællingen resulterer i et samlet antal point for hvert universitet i Danmark for hvert kalenderår. Dette pointtal anvendes derefter af Forskningsstyrelsen som grundlag for at tildele de enkelte universiteter tilskud fra midlerne til forskning det følgende år.

Hvorfor den bibliometriske forskningsindikator?

Årsagen til BFI var og er at motivere forskerne til at publicere i højniveautidsskrifter og –forlag. Desuden inddrages den humanistiske og samfundsvidenskabelige forskning på lige fod med natur- og sundhedsvidenskaberne samt teknologi ved målingen af forskningsproduktionen.

I natur- og sundhedsvidenskaberne samt i de teknologiske fag anvendes traditionelt de citationer (fodnoter) som forskerne giver hinanden som en kreditering, når de anvender tidligere forskning i deres nye arbejder. Jo flere citationer en forskers publikationer opnår, jo større gennemslagskraft har forskeren (og universitetet) i det pågældende fag.

Men i humaniora og visse samfundsvidenskaber er citationer ikke så sikkert et redskab til måling af forskningens kvalitet. Man valgte derfor at tælle publikationer i stedet for citationer og at tildele point alt efter kvalitetsniveau. På den måde er alle fagdiscipliner ligeværdige. Man kan dermed sammenligne på tværs af fag og universiteter.

Forskningsanalyse af BFI

Vi har analyseret BFI’s indflydelse på den danske produktion og gennemslagskraft målt på citationer af forskningsartikler og konferencebidrag i tiden 2000-2012 . Vor grundantagelse var, at der ville være en positiv afsmitning på produktiviteten af tidsskriftsartikler og en negativ effekt på antallet af samarbejdsartikler (grundet 'fraktionering') og på publicerede konferencebidrag (færre opnåelige point) efter indførelsen af BFI i 2008.

For dansk forskning som sådan kunne man spørge: Hænger produktiviteten sammen med størrelsen af videnskabeligt personale i perioden? Er gennemslagskraften målt på citationer for dansk forskning som helhed uforandret før og efter BFI? Her kan vi alene analysere natur- og sundhedsvidenskaberne samt teknologi- og samfundsfagene, men ikke de humanistiske fag – jf. ovenfor.

Figur 1 viser det overordnede analyseresultat for niveau-1 og -2 artikler samt konference- og antologibidrag. Som det ses, er vore antagelser delvis rigtige.

Kraftigt forøget artikelproduktion

BFI ser ud til at slå igennem fra 2010 med stærke stigninger for begge typer artikler (53 %) mens publiceringen af konference- og antologibidrag efter et fald er uforandret.

Produktivitetsstigningen for artikler er meget mere udtalt end i Norge, som anvender omtrent samme BFI-system . Stigningen er ligeledes meget større end stigningen i forskningspersonale ved vore universiteter (24 %) for samme periode. Det er derfor meget sandsynligt, at netop BFI-systemet har virket motiverende på publikationsadfærden – efter en tilvendingsperiode 2008-09.

BFI har sandsynligvis motiveret forskerne til at flytte ressourcer fra konference- og antologiproduktionen til forskningsartikler – på niveau-1. Dette er tydeligst indenfor sundhedsvidenskaberne, hvor vi observerer en direkte nedgang i konference/antologibidragene. Samtidig er det her at forskellen mellem niveau-1 og 2 artikler er størst. Naturvidenskaberne og teknologifagene udviser derimod et billede omtrent som vist på Figur 1.

I samfundsfag sker det interessante, at forskningsartikler på niveau 1 overtager pladsen, som den mest anvendte kanal til videnspredning. Traditionelt står konference- og antologibidrag ellers som hovedkanalen i formidlingen af samfundsfaglig forskning. Med en ny optimeret pointgivning til disse bidrag fra 2013 må man forvente en forandret adfærd, dvs. en produktivitetsforøgelse for antologi- og konferencebidrag i fremtiden.

Samarbejdet stiger – og falder!

I modsætning til vore antagelser stiger internationalt samarbejdede forskningsartikler svagt.

Denne tendens svarer til at det gennemsnitlige antal danske universiteter, som samarbejder om artikler er svagt stigende igennem perioden, ligesom antallet af samarbejdende lande. Derimod er antagelsen om et fald i internationalt samarbejde korrekt for konference- og antologibidrag.

Samtidig formindskes universitetssamarbejdet noget. Det er sandsynligvis kombinationen af færre point og ’fraktionering’ som påvirker publikationsadfærden negativt for disse bidrag på trods af multiplikationsfaktoren.

Stadig stigende gennemslagskraft for dansk forskning!

Gennemslagskraften målt på citationer givet til danske forskningspublikationer som helhed af danske og udenlandske forskere stiger konstant fra 2000. Dette fænomen er for nyligt kaldt det 'danske mirakel' som placerer Danmark som nummer fire globalt set for forskningsartikler, uanfægtet af indførelsen af BFI i 2008 .

På figur 2 ses kurven for gennemslagskraft for alle 'tidsskriftsartikler'. Derimod falder gennemslagskraften for konference- og antologibidrag, hvilket givet skyldes det påviste formindskede internationale samarbejde for denne type fra 2008.

En tommelfingerregel er at gennemslagskraften følger graden af internationalt samarbejde. Jo flere samarbejdende forfattere, specielt fra udlandet, jo flere citationer afgiver disse forfattere i senere arbejder. Vi kan ligeledes konstatere at gennemslagskraften for konference/antologibidrag er faldende fra 2010 (det nedadgående internationale samarbejde), mens dette fald starter for forskningsoversigter allerede fra 2009.

Disse tal er baseret på data fra de globale citationsbaser. Det skal noteres at for 2011 kan gennemsnitstallene være i underkanten af de reelle tal da analysen er foretaget tidligt på kalenderåret. Visse citerende publikationer kan derfor mangle registrering i citationsbaserne. I vore analyser er der taget hensyn til databasernes egen stigningstakt.

Ingen 'salami'-publicering

Vore analyser demonstrerer endvidere, at der ikke tale om anvendelse af 'salami'-publicering. Denne publiceringsadfærd viser sig ved at forskerne deler deres forskning op i mindre bidder som publiceres hver for sig.

En sådan strategi giver naturligvis et større antal publikationer, som vi har konstateret, men resulterer også i formindsket gennemslagskraft per publikation da kvaliteten (set fra andre forskeres synspunkt) som regel falder med denne strategi. Dette fænomen er observeret i Australien, hvor man over en periode gav samme point til alle typer af publikationer, og altså ikke gennemførte en kvalitetssikring gennem niveaudeling.

Konkluderende ses BFI at have haft en positiv effekt på produktionen af forskningsartikler – specielt på niveau-2 artikler i naturvidenskaberne og på niveau-1 artikler i sundhedsvidenskaberne. Systemet virker som motivation i sig selv. Et yderligere incitament for forskerne, som ikke direkte behandles i analysen, er givet anvendelsen lokalt på universiteterne af BFI-point i form af løn- eller rejsetilskud til den enkelte forsker eller forskerteam.