Nye værktøjer til at evaluere forskere er nødvendige

Der udspiller sig for tiden et kapløb blandt danske og internationale fonde og myndigheder om at udvikle de mest præcise redskaber til måling af forskningens videnskabelige og samfundsmæssige effekter.

Politikere og beslutningstagere efterspørger evidens, der kan kaste lys på, om de offentlige og private forskningsmidler anvendes rigtigt, og hvordan dansk forskning klarer sig internationalt.

Et af de redskaber, der anvendes, er bibliometriske forskningsindikatorer.

Bibliometri har visse fordele

Bibliometri har den fordel, at den kan belyse de rent kvantitative effekter af den publicerede forskning. Først og fremmest ved at analysere, hvordan bestemte forskningsresultater skaber aftryk i den videnskabelige litteratur bestemt ud fra antallet af citationer.

Det er derfor mere rigtigt at tale om et mål for relevansen af en publikation end om forskningens kvalitet.

I det videnskabelige samfund – og specielt inden for de grene, der arbejder med forskningsstudier og forskningspolitik – har der længe været bevidsthed om begrænsningerne i bibliometri.

Bibliometrikere gør ofte selv opmærksom på begrænsningerne i teknikken og dermed begrænsningerne i det vurderings- og beslutningsgrundlag, som scientometriske analyser fremstiller.

LÆS OGSÅ: Populære værktøjer til at evaluere forskere er misvisende

Bibliometriske studier har velkendte ulemper

Der er velkendte problemer med bibliometriske studier:

Ikke alle fagdiscipliner har samme publikations- og citationsadfærd, der er mangler i datakilderne, herunder mangelfuld dækning af fagområder (særligt humaniora og samfundsvidenskab), en stor del af den bibliometriske data er privatejet af store forlagsvirksomheder og skal købes fri til brug for analyser.

Heraf følger en række mindre velbelyste effekter, som for eksempel forlagenes mulighed for at 'prime' (fremme) bestemte forskningsområder eller tidsskrifter samt forskernes ønske om at optimere egne citationer, for eksempel gennem citationshandel eller selvcitering – alt sammen med det resultat af den endelige bibliometriske vurdering skal ses i lyset af en samlet vurdering og suppleres af andre datakilder.

Alligevel er der en tendens til, at bibliometriske analyser, når først de foreligger, ophøjes til at være den primære kilde til indsigt i forskningens udvikling og kvalitet.

Bibliometriske analyser er laveste fællesnævner

Man kan sige, at bibliometriske analyser udgør den laveste fænomenologiske fællesnævner, når beslutningstagere og bevillingsgivere vil danne sig et indtryk af, hvorvidt et bestemt virkemiddel eller indsats har været succesfulde.

Et eksempel er den seneste rapport fra Danmarks Forsknings- og Innovationspolitiske Råd (DFIR) 'Viden i verdensklasse' (2016). Rådet har bestilt en bibliometrisk analyse af dansk forsknings gennemslagskraft, der viser, at dansk forskning ligger helt i top disse år.

Det interessante ved analysen, som er fremstillet af Dansk Center for Forskningsanalyse (CFA) ved Aarhus Universitet, er, at det danske forskningsmirakel ser ud til at begynde allerede før 2000’ernes reformer af danske universiteter.

Baseret på en omfattende citationsanalyse viser CFA, hvordan dansk forskning allerede fra 1990’erne begyndte en opstigning i international særklasse til et niveau, der i dag er markant højere end flere af de lande, vi normalt sammenligner os med.

Fem faktorer, der er vigtige for videnskabelig succes

På baggrund af den bibliometriske analyse har DFIR valgt at opstille en række hypoteser, der skal kaste lys på, hvorfor udviklingen i dansk forskning tilsyneladende har været så markant, som den bibliometriske analyse viser.

Det har ført Rådet frem til en række hypoteser, der beskriver, hvilke faktorer der er kritiske for videnskabelig succes:

• Danmark har ramt en unik balance mellem basismidler og konkurrenceudsatte forskningsmidler
• Danmark har relativt tidligt været med til at understøtte excellence igennem centerdannelser og investeringer i langsigtet grundforskning
• Ph.d.-satsningen spiller en vigtig rolle i Danmarks historiske forskningsperformance
• Gennem hele perioden fra 1990’erne frem til i dag er forskningsledelsen blevet styrket og professionaliseret
• Dansk forskning er mere internationalt orienteret end i sammenlignelige lande

Det er disse hypoteser, der ifølge Rådet skal være med til at forklare den succes, som dansk forskning nyder (opgjort ud fra antallet af citationer), og som derfor er vigtigt, 'for at det danske samfund fastholder denne position' i fremtiden.

Dette er ikke stedet at gå i dybden med de interessante hypoteser. Det, som er vigtigt at fastholde, er imidlertid, hvorvidt citationsanalyse kan bruges til at sige noget om så centrale og vigtige forhold som forskningsledelse, forskningsfinansiering, og forskeruddannelse over en 30-årig periode i Danmark.

LÆS OGSÅ: Tidsskrifter vil ikke trykke tværvidenskab

Tidshorisonten for effekterne af tiltagene er forskelligartet

Bibliometrien giver en god indikation på, at Danmark har foretaget nogle rigtige valg og opnået nogle vigtige balancer. Men det er i vores øjne tvivlsomt, hvorvidt gennemslagskraft i den videnskabelige litteratur på aggregeret niveau kan korreleres med enkelte indsatser og strategiske tiltag.

Her vil vi gøre opmærksom på tre forhold:

1. Det må forventes, at tidshorisonten for effekterne af de nævnte tiltag er ganske forskelligartet.

En reform af ph.d.-uddannelsen på tværs af hovedområder med heraf følgende vækst i ph.d.-optaget i slutningen af 1980’erne og begyndelsen af 1990’erne vil tage adskillelige år, hvis ikke årtier, før det afspejler sig i topforskningens gennemslagskraft.

Der er mange gode grunde til at forøge optaget af ph.d.-studerende (for eksempel samfundets efterspørgsel efter avanceret arbejdskraft), men antallet af citationer i den videnskabelige litteratur synes at være minimalt korreleret.

Alligevel nævner DFIR at ”den bibliometriske analyse kan understøtte hypotesen på den måde, at der er et sammenfald mellem den første ph.d.-satsning i begyndelsen af 1990’erne og vendepunktet for dansk forsknings gennemslagskraft”.

Det vil sige, at der skulle være en øjeblikkelig virkning af indsatsen, hvilket er usandsynligt. DFIR's analyse er interessant og tankevækkende. Men spørgsmålet er, om bibliometrisk data er den mest relevante sammenligningskilde.

Den mest konsekvenstunge del af analysen handler om de positive effekter af internationalisering. I analysen fremgår det, hvordan dansk forskning i en årrække har haft en væsentlig større andel af internationalt sampublicerede artikler (altså artikler publiceret sammen med udenlandske forskere) end andre lande.

Faktisk ser det ud til, at udviklingen i dansk forsknings gennemslagskraft er sammenfaldende med stigningen i internationale samforfatterskaber. Det skyldes ikke mindst det forhold, at sampublicerede artikler generelt får flere citationer og dermed højere gennemslagskraft end artikler, der kun er skrevet af forskere fra samme land.

Her kan bibliometriske analyser med langt større sikkerhed være med til at begrunde tiltag, der skubber forskerne mere i retning af internationale sampublikationer som et middel til at fastholde og udvikle kvaliteten i dansk forskning.

Den humanistiske forskning mangler

2. En mangel i de fleste bibliometriske analyser er den humanistiske og til dels samfundsvidenskabelige forskning. Inden for de humanistiske discipliner udgør internationale publikationer og i særlig grad internationale sampublikationer under 50 procent.

Det skyldes, at humanister stadig i et vist omfang forsker, publicerer og formidler på dansk, ligesom humanistiske forskere udgiver monografier og bogkapitler, der ikke altid (og ikke historisk) har været dækket af de internationale kommercielle databaser.

Selvom DFIR går uden om spekulationer med hensyn til forskningskvaliteten i dansk humanistisk forskning, bør Rådets arbejde give anledning til spørge, om det overhovedet er muligt at sammenligne kvalitetsbetingelser for naturvidenskaberne, samfundsvidenskaberne og den humanistiske forskning.

Som vi har beskrevet i bogen 'Kampen om disciplinerne' (2015), findes der et sæt af fælles normative standarder på tværs af de forskellige discipliner, der regulerer forskernes adfærd med hensyn til brug af metoder, data og evidens.

Men udover disse minimale normer, giver det næppe mening at sammenligne metriske og kvantitative standarder (for eksempel citationer) på tværs af hovedområder. Tværtimod viser undersøgelser, at forskellige discipliner har forskellig citationsadfærd (REF).

Ligeledes i denne kontekst er det relevant at spørge, om bibliometrisk data er den bedste kilde til vurdering af forskningens kvalitet.

LÆS OGSÅ: Hvad er videnskabelig uredelighed?

Bibliometri påvirker adfærden i forskningssystemet

3. I denne kommentar har vi argumenteret for, at bibliometri ofte enten frivilligt eller ufrivilligt bliver indlejret i en politisk kontekst.

Flere evalueringsforskere har talt om, at bibliometri har konstitutive eller performative virkninger, hvilket er udtryk for, at bibliometri ikke bare er en måling af forskningen, men et instrument, der uundgåeligt bidrager til at påvirke adfærden i forskningssystemet.

Indikatorerne er med til at påvirke, hvordan forskere arbejder, og hvem der får lov at forske. Som det blandt andet er blevet påvist af Peter Dahler-Larsen, ændrer forskerne deres adfærd, så de klarer sig bedre i forhold til den indikator, de bliver målt på.

De politiske implikationer af brugen af bibliometri har senest været genstand for en række kritiske kommentarer internationalt. I slutningen af 2015 udgav en gruppe af forskere et manifest i Nature, der udgør en slags vejledning til at vurdere og evaluere forskere – det såkaldte Leiden Manifesto for Research Metrics.

Manifestet vender sig imod den globale tendens til at vurdere ethvert element af forskningsverdenen ud fra publikationer og citationer.

Ikke bare er sådanne indikatorer misvisende og potentielt skadelige på individuelt niveau, de er også vanskelige at styre efter på højere systemniveau, hvor eksempelvis universiteter de seneste år er blevet stærkt optagede af at maksimere deres placering på internationale universitetsranglister i stedet for at skabe grobund for langsigtet bæredygtig forskning.

Af samme grund foreslår forfatterne bag manifestet en række principper, der kan anvendes i forbindelse med bibliometriske analyser. For eksempel:

• At kvantitative evalueringer altid bør suppleres med kvalitative vurderinger
  
• At individuelle forskere og forskningsområder altid bør vurderes i forhold til deres større mission og ikke tilfældigt i forhold til selektive indikatorer
  
• At datakilder og dækningsgrad altid bør indgå i bibliometriske studier på en åben og transparent måde
  
• Og ikke mindst, som vi har argumenteret i denne kommentar, at de forskellige fagområder vurderes ud fra deres egen forskningstradition, herunder ud fra de kvalitetsstandarder, der er iboende i deres historisk og institutionelt tilpassede forskningspraksis

Disse indvendinger vil ikke være fremmedartede for bibliometrikere. Men de er vigtige at have med i betragtning, når samfundets beslutningstagere og politikere skal vurdere, hvordan fremtidige forskningsmidler skal uddeles.

Forskning kan skabe gennemslagskraft

Tilgangen til bibliometri og forskningsanalyse bør fra starten være præget af kritiske og refleksive forestillinger om sammenhænge, om indikatorernes udsagnskraft og om, hvad man reelt kan sige noget om med udgangspunkt i rent kvantitative data.

Endelig bør det nævnes, at der mange andre måder, hvor på forskning kan skabe gennemslagskraft og aftryk i samfundet end ved citationer, som udelukkende beskriver det rent videnskabelige afkast af forskningen i den videnskabelige litteratur.

Det gælder for eksempel graden af forskningsbaseret uddannelse, udviklingen af nye behandlingsmetoder i sundhedsvæsenet, kommercialisering i form af opfindelser, patenter og produkter eller gennem cirkulationen af analyser, ideer og koncepter, der gør samfundet mere oplyst.

Ingen af disse væsentlige faktorer kan imidlertid belyses ud fra bibliometri alene, men kræver omfattende kvalitative og kvantitative datakilder, der kaster lys på forskningens samfundsmæssige udbredelse og kvalitet.

Hvordan får vi mest muligt værdi ud af forskningen?

På Aalborg Universitet arbejder vi på en række forskningsprojekter, der skal være med til at styrke videngrundlaget om de humanistiske og samfundsvidenskabelige discipliners gennemslagskraft – både i samfundet og i interdisciplinære samarbejdsrelationer.

Disse studier kan forhåbentlig være med til at kvalificere debatten om, hvordan vi får mest muligt værdi ud af forskningen, uden at vi forventer, at der kan gives neutrale og kontekstuafhængige svar.

De tre forfattere af denne artikel er alle tilknyttede Humanomics Research Centre på Aalborg Universitet (København). Senest har de sammen udgivet bøgerne ”Kortlægning af dansk humanistisk forskning” (Reitzel 2016) og ”Kampen om disciplinerne” (Reitzel 2015) samt en række internationale artikler.