Fordele og ulemper ved bibliometrien som værktøj til at evaluere forskning

I en tidligere artikel på Videnskab.dk, Nye værktøjer til at evaluere forskere er nødvendige, kommenterer forskerne David Budtz Pedersen, Lasse Johansson og Jonas Grønvad på brugen af bibliometri i almindelighed.

Mere konkret kommenterer de på den rolle, bibliometriske analyser spiller i et nyligt studie formuleret af Danmarks Forsknings- og Innovationspolitiske Råd (DFiR) og gennemført af Dansk Center for Forskningsanalyse, Technopolis Group og NIFU.

Som projektledere på dette studie vil vi i denne artikel knytte nogle kommentarer til artiklen fra Budtz Pedersen med flere, da vi ser det som en god anledning til dels at berøre den generelle diskussion om bibliometriens muligheder og begrænsninger og til dels at forklare, hvilken rolle bibliometrien konkret spiller i DFiR-studiet.

Kommentarerne vil dog blive fremført relativt kortfattede, da vi læser hovedparten af indlægget som en generel advarsel mod farerne ved ukritisk brug af bibliometri snarere end som en konkret kritik af DFiR-analysen.

God grund til at forholde sig kritisk til anvendelsen af bibliometri

Hvad angår den generelle advarsel mod ukritisk brug af bibliometri og herunder ikke mindst faren for konstitutive effekter, når bibliometriske indikatorer anvendes i evalueringer, så støtter vi fuldt ud opfordringen til, at såvel bibliometriske som andre former for kvantitative indikatorer benyttes med langt større refleksion og omtanke, end det ofte er tilfældet.

Indvendingerne, der fremføres her, er velkendte, og i de fleste sammenhænge anerkendes de også af stort set alle aktører, så længe de diskuteres på et abstrakt plan.

Som det fremhæves i indlægget, er der imidlertid meget ofte en tendens til, at indikatorernes begrænsninger glemmes eller negligeres, når det kommer til den konkrete anvendelse af dem.

Jo lavere aggregeringsniveauer, det sker på, jo mere problematisk bliver denne tendens. Der er således i mange tilfælde rigtig god grund til at forholde sig kritisk til anvendelsen af bibliometri.

LÆS OGSÅ: Hvordan bedømmer man tværvidenskabelig forskning?

En diskussion med to skarpt opdelte lejre

Det er, som det fremføres, en særdeles vanskelig opgave at måle og vurdere forskning.

Bibliometri er blot ét blandt flere redskaber, der kan bidrage med indsigt, men denne type data bør aldrig stå alene som beslutningsgrundlag.

Om det overhovedet giver mening at inddrage bibliometri i konkrete beslutninger afhænger både af formålet og af området, der undersøges.

Som aktører inden for dette felt oplever vi imidlertid ofte en unuanceret diskussion med to skarpt opdelte lejre, der fra hver sin side er med til at undergrave det reelle bidrag, som bibliometrien kan tilføre forskningspolitiske diskussioner.

• På den ene side har vi en lejr, der relativt ukritisk omfavner bibliometrien og ofte anvender indikatorerne, som om de repræsenterer en objektiv og dækkende beskrivelse af en endimensionel underliggende virkelighed
  
• På den anden side har vi en lejr, der med henvisning til de ovennævnte problemer knyttet til anvendelsen af indikatorerne, per refleks fejer alt, hvad der overhovedet lugter af bibliometri, af brættet

Begge lejre bidrager efter vores opfattelse til en situation, hvor mange beslutninger træffes på et uoplyst grundlag.

Begge lejre skal sætte sig ind muligheder og begrænsninger

Trods alle de begrænsninger, der knytter sig til indikatorerne, og trods alle de eksempler på uhensigtsmæssig anvendelse, der kan fremføres, mener vi stadig, at bibliometrien i mange tilfælde kan bidrage med væsentlig indsigt, som meget vanskeligt lader sig tilvejebringe på anden vis.

Fremfor at placere sig i en af de to skarpt opdelte lejre vil vi derfor opfordre til, at såvel kritikere som brugere sætter sig ind i både mulighederne og begrænsningerne.

Dermed bidrager de til, at bibliometrien, i de tilfælde, hvor det giver mening, kan indgå som én blandt flere kilder til at sikre, at beslutninger træffes på det bedst mulige grundlag.

At det sker på en hensigtsmæssig måde, er et delt ansvar blandt brugere, beslutningstagere og vi, der gennemfører denne type analyser.

Vi ønsker på ingen måde at fralægge os det ansvar, der følger med at arbejde med denne type data, men vil tværtimod hellere end gerne indgå i kritiske diskussioner, der sikrer, at bibliometrien ikke tillægges større vægt, end den kan bære.

LÆS OGSÅ: Populære værktøjer til at evaluere forskere er misvisende

Bibliometrien kan bidrage med interessante informationer

Hermed er vi ovre ved den konkrete anledning til indlægget: kritikken af DFiR-analysens brug af bibliometri.

Helt overordnet vil vi argumentere for, at netop denne type af analyse illustrerer, hvordan bibliometrien meningsfuldt kan bidrage til generelle forskningspolitiske diskussioner.

Netop, når vi beskæftiger os med bibliometriske data på et meget højt aggregeringsniveau, og når vi har fokus på langsigtede historiske udviklingstræk, kan bibliometrien bidrage med interessante informationer.

Naturligvis knytter der sig også her væsentlige forbehold til fortolkningen af data:

Selv på et højt aggregeringsniveau er citationer ikke en god proxy for kvalitet, men snarere et partielt udtryk for forskningens synlighed og anvendelse i det internationale forskningssamfund.

På samme måde repræsenterer indikatorerne ikke hele forskningssystemet, men afspejler først og fremmest udviklingen på de natur- og sundhedsvidenskabelige områder.

Alle disse forbehold har vi behandlet grundigt i såvel den bibliometriske baggrundsrapport (Schneider & Aagaard 2015) samt i baggrundsrapporten til selve DFiR-studiet (Dansk Center for Forskningsanalyse 2016).

»Det er ikke i bibliometrien, vi finder svarene«

Ikke desto mindre kan de tilgængelige data være med til at rejse nogle interessante forskningspolitiske spørgsmål. Præcist dette er centralt i forhold til den analyse, vi har gennemført for DFiR.

Her er de bibliometriske tidsserier udgangspunktet for analysen, snarere end de er konklusionen.

Det er, med andre ord, bibliometrien, der er med til at formulere spørgsmålene, men det er ikke i bibliometrien, vi finder svarene.

Det er derfor væsentligt at understrege, at tilgangen her netop er den modsatte af mange former for forskningsevaluering.

Snarere end en form for forskningsevaluering, er DFiR-studiet således i højere grad en historisk policy-analyse, hvor de bibliometriske tidsserier udgør udgangspunktet for de spørgsmål, der stilles.

Det er ligeledes væsentligt at understrege, at DFiR-analysen ikke postulerer, at de bibliometriske udviklingstræk, der er udgangspunkt for analysen, kan kobles direkte til enkeltstående forskningspolitiske initiativer.

Tværtimod er det en hovedkonklusion, at denne type af simple, isolerede sammenhænge ikke lader sig påvise i et studie af denne karakter.

Samme argument har vi også fremført mere uddybende i en nylig artikel med fokus på netop denne problemstilling (Aagaard & Schneider 2015).

Skal ikke være den primære kilde til indsigt i forskningen

Frem for at se på isolerede sammenhænge forsøger vi i stedet i analysen at anlægge et systemperspektiv, hvor vi undersøger interaktionen og balancen mellem en lang række forskningspolitiske faktorer for herigennem at opnå en bedre forståelse for måden, hvorpå et samlet offentligt forskningssystem fungerer.

Det er oplagt, at et studie af dette omfang i mange henseender kun kan kradse i overfladen af så stor og kompleks en problemstilling.

Men på trods af dette mener vi stadig, at spørgsmålene, som analysen rejser, er vigtige, og at de kan bidrage til en mere kvalificeret diskussion af, hvordan vi fremadrettet skal indrette det offentlige forskningssystem.

Disse spørgsmål kan på ingen måde besvares med udgangspunkt i bibliometri alene, men også her kan bibliometrien indgå som en mindre del af et samlet informeret beslutningsgrundlag.

Der er altså ikke tale om, at bibliometrien ophøjes til at være den primære kilde til indsigt i forskningens udvikling og kvalitet, men blot at den i denne sammenhæng anvendes som afsæt til nogle mere generelle forskningspolitiske diskussioner.

LÆS OGSÅ: Hvad er videnskabelig uredelighed?

Nye værktøjer bliver hilst velkommen

Afslutningsvis vil vi kort kommentere på indlæggets sidste centrale pointe, der adresserer de særlige udfordringer, der knytter sig til de humanistiske og samfundsvidenskabelige områder.

Vi anerkender fuldt ud, at bibliometrien i de fleste tilfælde kommer til kort på disse områder, og at forsøgene på alligevel at inddrage bibliometri som udgangspunkt for beslutninger inden for disse felter ofte vil gøre mere skade end gavn.

Nye værktøjer til at evaluere forskere på disse områder vil derfor i høj grad blive hilst velkommen fra vores side.

Hvis projekterne, som indlæggets forfattere er involverede i, på dette område kan være med til at kvalificere diskussionerne om forskellige former for akademisk og samfundsmæssig gennemslagskraft, vil det i vores øjne være et væsentligt bidrag.