I en tidligere artikel her på Videnskab.dk, Fordele og ulemper ved bibliometrien, kommenterer forskerne Kaare Aagaard og Jesper W. Schneider på en række af vores indvendinger om den rolle, bibliometriske indikatorer spiller i en række aktuelle forskningspolitiske rapporter og evalueringer.

Deres kommentar ligger op til at se bredere på forskningens gennemslagskraft end den rent kvantitative opgørelse af publikationer og citationer.

Kaare Aagaard og Jesper W. Schneider tilslutter sig, at »selv på et højt aggregeringsniveau er citationer ikke en god proxy for kvalitet, men snarere et partielt udtryk for forskningens synlighed og anvendelse i det internationale forskningssamfund.«

På samme måde anerkender de, at bibliometriske indikatorer »ikke repræsenterer hele forskningssystemet, men først og fremmest afspejler udviklingen på de natur- og sundhedsvidenskabelige områder.« 

Det er netop de centrale kritikpunkter ved brugen af bibliometriske indikatorer.

Dialogen skal handle om, hvor bibliometrien er relevant

Det er korrekt, som Kaare Aagaard og Jesper W. Schneider anfører, at debatten om bibliometri nemt polariserer mellem to lejre, der er ude at stand til at tale med hinanden.

I stedet er det nødvendigt at føre en reflekteret dialog om, hvor bibliometri er et relevant instrument, og hvor bibliometriske analyser ikke kan bruges til at beskrive forskningssystemets udvikling.

Vi anerkender, at bibliometri kan bidrage til den generelle forskningspolitiske diskussion, især når fokus er på den langsigtede udvikling, og at bibliometriske indikatorer kan beskrive forhold, som eksempelvis graden af samarbejde (samforfatterskaber) eller den interdisciplinære relation mellem fagområder.

LÆS OGSÅ: Hvordan bedømmer man tværvidenskabelig forskning?

Det store publiceringspres kan have negative konsekvenser

På et overordnet samfundsniveau kan man imidlertid spørge, om udviklingen i publikationer og citationer kan bruges som en proxy for forskningskvalitet, og om publikationer og citationer siger noget om forskningens relevans og værdi for samfundet.

I de sidste årtier har det været en central prioritet i dansk og international forskningspolitik at skabe homogene kvalitetsstandarder – primært baseret på publicering af internationale tidsskriftartikler.

Men kapløbet i forskningsverdenen om at komme først med nye publikationer og presset på den enkelte forsker for at fremvise en omfattende publikationsliste har samtidig ført til stigende opmærksomhed om de såkaldte ”perverse effekter” af det nuværende publiceringssystem.

Ikke alene er der dokumenterede problemer med forskningens reproducerbarhed, som i nogle studier føres tilbage til det høje publiceringspres.

Der er samtidig tvivl om, hvorvidt samfundet som helhed drager gavn af de mange specialiserede publikationer, og hvorvidt forskerne burde bruge deres tid på andre tilsvarende vigtige opgaver.

Når det eneste, der belønnes (og udløser forskningsmidler), er publikationer, giver det lavere incitament til at udføre andre arbejdsopgaver, som for eksempel myndighedsbetjening, vidensamarbejde og forskningsformidling.

LÆS OGSÅ: Populære værktøjer til at evaluere forskere er misvisende

Hvordan evaluerer vi forskningen bedst?

For at komme denne tendens til livs foregår der for øjeblikket en diskussion om, hvordan forskning bør evalueres for at stimulere en bredere samfundsmæssig videncirkulation.

Amerikanske og europæiske forskningsråd og fonde opererer således med muligheden for, at forskere i deres ansøgninger, udover at angive deres mest betydningsfulde publikationer, også kan nævne deres primære formidlingsaktiviteter. Eksempelvis policy-rådgivning, forskningsbaseret uddannelse, opfindelser, klinisk arbejde eller anden videnspredning.

Dermed bliver det en del af forskernes incitamentsstruktur at arbejde med problemer og udfordringer, der både har relevans for videnskaben og samfundet.

Inden for forskningsevaluering og videnskabsstudier har denne udvikling ligeledes ført til en fornyet interesse for at inddrage indikatorer og datakilder, der kan beskrive videnskabens bredere samfundsmæssige gennemslagskraft, dens impact.

Udviklingen af såkaldte ”alternative metrikker” gør det for eksempel muligt at analysere antallet af likes, upvotes, delinger, downloads m.v., som en forskningsartikel modtager på de sociale medier.

Her er der fortsat tale om at måle den udbredelse, som en publikation har, og ikke om forskningens bredere samfundsmæssige impact.

LÆS OGSÅ: Tidsskrifter vil ikke trykke tværvidenskab

Når det eneste, der belønnes - og udløser forskningsmidler - er publikationer, giver det lavere incitament til at udføre andre arbejdsopgaver, som for eksempel myndighedsbetjening, vidensamarbejde og forskningsformidling. (Foto: Shutterstock)

Viden spredes til samfundet på mange måder

Ligeledes findes der en omfattende forskningslitteratur, der beskæftiger sig med akademisk entreprenørskab. Her fokuseres ikke på publikationer, men på forskningsaktiviteter, som kan måles igennem formelle og kvantificerbare outputs, som patenter, licenser, formelle, kontrakter, samarbejdsrelationer osv.

Andre studier er begyndt at bevæge sig væk fra rene instrumentelle og økonometriske indikatorer for i stedet at arbejde med forskellige former for output og interaktioner (både direkte, indirekte, uformelle, formelle, kommercielle, ikke-kommercielle, konceptuelle osv.) ud fra en erkendelse af, at viden finder anvendelse og spredes til samfundet på mange forskellige måder.

I konkrete evalueringer af forskningsprojekter kombineres kvantitative indikatorer derudover ofte med mere case-sensitive, kvalitative vurderinger, som tillader et større blik på selve forskningsprocessen og de komplekse måder, hvorpå forskningen optages og skaber værdi i samfundet.

Artiklen bliver erstattet af nye evalueringsredskaber

Ved at udvide værktøjskassen er det således muligt at dokumentere graden af vidensamarbejde, idéudvikling, rådgivning, medietilstedeværelse og anden videnspredning. 

Ligeledes kan kombinationen af store digitale datamængder, netværksanalyse og casestudier være med til at kaste lys på de dynamiske faktorer, der determinerer, om forskningen vinder udbredelse.

Når alt kommer til alt, er det produktive interaktioner og ikke papirstakke, der afgør, om forskningen har gennemslagskraft.

Bevægelsen mod et mere åbent og digitalt forskningssystem vil efter al sandsynlighed medføre, at artiklen og tidskriftet langsomt vil forsvinde som den absolutte måleenhed for forskningskvalitet og blive erstattet af nye dynamiske evalueringsredskaber, der fokuserer på udvikling og cirkulation af datasæt, analyser, viden og ideer.

Behov for bedre billede af forskningens indflydelse

I et nyt forskningsprojekt på Aalborg Universitet vil vi de kommende år indsamle unikke data om forskernes samfundsmæssige impact.

Gennem udviklingen af en ny taksonomi for forskningsimpact skal projektet kaste lys på, hvordan akademisk og samfundsmæssig excellence spiller sammen og hvilke faktorer, der afgør, om forskningen når ud til brugere og interessenter.

Projektet, der er inspireret af det engelske Research Excellence Framework, kombinerer for første gang i Danmark kvantitative og kvalitative studier af forskningens samfundsmæssige gennemslagskraft.

Ambitionen er at få et mere fyldestgørende billede af den massive, men ofte oversete indflydelse, ny forskningsviden har ved på forskellige måder at beskrive og vurdere forskernes interaktion med samfundet.