Forskningen skal have bredere gennemslagskraft i samfundet
Videnskab.dk har tidligere bragt to artikler her på ForskerZonen om brugen af bibliometri til at evaluere forskningen. I denne tredje og sidste artikel i serien beskriver tre forskere behovet for et bredere syn på forskningens kvalitet og gennemslagskraft.
forskning forskere gennemslagskraft publicering artikler

Tre forskere mener, at der er for stort pres på forskerne for at publicere. Ifølge dem er det produktive interaktioner og ikke papirstakke, der afgør, om forskningen har gennemslagskraft. (Foto: Shutterstock)

I en tidligere artikel her på Videnskab.dk, Fordele og ulemper ved bibliometrien, kommenterer forskerne Kaare Aagaard og Jesper W. Schneider på en række af vores indvendinger om den rolle, bibliometriske indikatorer spiller i en række aktuelle forskningspolitiske rapporter og evalueringer.

Deres kommentar ligger op til at se bredere på forskningens gennemslagskraft end den rent kvantitative opgørelse af publikationer og citationer.

Kaare Aagaard og Jesper W. Schneider tilslutter sig, at »selv på et højt aggregeringsniveau er citationer ikke en god proxy for kvalitet, men snarere et partielt udtryk for forskningens synlighed og anvendelse i det internationale forskningssamfund.«

På samme måde anerkender de, at bibliometriske indikatorer »ikke repræsenterer hele forskningssystemet, men først og fremmest afspejler udviklingen på de natur- og sundhedsvidenskabelige områder.« 

Det er netop de centrale kritikpunkter ved brugen af bibliometriske indikatorer.

Dialogen skal handle om, hvor bibliometrien er relevant

Bibliometri

Bibliometri indgår i moderdisciplineninformetri.

Bibliometri er videnskaben om kvantitering af især videnskabelig litteratur med hensyn til indeksering, typologi, brug, sammenhænge og indflydelse mv. 

Kilde: Syddansk Universitet

Det er korrekt, som Kaare Aagaard og Jesper W. Schneider anfører, at debatten om bibliometri nemt polariserer mellem to lejre, der er ude at stand til at tale med hinanden.

I stedet er det nødvendigt at føre en reflekteret dialog om, hvor bibliometri er et relevant instrument, og hvor bibliometriske analyser ikke kan bruges til at beskrive forskningssystemets udvikling.

Vi anerkender, at bibliometri kan bidrage til den generelle forskningspolitiske diskussion, især når fokus er på den langsigtede udvikling, og at bibliometriske indikatorer kan beskrive forhold, som eksempelvis graden af samarbejde (samforfatterskaber) eller den interdisciplinære relation mellem fagområder.

LÆS OGSÅ: Hvordan bedømmer man tværvidenskabelig forskning?

Det store publiceringspres kan have negative konsekvenser

På et overordnet samfundsniveau kan man imidlertid spørge, om udviklingen i publikationer og citationer kan bruges som en proxy for forskningskvalitet, og om publikationer og citationer siger noget om forskningens relevans og værdi for samfundet.

I de sidste årtier har det været en central prioritet i dansk og international forskningspolitik at skabe homogene kvalitetsstandarder – primært baseret på publicering af internationale tidsskriftartikler.

Men kapløbet i forskningsverdenen om at komme først med nye publikationer og presset på den enkelte forsker for at fremvise en omfattende publikationsliste har samtidig ført til stigende opmærksomhed om de såkaldte ”perverse effekter” af det nuværende publiceringssystem.

Ikke alene er der dokumenterede problemer med forskningens reproducerbarhed, som i nogle studier føres tilbage til det høje publiceringspres.

Der er samtidig tvivl om, hvorvidt samfundet som helhed drager gavn af de mange specialiserede publikationer, og hvorvidt forskerne burde bruge deres tid på andre tilsvarende vigtige opgaver.

Når det eneste, der belønnes (og udløser forskningsmidler), er publikationer, giver det lavere incitament til at udføre andre arbejdsopgaver, som for eksempel myndighedsbetjening, vidensamarbejde og forskningsformidling.

LÆS OGSÅ: Populære værktøjer til at evaluere forskere er misvisende

Hvordan evaluerer vi forskningen bedst?

Hvad er impact?

I den engelske universitetsevaluering 'Research Excellence Framework' vurderes effekterne af forskningen på baggrund af bl.a. samarbejde med civilsamfund, kulturliv, virksomheder, læreanstalter, uddannelsesinstitutioner, politiske og administrative institutioner samt forskernes bidrag til den offentlige debat og offentlige velfærd og service. 

Det engelske forskningsråd bestemmer forskningens effekt »som enhver samfundsmæssig forandring, der bidrager til udvikling af økonomien, kulturen, staten, den offentlige sektor, sundhedssystemet, miljøet eller borgernes livskvalitet« (HEFCE 2015). 

I Danmark udføres over de næste tre år en kortlægning af den humanistiske forsknings impact på Aalborg Universitet inspireret af den engelske model. Følg med i projektet her: http://www.mapping-humanities.dk.

Kilde: David Budtz Pedersen

For at komme denne tendens til livs foregår der for øjeblikket en diskussion om, hvordan forskning bør evalueres for at stimulere en bredere samfundsmæssig videncirkulation.

Amerikanske og europæiske forskningsråd og fonde opererer således med muligheden for, at forskere i deres ansøgninger, udover at angive deres mest betydningsfulde publikationer, også kan nævne deres primære formidlingsaktiviteter. Eksempelvis policy-rådgivning, forskningsbaseret uddannelse, opfindelser, klinisk arbejde eller anden videnspredning.

Dermed bliver det en del af forskernes incitamentsstruktur at arbejde med problemer og udfordringer, der både har relevans for videnskaben og samfundet.

Inden for forskningsevaluering og videnskabsstudier har denne udvikling ligeledes ført til en fornyet interesse for at inddrage indikatorer og datakilder, der kan beskrive videnskabens bredere samfundsmæssige gennemslagskraft, dens impact.

Udviklingen af såkaldte ”alternative metrikker” gør det for eksempel muligt at analysere antallet af likes, upvotes, delinger, downloads m.v., som en forskningsartikel modtager på de sociale medier.

Her er der fortsat tale om at måle den udbredelse, som en publikation har, og ikke om forskningens bredere samfundsmæssige impact.

LÆS OGSÅ: Tidsskrifter vil ikke trykke tværvidenskab

Forskning publikationer

Når det eneste, der belønnes - og udløser forskningsmidler - er publikationer, giver det lavere incitament til at udføre andre arbejdsopgaver, som for eksempel myndighedsbetjening, vidensamarbejde og forskningsformidling. (Foto: Shutterstock)

Viden spredes til samfundet på mange måder

Ligeledes findes der en omfattende forskningslitteratur, der beskæftiger sig med akademisk entreprenørskab. Her fokuseres ikke på publikationer, men på forskningsaktiviteter, som kan måles igennem formelle og kvantificerbare outputs, som patenter, licenser, formelle, kontrakter, samarbejdsrelationer osv.

Andre studier er begyndt at bevæge sig væk fra rene instrumentelle og økonometriske indikatorer for i stedet at arbejde med forskellige former for output og interaktioner (både direkte, indirekte, uformelle, formelle, kommercielle, ikke-kommercielle, konceptuelle osv.) ud fra en erkendelse af, at viden finder anvendelse og spredes til samfundet på mange forskellige måder.

I konkrete evalueringer af forskningsprojekter kombineres kvantitative indikatorer derudover ofte med mere case-sensitive, kvalitative vurderinger, som tillader et større blik på selve forskningsprocessen og de komplekse måder, hvorpå forskningen optages og skaber værdi i samfundet.

Artiklen bliver erstattet af nye evalueringsredskaber

Ved at udvide værktøjskassen er det således muligt at dokumentere graden af vidensamarbejde, idéudvikling, rådgivning, medietilstedeværelse og anden videnspredning. 

Ligeledes kan kombinationen af store digitale datamængder, netværksanalyse og casestudier være med til at kaste lys på de dynamiske faktorer, der determinerer, om forskningen vinder udbredelse.

Når alt kommer til alt, er det produktive interaktioner og ikke papirstakke, der afgør, om forskningen har gennemslagskraft.

Bevægelsen mod et mere åbent og digitalt forskningssystem vil efter al sandsynlighed medføre, at artiklen og tidskriftet langsomt vil forsvinde som den absolutte måleenhed for forskningskvalitet og blive erstattet af nye dynamiske evalueringsredskaber, der fokuserer på udvikling og cirkulation af datasæt, analyser, viden og ideer.

Behov for bedre billede af forskningens indflydelse

I et nyt forskningsprojekt på Aalborg Universitet vil vi de kommende år indsamle unikke data om forskernes samfundsmæssige impact.

Gennem udviklingen af en ny taksonomi for forskningsimpact skal projektet kaste lys på, hvordan akademisk og samfundsmæssig excellence spiller sammen og hvilke faktorer, der afgør, om forskningen når ud til brugere og interessenter.

Projektet, der er inspireret af det engelske Research Excellence Framework, kombinerer for første gang i Danmark kvantitative og kvalitative studier af forskningens samfundsmæssige gennemslagskraft.

Ambitionen er at få et mere fyldestgørende billede af den massive, men ofte oversete indflydelse, ny forskningsviden har ved på forskellige måder at beskrive og vurdere forskernes interaktion med samfundet.