Populære værktøjer til at evaluere forskere er misvisende
Bibliometiske indikatorer, som fonde og universiteter bruger til at evaluere og sammenligne forskere med, er misvisende, viser ny dansk ph.d.-afhandling. Værktøjerne kan have betydning for, hvem der får lov at forske.

De nuværende evalueringsmetoder af forskere giver ikke et særlig klart billede af, hvilken forsker der gør det bedst, hvis forskerne kommer fra forskellige discipliner som fysik og filosofi, viser ny ph.d.-afhandling. (Foto: <a href="http://www.shutterstock.com/da/pic-377778793/stock-photo-young-man-teach... target="_blank">Shutterstock</a>)

Forskere bliver nøje målt og vejet på deres videnskabelige formåen, inden de får støtte til deres næste forskningsprojekt. Men der er ingen fast procedure for, hvordan det skal gøres.

Mange fonde og universiteter læner sig dog op af bestemte evalueringsværktøjer, de såkaldte bibliometriske indikatorer, der kan give et indtryk af forskerens produktivitet og indflydelse.

Men disse indikatorer kan være problematiske, viser ny ph.d.-afhandling.

Hvis man ikke har en bevidst strategi for, hvilke værktøjer man bruger på de enkelte forskere, risikerer man nemlig at få et misvisende billede af, hvor dygtig og værdifuld forskeren egentlig er inden for sit felt, konkluderer Lorna Wildgaard i sin ph.d.-afhandling fra Københavns Universitet.

»Metoderne giver ikke et særlig klart billede af, hvilken forsker der gør det bedst, hvis forskerne kommer fra forskellige discipliner som fysik og filosofi. I virkeligheden kan man sige, at metoderne i højere grad vildleder end vejleder. Evalueringssystemet bliver sjældent vurderet selv, men måske det er på tide,« siger Lorna Wildgaard.

Hun er i dag postdoc på Det Informationsvidenskabelige Akademi ved Københavns Universitet.

Afhandlingen understreger væsentligt problem

Det er ret problematisk, at vi ikke har bedre evalueringsværktøjer, da evalueringen har stor betydning for, hvilken forskning der bliver lavet, siger professor Peter Dahler-Larsen, der selv forsker i evaluering af forskere og forskningsinstitutter.

»Det er en spændende og systematisk afhandling, der understreger et væsentligt problem. Lige nu bruger fonde og universiteter værktøjerne uden at være helt klar over konsekvenserne. Det er ret problematisk, da det er med til at styre forskningen i en retning, vi måske ikke ønsker,« siger Peter Dahler-Larsen, professor på Institut for Statskundskab ved Københavns Universitet. Han har ikke bidraget til afhandlingen.

Metoderne er stadig under udvikling

Lorna Wildgaard har netop forsvaret og fået godkendt sin ph.d.-afhandling, hvor hun har gennemgået 108 forskellige indikatorer som bruges til at vurdere forskere med af blandt andre politikere, fonde og universiteter.

Fakta

H-indekset blev første gang benyttet i 2005 og skal afspejle en forskers produktivitet både kvantitativt og kvalitativt. Tidligere metoder har typisk fokuseret på enten produktivitet eller kvalitet.

H-indekset bliver også kaldt Hirsch Index eller Higly Cited Index. Det er navngivet efter opfinderen og fysikeren Jorge E. Hirsch.

Kilde: Den Store Danske.

Som en del af afhandlingen har hun anvendt hver af de 108 indikatorer på over 2.000 forskere fra universiteter verden over og sammenlignet resultatet med forskernes CV, for at se om resultatet også afspejlede, forskerens præstige, og om rankering med forskellige indikatorer kunne sammenlignes på tværs af videnskabelige discipliner.

Samtidig undersøgte hun, hvordan matematikken bag de enkelte indikatorer var opbygget for at se, hvad matematikken var designet til at regne på.

Resultatet viste, at:

  • Indikatorerne ikke giver et troværdigt billede af, hvor højt forskeren ligger placeret i forskningshierarkiet på tværs af disciplinerne.
     
  • Indikatorerne typisk laver et statistisk gennemsnit på forskerens antal af udgivelser og citationer, der afspejler hvor meget andre forskere forholder sig til personens forskning, og hvor synlig forskeren er i den internationale database, der indekserer forskere på baggrund af specialitet og sprog. Problemet er dog, at antallet af artikler og citationer ofte udgør et for lille antal til, at man kan lave statistik på det.
     
  • De fleste indikatorer oprindeligt er tænkt som matematiske modeller, andre skulle arbejde videre på, og ikke som færdige metoder til at evaluere forskere med.
     
  • Cirka to tredjedele af de 108 indikatorer baserer sig på det såkaldte h-indeks (se faktaboks), der giver en slags karakter ud fra, hvor meget forskeren udgiver og bliver citeret af andre forskere. 

H-indekset vægter produktivitet over kvalitet

Det er problematisk at så mange metoder bruger h-indekset, da indekset vægter produktivitet højere end kvalitet, og det kan føre til, at betydningsfuld forskning ikke får samme anerkendelse, konkluderer Lorna Wildgaard.

»Hvis man bruger h-indekset som indikator på en forskers kvaliteter, skal man blandt andet overveje, hvorfor man værdsætter produktivitet fremfor kvalitet. Derudover kan man ikke sammenligne forskeres karakterer fra forskellige videnskabelige discipliner, da nogle discipliner fører til langt flere udgivelser og citationer end andre,« siger Lorna Wildgaard.

Et eksempel kan illustrere pointen:

Hvis en forsker A udgiver 3 artikler, der hver bliver citeret 60 gange af andre forskere, så har forskeren et h-indeks på 3. Mens forsker B, der i samme periode udgiver 10 artikler og bliver citeret 11 gange for hver artikel, har et h-indeks på 10.

I denne situation scorer forsker B betydeligt højere karakter på h-indekset end forsker A, selvom A har størst gennemslagskraft og indflydelse på andre forskere. Spørgsmålet er derfor, hvilken type forsker vi vil have, udfordrer Lorna Wildgaard.

Indikatorerne påvirker forskningens retning

Indikatorerne er med til at påvirke, hvordan forskere arbejder, og hvem der får lov at forske, og det er ikke altid hensigtsmæssigt, siger Peter Dahler-Larsen.

Et af de mest brugte værktøjer til at evaluere forskere, er h-indekset, men indekset vægter produktivitet højere end kvalitet, og det kan føre til, at betydningsfuld forskning ikke får samme anerkendelse. Derudover kan man ikke sammenligne forskeres karakterer fra forskellige videnskabelige discipliner, da nogle discipliner fører til langt flere udgivelser og citationer end andre, viser den nye afhandling. (Foto: <a>Shutterstock&lt;/a&gt;)

»Forskere ændrer deres adfærd, så de klarer sig bedre i forhold til den indikator, de bliver målt på, når de kan se, at det har betydning for deres virke som forskere. Hvis produktivitet er i højsædet, som det er tilfældet med h-indekset, så søger forskere at bruge mindre tid på den enkelte undersøgelse og i stedet udgive flere artikler,« siger Peter Dahler-Larsen.

»Det kan føre til flere publikationer på sigt, som ikke nødvendigvis er bedre. Det vil også gå ud over publikationer på dansk, fordi små sprogområder har lavere citathyppighed. Vi bliver derfor nødt til at undersøge og diskutere, hvordan brugen af indikatorer påvirker forskningen.«

Indikatorerne kan have betydning for, hvem der får støtte, men det er svært at vurdere, hvor stor den betydning er, siger forskningskonsulent Marianne Gauffriau. Hun rådgiver blandt andet forskere i, hvordan de bedst kan søge penge til deres forskningsprojekter, og hvilke forskningsindikatorer, de skal bruge.

»Det er helt klart en måde at kommunikere forskerens styrker på. Jeg anbefaler som regel forskeren at bruge en indikator, der får personen til at fremstå så stærkt som muligt. Hvis forskeren har et lavt h-indeks, anbefaler jeg dem at bruge en anden indikator. På den måde har indikatorerne selvfølgelig en betydning for, hvem der får støtte, og hvem der ikke gør,« siger Marianne Gauffriau, forskningskonsulent på det Sundhedsvidenskabelige Fakultet ved Københavns Universitet

»De danske fonde lægger typisk ikke op til, at forskeren skal vedlægge en bestemt indikator. Det Frie Forskningsråd siger for eksempel, at det op til ansøgeren selv, om personen indskriver sit h-indeks i ansøgningen,« siger Marianne Gauffriau.

H-indekset er blot ét kriterie af mange

H-indekset er bare et evalueringskriterium ud af mange, siger Ole Hammerslev, der er rådsformand for Det Frie Forskningsråds støtteområde ’samfund og erhverv’ (FSE). De giver blandt andet støtte til forskere og forskningsprojekter fra økonomi, statskundskab og sociologi. 

»Forskningsindikatorerne er blot ét kriterium blandt mange, som vi i FSE evaluerer ansøgeren på. Projektansøgningen vejer klart tungest og dernæst CV’et generelt. Men vi ser på indikatoren, når forskeren vedlægger den,« siger Ole Hammerslev og fortsætter:

»Jo højere placeret i forskningshierarkiet ansøgeren er, for eksempel hvis det er en forskningsleder, jo mere vægt ligger vi på indikatorer. Men man får ikke forskningsmidler fra os, bare fordi man har et højt h-indeks. Det samlede billede skal være der, og vi respekterer klart, at der er nogle fagområder, som ikke opererer med h-indeks. Forskerne er også velkomne til at vedlægge andre indikatorer,« siger Ole Hammerslev, der selv er professor på Juridisk Institut ved Syddansk Universitet.

Nyt manifest sætter en standard

I slutningen af 2015 udgav en gruppe af forskere et manifest, der skulle tjene som vejledning til at vurdere og evaluere forskere og institutter med - det såkaldte Leiden Manifesto for Research Metrics. 

Man kan som forsker blive målt og vejet, uden man er enig i kriterierne, og uden man kan komme med nogle indsigelser.

Professor Peter Dahler-Larsen

»Leiden-manifestet er ikke en lov, som folk automatisk vil følge, men det er en hjælp til, hvordan man skal bruge de her indikatorer, og det er en glimrende start. Man kan så bare håbe, at folk begynder at følge manifestet stringent,« siger Peter Dahler-Larsen.

Det Frie Forskningsråds Ole Hammerslev kendte ikke Leiden-manifestet på forhånd, men synes det er et vigtigt projekt. 

»Ved et hurtigt kig, er det interessant og et vigtigt projekt. De har en væsentlig pointe i, at indikatorerne er nogle sociale konstruktioner med fordele og ulemper. Dem må vi sørge for at være opmærksomme på,« siger Ole Hammerslev, der vil kigge nærmere på manifestet.

Stadig mange uløste problemer ift. at måle forskere

Selvom Leiden-manifestet er en god start, er der stadig mange uløste problemer ved at måle på forskere. De fleste er enige om, at man kun skal sammenligne forskere indenfor samme felt, men selv her er der problemer, vurderer Peter Dahler-Larsen.

»Det er på ingen måde indlysende, hvad det vil sige at være fra samme felt. Der er nogle felter, hvor der er faglig strid om, hvordan man definerer feltet. Political science i USA er for eksempel defineret på en anden måde end fagområdet er i Danmark.«

»Det kan betyde, at man måske drejer fagene, så man mister diversitet. Det er i sidste ende problemer, man skal løse og diskture, hvis man vil bruge indikatorerne på en meningsfuld måde,« siger Peter Dahler-Larsen.

Universiteter og politikere har brug for vejledning

Vi behøver ikke at droppe idéen med at måle på forskere og institutter helt. Man skal dog sørge for at kombinerer flere gode metoder, hvis man ønsker et nuanceret og brugbart resultat, vurderer Lorna Wildgaard

»Man skal aldrig rangere en forsker efter en enkelt indikator, og man skal slet ikke bruge metoder, der bygger på h-indekset. Der er resultatet alt for påvirket af forskerens antal af udgivelser. Der er mange bedre muligheder. Derudover skal indikatorerne bruges som supplement til interviewet af forskeren, og så burde man nok læse forskningen, som personen har lavet for at være sikker,« siger Lorna Wildgaard, der selv anbefaler, at man bruger IQP-indekset - ‘index of quality and productivity’.

For at bruge IQP-indekset skal den enkelte forsker selv vælge, hvilke af sine forskningsartikler han eller hun skal måles på. Så sammenlignes antallet af citationer forskeren har fået på artiklerne med det forventede antal af citationer, man vil få i de tidsskrifter, hvor forskerens artikler er udgivet.

»Det giver et ret godt indtryk af, hvor forskeren ligger i feltet i forhold til kvalitet,« siger Lorna Wildgaard.

Indikatorerne forsøger at sætte god videnskab på formel

Indikatorerne sætter en værdi for, hvad der er god videnskabelighed, selvom man er langt fra enige om, hvad god videnskab er, konstaterer Peter Dahler-Larsen.

»Mange har den opfattelse, at indikatorerne kan være en god og objektiv måde at vurdere, hvem der skal have støtte til at forske, og hvem der ikke skal, men så simpelt er det ikke.«

Det er lidt som at diskutere, hvad der er god kunst, fortsætter Peter Dahler-Larsen.

»En filosof, biolog og en samfundsvidenskabsmand vil formentlig definere formålet med videnskab forskelligt,« siger Peter Dahler Larsen.

»I nogle tilfælde handler god videnskab om at finde sandheden for sandhedens skyld, uanset om det måtte have økonomisk og teknologisk nytte. I andre tilfælde kan man argumentere for, at god videnskab skal bidrage til, at vi kan forstå og fortolke vores tilværelse, som filosofi søger at gøre det. Til sidst kan der være en idé om, at god videnskab er den videnskab, der fører til teknologiske og økonomiske gevinster.«

Derfor er der heller ikke en enkelt indikator, som giver et klart billede af, hvad god en forsker er, vurderer Peter Dahler-Larsen

»Sådan et kriterium findes ikke, før vi bliver enige om det, og lige nu er der ikke sådan en bred enighed.«