Populære værktøjer til at evaluere forskere er misvisende

Forskere bliver nøje målt og vejet på deres videnskabelige formåen, inden de får støtte til deres næste forskningsprojekt. Men der er ingen fast procedure for, hvordan det skal gøres.

Mange fonde og universiteter læner sig dog op af bestemte evalueringsværktøjer, de såkaldte bibliometriske indikatorer, der kan give et indtryk af forskerens produktivitet og indflydelse.

Men disse indikatorer kan være problematiske, viser ny ph.d.-afhandling.

Hvis man ikke har en bevidst strategi for, hvilke værktøjer man bruger på de enkelte forskere, risikerer man nemlig at få et misvisende billede af, hvor dygtig og værdifuld forskeren egentlig er inden for sit felt, konkluderer Lorna Wildgaard i sin ph.d.-afhandling fra Københavns Universitet.

»Metoderne giver ikke et særlig klart billede af, hvilken forsker der gør det bedst, hvis forskerne kommer fra forskellige discipliner som fysik og filosofi. I virkeligheden kan man sige, at metoderne i højere grad vildleder end vejleder. Evalueringssystemet bliver sjældent vurderet selv, men måske det er på tide,« siger Lorna Wildgaard.

Hun er i dag postdoc på Det Informationsvidenskabelige Akademi ved Københavns Universitet.

Afhandlingen understreger væsentligt problem

Det er ret problematisk, at vi ikke har bedre evalueringsværktøjer, da evalueringen har stor betydning for, hvilken forskning der bliver lavet, siger professor Peter Dahler-Larsen, der selv forsker i evaluering af forskere og forskningsinstitutter.

»Det er en spændende og systematisk afhandling, der understreger et væsentligt problem. Lige nu bruger fonde og universiteter værktøjerne uden at være helt klar over konsekvenserne. Det er ret problematisk, da det er med til at styre forskningen i en retning, vi måske ikke ønsker,« siger Peter Dahler-Larsen, professor på Institut for Statskundskab ved Københavns Universitet. Han har ikke bidraget til afhandlingen.

Metoderne er stadig under udvikling

Lorna Wildgaard har netop forsvaret og fået godkendt sin ph.d.-afhandling, hvor hun har gennemgået 108 forskellige indikatorer som bruges til at vurdere forskere med af blandt andre politikere, fonde og universiteter.

Som en del af afhandlingen har hun anvendt hver af de 108 indikatorer på over 2.000 forskere fra universiteter verden over og sammenlignet resultatet med forskernes CV, for at se om resultatet også afspejlede, forskerens præstige, og om rankering med forskellige indikatorer kunne sammenlignes på tværs af videnskabelige discipliner.

Samtidig undersøgte hun, hvordan matematikken bag de enkelte indikatorer var opbygget for at se, hvad matematikken var designet til at regne på.

Resultatet viste, at:

• Indikatorerne ikke giver et troværdigt billede af, hvor højt forskeren ligger placeret i forskningshierarkiet på tværs af disciplinerne.
  
• Indikatorerne typisk laver et statistisk gennemsnit på forskerens antal af udgivelser og citationer, der afspejler hvor meget andre forskere forholder sig til personens forskning, og hvor synlig forskeren er i den internationale database, der indekserer forskere på baggrund af specialitet og sprog. Problemet er dog, at antallet af artikler og citationer ofte udgør et for lille antal til, at man kan lave statistik på det.
  
• De fleste indikatorer oprindeligt er tænkt som matematiske modeller, andre skulle arbejde videre på, og ikke som færdige metoder til at evaluere forskere med.
  
• Cirka to tredjedele af de 108 indikatorer baserer sig på det såkaldte h-indeks (se faktaboks), der giver en slags karakter ud fra, hvor meget forskeren udgiver og bliver citeret af andre forskere.

H-indekset vægter produktivitet over kvalitet

Det er problematisk at så mange metoder bruger h-indekset, da indekset vægter produktivitet højere end kvalitet, og det kan føre til, at betydningsfuld forskning ikke får samme anerkendelse, konkluderer Lorna Wildgaard.

»Hvis man bruger h-indekset som indikator på en forskers kvaliteter, skal man blandt andet overveje, hvorfor man værdsætter produktivitet fremfor kvalitet. Derudover kan man ikke sammenligne forskeres karakterer fra forskellige videnskabelige discipliner, da nogle discipliner fører til langt flere udgivelser og citationer end andre,« siger Lorna Wildgaard.

Et eksempel kan illustrere pointen:

Hvis en forsker A udgiver 3 artikler, der hver bliver citeret 60 gange af andre forskere, så har forskeren et h-indeks på 3. Mens forsker B, der i samme periode udgiver 10 artikler og bliver citeret 11 gange for hver artikel, har et h-indeks på 10.

I denne situation scorer forsker B betydeligt højere karakter på h-indekset end forsker A, selvom A har størst gennemslagskraft og indflydelse på andre forskere. Spørgsmålet er derfor, hvilken type forsker vi vil have, udfordrer Lorna Wildgaard.

Indikatorerne påvirker forskningens retning

Indikatorerne er med til at påvirke, hvordan forskere arbejder, og hvem der får lov at forske, og det er ikke altid hensigtsmæssigt, siger Peter Dahler-Larsen.

»Forskere ændrer deres adfærd, så de klarer sig bedre i forhold til den indikator, de bliver målt på, når de kan se, at det har betydning for deres virke som forskere. Hvis produktivitet er i højsædet, som det er tilfældet med h-indekset, så søger forskere at bruge mindre tid på den enkelte undersøgelse og i stedet udgive flere artikler,« siger Peter Dahler-Larsen.

»Det kan føre til flere publikationer på sigt, som ikke nødvendigvis er bedre. Det vil også gå ud over publikationer på dansk, fordi små sprogområder har lavere citathyppighed. Vi bliver derfor nødt til at undersøge og diskutere, hvordan brugen af indikatorer påvirker forskningen.«

Indikatorerne kan have betydning for, hvem der får støtte, men det er svært at vurdere, hvor stor den betydning er, siger forskningskonsulent Marianne Gauffriau. Hun rådgiver blandt andet forskere i, hvordan de bedst kan søge penge til deres forskningsprojekter, og hvilke forskningsindikatorer, de skal bruge.

»Det er helt klart en måde at kommunikere forskerens styrker på. Jeg anbefaler som regel forskeren at bruge en indikator, der får personen til at fremstå så stærkt som muligt. Hvis forskeren har et lavt h-indeks, anbefaler jeg dem at bruge en anden indikator. På den måde har indikatorerne selvfølgelig en betydning for, hvem der får støtte, og hvem der ikke gør,« siger Marianne Gauffriau, forskningskonsulent på det Sundhedsvidenskabelige Fakultet ved Københavns Universitet

»De danske fonde lægger typisk ikke op til, at forskeren skal vedlægge en bestemt indikator. Det Frie Forskningsråd siger for eksempel, at det op til ansøgeren selv, om personen indskriver sit h-indeks i ansøgningen,« siger Marianne Gauffriau.

H-indekset er blot ét kriterie af mange

H-indekset er bare et evalueringskriterium ud af mange, siger Ole Hammerslev, der er rådsformand for Det Frie Forskningsråds støtteområde ’samfund og erhverv’ (FSE). De giver blandt andet støtte til forskere og forskningsprojekter fra økonomi, statskundskab og sociologi.

»Forskningsindikatorerne er blot ét kriterium blandt mange, som vi i FSE evaluerer ansøgeren på. Projektansøgningen vejer klart tungest og dernæst CV’et generelt. Men vi ser på indikatoren, når forskeren vedlægger den,« siger Ole Hammerslev og fortsætter:

»Jo højere placeret i forskningshierarkiet ansøgeren er, for eksempel hvis det er en forskningsleder, jo mere vægt ligger vi på indikatorer. Men man får ikke forskningsmidler fra os, bare fordi man har et højt h-indeks. Det samlede billede skal være der, og vi respekterer klart, at der er nogle fagområder, som ikke opererer med h-indeks. Forskerne er også velkomne til at vedlægge andre indikatorer,« siger Ole Hammerslev, der selv er professor på Juridisk Institut ved Syddansk Universitet.

Nyt manifest sætter en standard

I slutningen af 2015 udgav en gruppe af forskere et manifest, der skulle tjene som vejledning til at vurdere og evaluere forskere og institutter med - det såkaldte Leiden Manifesto for Research Metrics.

Man kan som forsker blive målt og vejet, uden man er enig i kriterierne, og uden man kan komme med nogle indsigelser.

Professor Peter Dahler-Larsen

»Leiden-manifestet er ikke en lov, som folk automatisk vil følge, men det er en hjælp til, hvordan man skal bruge de her indikatorer, og det er en glimrende start. Man kan så bare håbe, at folk begynder at følge manifestet stringent,« siger Peter Dahler-Larsen.

Det Frie Forskningsråds Ole Hammerslev kendte ikke Leiden-manifestet på forhånd, men synes det er et vigtigt projekt.

»Ved et hurtigt kig, er det interessant og et vigtigt projekt. De har en væsentlig pointe i, at indikatorerne er nogle sociale konstruktioner med fordele og ulemper. Dem må vi sørge for at være opmærksomme på,« siger Ole Hammerslev, der vil kigge nærmere på manifestet.

Stadig mange uløste problemer ift. at måle forskere

Selvom Leiden-manifestet er en god start, er der stadig mange uløste problemer ved at måle på forskere. De fleste er enige om, at man kun skal sammenligne forskere indenfor samme felt, men selv her er der problemer, vurderer Peter Dahler-Larsen.

»Det er på ingen måde indlysende, hvad det vil sige at være fra samme felt. Der er nogle felter, hvor der er faglig strid om, hvordan man definerer feltet. Political science i USA er for eksempel defineret på en anden måde end fagområdet er i Danmark.«

»Det kan betyde, at man måske drejer fagene, så man mister diversitet. Det er i sidste ende problemer, man skal løse og diskture, hvis man vil bruge indikatorerne på en meningsfuld måde,« siger Peter Dahler-Larsen.

Universiteter og politikere har brug for vejledning

Vi behøver ikke at droppe idéen med at måle på forskere og institutter helt. Man skal dog sørge for at kombinerer flere gode metoder, hvis man ønsker et nuanceret og brugbart resultat, vurderer Lorna Wildgaard

»Man skal aldrig rangere en forsker efter en enkelt indikator, og man skal slet ikke bruge metoder, der bygger på h-indekset. Der er resultatet alt for påvirket af forskerens antal af udgivelser. Der er mange bedre muligheder. Derudover skal indikatorerne bruges som supplement til interviewet af forskeren, og så burde man nok læse forskningen, som personen har lavet for at være sikker,« siger Lorna Wildgaard, der selv anbefaler, at man bruger IQP-indekset - ‘index of quality and productivity’.

For at bruge IQP-indekset skal den enkelte forsker selv vælge, hvilke af sine forskningsartikler han eller hun skal måles på. Så sammenlignes antallet af citationer forskeren har fået på artiklerne med det forventede antal af citationer, man vil få i de tidsskrifter, hvor forskerens artikler er udgivet.

»Det giver et ret godt indtryk af, hvor forskeren ligger i feltet i forhold til kvalitet,« siger Lorna Wildgaard.