Annonceinfo

Når der går administratitis i forskningsevalueringen

Politikere elsker ordet kvalitet, særligt i sundhedsvæsnet. Vi skal have høj kvalitet i patientbehandlingen. Det kan man som læge kun være enig i. Men hvad er kvalitet i patientbehandlingen og hvordan måles det? Til det har politikerne sat diverse administratorer til at udvikle sindrige målesystemer. Vi måler alverdens ting og sager, eksempelvis hvor meget sæbe hospitalsmedarbejderne bruger, i håbet om at det er et udtryk for kvalitet. Sidste år beskrev børnelægen Morten Staberg i en kronik i Politiken nogle eksempler på, at kvalitetsmåling i sundhedsvæsnet undertiden har karakter af målingsvanvid. 

Den politisk målebegejstring har også indsneget sig i sundhedsforskningen. For at sikre at forskningsmidlerne kommer de rigtige steder hen udviklede Ministeriet for Videnskab, Teknologi og Udvikling i 2009, som de fint formulerer det “en bibliometrisk forskningsindikator, der har til formål at fremme publicering i de mest anerkendte udgivelseskanaler og styrke kvaliteten af dansk forskning”. Det lyder jo alt sammen meget fint, men hvad er det egentlig man måler, og styrker det kvaliteten?

Autoritetslisten
Ministeriet har nedsat 67 faggrupper, bestående af i alt ca. 350 forskere indenfor alle tænkelige forskningsområder, lige fra lingvistik til retsmedicin. Hver faggruppe har så til opgave at udarbejde en såkaldt autoritetsliste over forskningsfelternes tidsskrifter. Listen inddeler tidsskrifterne i to niveauer, hvor niveau 2 er højt niveau og niveau 1 normalt niveau. Tidsskrifter som ikke er på listen tæller således ikke med. En forskningsinstitutions publikationer i et givet år omregnes så til et antal point, som bruges til at beregne en del af finansieringsmodellen for universiteternes basismidler. I 2012 er 25% af de nye basismidler baseret på modellen. Indikatoren skal være med til at motivere forskere inden for alle områder til at udgive i de mest anerkendte og mest prestigefyldte tidsskrifter.

Ser vi på de Sundhedsvidenskabelige Fakulteter for Københavns Universitet, Aarhus Universitet,  Syddansk Universitet og Aalborg Universitet, fik de hver i 2011 henholdsvis ca. 53%, 29%, 15%  og 4% af de samlede point. En minimal procentmæsig ændring fra 2009 tallene på ca. 50%, 30% og 16% og 4%, med en lille fremgang for Københavns Universitet på bekostning af de andre universiteter. Men i kroner og ører formentlig ikke ubetydeligt.

Ændres forskernes adfærd?
Ministeriet skriver at indikatoren vil bevirke, at forskerne prioriterer at publicere de bedste steder og at en lignende model i Norge samlet set har betyder at forskerne har øget publicering i niveau 1 og 2 tidsskrifter. Ministeriet konkluderer at indikatoren dermed virker efter hensigten, men kan man virkelig sige det?

At bestemme årsags-og virkningsmekanismer er en kompliceret sag, og jeg har før på bloggen skrevet omkring den ukontrollerede erfaring. Bare fordi det holder op med at gøre ondt når man puster på en finger man lige har slået, er det jo ikke ensbetydende med at det virker at puste. Måske var det holdt op alligevel. Man bliver simpelthen nødt til at have en kontrolgruppe. Tilsvarende gælder det for ændinger i publicering af tidsskrifter. Hvis der i perioden inden man indførte indikatoren, var en tilsvarende trend i øget publikation af forskningsresultater de gode steder, ja så skyldes den nuværende stigning næppe indikatoren.

Kigger vi på tallene fra de Sundhedsvidenskabelige Fakulteter i de fire danske byer, ja så kan det måske få politikerne til at klappe i hænderne. Samlet set er der sket en stigning fra i alt 5.159 point i 2009 til 5.355 i 2011, altså en fremgang på 3,8%. Desværre findes der ikke danske data fra før 2009 og derfor ved vi ikke om denne fremgang var en general trend.

De norske data
Kaster vi derimod blikket mod Norge, ja så etablerede de i 2005 en lignende indikatormodel, som har været stor inspirationskilde for den danske model. En af hovedmændene bag de norske og danske modeller, forskeren Gunnar Sivertsen har sammen med sin kollega Jesper Schneider udgivet en rapport, der evaluerer den danske indikator. Rapporten er aktuelt i høring og er allerede modtaget med kritiske røster blandt danske forskere, fordi Gunnart Sivertsen jo netop har været med til at udvikle både den norske og danske model. Rapporten anklages for ikke at være uafhængig og Sivertsen for inhabil.

Ser vi på rapportens data, ja så ser vi at trenden for øget publicering ihvertfald er tilstede fra 2005 og frem, formentlig før, men det findes der ikke data for (se ovenstående figur - klik her for stor version af figuren). Ligeledes er fordelingen af artikler i niveau 1 og 2 tidsskrifter nogenlunde ens over hele perioden, med ca. en femtedel i niveau 2.

Denne fremgang skyldes således næppe indførelsen af indikatoren i Norge. For det første tager det mindst 1-2 år fra en lægevidenskabelig forskningsidé opstår til resultaterne er publiceret. Først skal der udarbejdes en protokol, så skal studiet udføres og data indsamles, så skal data analyseres og tilsidst skal det sammenskrives til en artikel, som så skal indsendes og gennemgå peer review. Ikke sjældent sker der det, at artiklen  skal forbi flere tidsskrifter før den publiceres. For det andet blev sammenkoblingen mellem bevillingsstruktur og indikator først indført i Norge i 2006. Altså ville man tidligst kunne forvente at se en effekt i 2007 eller 2008, en effekt der altså er udeblevet. Det er således forkert når Ministeriet for Videnskab, Teknologi og Udvikling på deres hjemmeside skriver at indikatoren virker efter hensigten i Norge.

Måler vi det rigtige?
En anden ting er hvad vi egentlig måler. Publicering i et niveau 2 tidsskrift giver 3 point og i et niveau 1 tidsskrift 1 point. Men er det sådan at en artikel i et niveau 2 tidsskrift er 3 gange bedre end publicering i et niveau 1 tidsskrift?

En af indikatorens kritikere, Professor Jens Christian Djurhuus, skrev et læserbrev i Ugeskrift for Læger i 2010 med titlen ” Pengene følger pointene, og min urin frøs til is”. Her beskrev han hvordan det respekterede urinvejskirurgiske tidsskrift, Journal of Urology, var havnet i det knap så fine niveau 1, hvorimod det nærmest ukendte tidsskrift International Brazilian Journal of Urology var havnet i niveau 2. I 2011 udgaven af autoritetslisten har de to tidsskrifter heldigvis byttet niveau, men spørgsmålet er om der eksisterer lignende problemer for andre tidsskrifter.

Impact factors
Et af de mest benyttede internationale mål for lægevidenskabelige tidsskrifters prestige er journal impact factors som udgives årligt i Journal Citation Reports af forlaget Thomson Reuters. Kort sagt beskriver impact factors, hvor hyppigt artikler i et tidsskrift citeres og jo hyppigere citation, des større prestige. Således har det anerkendte New England Journal of Medicine en 2010 impact factor på 53,5, hvorimod det knap så kendte danske Danish Medical Bulletin har 1,6. Man kan diskutere om citation er et godt mål for kvalitet, og impact factoren har da også jævnligt været kritiseret. Men det er alligevel interessant at sammenligne den danske indikator med impact factors for de enkelte tidsskrifter, fordi impact factors er det system forskerne selv bruger, når de skal sammenligne hinandens meritter.

To top 10 tidsskrifter er ikke på autoritetslisten
Ser vi på top 10 impact factor listen for 2010, under kategorien “Medicine, General & Internal”, hvor lægevidenskabens toptidsskrifter er indekseret, ser vi at New England Journal of Medicine ligger på 1. pladsen med sine 53,5 og Cochrane Database of Systematic Reviews på 10. pladsen med 6,2. Sammenligner vi top 10 med autoritetslisten for 2010, ser vi at otte af tidsskrifterne fra top 10 ligger i niveau 2 (det fine) og et af dem, nr. 10, ligger på niveau 1 (det normale). Og et andet af verdens førende internationale lægevidenskabelige tidsskrifter, Canadian Medical Association Journal (9. pladsen) med en impact factor på 9,0, er tilsyneladende ikke fint nok til at komme med på den danske autoritetsliste. Tilsvarende er tidskriftet PLoS Medicine (5. pladsen), med en impact factor på 15,6 i 2010, godt nok med som niveau 2 på 2010 autoritetslisten, men i 2009 var det nede i niveau 1 og i 2011 er det helt røget ud af listen! Til gengæld er det tyske Internist, med en sølle impact factor på 0,3 og helt nede på en 121. plads med som niveau 1 i autoritetslisten. Det virker temmeligt meningsløst.

En ting er sikkert, vi har med indførelsen af den bibliometriske indikator indført et instrument som kræver et vist ressourceforbrug i administrative omkostninger. Om instrumentet så er i stand til at måle og øge kvaliteten af den danske forskning, ja det er ikke sikkert.

Indlæg slettet

Hold tonen.

Redaktionen

Indikatorer kan forbedres

Fra nu af synes jeg, der skal komme debattør, som under hver artikel vil fokusere på stavningen i indlæg, og så filosofere over den potentielle betydning for debatter. Eller debattør kunne vælge hver gang at spørge forfatteren om, hvordan de blev kapret til videnskab.dk.

Pointen er at ingen indlæg - so far - reelt handler om balancen ml forskellige typer registreringer osv. Vi læger (såsom Andreas Lundh og mig) har jo blandt andet via Lægeforenimgen argumenteret for bedre kvalitetsindikatorer. Der er vist ingen (ikke pensionsmodne), som argumenterer for manglende registreringer, da registreringer ofte er værdifulde, hvis de er lette er taste ind, og siger noget væsentligt. Og så er der dem af dem, som brugt over hele linien kommer til at virke som tidsspilde på nogle afdelinger.. Adskillige komiske eksempler er nævnt, når alle skal registrere det samme på nogle områder, hvor det så er relativt for meget tid der går med at dokumentere, at der er taget stilling til evt barrierer for kommunikation, kram, smerter, fald, socialrådgiverbehov osv osv, selvom man havde 30 minutter, hvorefter personer gik sin vej, for at blive tvangsindlagt 3 måneder efter, da psykosen ikke var gået over af sig selv... Vi kan alle komme med adskillige eksempler fra dagligdagen, men der er nu også noget godt ved det her arbejde, og selve det at justere selve indikatorerne mv så de måler på det mest relevante må være mindre besværligt. Nu er vi i alt fald vænnet til, at dokumentere i hoved og r.., og at det skifter ofte, hvad vi skal registrere, så det er blevet en del af det naturlige arbejde, at hive stablen af tjeklister frem ; )

Mvh Dorte

Sortere information.

Du var ellers startet godt Dorthe, men den resterende halve del var ikke konkret (og med person angreb) i forhold til artiklen her., så det kommenteres ikke, for så afspores debatten igen.
Det er naturligvis bl.a. politikerne der sorterer informationerne, og træffer afgørelser. Derudover er det vigtigt, at det politiske bagland bliver tilstrælkkelig informeret også omkring de forskellige forsknings tiltag, således deres synspunkter også har været indraget i beslutningsprocessen .

Demokratisk debat.

Det kommer jo ikke som nogen overraskelse Dorte Wulff Dahl, at du mener at problemstillingerne omkring forskningsevaluering måske er undervejs for at blive løst (måske i en snæver kreds) blandt forskere og betaler (politikere og medicinalindustri) og at resultatet af dette kun mangler, at blive publiceret så det vinder større forståelse blandt det politiske bagland.
Jeg derimod ser forskningsevaluering som en væsentlig del af den demokratiske debat og deraf følgende påvirkning f.eks. om mål og midler, også omkring bæredygtighed.

Hi hi

Jeg tror sådan set, der foregår ret alvorlige diskussioner om det både blandt forskere og betalere. Det er næppe nødvendigt, at udeforstående gør dem opmærksom på, at det er lidt kompliceret med at vælge strategier. Det er så fint nok når professorerne føler sig lidt pressede til at tage stort nok initiativ til forskning på niveau, som vil kunne publiceres i nogle af de tunge tidsskrifter, og så kommer næste problematik med at gøre denne opgave mere gennemskuelig for andre også. Vi vil jo gerne være en del af de meget anerkendte forskningsmiljøer, og det er jo fint. Det glider ikke nødvendigvis altid lige fint uden incitamenter, kan jeg forestille mig.

Jeg har ærlig talt også svært ved at se relevansen ved, når OKK vil oplyse om, hvem han som privatperson vil kontakte desangående, og det medfører i alt fald kommentarer nu og da...

Mvh Dorte

Et påtrængende problem

Tak for en tiltrængt artikel Anders Lundh.
Som politisk aktiv, vil jeg fremover være mere opmærksom på hvad det bliver undersøgt, med hvilket formål og om det giver et tilstrækkelig dækkende resultat, herunder også om det er anvendt samme målemetoder.
De politikere der har en afgørende indflydelse på denne forskning må på banen, således at det kan gives nogle regler for forskningsevaluering.
Her kunne politikerne jo spørge forskerne, om de umiddelbart havde nogle forslag til løsning der kunne overvejes?

Log ind eller opret konto for at skrive kommentarer

Seneste blogindlæg

Udgiv indhold
  • Når der går administratitis i forskningsevalueringen

    Politikere elsker ordet kvalitet, særligt i sundhedsvæsnet. Vi skal have høj kvalitet i patientbehandlingen. Det kan man...
  • Sådan kommer patienterne på coke

    Forestil dig at du er direktør for Coca Cola. Du har et produkt som er verdens mest værdifulde brand og siges at være et...
  • Forskningsdetektiverne

    Det var en torsdag eftermiddag i oktober. Jeg befandt mig i konferencebygningen Palacio de Congresos de Madrid på vej til en workshop...
  • At være eller ikke være ’syg’

    I mit sidste blogindlæg omtalte jeg ’sygdommen’ osteoporose som en risikotilstand. Altså en symptomfri tilstand,...

Andreas Lundh

Blogger om:

Jeg forsøger at kaste lys over problemer inden for den sundhedsvidenskabelige forskning.

Andre bloggere i Sund Skepsis-bloggen:
Anders W. Jørgensen
Lasse T.Krogsbøll
Jeppe Schroll


Skribenternes indlæg er udtryk for deres personlige holdninger, og deles ikke nødvendigvis af Det Nordiske Cochrane Center, Cochrane-samarbejdet eller Rigshospitalet.
Annonceinfo