»Stærkt skråplan« at sætte citationer lig med kvalitet
Jo mere, jo bedre; både når det kommer til antallet af videnskabelige udgivelser og af citationer, lyder det fra en svensk-hollandsk forskerduo. Danske forskere er vildt uenige.
Studerende kvinde briller læser bibliotek studerer

Et studie fra 2016 har ramt en nerve hos flere danske forskere - mange citater er ikke nødvendigvis en indikator for kvaliteten, lyder det blandt andet. (Foto: Shutterstock)

Når forskere udgiver en videnskabelig artikel, gør de det ikke ud fra et tomt bagkatalog.

Historien kort
  • En svensk og en hollandsk forsker har udgivet et studie, hvor de konkluderer, at forskere, der udgiver mange artikler, også udgiver artikler af højere kvalitet.
  • De måler kvalitet på antallet af citationer for den enkelte artikel. Det kan man ikke, lyder det fra danske forskere.
  • Uenigheden er vigtig, fordi den nemt kan få politisk betydning.

De orienterer sig i den eksisterende forskning og vurderer, hvilke dele af litteraturen der er bedst og mest relevant for deres arbejde – og så refererer de til den i deres egen videnskabelige artikel. På den måde bliver de bedste artikler citeret mange gange. Citater er derfor en god målestok for en artikels kvalitet.

Det mener i hvert fald en svensk-hollandsk forskerduo, som for nylig argumenterede for, at forskere, der bliver citeret meget, derfor også skal belønnes meget; men dén udmelding møder stærk modstand fra en dansk forsker.

»Man er ude på et stærkt skråplan, hvis man blindt anerkender, at antallet af citationer fører til højere kvalitet. På den måde bliver citationer ophøjet til et mål i sig selv, og det er afgjort problematisk,« siger lektor David Budtz Pedersen, som arbejder ved Institut for Kommunikation, Aalborg Universitet.

»Citationer er ikke neutral målestok«

Makkerparret Sandström og Besselaars udmelding kom i forbindelse med udgivelsen af en videnskabelig artikel i PlosOne sidst i 2016. I artiklen ’Quantity or Quality? The Importance of Publishing Many Papers’ argumenterer de for, at forskere, der udgiver mange videnskabelige artikler, også udgiver videnskabelige artikler af en højere kvalitet.

Mistænkelige citationer

Det anerkendte Thomson Reuters har gentagne gange suspenderet tidsskrifter fra deres årlige ’Journal Citation Report’ for mistænksom citationsadfærd.

Første gang i 2012, hvor 51 tidsskrifter blev nægtet adgang til listen på grund af uheldig citationsadfærd, mens 4 tidsskrifters opførsel direkte blev beskyldt for at »minde om kartellignende adfærd«.

I artiklen – som også møder kritik fra andre danske forskere – bliver antallet af citationer brugt som en indikator for nye videnskabelige gennembrud. Og det er først og fremmest denne antagelse, at mange citater er lig med væsentlige videnskabelige fremskridt, som David Budtz Pedersen finder »provokerende«.

»Citationer er ikke en neutral målestok for videnskabelig kvalitet, og der findes efterhånden ret mange studier, som viser, at der bliver lavet deciderede handler med citationer, og at mange citationer ved nærmere eftersyn er selvcitationer, altså citater fra egne artikler,« siger David Budtz Pedersen og refererer blandt andet til et studie fra 2016, hvor forfatterne konkluderer, at faren for, at de såkaldte ’citationskarteller’ eksisterer, er overhængende – omend svære at påvise.

Artikler citeres af mange grunde

Ifølge David Budtz Pedersen kan der også være andre faktorer, der påvirker, hvor mange citationer en artikel får. Det kan eksempelvis have betydning, om tidsskriftet vælger at sætte artiklen på forsiden, hvor lang titlen på studiet er, og hvor »nemt fordøjeligt budskabet er«.

Videnskab.dk har tidligere beskrevet, hvordan presset for at udgive mange artikler kan presse forskere ud i såkaldt ’questionable research practice’, hvor de eksempelvis overciterer et tidsskrift, fordi de håber at få deres artikel udgivet i det.

»Vi ved, hvordan citationer kan geares, og i artiklen antager forskerne, at citationsmønstret er fuldstændig ureguleret. Et frit marked, hvor forskere citerer de artikler, de synes er mest interessante. Men i virkeligheden bliver artikler citeret af mange andre grunde,« siger David Budtz Pedersen.

Farligt at belønne ud fra citationer

Sandström og Besselaar mener selv, at deres resultater kan og bør få politisk betydning, sådan at forskere, der producerer mange højtciterede artikler, også bliver belønnet mere i form af flere forskningsmidler. Men det er en farlig tankegang, mener David Budtz Pedersen.

I Danmark fordeles universiteternes basismidler blandt andet ud fra Den bibliometriske forskningsindikator (BFI), som skal opgøre universiteternes forskningsaktivitet ud fra antallet af publikationer og citationer.

I artiklen her fortæller DTUs rektor Anders Overgaard Bjarklev, at det aldrig var meningen, at BFI skulle »helt ud på den enkelte forskers bord.«

Stod det til den svensk-hollandske forskerduo Sandström og Besselaar skulle de meget produktive forskere - som i deres optik producerer artikler af højere kvalitet - omvendt netop belønnes mere direkte.

Læs mere om BFI her.

»Hvis man udelukkende vurderer videnskabelig kvalitet ud fra citationer, ser man bort fra andre indikatorer, som er vigtige for forskningen. Forskerne vil spekulere i, hvordan de kan få flere citationer, for eksempel ved at arbejde på forskningsproblemer, som er nemt genkendelige for andre, og som derfor er mere citérbare. Belønner man udelukkende citationer, vil det betyde, at forskerne jagter den videnskabelige anerkendelse i stedet for at løse vigtige samfundsproblemer som eksempelvis klima og sundhed.«

I artiklen ’Forskere advarer: Grundforskningsboblen er på bristepunktet’ beskriver filosof Claus Strue Frederiksen desuden, hvordan forskernes øvrige opgaver risikerer at blive nedprioriteret, når deres karrierer afhænger af antallet af publicerede artikler og citationer.

»Du kan ikke skrive i en fondsansøgning, at du bruger meget tid på at undervise - det lyder næsten fjollet at sige, men det er faktisk dybt problematisk,« udtalte Claus Strue Frederiksen, som er en ekstern lektor ved Institut for Medier, Erkendelse og Formidling på Københavns Universitet, i den forbindelse.

Forfatternes tilhørsforhold

Ulf Sandström er gæsteprofessor i teknik og videnskabsstudier ved Afdeling for Industriel Økonomi og Ledelse ved ’Kungliga Tekniska Högskolan’, som er et teknisk universitet i Stockholm. Hans forskning er fokuseret på politiske spørgsmål i styring af forskningen.

Peter van den Besselaar er professor ved Vrije Universitet i Amsterdam ved Afdeling for Organisationsvidenskab og Netværk. Hans forskning fokuserer på organisering, styring og dynamik i videnskaben.

Analytikere: Metoden er mangelfuld

I artiklen ’Fører høj kvantitet til høj kvalitet i forskningen?’ argumenterer to andre danske forskere, seniorforsker Kaare Aagaard og professor Jesper Schneider fra Dansk Center for Forskningsanalyse på Aarhus Universitet, ligeledes for, at det er problematisk at sætte lighedstegn mellem citationer og kvalitet.

De to mener dog også at kunne redegøre for nogle metodiske problematikker ved Sandström og Besselaars artikel, som er en analyse af 50.000 svenske forskeres videnskabelige publikationer.

»Det helt fundamentale problem med analysen er, at der fuldstændigt mangler en reel kausalanalyse, som klarlægger den påståede sammenhæng mellem den uafhængige variabel (produktivitet) og den afhængige variabel (antallet af højt citerede artikler),« skriver de to forskere blandt andet.

En kausalanalyse er en analyse, hvor man finder forholdet mellem årsag og virkning.

»De må have læst en anden artikel«

Videnskab.dk har forelagt Ulf Sandström og Peter van den Besselaar kritikken, som de dog blankt afviser. I en mail skriver de, at de danske forskere »tilsyneladende har læst en anden videnskabelig artikel« end deres, siden de kan argumentere for, at forskningens problemer kan spores tilbage til presset for at udgive mange videnskabelige artikler.

Alvorlig forsker kvinde asiat kittel kolbe

Kampen om forskningsmidlerne er hård - kun de bedste klarer cuttet. (Foto: Shutterstock)

Ulf Sandström og Peter van den Besselaar skriver videre, at de baserer deres analyse på en psykologisk teori om videnskabelig kreativitet, som »lyder sådan her«:

»Fremskridt i videnskab afhænger af meget kreative forskere. Jo mere kreativ en forsker er, des flere ideer, og derfor også flere publikationer til at præsentere disse ideer, generer han/hun. Sandsynligheden for at få en god ide er desuden ikke ret stor, og vi forventer derfor, at jo mere kreativ en person er, jo mere udgiver personen, og som en konsekvens producerer han eller hun flere artikler af høj kvalitet.«

»Det var netop, hvad vi fandt i vores undersøgelse, og det er et vigtigt resultat for forskningsledelse og politik, da det viser, at det ene ikke er på bekostning af det andet – som det ellers er blevet almindeligt kendt blandt dem, der studerer dynamikkerne i det videnskabelige system,« skriver de i mailen til Videnskab.dk.

Kritikere forstår ikke matematikken

Makkerparret medgiver, at der findes flere typer ’output’ af forskningen end højt citerede artikler, og at samfundsmæssig relevans er et vigtigt aspekt af videnskaben generelt.

»Men det er en anden diskussion, som næppe relaterer sig til fokus af vores artikel om videnskabelige bidrag. Vi påstår ikke, at citationer er den eneste indikator for kvalitet, men vi argumenter for, at højt citerede artikler er en god proxy for kvalitet.«

Hvad skal vi med grundforskning?


Videnskab.dk sætter fokus på grundforskning.

Vi tager dig med helt ind i maskinrummet af grundforskningen og finder ud af:

  • hvad skattekronerne går til,
  • hvilke projekter der bliver lavet,
  • hvem der står bag og
  • hvad vi historisk set har fået ud af grundforskning.

Se hele temaet om grundforskning

Ulf Sandström tilføjer, at hans og Peter van den Besselaars artikel kan være svær at forstå for folk, som ikke var vant til læse bibliometriske undersøgelser. Bibliometri er brug af tal og statistik i forbindelse med forskning inden for videnskabsstudier og forskningsevaluering.

»Jeg kan straks se, at David (Budtz Pedersen, red.) tænker i gennemsnit, mens jeg har et andet syn på det; en forsker bliver ikke ringere, af at han eller hun publicerer endnu en artikel. Det er at lade matematikken begrænse sin tankegang.«

Siger intet om bæredygtighed

Ifølge David Budtz Pedersen handler hans kritik dog ikke om »matematikken«, men snarere om at han mener, at Sandström og Besselaars måde at angribe problemstillingen er forskningspolitisk skæv.

»Når du vælger fra øverste hylde og kigger på top-performerne, de forskere der får flest citationer, kan det sagtens sige noget om videnskabelig excellence – men det kan ikke sige noget om bæredygtigheden i det samlede videnskabelige system. Eksempelvis videnoverførsel, reproducerbarhed, formidling og ikke mindst adgangen til data. I stedet bliver det et spørgsmål om, at kvalitet alene kan overføres til citationer, hvilket fører til et unuanceret syn på forskningen; du kan have forskning, der senere viser sig at være forkert, som er citeret vanvittigt mange gange,« siger han og slutter:

»Risikoen ved at have en meget endimensionel brug af citationer er, at det skaber uhensigtsmæssig adfærd, hvor man tror, at man kan udregne, hvem der skal have bevillinger eller stillinger bare ved at kigge på indekser og publikationslister. Det er udtryk for en tankegang om, at bare forskerne publicerer så meget som muligt, får man høj kvalitet, og det er dybt problematisk.«

»Konsensus kan være forkert«
Bøger overlevering konsensus bibliotek hænder

At mange er enige om noget, gør det ikke nødvendigvis sandt, mener forfatterne på det omdiskuterede studie. (Foto: Shutterstock)

I artiklen ’Fører høj kvantitet til høj kvalitet i forskningen?’ skriver Kaare Aagaard og Jesper Schneider, at de mener, at der er flere metodiske problemstillinger ved Sandström og Besselaars artikel, som i november 2016 blev udgivet i PlosOne.

Aagaard og Schneider skriver blandt andet, at der ikke tages tilstrækkeligt hensyn til forskernes ansættelser og relative tid til at skrive artikler. Desuden, skriver de, »er analysen udelukkende baseret på internationale tidsskriftspublikationer, hvilket gør det problematisk at inkludere hovedområder som humaniora og samfundsvidenskab, der har langt mere varierede publikationsmønstre.«

Til disse kritikpunkter skriver Ulf Sandström og Peter van den Besselaar:

»Vi er ikke enige i, at vi negligerer forfatternes positioner og ressourcer, som for eksempel forskningstid. Mange studier har taget hensyn til disse faktorer, men der er ingen klare beviser for, at de gennemsnitligt har stor effekt på produktiviteten (Verbree et al, Scientometrics 102 (2015) 25-49). Vi er heller ikke enige i, at vi negligerer, at inden for samfundsvidenskab og humaniora er publikationer også beregnet til at ramme andre publikummer end fagfæller. Faktisk argumenter vi i vores artikel for, at dette netop forklarer, at man inden for disse felter ser en mindre klokkeklar sammenhæng mellem kvantitet og kvalitet. Også her, virker det til, at Aagaard og Schneider har læst en anden videnskabelige artikel end vores.«

Slutbemærkningen fra det svensk-hollandske makkerpar lyder:

»Alt i alt påstår Aagaard og Schneider mange ting, men de kommer ikke med mange beviser til at bakke op om deres påstande. De er en del af den ’konsensus’, som lægger vægt på, at det at stimulere produktiviteten er skadelig for forskningskvaliteten. Men denne konsensus kan være forkert – og vores PlosOne-artikel er et bidrag til at nedbryde denne konsensus.«

Lyt på Videnskab.dk!

Hver uge laver vi digital radio, der udkommer i form af en podcast, hvor vi går i dybden med aktuelle emner fra forskningens verden. Du kan lytte til den nyeste podcast i afspilleren herunder eller via en podcast-app på din smartphone.

Har du en iPhone eller iPad, kan du finde vores podcasts i iTunes og afspille dem i Apples podcast app. Bruger du Android, kan du med fordel bruge SoundClouds app.
Du kan se alle vores podcast-artikler her eller se hele playlisten på SoundCloud