»Stærkt skråplan« at sætte citationer lig med kvalitet

Når forskere udgiver en videnskabelig artikel, gør de det ikke ud fra et tomt bagkatalog.

De orienterer sig i den eksisterende forskning og vurderer, hvilke dele af litteraturen der er bedst og mest relevant for deres arbejde – og så refererer de til den i deres egen videnskabelige artikel. På den måde bliver de bedste artikler citeret mange gange. Citater er derfor en god målestok for en artikels kvalitet.

Det mener i hvert fald en svensk-hollandsk forskerduo, som for nylig argumenterede for, at forskere, der bliver citeret meget, derfor også skal belønnes meget; men dén udmelding møder stærk modstand fra en dansk forsker.

»Man er ude på et stærkt skråplan, hvis man blindt anerkender, at antallet af citationer fører til højere kvalitet. På den måde bliver citationer ophøjet til et mål i sig selv, og det er afgjort problematisk,« siger lektor David Budtz Pedersen, som arbejder ved Institut for Kommunikation, Aalborg Universitet.

\ Læs mere

Hvad er grundforskning?

»Citationer er ikke neutral målestok«

Makkerparret Sandström og Besselaars udmelding kom i forbindelse med udgivelsen af en videnskabelig artikel i PlosOne sidst i 2016. I artiklen ’Quantity or Quality? The Importance of Publishing Many Papers’ argumenterer de for, at forskere, der udgiver mange videnskabelige artikler, også udgiver videnskabelige artikler af en højere kvalitet.

I artiklen – som også møder kritik fra andre danske forskere – bliver antallet af citationer brugt som en indikator for nye videnskabelige gennembrud. Og det er først og fremmest denne antagelse, at mange citater er lig med væsentlige videnskabelige fremskridt, som David Budtz Pedersen finder »provokerende«.

»Citationer er ikke en neutral målestok for videnskabelig kvalitet, og der findes efterhånden ret mange studier, som viser, at der bliver lavet deciderede handler med citationer, og at mange citationer ved nærmere eftersyn er selvcitationer, altså citater fra egne artikler,« siger David Budtz Pedersen og refererer blandt andet til et studie fra 2016, hvor forfatterne konkluderer, at faren for, at de såkaldte ’citationskarteller’ eksisterer, er overhængende – omend svære at påvise.

Artikler citeres af mange grunde

Ifølge David Budtz Pedersen kan der også være andre faktorer, der påvirker, hvor mange citationer en artikel får. Det kan eksempelvis have betydning, om tidsskriftet vælger at sætte artiklen på forsiden, hvor lang titlen på studiet er, og hvor »nemt fordøjeligt budskabet er«.

Videnskab.dk har tidligere beskrevet, hvordan presset for at udgive mange artikler kan presse forskere ud i såkaldt ’questionable research practice’, hvor de eksempelvis overciterer et tidsskrift, fordi de håber at få deres artikel udgivet i det.

»Vi ved, hvordan citationer kan geares, og i artiklen antager forskerne, at citationsmønstret er fuldstændig ureguleret. Et frit marked, hvor forskere citerer de artikler, de synes er mest interessante. Men i virkeligheden bliver artikler citeret af mange andre grunde,« siger David Budtz Pedersen.

Farligt at belønne ud fra citationer

Sandström og Besselaar mener selv, at deres resultater kan og bør få politisk betydning, sådan at forskere, der producerer mange højtciterede artikler, også bliver belønnet mere i form af flere forskningsmidler. Men det er en farlig tankegang, mener David Budtz Pedersen.

»Hvis man udelukkende vurderer videnskabelig kvalitet ud fra citationer, ser man bort fra andre indikatorer, som er vigtige for forskningen. Forskerne vil spekulere i, hvordan de kan få flere citationer, for eksempel ved at arbejde på forskningsproblemer, som er nemt genkendelige for andre, og som derfor er mere citérbare. Belønner man udelukkende citationer, vil det betyde, at forskerne jagter den videnskabelige anerkendelse i stedet for at løse vigtige samfundsproblemer som eksempelvis klima og sundhed.«

I artiklen ’Forskere advarer: Grundforskningsboblen er på bristepunktet’ beskriver filosof Claus Strue Frederiksen desuden, hvordan forskernes øvrige opgaver risikerer at blive nedprioriteret, når deres karrierer afhænger af antallet af publicerede artikler og citationer.

»Du kan ikke skrive i en fondsansøgning, at du bruger meget tid på at undervise – det lyder næsten fjollet at sige, men det er faktisk dybt problematisk,« udtalte Claus Strue Frederiksen, som er en ekstern lektor ved Institut for Medier, Erkendelse og Formidling på Københavns Universitet, i den forbindelse.

Analytikere: Metoden er mangelfuld

I artiklen ’Fører høj kvantitet til høj kvalitet i forskningen?’ argumenterer to andre danske forskere, seniorforsker Kaare Aagaard og professor Jesper Schneider fra Dansk Center for Forskningsanalyse på Aarhus Universitet, ligeledes for, at det er problematisk at sætte lighedstegn mellem citationer og kvalitet.

De to mener dog også at kunne redegøre for nogle metodiske problematikker ved Sandström og Besselaars artikel, som er en analyse af 50.000 svenske forskeres videnskabelige publikationer.

»Det helt fundamentale problem med analysen er, at der fuldstændigt mangler en reel kausalanalyse, som klarlægger den påståede sammenhæng mellem den uafhængige variabel (produktivitet) og den afhængige variabel (antallet af højt citerede artikler),« skriver de to forskere blandt andet.

En kausalanalyse er en analyse, hvor man finder forholdet mellem årsag og virkning.

\ Læs mere

Salamiforskning: Forskerne publicerer for meget

»De må have læst en anden artikel«

Videnskab.dk har forelagt Ulf Sandström og Peter van den Besselaar kritikken, som de dog blankt afviser. I en mail skriver de, at de danske forskere »tilsyneladende har læst en anden videnskabelig artikel« end deres, siden de kan argumentere for, at forskningens problemer kan spores tilbage til presset for at udgive mange videnskabelige artikler.

Ulf Sandström og Peter van den Besselaar skriver videre, at de baserer deres analyse på en psykologisk teori om videnskabelig kreativitet, som »lyder sådan her«:

»Fremskridt i videnskab afhænger af meget kreative forskere. Jo mere kreativ en forsker er, des flere ideer, og derfor også flere publikationer til at præsentere disse ideer, generer han/hun. Sandsynligheden for at få en god ide er desuden ikke ret stor, og vi forventer derfor, at jo mere kreativ en person er, jo mere udgiver personen, og som en konsekvens producerer han eller hun flere artikler af høj kvalitet.«

»Det var netop, hvad vi fandt i vores undersøgelse, og det er et vigtigt resultat for forskningsledelse og politik, da det viser, at det ene ikke er på bekostning af det andet – som det ellers er blevet almindeligt kendt blandt dem, der studerer dynamikkerne i det videnskabelige system,« skriver de i mailen til Videnskab.dk.

Kritikere forstår ikke matematikken

Makkerparret medgiver, at der findes flere typer ’output’ af forskningen end højt citerede artikler, og at samfundsmæssig relevans er et vigtigt aspekt af videnskaben generelt.

»Men det er en anden diskussion, som næppe relaterer sig til fokus af vores artikel om videnskabelige bidrag. Vi påstår ikke, at citationer er den eneste indikator for kvalitet, men vi argumenter for, at højt citerede artikler er en god proxy for kvalitet.«

Ulf Sandström tilføjer, at hans og Peter van den Besselaars artikel kan være svær at forstå for folk, som ikke var vant til læse bibliometriske undersøgelser. Bibliometri er brug af tal og statistik i forbindelse med forskning inden for videnskabsstudier og forskningsevaluering.

»Jeg kan straks se, at David (Budtz Pedersen, red.) tænker i gennemsnit, mens jeg har et andet syn på det; en forsker bliver ikke ringere, af at han eller hun publicerer endnu en artikel. Det er at lade matematikken begrænse sin tankegang.«

Siger intet om bæredygtighed

Ifølge David Budtz Pedersen handler hans kritik dog ikke om »matematikken«, men snarere om at han mener, at Sandström og Besselaars måde at angribe problemstillingen er forskningspolitisk skæv.

»Når du vælger fra øverste hylde og kigger på top-performerne, de forskere der får flest citationer, kan det sagtens sige noget om videnskabelig excellence – men det kan ikke sige noget om bæredygtigheden i det samlede videnskabelige system. Eksempelvis videnoverførsel, reproducerbarhed, formidling og ikke mindst adgangen til data. I stedet bliver det et spørgsmål om, at kvalitet alene kan overføres til citationer, hvilket fører til et unuanceret syn på forskningen; du kan have forskning, der senere viser sig at være forkert, som er citeret vanvittigt mange gange,« siger han og slutter:

»Risikoen ved at have en meget endimensionel brug af citationer er, at det skaber uhensigtsmæssig adfærd, hvor man tror, at man kan udregne, hvem der skal have bevillinger eller stillinger bare ved at kigge på indekser og publikationslister. Det er udtryk for en tankegang om, at bare forskerne publicerer så meget som muligt, får man høj kvalitet, og det er dybt problematisk.«