Det hævdes i et nyt og omdiskuteret videnskabeligt studie, at høj kvantitet er en forudsætning for høj kvalitet i forskningen.
Budskabet er kontroversielt og kan potentielt få stor politisk betydning.
Spørgsmålet er imidlertid, om grundlaget for konklusionerne er tilstrækkeligt robust. På baggrund af en kritisk granskning argumenterer vi i denne artikel for, at studiet bør betragtes med betydelig skepsis.
Først skal vi dog lige have baggrunden for debatten på plads.
\ Kritikken kort fortalt
Artiklens forfattere kritiserer et nyt studie, som hævder, at høj kvantitet fører til høj kvalitet, når det kommer til publicering af videnskabelige artikler.
De peger på 5 punkter ved studiet, som er særlig problematiske:
- Studiet mangler en kausalanalyse, som beviser, at flere videnskabelige artikler medfører videnskabelige artikler af højere kvalitet.
- Der tages ikke højde før, at forskernes position i det videnskabelige system spiller en rolle. Jo højere en position, des flere medforfatterskaber bliver man tilbudt, hvilket påvirker både kvantiteten og kvaliteten positivt.
- Studiets forfattere har ikke skelnet mellem de publicerende forskeres professioner, og man kan derfor ikke sammenligne dem og deres produktivitet, samt kvaliteten heraf.
- Analysen bruger begreber, som ikke bliver præciseret. Derudover sætter den lighedstegn mellem antallet af citationer og kvalitet, hvilket er problematisk.
- De fleste videnskabelige artikler har flere forfattere, hvilket er problematisk, da man ikke ved, hvem der har skrevet hvad.
Debat om stigende mængde publikationer
Mængden af forskningspublikationer vokser og vokser, og det har skabt debat om både årsager og implikationer (se eksempelvis en nylig artikelrække her på Videnskab.dk).
I disse diskussioner fremhæves det ikke blot, at et stigende publiceringspres fremmer en kultur, hvor kvantitet vægtes over kvalitet, men også at (dele af) videnskaben i dag er i en regulær krisetilstand.
Denne krise henføres ikke mindst til et pres til at publicere mange artikler med spektakulære konklusioner.
Både internt i videnskaben og eksternt blandt interessenter og beslutningstagere synes der at være konsensus om, at der formentlig er et problem af denne karakter, om end omfanget og årsagerne stadig diskuteres.
\ Læs mere
Nyt studie: Høj kvantitet fører til høj kvalitet
Ikke mindst med ovenstående bagtæppe har det vakt betydelig opmærksomhed, at det i det nyligt publicerede studie af Ulf Sandström og Peter van den Besselaar hævdes, at et voksende fokus på kvantitet ikke skal ses som et problem.
Snarere bør en stærkere fokusering på højt forskningsmæssigt output opfattes som en både positiv og ønskelig udvikling, lyder det. Med andre ord hævder studiet, at der ikke er noget trade off mellem kvalitet og kvantitet.
Tværtimod er argumentet, at de to forhold ikke blot er positivt korreleret, men at de er kausalt forbundne, således at høj kvantitet er det, der leder til høj ’kvalitet’.
Denne konklusion er både interessant og kontroversiel, og studiet fortjener derfor nærmere granskning.
Store designmæssige svagheder i det publicerede studie
En sådan granskning afslører imidlertid hurtigt, at studiet har ganske alvorlige mangler, og at konklusionerne bør betragtes med betydelig skepsis.
Uden at skulle gå for meget i detaljer eller blive alt for tekniske vil vi pege på en række afgørende problemer af teoretisk, konceptuel og metodologisk karakter, som sår alvorlig tvivl om konklusionernes gyldighed:
Her kan du læse Ulf Sandström og Peter van den Besselaars respons på kritikken.
1. Mangelfuld dokumentation
Det helt fundamentale problem med analysen er, at der fuldstændigt mangler en reel kausalanalyse, som klarlægger den påståede sammenhæng mellem den uafhængige variabel (produktivitet) og den afhængige variabel (antallet af højt citerede artikler).
Studiet er generelt så mangelfuldt dokumenteret, at det er vanskeligt at vurdere, hvor stærk korrelation der reelt er tale om. Men uanset styrken af sammenhængen (som synes at være begrænset), er der under alle omstændigheder kun tale om dokumentation for en korrelation, hvilket langtfra er det samme som en årsagssammenhæng.
Selv uden større indsigt i de mekanismer, der påvirker publicering og citationer, er det ganske let at pege på andre mulige årsagssammenhænge end den postulerede. Herunder kan der peges på andre bagvedliggende variable samt muligheden for cirkulær eller endda modsatrettet kausalitet.
2. Position i forskningssystemet som bagvedliggende årsagsforklaring
En oplagt bagvedliggende forklaring kunne være, at enkeltforskeres position i det videnskabelige system har afgørende betydning for både kvantitet og ’kvalitet’ af den forskning, de udfører. Forskellige positioner i systemet giver forskellig adgang til ressourcer, infrastruktur, netværk etc.
Dermed vil det ikke være kvantiteten, der forklarer ’kvaliteten’, men snarere positionen i systemet, der påvirker begge variable og skaber en selvforstærkende positiv spiral.
Eksempelvis får en forskningsleder inden for et veletableret miljø tilbudt flere medforfatterskaber end mindre etablerede forskere, og vedkommendes tekster vil ligeledes have en større tendens til at blive citeret.
At positionen i systemet naturligvis også i et vist omfang er resultatet af både kvantiteten og kvaliteten af den enkelte forskers arbejde er oplagt, men eksemplet skal illustrere at der langtfra er tale om en simpel envejs-sammenhæng fra kvantitet til kvalitet.
Ydermere synes der i studiet at være en grundlæggende antagelse om, at tid og ressourcer ikke er en begrænsende faktor for forskere.
Med andre ord er antagelsen øjensynligt, at man som forsker altid vil kunne skrive yderligere en artikel, uden at det påvirker indsatsen og kvaliteten på ens andre opgaver.
At der, under den mere realistiske antagelse, at tid er en begrænset ressource, kan være et modsætningsforhold, diskuteres ikke.
\ Hvad skal vi med grundforskning?
Videnskab.dk sætter fokus på grundforskning.
Vi tager dig med helt ind i maskinrummet af grundforskningen og finder ud af:
- hvad skattekronerne går til,
- hvilke projekter der bliver lavet,
- hvem der står bag og
- hvad vi historisk set har fået ud af grundforskning.
3. Problemer med datagrundlaget
En anden problemstilling knytter sig til analysens datagrundlag, der umiddelbart virker imponerende, men ikke tåler en nærmere granskning.
Datagrundlaget omfatter et stort antal svenske forskere og deres publikationer fra 2008-2011 inden for alle hovedområder.
Herfra kategoriseres forskerne i syv klasser efter deres produktivitet i den pågældende periode. Deres produktivitet sammenholdes herefter med deres andel af højt citerede artikler.
Ved nærmere eftersyn viser det sig dog hurtigt, at datagrundlaget er problematisk sammenholdt med studiets formål og dets konklusioner.
Alle svenske ’forfattere’ er tilsyneladende inkluderet i analysen som værende ’forskere’ uden skelen til deres forskningsmæssige status, aktivitet og tilknytning.
Alle, der publicerer, er imidlertid ikke nødvendigvis heltids forskeransatte. Der kan eksempelvis være forskere i deltidsstillinger og forfattere i administrative stillinger, ligesom der kan være tidligere forskere, der indenfor perioden er skiftet til anden profession.
Hertil kommer at der er betydelig forskel i forskningsbetingelser, alt efter om man er ansat på et forskningstungt universitet eller eksempelvis på en af de mere undervisningsintensive ’högskolar’.
Tværsnitstilgangen betyder, at man reelt set ikke opnår sammenlignelige størrelser. Produktivitetsklasserne bliver derfor i høj grad påvirket af den støj, som det brede inklusionskriterium for ’forskere’ medfører.
Herudover er analysen udelukkende baseret på internationale tidsskriftspublikationer, hvilket gør det problematisk at inkludere hovedområder som humaniora og samfundsvidenskab, der har langt mere varierede publikationsmønstre.
4. Er citationer lig med kvalitet?
Et relateret element knytter sig til analysens to centrale begrebspar:
- På den ene side kvantitet/produktivitet
- På den anden side citationer/kvalitet
I begge tilfælde bruges begreberne lidt i flæng, hvilket af flere årsager er problematisk.
I forhold til det første – kvantitet/produktivitet – er produktivitet oftest noget, der opgøres på baggrund af input: typisk timeproduktivitet, totalfaktorproduktivitet eller andet. Det gøres dog ikke her.
At sammenligne produktivitet/kvantitet pr. forsker giver således kun mening, hvis vi antager, at alle har sammenlignelige arbejdsbetingelser (tid/ressourcer). Dette er langtfra tilfældet jf. ovenstående.
I forhold til det andet begrebspar – citationer/kvalitet – er hovedproblemet, at citationer ukritisk sættes lig med kvalitet – og dette problem forstærkes af, at der opereres med et relativt kort citationsvindue.
De fleste, der arbejder professionelt med bibliometri, argumenterer for, at citationer ikke måler kvalitet, men først og fremmest er et mål for brug og synlighed af forskning. Forhold som eksempelvis placeringer i netværk spiller afgørende ind på denne brug og synlighed.
Dette gælder især, når der er tale om korte citationsvinduer. Først i det meget lange perspektiv kan vi begynde at anvende citationer i forbindelse med forsøg på at identificere decideret gennembrudsforskning.
5. Hvilken betydning har det, at de fleste artikler har adskillige forfattere?
Som et sidste punkt vil vi nævne problemet med forfatterskaber.
At der er et problem med dette anerkendes i artiklen, men problemet løses ikke. Der er imidlertid grund til at antage, at resultaterne i høj grad påvirkes af dette forhold.
Problemet er her, at langt de fleste publikationer i dag har adskillige forfattere, og at det (i denne type bibliometriske studier) er umuligt at afgøre, om arbejdet har været ligeligt fordelt.
Som hovedregel vil vi antage, at det sjældent er tilfældet, og at det især er forskere øverst i hierarkiet, der profiterer af eksisterende normer for tildeling af medforfatterskaber.
Dette forhold kan man ikke umiddelbart fraktionere sig ud af, og det tilføjer således et yderligere lag af usikkerhed til analysen.
\ Læs mere
Bombastiske konklusioner på spinkelt grundlag
Sandström og Besselaar skriver sig med deres artikel ind i en aktuel og vigtig diskussion om både adfærd og incitamenter i videnskaben.
Artiklen har fået betydelig opmærksomhed, da den fremfører et budskab, der kan få store policy-implikationer, hvis det godtages ukritisk.
At det er kontroversielt hænger ikke mindst sammen med, at de to forfattere konkluderer ganske bombastisk og meget entydigt på analysens resultater.
Vores vurdering er imidlertid, at hele studiet hviler på et spinkelt analytisk grundlag, og at det således langt fra støtter op om disse stærkt generaliserende konklusioner.
Brug for flere nuancer
Ikke desto mindre medgiver vi dog gerne forfatterparret, at der er tale om særdeles interessante empiriske spørgsmål, som der er god grund til at undersøge nærmere.
Vores argument er blot, at dette skal gøres langt mere sobert og systematisk, end det er tilfældet her. Ligeledes vil vi understrege, at der selv med stærkere datagrundlag og mere velegnede metoder er brug for langt flere nuancer i både fortolkninger og konklusioner.
