Sådan kan vi forbedre peer review-processen
Kronik: Det nuværende system for videnskabelig meritering er plaget at bureaukrati, kammerateri, store tidsforsinkelser og unødvendige udgifter. Her leverer en norsk forsker sit bud på en bedre proces.
Videnskabelig meritering peer review system point universitet forsker artikel publikation fagfællevurdering universitetsbibliotek database akademiske miljø

Vi kan lave et alternativ til det nuværende system ved hjælp af internettet og kryptering, mener kronikforfatteren. (Foto: Shutterstock)

Ideelt set, burde akademiske kollegaer kunne tildele hinanden anerkendelse og synlighed i et system, der er frit for bureaukrati, kammerateri, store tidsforsinkelser og unødvendige udgifter. Disse negative faktorer er i høj grad til stede med de nuværende ordninger.

Historien kort
  • Den nuværende peer review-proces har så mange fejl og mangler, at et nyt system skal findes, mener norsk forsker.
  • For at undgå bureaukrati, kammerateri, store tidsforsinkelser og unødvendige udgifter har forfatteren formuleret en ny ordning.

Især udgifterne er et problem, nu hvor universitetsbiblioteker verden over undlader at abonnere på vigtige tidsskrifter som følge af skyhøje priser.

Men et alternativ kan i dag realiseres ved hjælp af internettet og kryptering.

Man kunne lade sig inspirere af Bitcoin og forestille sig et decentralt, globalt netværk. Jeg vil dog foreslå, at ordningen implementeres via et helt decentraliseret globalt center (efterfølgende kaldet GPRC 'Global Peer Review Center'). Et norsk universitet vil være i stand til at drive noget tilsvarende. 

I denne artikel forklares grunden til, at en center-model vil være at foretrække frem for et decentraliseret bitcoin-lignende netværk.

Selvforstærkende rekruttering

Først og fremmest skal deltagerne rekrutteres.

Forskerne kan blive optaget som medlemmer, hvis de bliver anbefalet af et vist antal andre medlemmer. Det kan initieres ved, at centeret inviterer alle universiteter og fagpersoner til at tilmelde professorer og amanuenser (stillingsbetegnelse, som bruges, når en færdiguddannet kandidat bliver ansat i en midlertidig stilling som underviser, red.).

Det er nok til at udløse en 'epidemi' af tilmeldinger, og processen vil være selvforstærkende.

Videnskabelig meritering peer review system point universitet forsker artikel publikation fagfællevurdering universitetsbibliotek database akademiske miljø

Ifølge Trond Andresen vil nogle måske hævde, at det nuværende system med peer-reviewed publikationskanaler fungerer godt, fordi det frasorterer dårlige og middelmådige publikationer, så kun kvalitetspublikationer får opmærksomhed. Men i praksis er det langt fra tilfældet. (Foto: Nic McPhee/flickr CC BY-SA 2.0)

De tilmeldte får udstedt 'meriteringpoint' (MP), som de kan vælge at tildele kollegaer for gode publikationer. Alle medlemmer bliver løbende tildelt det samme faste antal MP per måned. De bliver sat ind på medlemmernes elektroniske konti og kan bruges til at meritere andre.

For at stimulere indehaverne til at bruge pointene, vil point, der står på kontoen, blive tilskrevet en negativ 'rente', hvis de ikke bliver brugt, og ubrugte point vil blive annulleret.

Systemet er programmeret, så brugerne ikke kan uddele et point flere gange. Indehaveren af pointene kan tildele point for en publikation til et hvilket som helst medlem af det globale netværk.

Hvis man ikke er medlem, kan man ikke modtage point, hvilket er et incitament til at tilslutte sig netværket.

Kan fortsat få point for tidsskriftsartikler

Artikler kan publiceres overalt; også på forfatterens webside. Forfatteren kan uden videre linke til artiklen via GPRC, så den kan findes af andre. Format og layout er ikke noget, forskerne skal bruge tid og energi på.

De point, som artiklerne har opnået, skal også være tilgængelige elektronisk på GPRC. 

Om forfatteren

Trond Andresen er en norsk samfundsdebattør, politiker og amanuensis i cyberetik ved NTNU.

Han er uddannet civilingeniør og har siden 1982 været ansat ved NTNU.

Artikler, som publiceres i anerkendte videnskabelige tidsskrifter, kan også tildeles point, men så skal der på grund af ophavsret i det mindste foreligge en form for henvisning til tidsskriftet, hvis de ikke bliver publiceret hos GPRC.

Artikler, der blev publiceret før etableringen af ordningen, kan også tildeles point, hvis forfatteren (mindst én af dem, hvis der er flere) har tilsluttet sig netværket.

På vagt over for kammerateri 

Systemet er i stand til at lade point, som er tildelt medlemmer, der allerede har mange point (velmeriterede i systemet), tælle som mere end ét point, når de tildeler point. Derved får meriterede medlemmer større indflydelse.

Medlemmer og publikationer, som er på forhånd er velmeriterede, får sandsynligvis mange point meget hurtigt, fordi deres kollegaer tildeler deres publikationer point.

Som det også er tilfældet med det nuværende fagfællevurderede tidsskriftordning, skal vi være på vagt over for misbrug og skæve udslag. Man kan forestille sig, at uformelle og skjulte netværk bliver etableret af kollegaer, som indgår aftaler om gensidig pointtildeling - en form for kammerateri.

Det er selvsagt tilladt, at kollegaer tildeler hinanden point og anerkendelse inden for rimelighedens grænser, men denne frihed kan åbenbart også misbruges.

Tiltag mod misbrug

Et muligt tiltag er, at når kollega A har tildelt kollega B point, vil kollega B få en slags karantæne med hensyn til at give kollega A point. Point fra B til A vil først tælle fuldt ud, hvis de tildeles et år senere.

Et andet muligt tiltag kunne være, at pointuddelingen skal begrundes kort, og at hvert medlem er identificeret med navn, tilknytning og akademiske kompetencer.

Det skal altsammen være lettilgængeligt for alle på GPRC-serveren via en søgeapplikation. Det modvirker også andre former for misbrug, for eksempel at bekendte fra andre fagfelter tildeler point, på trods af at de ikke er kompetente i forhold til en given publikation.

Baseret på den mangfoldige database over medlemmer og deres aktivitet kan vi installere programmer i GPRC-serveren, som systematisk er på udkig efter mistænkelige mønstre blandt deltagerne. Programmerne alarmerer manuelle GPRC-sagsbehandlere, som så kan advare misbruger(n)e eller i værste fald publicere fund på GPRC, som går over stregen.

Formålet er at undgå, at det bliver nødvendigt at udstede advarsler, så det bør være en troværdig trussel, som får langt størstedelen af deltagerne til at afstå fra misbrug af systemet.

peer-review system ny ordning forbedre processen

Den nye ordning kunne sikre sig mod kammerateri ved at indføre, at når kollega A har tildelt kollega B point, vil kollega B få en slags karantæne med hensyn til at give kollega A point. Point fra B til A vil først tælle fuldt ud, hvis de tildeles et år senere. (Foto: Shutterstock)

Finder de gode publikationer

Nogle vil måske hævde, at den nuværende proces med peer-reviewed publikationskanaler fungerer godt, fordi den frasorterer dårlige og middelmådige publikationer, så kun kvalitetspublikationerne får opmærksomhed.

Hvis processen fungerede perfekt, havde det også været korrekt, men i praksis er det langt fra tilfældet. Det fremlagte forslag fungerer på en anden måde: Alt bliver publiceret - uden den indledende fagfællebedømmelse.

Men efter et stykke tid (husk på, at den nuværende ordning ofte har betydelige forsinkelser, før den giver adgang til de bedste, publicerede artikler), så vil de gode publikationer være meget lette at finde, mens de resterende (de fleste) kun vil modtage meget få point og dermed ikke kræve ufortjent opmærksomhed.

Vil ikke erstatte peer-review

Processen, hvormed de gode publikationer bliver lette at finde, giver bedre kommunikation mellem forskere i netværket.

Det vil også forbedre resultatet af søgninger, hvor forskerne kan søge på publikationer over et vist pointtal i et vist fagfelt, eller publikationer med hastigt stigende pointtal med mindst lige så gode fagligt begrundede søgekriterier som det nuværende vurderingssystem.

Derudover får forskerne gratis adgang til alle slags publikationer, hvilket løser det stadigt stigende problem med de meget høje priser for adgang til visse artikler.

Når det er sagt, vil det foreslåede system ikke erstatte traditionel peer review, men eksistere parallelt.

Det nuværende norske system med publikationskanaler og pointsystem har så mange svagheder, at andre muligheder bør prøves.

Og hvis den foreslåede ordning udvikler sig, så der er udbredt tillid, kan den også bruges til (delvist) at styre forskningsmidlerne til institutterne. Men det kan man overveje på et senere tidspunkt.

Videnskabelig meritering peer review system point universitet forsker artikel publikation fagfællevurdering universitetsbibliotek database akademiske miljø

Trond Andresen foreslår, at Global Peer Review Centeret bliver tilknyttet universitetsbiblioteket, en type institution, der også har brug for nye opgaver. (Foto: Shutterstock)

Norske universiteter skal handle hurtigt

En sådan ordning vil kunne etableres på et norsk universitet. Universitetet kan udvikle det påkrævede softwaresystem forholdsvist hurtigt; det er ikke særlig kompliceret. 

Systemet bør styres centralt af en medarbejdergruppe og ikke decentraliseret som Bitcoin. Dette skyldes, at systemet hele tiden skal opgraderes, og parametre og software skal justeres i takt med, at erfaringerne bliver gjort.

Centret vil blive tilknyttet universitetsbiblioteket - en type institution, der også har brug for nye opgaver. Centeret skal opnå det verdensomspændende akademiske fællesskabs tillid. Det bør derfor også have en bestyrelse og en redaktion, der overvåger det.

Hvis tiltaget får global opslutning fra det akademiske samfund, vil det også levere interessant materiale til videnskabssociologisk forskning. Systemet vil være i stand til at kortlægge, hvordan undergrupper og kontaktnet inden for den akademiske verden opfører sig, samt deres udvikling over tid.

Det ligger i kortene, at et lignende tiltag vil blive indført. Hvilket land, der kommer til at etablere og dominere et lignende system, er i høj grad bestemt af, hvem der gør det først.

Så man bør handle hurtigt, hvis det lyder som en god idé.

©forskning.no. Oversat af Stephanie Lammers-Clark

Seneste ForskerZonen