Peer review (dansk: fagfællebedømmelse) bliver ofte anset for at være videnskabernes gyldne standard. Forskningsartikler, som har været gennem peer review, har ikke bare fået andre eksperters kvalitetsstempel. De udløser også forskningsmidler til institutionen.

(Der findes så vidt vides endnu ikke et system i Danmark, som giver forskningsmidler/-bonus til enkeltforskere eller forskningsgrupper på baggrund af antal peer reviewede artikler – men det kommer nok snart.)

Peer review virker, men det er en ressourcekrævende og til tider ofte problematisk måde at sikre forskningens kvalitet. Derfor bliver forskningsindikatorer i stigende grad anvendt som supplement til (nogle gange som erstatning for) peer review.

Der findes mange andre måder at bedømme forskning på. Ofte kan alternativer til peer review ligefrem være at foretrække – det gælder ikke mindst i forbindelse med bedømmelse af forskningsansøgninger.

En nylig rapport fra RAND-tænketanken sætter fokus på problemstillingen (Wu, m.fl. 2011), og dens analyse vil blive gengivet i det efterfølgende.

Hvordan bedømmes forskningsansøgninger?

Bedømmelse af forskningsansøgninger og efterfølgende allokering af forskningsmidler kan anskues som en beslutningsproces, hvori der indgår flg. overvejelser:

• Overordnet finansieringsstrategi
• Resultater og implikationer
• Faglig bedømmelse

Typisk vil peer review indgå som det tredje led i denne beslutningsproces og dermed supplere overvejelser/beslutninger, der udspringer af processens to første led. Den vel nok mest anvendte model bygger desuden på strategisk planlægning af finansieringsrammer og -områder (fastsat ud fra politiske eller forskningsmæssige hensyn) samt forskernes egne forventninger til forskningsprojekternes udkomme.

For at vurdere den fulde værdi af alternativer til peer review til faglig bedømmelse er det hensigtsmæssigt at kigge nærmere på forskellige måder at gennemføre alle tre led i beslutningsprocessen.

Beslutninger vedrørende mulige finansieringsstrategier

Selv såkaldt frie forskningsmidler, der gives til de bedste forskningsprojekter baseret på forskernes egne (frie) ideer, er underlagt forudgående beslutninger vedrørende finansieringsstrategi. Det er nemlig på forhånd besluttet, hvor mange midler der skal gives til de enkelte forskningsområder – i Danmark: Sundhed og sygdom, Natur og univers, Kultur og kommunikation, Teknologi og produktion, Samfund og erhverv.

Strategiske forskningsprogrammer bygger på politisk fastsatte rammer for finansieringens størrelse fordelt på en række, bredt definerede og typisk samfundsrelevante forskningsområder. Et godt eksempel er Det Strategiske Forskningsråd, der ”yder finansiel støtte til forskning, der adresserer og søger at løse de velfærds- og velstandsmæssige udfordringer, Danmark står overfor.”

Stort set alle industrialiserede lande har tilsvarende strategiske forskningsprogrammer. Der er flere problemer med sådanne strategiske programmer:

• Stort fokus på sikre forskningsprojekter og dermed lille risikovillighed
• Uoverensstemmelser mellem de strategiske forskningsområder og forskernes egne prioriteter
• Svært at finde støtte til relevante og gode projekter, der falder uden for de strategiske områder

Der findes alternativer til den strategiske planlægning af forsknings- og finansieringsmulighederne, som til en vis grad finder anvendelse i offentlige forskningsinstitutioner og ikke mindst i private forskningsfonde. Alternativerne imødekommer hver især de tre nævnte problemstillinger:

• Portfolio-baseret forskningsfinansiering: Midler tilføres forskningen på baggrund af en balanceret risikomodel. Det betyder, at der skal tildeles midler til et bestemt antal projekter med høj risiko indbygget (dvs. stor usikkerhed vedrørende det forventede udbytte) og til et bestemt antal med lav risiko. Det samlede portfolio af støttede forskningsprojekter svarer altså til bevillingshavers ønske om forskningens usikkerhed/risiko, ikke til et ønske om at prioritere bestemte områder.
• Sandkasse-modellen: Forskere bringes sammen i en workshop (sandkassen), hvor der brainstormes og udvikles nye ideer og nye koncepter for forskningen. Processens kreative og legende elementer fremmes så vidt muligt. Ved workshoppens afslutning præmieres det eller de bedste projektideer.
• Ad hoc-midler: En vis portion af den samlede forskningsbevilling reserveres til projekter, der falder uden for de strategiske kategorier. På den måde sikres, at der hurtigt kan træffes beslutning om at støtte presserende sager.

Resultater og implikationer

Normalt bedømmes forskningsansøgningers potentiale ved, at forskerne bag ansøgningen selv i ansøgningen har angivet hvilke resultater og videre implikationer, som forskningsprojektet forventes at give.

Disse kvalificerede forventninger vurderes af fagfæller og/eller andre bedømmere, men der gives selvsagt ingen garanti for, at projektet rent faktisk munder ud i de forventede resultater/implikationer. Typisk vil der heller ikke være måder at justere bevillingen efter, at projektet er færdigt, og de faktiske resultater kan sammenlignes med de forventede.

Det er forskningens indbyggede usikkerhedsmoment, der her gør sig gældende, og det er fuldt ud accepteret i mange traditionelle bevillingskanaler, at man ikke kan målrette forskningen 100 %. Mange vil sige, at det netop er forskningens centrale kendetegn, at resultaterne ikke kan forudsiges.

I nogle situationer kan det dog være hensigtsmæssigt at kunne vurdere forskningens resultater på andre måder. Også her er der tre oplagte alternativer til den ”normale” procedure:

• Præmier/midler, der tildeles på baggrund af faktiske resultater: Når der fra bevillingshavers side ønskes et bestemt resultat, vil det være oplagt at vende den normale finansieringsprocedure på hovedet. I stedet for at tildele støtte ud fra forventede resultater, kan man beslutte at udløse midlerne i form af præmier til de projekter, der rent faktisk opnår de ønskede resultater. Dermed flyttes den økonomiske risiko fra bevillingshaver over på forskningsteamet, der presses til at finde den mest optimale måde at frembringe resultater.
• Milepæle: For større og længerevarende forskningsprojekter kan det være en fordel at fordele præmierne på et antal milepæle. Det kan være med til at gøre forskningsprocessen nemmere at styre. Når de på forhånd fastlagte milepæle er nået, udløses en fastsat del af den samlende præmiesum.
• Forlængelse: Størrelsen og længden af de givne forskningsmidler har naturligvis betydning for forskningens målsætning. Alt andet lige vil flere penge over en længere årrække kunne bruges til at give større og mere vidtrækkende resultater. Ved forlængelse af givne forskningskontrakter skal forskerholdet kunne dokumentere, at deres forskning ikke bare bevæger sig mod et givent mål på lang sigt, men også giver resultater her og nu, fx i form af forskningspublikationer. Forlængelsesmodellen adskiller sig fra milepæle ved at sikre et mere kortsigtet udbytte af forskningen, og den giver også bevillingshaver større fleksibilitet i forhold til at justere de langsigtede forventninger til forskningen.

Den faglige bedømmelse

Som nævnt i indledningen er peer review, hvor en række akademiske fagfæller med ekspertise inden for den pågældende forskningsfelt udgør bedømmelsespanelet, den mest almindelige måde at vurdere forskningsansøgningers kvalitet.

Der findes mindst to andre alternativer til peer review, som hver især har visse fordele i forhold til peer review:

• Enkelt-person bedømmelse: Gruppedynamikken og ønsket om faglig konsensus kan være med til at gøre peer review-processen konservativ og stiv. Desuden er det ofte en tung og langvarig proces. Når der ønskes mere kontroversielle, hurtigere og mere gennemskuelige bedømmelser, kan det være fordelagtigt at lade en enkelt fagperson foretage dem.
• Bedømmelse med inddragelse af mange forskellige typer af interessenter: Den kendte peer review-model resulterer udelukkende i en faglig vurdering af forskningsansøgningerne. Eftersom mange forskningsprojekter bliver sat i søen for at skabe erhvervs- eller samfundsmæssigt udbytte vil det nogle gange være ønskeligt at inddrage mange forskellige interessenters vurderinger i bedømmelsen. Det kan være erhvervsfolk, repræsentanter fra interesseorganisationer eller fra en bred vifte af forskningsfelter.

Hvad er så det bedste for forskningen?

Forskning er mange ting. Der er mange måder at bedrive forskning på, og forskning har mange forskellige formål.

For at yde forskningens mangfoldighed retfærdighed i bedømmelse af forskningsansøgninger kan det være en god ide at tilrettelægge beslutningsprocedurens faser i forhold til den givne situation, og altså ikke bare benytte sig af velkendte modeller, som fx det klassiske peer review, som nok har mange fordele, men ikke altid er den mest hensigtsmæssige måde at bedømme forskningsansøgninger.

I dag anvendes de nævnte alternativer mange steder, men der er nok stadig en vis konservatisme i forskningssystemet i forhold til at tage nye alternativer i brug.

Måske er konservatismen godt for forskningen? Måske er den en hindring for udviklingen af forskningen og ønsket om en tættere kobling mellem forskning og samfund?

Reference

Helen Wu, Sharif Ismali, Susan Guthrie & Steven Wooding. Alternatives to Peer Review in Research Project Funding. RAND Corporation. 2011. Tilgængelig på: http://www.rand.org/pubs/technical_reports/TR1010.html