Styrelse kritiserer juraforskere: I forstår ikke systemet
Det er »tilsyneladende meget svært« for jurister at forstå, hvornår forskning lever op til reglerne, lyder det fra Styrelsen for Forskning og Uddannelse. Ifølge kritikerne er det dog statens system, den er gal med.
BFI uforståeligt uklare retningslinjer

Hvem skal tilpasse sig hvem? Jura og BFI har haft deres ægteskabelige problemer fra start. (Illustration: Mette Friis Mikkelsen / Videnskab.dk)

Når en firkantet klods ikke passer ned i et trekantet hul – er det så firkanten eller hullet, den er gal med?

Eller med andre ord: Når særlige forskningstyper ikke passer til statens pointsystem, BFI, er det så forskningen eller systemet, der skal laves om?

Historien kort
  • Styrelsen for Forskning og Uddannelse giver i en intern mail udtryk for, at jurister ikke altid forstår kravene til at få point i statens pointsystem, BFI. Juristerne har svært ved at 'forstå' videnskabelighed.
  • Men ifølge flere jurister er det ikke jura, men BFI, der har et problem.
  • Kritikere påpeger, at systemet ikke passer lige så godt til humaniora og samfundsvidenskab som til naturvidenskab.

Ifølge Styrelsen for Forskning og Uddannelse (SFU) er det førstnævnte; i hvert fald når det kommer til jura. Det fremgår af en intern mail fra styrelsen, som Videnskab.dk har fået aktindsigt i.

I mailen skriver styrelsen blandt andet:

»Vi ved fra tidligere undersøgelser og diverse møder med faggruppen for retsvidenskab, at de (juristerne, red.) har store problemer med begrebet videnskabelighed. Tilsyneladende er det meget svært for jurister at vurdere, hvad der er videnskabeligt og hvad der er formidlende i karakter.«

I artiklen ’Jura-formands svar til styrelse: Vi har ikke problemer med videnskabelighed’ kan du læse en reaktion på ovenstående udmelding fra lektor og jurist Janne Rothmar Herrmann.

Jurist: Systemet er ravende vanvittigt

Et ’formidlende’ forskningsbidrag er som udgangspunkt ikke berettiget til at udløse BFI-point. Det betyder på almindeligt dansk, at det ikke må henvende sig til studerende eller til udeforstående. Indholdet skal rette sig mod andre forskere, og hvis det ikke gør det, er det i store træk ikke videnskabeligt i BFI-forstand.

Og det er netop et af de krav, som har gjort ægteskabet mellem jura og BFI til et særdeles konfliktfyldt et af slagsen, siden systemet blev indført i Danmark i 2009. Spørger man en af landets førende jurister, er det dog ikke forskerne, men myndighederne der skal til at tage et kritisk blik indad.

Jura retsvidenskab forskning BFI

BFI giver slet ikke mening, når det kommer til jura, lyder det fra flere jurister, Videnskab.dk har talt med. Traditionerne går langt tilbage og strider imod flere BFI-krav. (Foto: Shutterstock)

Det danske pointsystem til forskning sætter nemlig måling over kvalitet, mener Peter Pagh, som er professor i miljøret på Københavns Universitet.

»Jeg mener, at systemet er ravende vanvittigt og helt upålideligt. Der er folk, der har lavet kæmpe bidrag, som ikke kan måles i det system og omvendt. Det er fundamentalt skævt og har intet med kvalitet at gøre.«

BFIs regler giver ikke mening for jura

Flere af BFIs regler giver slet ikke mening for juristerne, lyder det fra flere af slagsen, Videnskab.dk har talt med. Kravet om, at forskningen skal være henvendt til andre forskere, går eksempelvis imod en mangeårig tradition inden for jura, forklarer Jane Bolander, som er professor i skatteret på Copenhagen Business School.

Pointsystemet BFI

Den Bibliometriske Forskningsindikator (BFI) er et pointsystem, som siden 2009 har indgået i fordelingen af basismidler til universiteterne.

BFI belønner de forskningsenheder, der publicerer i de mest anerkendte kanaler – for eksempel tidsskrifter - inden for deres fag. BFI er blandt andet blevet kritiseret for uklare retningslinjer og for at forfordele nogle forskningsfelter.

Det samme gælder en anden del af BFI, som går på, at bøger – i forskerkredse kaldet monografier eller antologier – ikke i tilstrækkelig grad tæller som forskning, mener hun.

»BFI-pointtildelingen giver ikke altid mening inden for vores felt. For at kunne behandle et juridisk emne udførligt, er man nødt til at lave et større projekt, hvor man sammenholder forskellige kilder, og derved er der behov for et større værk, og derfor laver man tit monografier. Det bliver betragtet som værende af højt videnskabeligt niveau inden for vores område. Tilsvarende gælder for juridiske lærebøger, der som oftest har et meget højt niveau og ofte citeres af kollegaer og anvendes af domstolene.«

Flere jurister, som ikke ønsker at stå frem ved navn, erklærer sig over for Videnskab.dk enige og refererer blandt andet til BFI, som noget man »bare trækker på skuldrene af«.

»Hvem siger, at BFI har ret?«

Måske husker du, at Apple i 2010 havde en uheldig sag med iPhone 4, som tabte forbindelsen, hver gang man samlede den op? Steve Jobs, Apples direktør, svar på kritikken lød, at der ikke var noget galt med telefonen – men derimod folks måde at holde telefonen på.

Det kom der en række underholdende internet-memes ud af. Lektor i videnskabsteori Mikkel Willum Johansen ser en vis lighed mellem iPhone-sagen og ministeriets forsøg på at trække BFI ned over alle forskningsfelter.

Iphone Steve Jobs kritik memes

Da iPhone 4 blev lanceret, væltede klagerne ind - forbindelsen faldt, hver gang telefonen blev samlet op. Apples svar på kritikken lød, at det var folks måde at holde telefonen på, der var forkert. (Fotos: memegenerator.net, quickmeme.com og campdonuts.com)

»Forskerne har hidtil haft en praksis, hvor de har haft lokale forestillinger om, hvad forskning er. Så laver man en liste, og så opstår der pludselig et behov for, at data er ens, og at der er en fælles og ensartet opfattelse af, hvad videnskab er. Men det er listens behov, ikke forskningens,« siger Mikkel Willum Johansen, som arbejder ved Institut for Naturfagenes Didaktik på Københavns Universitet.

»Hvem siger, at det er BFI-systemet, der har ret i sin definition af forskning, og forskerne der tager fejl?« tilføjer han.

Fagfællebedømmelse kan være problem

For at et videnskabeligt bidrag er BFI-berettiget, skal det ud over at være rettet mod forskere også leve op til nogle andre krav. Heriblandt den såkaldte fagfællebedømmelse, som betyder, at det skal være læst og godkendt af andre forskere. Det kaldes i forskerkredse for ’peer review’.

For at udløse BFI-point...

... skal et videnskabeligt bidrag være:

  • Ny viden
  • Produkt af en forskningsindsats, der »lever op til feltets krav om faglig kvalitet og bidrager til udviklingen af forskningsfeltet.«
  • Rettet mod andre forskere (og må altså i udgangspunktet ikke være en lærebog).
  • Fagfællebedømt.
  • Udgivet på et forlag eller i et tidsskrift, bogserie eller konferenceserie, som optræder på Uddannelses- og Forskningsministeriets BFI-lister.

Læs mere om retningslinjerne her.

Heller ikke dette krav giver dog altid mening i jurasammenhæng, mener Peter Pagh, som selv blev kontaktet af sin ledelse for et bidrag, han havde indberettet til BFI. Bidraget var ’problematisk’, fordi det ikke var fagfællebedømt.

»Jeg er redaktør på et tidsskrift, hvor jeg 4 gange årligt laver et forord med 6-7 siders gennemgang af alle domme og afgørelser inden for miljøret. Det er der ikke andre end mig, der kan lave, og ingen kan lave peer review på det, for jeg er den eneste, der har det overblik og nøgternt set har forudsætningerne. Det er meget læst, det er bredt citeret, og det er ved Gud forskning, for det sammenholder nyt med gammelt og skaber væsentlig, ny og kvalitativ viden, som jo efter min mening må være hele pointen. Men det må ikke registreres som forskning i det der tåbelige system,« siger Peter Pagh, som endte med at give sig.

»Min ledelse kontaktede mig, og så sagde jeg bare, at det var fuldstændig rigtigt. Jeg havde registreret det som forskning - for det er det - men jeg gider ikke tage kampen, og jeg gider ikke bruge min tid på det.«

Jura retsvidenskab forskning BFI

»Det er ved Gud forskning,« siger Peter Pagh om det forord, han hvert kvartal skriver til tidsskriftet 'Miljøretlige Afgørelser og Domme', men som ikke tæller BFI-point. (Foto: Shutterstock)

BFI-udvalg: Jura er i en »særlig situation«

BFI-systemet er sådan bygget op, at der for hvert forskningsfelt er nedsat en faggruppe, i alt 67 stk. Over faggrupperne sidder Fagligt Udvalg, som er en gruppe på syv forskere, der skal repræsentere de videnskabelige hovedområder og rådgive højeste instans, styregruppen, for BFI.

Videnskab.dk har rettet henvendelse til den af de syv, der er tættest på jura, hvilket er professor Søren Askegaard, som er ansat på Institut for Marketing & Management, Syddansk Universitet.

Han medgiver, at jura på nogle punkter er i »en lidt særlig situation«, eksempelvis når det kommer til spørgsmålet om ’formidlende’ forskning. Læs mere om dette i boksen under artiklen.

BFI jura undervisning retsvidenskab

Jura er et meget praksisorienteret felt, og det kan være med til at skabe nogle 'systematiske skævheder'. (Foto: Shutterstock)

Ifølge Søren Askegaard er det dog svært at komme med et konkret bud på, hvad man kan gøre for at imødekomme forskellene imellem fagfelterne.

»Problemet er selvfølgelig, at hvis systemet skal fungere på sammenligneligt grundlag, er vi sommetider nødt til at sige, at 5 og 7 er lige. Og det ved vi jo godt, at de ikke er. Derfor handler det om at fremhæve, at de kriterier, der er gældende, skal fortolkes og forvaltes på en sådan måde, så det er så fair som muligt.«

Jura-formands svar på tiltale

I artiklen 'Jura-formands svar til styrelse: Vi har ikke problemer med videnskabelighed' kan du læse formand for den retsvidenskabelige faggruppe Janne Rothmar Herrmanns reaktion på denne artikel.

Så kriterierne kan godt fortolkes forskelligt fra område til område – eksempelvis for jura?

»Man er jo sat til at forvalte elastik i metermål, så ja, ligesom jura i øvrigt er et spørgsmål om fortolkning. Der findes ingen objektive sandheder i det her system, og der er gråzoner, som vi ikke helt kan afskaffe. Der må det også handle om noget selvjustits i de faggrupper, der sidder og vurderer kanalerne for forskningen.«

Giver det så overhovedet mening at have et system, som går på tværs af alle fagfelter?

»Ja, det mener jeg, at det gør. Men selvfølgelig giver det ikke mere mening, end at hvis der er nogle systematiske skævheder, må vi adressere dem.«

Problemer med over halvdelen af udvalgte bidrag

I en tidligere artikel har Videnskab.dk beskrevet, hvordan universiteterne tidligere på året modtog en henvendelse fra Styrelsen for Forskning og Uddannelse, som ligger under Uddannelses- og Forskningsministeriet.

Så meget koster BFI

Det er ikke opgjort, hvor meget det koster at administrere BFI i Danmark, men den danske forsker Kaare Aagaard var i 2014 med til at evaluere det norske system.

Her viste en uofficiel estimering, at etableringen kostede omkring 5 millioner euro, hvilket svarer til godt 37 millioner danske kroner.

Evalueringen estimerede også, at systemet kostede 17 årsværk at administrere årligt. Et årsværk svarer til én persons løn på et år.

Hertil kom lokale administrations-omkostninger.

Kilde: Forskerforum

Her blev de bedt om at redegøre for en række forskningsbidrag, som ifølge en gennemgang af udvalgte dele af den såkaldte ’BFI-høst’ muligvis havde udløst point, de ikke skulle. Nogle forskere blev som Peter Pagh kontaktet af deres ledelse, men de fleste universiteter og institutter valgte ikke at dykke ned i de enkelte bidrag.

Gennemgangen viste, at der var problemer med registreringen af op mod 51 procent af de knap 2.500 forskningsbidrag, som var blevet gennemgået. De udvalgte bidrag stammede primært fra samfundsvidenskab og humaniora, og det fremgår af et notat om undersøgelsen, at de var udvalgt, fordi det var på de områder, man forventede at finde eventuelle problemer med ’datakvaliteten’ – det, Søren Askegaard refererer til som ’systematiske skævheder’.

’Kvalitet’ afhang i denne sammenhæng af, om forskningen levede op til BFIs kriterier.

Videnskabsteoretiker: En kritik af systemet

Videnskab.dk har fået aktindsigt i korrespondancen omkring undersøgelsens tilblivelse, og det er der, mailen fra Styrelsen for Forskning og Uddannelse først i artiklen stammer fra. I korrespondancen er jura fremhævet som et område, hvor styrelsen mener, at der »helt klart er problemer med datakvaliteten«.

Men ifølge Mikkel Willum Johansen er BFI-systemet i udgangspunktet slet ikke designet til de såkaldte ’tørre’ videnskaber – det vil sige humaniora og samfundsfag, som eksempelvis jura. Systemet stammer fra Norge og giver i praksis bedst mening for den naturvidenskabelige forskning, mener han.

Undersøgelsens resultater afslører dermed ikke problemer med forskningen, men derimod med systemet selv, lyder det fra lektoren.

»Man skal se undersøgelsen som en kritik af BFI-systemet, for det viser jo bare, at praksis har været noget helt andet, end det BFI lægger op til. De facto har man taget noget fra naturvidenskaben og pløret det ud over hele feltet, i stedet for at tage en diskussion om, at vi burde have forskellige kriterier for forskellige områder.«

Forsker kvinde ambitiøs kittel

De relevante fagmiljøer skulle være kaldt til dialog oven på undersøgelsen af de 'problematiske' bidrag, mener Mikkel Willum Johansen. (Foto: Shutterstock)

CFA: »Denne udfordring bør adresseres«

Center for Forskningsanalyse (CFA), som gennemførte undersøgelsen, påpegede samme problemstilling over for styrelsen i forbindelse med deres gennemgang af de udvalgte BFI-bidrag.

»Hvis man analyserer indikatorens grundlag og ideer (det norske udgangspunkt), finder man, at den i høj grad baserer sig på vidensproduktionspraksis inden for de ’våde’ områder,« skriver professor Jesper Schneider fra Center for Forskningsanalyse, som ligger under Institut for Statskundskab på Aarhus Universitet, i et internt dokument til styrelsen.

»Udfordringen er naturligvis, at indikatoren ikke omfatter alle typer af videnskabelige publikationer, eller rettere at nogle typer i princippet udelukkes, fordi de ikke passer ind i en snæver formel. Denne udfordring bør adresseres,« skriver professoren videre.

Ifølge Styrelsen for Forskning og Uddannelse er BFI dog ikke oprindeligt udarbejdet til at vurdere de våde områder, men netop til at favne alle fagområder.

Kan 'god forskning' defineres på tværs?

I kølvandet på undersøgelsen præciserede det faglige udvalg reglerne for BFI. De skulle dog hellere have inviteret fagmiljøerne til dialog, hvis det stod til Mikkel Willum Johansen.

»Hvis BFI-systemet skal have legitimitet som styringsredskab, er det afgørende, at den definition af forskning, der ligger til grund for systemet, har genklang i forskningsmiljøerne,« siger han.

Den definition af forskning, der ligger til grund for BFI-systemet, har aldrig været til direkte høring hos universiteterne eller i fagmiljøerne, og det er meget problematisk, mener lektoren.

SFU: Citat er ude af sammenhæng

I en kommentar til denne artikel skriver Styrelsen for Forskning og Uddannelse:

»Citatet er taget ud af sammenhæng, hvor det er et svar på et konkret spørgsmål fra CFA i forbindelse med gennemførelsen af deres analyse. Det primære, der svares på her, er, om der er særregler for jura.«

»Den citerede udtalelse er en referering til, at der har været en drøftelse af forskningsregistrering mellem Fagligt Udvalg og faggruppen for jura tilbage i BFI’s opstart. Der har været større vanskeligheder med at definere retningslinjerne for forskningsregistrering i forhold til jura end i forhold til øvrige fagområder.«

»Vi er nødt til åbent at adressere det grundlæggende spørgsmål: ’Giver det overhovedet mening at have en definition af god forskning på tværs af alle felter?« slutter han.

BFI-styregruppe: Formålet med BFI er BFI

Styrelsen for Forskning og Uddannelse skriver i en kommentar til denne artikel, at BFI ikke har en definition af ’god forskning’, men derimod en definition af en forskningspublikation i BFI-sammenhæng.

Videnskab.dk har derfor spurgt formanden for styregruppen for BFI, Niels Christian Beier, hvad formålet med BFI er, hvis ikke at definere, hvad der er god og dårlig forskning.

»Formålet er at have en model, som kan fordele midler på basis af forskningsproduktion og at have en model til at opgøre den produktion. Det er der et politisk ønske om, og det skal man have en model for at gøre,« lyder det fra formanden.

»Det er ikke det værste system, der findes«

Niels Christian Beier mener, at der i forvejen ér et stort fokus på dialog med forskerne i forhold til at udvikle BFI. Den finder sted gennem drøftelser med faggrupperne for BFI og Fagligt Udvalg, fortæller han.

»Vi har en løbende dialog med forskerne på tværs af hovedområderne, hvor vi drøfter retningslinjerne. Hvordan ser det ud, og hvad er der brug for? Hvad er det, der rører sig? Vi støtter os op ad den faglige rådgivning og drøfter, hvordan vi vil følge op på det,« siger Niels Christian Beier.

»Det er vigtigt, at det er et system med retvisende indberetninger, og at det er et system, som forskerne har tillid til. Det er derfor, vi har lagt det ud til forskerne selv at udtænke retningslinjerne. Jeg er embedsmand, så jeg kan ikke sidde og sige, om kriterierne er rimelige. Jeg tror, det vigtige er, at det er forskerne, der bestemmer, hvorfor vi har valgt at bede Fagligt Udvalg om at stå for udarbejdelsen. Men retningslinjerne er i sidste ende styregruppens ansvar,« fortsætter han.

Professor Søren Askegaard fra Fagligt Udvalg supplerer:

»Det er ikke et problemfrit system, men i forhold til så mange andre mere konservative pointsystemer er det forholdsvis inkluderende. Hvis der skal være et system, er det langt fra det værste, der findes.«

Fagligt Udvalg om juras særlige udfordringer
Peer review fagfællebedømmelse

Peer review er ikke et problem på SDU, fordi forskerne har rettet ind efter BFI, mener Søren Askegaard. (Foto: Colourbox)

Om de særlige udfordringer for jura lyder det fra professor Søren Askegaard, Fagligt Udvalg for BFI:

»Det er måske nok sådan på jura, at der ikke er en knivskarp skelnen mellem forskning og formidling, fordi det er så praksisorienteret et forskningsfelt. Til gengæld er min umiddelbare vurdering, at peer review ikke er så stort et problem for jura, i hvert fald ikke her på stedet. Så vidt jeg er orienteret, er det et område, hvor der er sket meget inden for området, fordi man har rettet ind efter BFI.«

»Der er muligvis en forfordeling af jura på forlagssiden, fordi danske forlag ikke har en global gennemslagskraft, som berettiger til at være på et højt niveau for BFI-point. Derfor vil det være lidt sværere at skrabe point sammen, hvis man fortrinsvis publicerer på dansk og i monografier og antologier, og man kunne godt argumentere for, at der kunne være en systematisk diskrimination af jura på det punkt.«

»Det er typisk en diskussion, man ville kunne tage i Fagligt Udvalg. Omvendt skal det jo holdes op imod faren for at åbne for en strøm af undtagelser, der i sidste ende kan betyde enden på sammenligneligheden og dermed gøre systemet ret meningsløst.«

Du kan læse mere om den regionale problemstilling i boksen lige herunder.

Regional forskning bliver forfordelt
Danmark BFI regional forskning

Den regionale forskning bliver ikke fremmet af BFI, fordi international publicering generelt udløser flere point. (Foto: Shutterstock)

Forskningsbidrag udløser af flere årsager generelt flere BFI-point, hvis de bliver publiceret internationalt. Det gælder særligt for forlag, som beskrevet af professor Søren Askegaard, Fagligt Udvalg for BFI, i boksen herover.

Denne forfordeling kan være problematisk, eftersom langt fra al forskning retter sig mod et internationalt publikum – det gælder eksempelvis meget juraforskning, som ofte beskæftiger sig med regionale problemstillinger, forklarer Jane Bolander.

»En stor del af den juridiske forskning er nationalt baseret, da den vedrører lovgivningen, der som oftest kommer fra det danske folketing, og afgørelser, der som oftest kommer fra de danske domstole.«

BFI er derfor medvirkende til at kvæle regional forskning, lyder det fra Mikkel Willum Johansen.

»Hvis du er forsker og arbejder med dansk lovgivning eller en moderne dansk forfatter, hvordan kan du så skrive internationalt om det? Det gider de altså ikke høre om i USA.«