Videnskab.dk: Sådan undgår du at blive snydt af rapporter fra ministerier
Kommentar fra Videnskab.dk's nyhedsredaktør: Valgkampen nærmer sig. Her er en guide til, hvordan du finder frem til fakta, når politikere præsenterer nye undersøgelser i medierne.
regeringen ministre ministerier embedsmænd rapporter konklusioner strider mod forskning samråd

Flere ministre er indkaldt til samråd i Folketinget, hvor de skal forklare, hvordan de på baggrund af rapporter er nået frem til nogle konklusioner, som ifølge forskere ikke holder vand. (Foto: Steen Brogaard/Folketinget)

Når ministre får deres embedsmænd til at lave en rapport, skulle man tro, at målet er at gøre os alle klogere.

Men på det seneste er det modsatte sket. Ministre har tre gange på blot en måned præsenteret nye rapporter, der snarere har skabt forvirring og mistro.

Ministrene har i medierne fortalt, at integrationen af ikke-vestlige indvandrere går i stå i 3. generation, at der er et stort, »uforklarligt« problem med sygefravær i det offentlige, og at det ikke betyder noget for virksomheders skattebetaling, om de bliver kontrolleret af en revisor eller ej.

Men de tre rapporter har så afgørende forbehold og metodiske svagheder, at de slet ikke giver belæg for ministrenes skarpe konklusioner, lyder det fra en lang række forskere.

Lidt af kritikken går på selve rapporternes kvalitet. Men anklagerne går hovedsageligt på ministrenes måde at fremstille rapporterne på, og deres medieoptrædener er blevet kaldt alt fra »avanceret spin« til »vildledning«.

Fire ministre er nu indkaldt til samråd i Folketinget, hvor de skal forklare deres roller i de tre sager, som du kan læse mere om i boksen under artiklen.

Læs med kritiske briller - eller bliv snydt

Kontroverserne giver anledning til at få skarpslebet den kritiske sans før folketingsvalget.

For du kan ikke regne med, at journalisterne altid kan gennemskue, hvad der er fakta, og hvad der er spin.

Berlingske hoppede på historien om fejlslagen integration, da ministrene kom viftende med deres nye rapport. Aktindsigter har senere afsløret, at Berlingskes journalister havde modtaget en ufuldstændig udgave af rapporten med kraftigere sprogbrug, færre forbehold og helt andre tabeller og figurer end den endelige rapport.

Selvom Berlingske efterfølgende beklagede sine fejl, og Ritzau trak sit telegram om rapporten tilbage, nåede ministrenes påstande langt bredere ud i medierne end forskernes faktatjek.

Hvis du vil undgå at blive snydt, næste gang en minister præsenterer en rapport, er du derfor nødt til selv at kunne vurdere, om der i rapporten virkelig er evidens for de påstande, du kan læse om i medierne.

Tommelfingerregel for troværdighed dumper rapporter

Den letteste metode er at lytte til, hvad uafhængige forskere siger om sagen, men du kan også selv give rapporten et eftersyn.

Til din gennemgang af rapporten kan du bruge Videnskab.dk’s manifest, der er en guide med fem råd til at navigere i nyheder om nye undersøgelser.

Allerede i manifestets første punkt vil du kunne se, at ministeriets rapporter ikke er i nærheden af at leve op til tommelfingerreglen for troværdige studier.

Solid forskning er nemlig kendetegnet ved, at respekterede videnskabsfolk fra anerkendte forskningsinstitutioner står bag, og at studiet er publiceret i et videnskabeligt tidsskrift, hvor uvildige forskere har godkendt det.

Ministeriernes ‘hjemmelavede’ rapporter er ikke udgivet i noget tidsskrift, så der er ingen garanti for kvaliteten af dem. Desuden kan forfatterne ikke stilles til ansvar for rapporterne, da de er anonyme. Vi ved blot, at ministeriernes unavngivne embedsmænd har stået bag, og deres job er at hjælpe ministeren med at få sin politik igennem.

Det gør ikke ministeriernes rapporter ubrugelige. Men det giver grund til at forholde sig ekstra kritisk til dem, og du bør i højere grad sætte din lid til, hvad forskning udgivet i videnskabelige tidsskrifter viser.

Metode og forbehold er altafgørende

Punkt 1 i manifestet opfordrer også til at bide mærke i undersøgelsens metode. Den pointe betyder tilsyneladende ikke så meget for flere af ministrene, der undrer sig over, at debatten om rapporterne efterfølgende har handlet så meget om metodesvagheder.

Måske fordi ministrene ikke i tilstrækkelig grad forstår, at mellemregningerne er altafgørende for resultatet. Vi vil derfor minde ministrene om en lille, beskidt hemmelighed, de måske allerede kender: Man kan designe en undersøgelse til at vise stort set lige det, man ønsker.

Her er et eksempel:

Forskere udførte for nylig verdens første eksperiment, hvor personer skulle hoppe ud fra fly med og uden faldskærm. Undersøgelsen endte med den overraskende konklusion, at det slet ikke gjorde forskel for forsøgspersonernes helbred, om de var sprunget med faldskærm eller ej. Faldskærme er altså nytteløse, skulle man tro.

Langt nede i rapporten kom et vigtigt forbehold om studiets metode dog til syne: Flyet, de var sprunget ud fra, stod parkeret på en landingsplads, så forsøgspersonerne havde blot sprunget cirka 60 centimeter.

Det får selvsagt faldskærmene til at fremstå i et bedre lys, når man kender til metodens begrænsninger og ikke kun konklusionen.

Metoden bestemmer resultatet

Lad os sige, at to firmaer begge vil undersøge, om man får bedst resultat af at skrive i hånden eller på computer.

En blyantsfabrikant kan nå til en fordelagtig konklusion ved at lade undersøgelsen foregå under en 20 minutter lang matematikprøve, hvor det er nemmest at skrive de krøllede formler i hånden.

En computerproducent vil dog kunne fremtvinge et helt modsat resultat ved at lade det være en seks timer lang eksamen i dansk stil, hvor et skriveprogram og tastatur er at foretrække frem for blyant og viskelæder.

På samme måde betyder det noget for fortolkningen af ministrenes rapport om integration, om man lægger mærke til forbeholdene i den.

Undersøgelsen er nemlig lavet ud fra en metode, der gør, at alle indvandrere med en dansk forælder ikke tæller med. Rapporten omhandler derfor kun en lille gruppe bestående af de formentlig allerdårligst integrerede indvandrere.

Det og andre vigtige forbehold var ikke tydelige i ministrenes præsentation, der derfor måske gav et for dystert indtryk af integrationen.

Rapporter kan bruges som et salgstrick

Når nu det er så let at overfortolke undersøgelser, bør et andet råd i manifestet også få dine alarmklokker til at ringe. Det handler om at lægge mærke til, om nogen har interesser i at drage særlige konklusioner.

Det er ingen hemmelighed, at folketingsvalget er lige om hjørnet, og politikerne fra begge fløje er i fuld gang med at sælge deres politik over for vælgerne.

I politikerens kamp for at skabe opmærksomhed om en mærkesag er det belejligt, hvis en ny rapport bakker op om den.

Du bør derfor være på vagt, når politikere bruger rapporter - og særligt rapporter, de selv har bestilt - til at male glansbilleder eller skræmmebilleder.

Spørg din politiker: Hvordan ved du det?

Forskning viser, at både venstreorienterede og højreorienterede politikere generelt tolker undersøgelsesresultater, så de understøtter deres ideologi.

Du bør derfor forholde dig kritisk til dem alle under den kommende valgkamp.

Når en politiker kommer med en påstand, kan du lade dig inspirere af den svenske bevægelse #hurvetdudet og stille spørgsmålet: Hvordan ved du det?

Spørg ind til, om der er forbehold for deres konklusion, og om den samlede forskning giver evidens for deres påstande.

På den måde bliver politikerne tvunget til at bruge mere solid videnskab i deres argumentation.

Brug hashtagget #hvordanveddudet

Tre forskerlussinger til ministre

1: Rapporten om revisionspligt

Først konstaterede erhvervsminister Rasmus Jarlov (K), at det ikke gør nogen forskel på en virksomheds skattebetaling, om virksomheden bliver kontrolleret af en revisor eller ej.

Men Jarlovs undersøgelse fra Erhvervsstyrelsen er alt for svag til at konkludere noget som helst, lød det ifølge TV2 fra fire forskere - heriblandt en professor, der havde været ekstern ekspert under udarbejdelsen af rapporten.

Jarlov ville ifølge TV2 diskutere kritikken med embedsværket, og onsdag 30. januar skal han forklare sig i et samråd.

2: Rapporten om integration

Dernæst var integrationsminister Inger Støjberg (V) og undervisningsminister Merete Riisager (LA) i Berlingske og påstod, at integrationen går i stå i tredje led.

Men, som forskere påpegede på Videnskab.dk, er ministeriernes rapport skruet sammen på en måde, så den kun inddrager de formentlig allerværst stillede indvandrere.

Det var så grelt, at Berlingske måtte rette og beklage, og Ritzau måtte trække deres telegram tilbage. Ifølge Berlingske havde ministeriet tilsendt dem en ufuldstændig udgave af rapporten med færre forbehold.

Merete Riisager afviser kritikken, som hun finder »mærkelig« og »helt absurd«. Men heller ikke hun slipper for at forholde sig yderligere til sagen, da hun skal stå skoleret i et samråd 19. februar

3: Rapporten om sygefravær

For nylig brugte to andre ministre så også Berlingske til at udbrede budskabet om, at offentligt ansatte årligt tager sig 5-6 sygedage mere end privatansatte.

»Det kan ikke passe,« sagde beskæftigelsesminister Troels Lund Poulsen (V) flankeret af minister for offentlig innovation Sophie Løhde (V), der kaldte det »uforklarligt«.

Men da en række forskere læste rapporten, kunne de ifølge Politiken nu alligevel godt finde naturlige forklaringer på en stor del af sygefraværet - blandt andet, at der i det offentlige er ansat flere kvinder, som har sygedage i forbindelse med graviditet.

Renser man tallene i rapporten for den slags uligheder, forsvinder forskellen mellem private og offentligt ansattes sygefravær i høj grad.

Troels Lund Poulsen holder ifølge et mailsvar fast i sin overordnede konklusion, men hvordan han nærmere forholder sig til kritikken, bliver han sammen med Sophie Løhde spurgt ind til i et samråd 6. februar

Videnskab.dk's manifest

Videnskab.dk har eksisteret i 10 år. Vi er selv blevet meget klogere på forskning og videnskabsjournalistik undervejs, og nu deler vi vores viden i et manifest med fem artikler.

Hver artikel giver gode råd til, hvad du skal kaste et kritisk blik på, hvis du vil vurdere troværdigheden af en historie om forskning, som du er stødt på i medier eller på Facebook.

De fem artikler finder du her:

Du kan også læse manifestets intro, hvis du er i tvivl om, hvorfor de her artikler er lavet.

LÆS OGSÅ: 10 års erfaring har gjort Videnskab.dk's artikler særlige på 10 punkter

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.


Se den nyeste video fra Tjek

Tjek er en YouTube-kanal om videnskab og sundhed henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's Center for Faglig Formidling med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.