Videnskab.dk: Sådan undgår du at blive snydt af rapporter fra ministerier

Når ministre får deres embedsmænd til at lave en rapport, skulle man tro, at målet er at gøre os alle klogere.

Men på det seneste er det modsatte sket. Ministre har tre gange på blot en måned præsenteret nye rapporter, der snarere har skabt forvirring og mistro.

Ministrene har i medierne fortalt, at integrationen af ikke-vestlige indvandrere går i stå i 3. generation, at der er et stort, »uforklarligt« problem med sygefravær i det offentlige, og at det ikke betyder noget for virksomheders skattebetaling, om de bliver kontrolleret af en revisor eller ej.

Men de tre rapporter har så afgørende forbehold og metodiske svagheder, at de slet ikke giver belæg for ministrenes skarpe konklusioner, lyder det fra en lang række forskere.

Lidt af kritikken går på selve rapporternes kvalitet. Men anklagerne går hovedsageligt på ministrenes måde at fremstille rapporterne på, og deres medieoptrædener er blevet kaldt alt fra »avanceret spin« til »vildledning«.

Fire ministre er nu indkaldt til samråd i Folketinget, hvor de skal forklare deres roller i de tre sager, som du kan læse mere om i boksen under artiklen.

Læs med kritiske briller - eller bliv snydt

Kontroverserne giver anledning til at få skarpslebet den kritiske sans før folketingsvalget.

For du kan ikke regne med, at journalisterne altid kan gennemskue, hvad der er fakta, og hvad der er spin.

Berlingske hoppede på historien om fejlslagen integration, da ministrene kom viftende med deres nye rapport. Aktindsigter har senere afsløret, at Berlingskes journalister havde modtaget en ufuldstændig udgave af rapporten med kraftigere sprogbrug, færre forbehold og helt andre tabeller og figurer end den endelige rapport.

Selvom Berlingske efterfølgende beklagede sine fejl, og Ritzau trak sit telegram om rapporten tilbage, nåede ministrenes påstande langt bredere ud i medierne end forskernes faktatjek.

Hvis du vil undgå at blive snydt, næste gang en minister præsenterer en rapport, er du derfor nødt til selv at kunne vurdere, om der i rapporten virkelig er evidens for de påstande, du kan læse om i medierne.

Tommelfingerregel for troværdighed dumper rapporter

Den letteste metode er at lytte til, hvad uafhængige forskere siger om sagen, men du kan også selv give rapporten et eftersyn.

Til din gennemgang af rapporten kan du bruge Videnskab.dk’s manifest, der er en guide med fem råd til at navigere i nyheder om nye undersøgelser.

Allerede i manifestets første punkt vil du kunne se, at ministeriets rapporter ikke er i nærheden af at leve op til tommelfingerreglen for troværdige studier.

Solid forskning er nemlig kendetegnet ved, at respekterede videnskabsfolk fra anerkendte forskningsinstitutioner står bag, og at studiet er publiceret i et videnskabeligt tidsskrift, hvor uvildige forskere har godkendt det.

Ministeriernes ‘hjemmelavede’ rapporter er ikke udgivet i noget tidsskrift, så der er ingen garanti for kvaliteten af dem. Desuden kan forfatterne ikke stilles til ansvar for rapporterne, da de er anonyme. Vi ved blot, at ministeriernes unavngivne embedsmænd har stået bag, og deres job er at hjælpe ministeren med at få sin politik igennem.

Det gør ikke ministeriernes rapporter ubrugelige. Men det giver grund til at forholde sig ekstra kritisk til dem, og du bør i højere grad sætte din lid til, hvad forskning udgivet i videnskabelige tidsskrifter viser.

Metode og forbehold er altafgørende

Punkt 1 i manifestet opfordrer også til at bide mærke i undersøgelsens metode. Den pointe betyder tilsyneladende ikke så meget for flere af ministrene, der undrer sig over, at debatten om rapporterne efterfølgende har handlet så meget om metodesvagheder.

Måske fordi ministrene ikke i tilstrækkelig grad forstår, at mellemregningerne er altafgørende for resultatet. Vi vil derfor minde ministrene om en lille, beskidt hemmelighed, de måske allerede kender: Man kan designe en undersøgelse til at vise stort set lige det, man ønsker.

Her er et eksempel:

Forskere udførte for nylig verdens første eksperiment, hvor personer skulle hoppe ud fra fly med og uden faldskærm. Undersøgelsen endte med den overraskende konklusion, at det slet ikke gjorde forskel for forsøgspersonernes helbred, om de var sprunget med faldskærm eller ej. Faldskærme er altså nytteløse, skulle man tro.

Langt nede i rapporten kom et vigtigt forbehold om studiets metode dog til syne: Flyet, de var sprunget ud fra, stod parkeret på en landingsplads, så forsøgspersonerne havde blot sprunget cirka 60 centimeter.

Det får selvsagt faldskærmene til at fremstå i et bedre lys, når man kender til metodens begrænsninger og ikke kun konklusionen.

På samme måde betyder det noget for fortolkningen af ministrenes rapport om integration, om man lægger mærke til forbeholdene i den.

Undersøgelsen er nemlig lavet ud fra en metode, der gør, at alle indvandrere med en dansk forælder ikke tæller med. Rapporten omhandler derfor kun en lille gruppe bestående af de formentlig allerdårligst integrerede indvandrere.

Det og andre vigtige forbehold var ikke tydelige i ministrenes præsentation, der derfor måske gav et for dystert indtryk af integrationen.

Rapporter kan bruges som et salgstrick

Når nu det er så let at overfortolke undersøgelser, bør et andet råd i manifestet også få dine alarmklokker til at ringe. Det handler om at lægge mærke til, om nogen har interesser i at drage særlige konklusioner.

Det er ingen hemmelighed, at folketingsvalget er lige om hjørnet, og politikerne fra begge fløje er i fuld gang med at sælge deres politik over for vælgerne.

I politikerens kamp for at skabe opmærksomhed om en mærkesag er det belejligt, hvis en ny rapport bakker op om den.

Du bør derfor være på vagt, når politikere bruger rapporter - og særligt rapporter, de selv har bestilt - til at male glansbilleder eller skræmmebilleder.

Spørg din politiker: Hvordan ved du det?

Forskning viser, at både venstreorienterede og højreorienterede politikere generelt tolker undersøgelsesresultater, så de understøtter deres ideologi.

Du bør derfor forholde dig kritisk til dem alle under den kommende valgkamp.

Når en politiker kommer med en påstand, kan du lade dig inspirere af den svenske bevægelse #hurvetdudet og stille spørgsmålet: Hvordan ved du det?

Spørg ind til, om der er forbehold for deres konklusion, og om den samlede forskning giver evidens for deres påstande.

På den måde bliver politikerne tvunget til at bruge mere solid videnskab i deres argumentation.

Brug hashtagget #hvordanveddudet