Manifest: Vurder, om forskningen er solid

»Derfor skal du ALDRIG drikke te på arbejdet,« advarede BT i en overskrift og fortsatte i artiklens indledning:

»Forskere har undersøgt teposer fra kontorer, og resultatet er skræmmende: De indeholder i gennemsnit 17 gange flere bakterier end… toiletsæder.«

BT har læst den ulækre historie i den britiske avis The Independent, der henviser til sladderbladet The Sun, der ikke linker til noget videnskabeligt studie.

For i virkeligheden er det et rengøringsfirma, som har lavet undersøgelsen, der ikke er beskrevet i noget videnskabeligt tidsskrift.

Rengøringsfirmaet har blot udsendt en pressemeddelelse om undersøgelsen, og i den gør de et nummer ud af, at deres produkter kan løse arbejdspladsers problemer med beskidte kontorer.

Du kan derfor godt regne med, at firmaet ikke har lavet undersøgelsen for at gøre dig klogere, men i stedet bare vil reklamere for sine produkter.

Skræmmehistorien om teposer er i virkeligheden et skræmmeeksempel på noget, der ikke kan siges at være rigtig forskning.

Tommelfingerregel indikerer god forskning

Forskning er en proces, der forsøger at komme så tæt som muligt på sandheden om et bestemt emne.

Når vi på Videnskab.dk skal vurdere, om et studie er solid forskning, kigger vi allerførst efter tre ting:

• Står en forsker fra en anerkendt forskningsinstitution bag?
• Er studiet udgivet i et videnskabeligt tidsskrift?
• Lyder forskernes metode god nok til at bakke deres konklusion op?

Det er vores tommelfingerregel, at hvis vi kan svare ja til de tre spørgsmål, indikerer det, at der er tale om grundig og troværdig forskning.

Vurder personen bag studiet

For at besvare det første spørgsmål, skal du lægge mærke til, hvem der står bag studiet, hvor de er ansat, og hvad deres titel er.

Personer, der laver forskning, kaldes forskere eller videnskabsmænd. De kan arbejde for firmaer, men de fleste, der udgiver videnskabelige artikler, er ansat ved forskningsinstitutioner såsom et universitet, hvor de bærer titler som professor, lektor, adjunkt, postdoc eller ph.d.-studerende.

De dygtigste videnskabsmænd bliver hyret af fine forskningsinstitutioner med store ressourcer, så tilknytning til et anerkendt universitet er et tegn på god kvalitet i forskningen.

Hvis du ikke kender det givne universitet, kan du se efter, hvor godt det er placeret på en af disse tre ranglister: Academic Ranking of World Universities, QS World University Rankings og Times Higher Education World University Rankings.

Tjek, hvor studiet er udgivet

Det andet spørgsmål besvarer du ved at kigge efter, hvor studiet er udgivet.

Det er som udgangspunkt mindre troværdigt, hvis en undersøgelse blot er lagt op på en persons egen hjemmeside, udelukkende beskrives i almindelige medier eller er udgivet af en organisation med en særlig dagsorden.

Den bedste viden får vi generelt fra forskningsresultater, der først og fremmest offentliggøres i videnskabelige tidsskrifter. For at få sit studie optaget i sådan et tidsskrift, skal forskerne meget nøje skrive om deres studie i en såkaldt videnskabelig artikel.

Artiklen bliver derefter gennemlæst af andre, uvildige forskere, og først når de siger god for, at studiet er grundigt nok, bliver artiklen trykt i tidsskriftet.

Processen kaldes fagfællebedømmelse og på engelsk peer review, og det er et kvalitetsstempel på studiet, når det er godkendt af et fagfællebedømt tidsskrift.

Men der er forskel på tidsskrifter. Forskere prøver ofte først at få deres artikel publiceret i et prestigefyldt tidsskrift, for der vil forskningsresultatet blive opdaget af mange. Hvis det mislykkes, forsøger de i mindre tidsskrifter, hvor optagelseskravene er mindre strenge.

De mest betydningsfulde studier bliver derfor generelt udgivet i de fineste tidsskrifter. Der findes også ranglister for tidsskrifter, så du kan se efter, hvor fint det er.

Et eksempel på sådan en rangliste er den internationale Impact Factor og den danske ‘BFI-liste for serier’, der rangerer tidsskrifter fra niveau 1 til 3, hvor niveau 3 kun opnås af de allerbedste.

Vær opmærksom på metoden

For eksempel var Årets Danske Forskningsresultat 2017, der kortlagde danskernes arvemasse, udgivet i niveau 3-tidsskriftet Nature.

Og forskerne bag studiet var blandt andet ansat på Københavns Universitet og Aarhus Universitet, der er rangeret flot som nummer 30 og 65 ud af 800 universiteter på Academic Ranking of World Universities.

Studiet blev især hyldet for sin særligt grundige metode, og netop metoden – altså hvordan forskningen er udført – er det tredje punkt, du skal holde øje med.

Konklusioner fra laboratorieforsøg på celler eller dyr blæses ofte op i medierne.

Eksempelvis skrev DR på baggrund af dansk forskning, at alkohol kan rense din hjerne. Men forsøget var udført på mus, og resultater fra museforsøg kan ikke konkludere noget om mennesker.

For at skabe sikker viden om mennesker skal der forsøgspersoner til – og jo flere jo bedre, så vær opmærksom på, hvor mange forsøgsdeltagere et studie bygger på.

Bemærk, at et meget lille antal forsøgspersoner kan være nok inden for såkaldt kvalitativ forskning, hvor forskere interviewer og observerer enkelte personer meget nøje for at afdække, hvordan og hvorfor mennesker opfører sig, som de gør, i bestemte situationer.

Men inden for sundhedsvidenskab skal der typisk rigtig mange forsøgspersoner til for at skabe viden om effekten af en behandling eller en fødevare.

Litteraturgennemgange giver den stærkeste viden

Hvis forskere for eksempel vil undersøge helbredseffekten af en bestemt fødevare eller behandling, kan de gøre det på mange forskellige måder, og nogle metoder giver mere sikre konklusioner end andre.

Faktisk findes der inden for sundhedsvidenskab en rangstige for, hvor stærke beviser – også kaldet evidens, de forskellige metoder giver. Den rangstige kaldes evidenspyramiden (se den illustreret i boksen under artiklen).

Øverst i pyramiden er den allermest troværdige forskning, og guldmedaljen går til de såkaldte litteraturgennemgange, der også går under navnene metaanalyser og reviews.

På andenpladsen kommer lodtrækningsforsøg, som også kaldes randomiserede kontrollerede forsøg.

Tredjepladsen indtages af de store befolkningsundersøgelser – også kaldet populationsstudier, kohortestudier og registerstudier.

Nederst i pyramiden ligger ekspertvurderinger og studier, der følger enkelte personer.

Læs de andre kapitler i serien

Når det er sagt, kan der naturligvis også skabes god viden uden for forskningsverdenen, og der findes også dårlig forskning.

Derfor er det også vigtigt at læse de andre kapitler i denne serie, så du altid har for øje, i hvilket medie du har set nyheden, om der er særlige interesser på spil, om du bliver snydt af tal og statistik, og især hvad den øvrige forskning på området viser.

\ Evidenspyramiden

Illustration: Sundhedsstyrelsen

Hvis sundhedsforskere vil undersøge effekten af at spise mange gulerødder, skaber de stærkest viden ved at bruge metoder fra toppen af evidenspyramiden.

I befolkningsundersøgelser kan forskerne spørge mange tusinde mennesker, hvor mange gulerødder de spiser, og så sammenligner de folks svar med informationer om deres helbred i sundhedsvæsenets registre.

Den slags undersøgelser kan dog kun antyde en sammenhæng mellem eksempelvis et stort indtag af gulerødder og et godt helbred, men de kan ikke afgøre, om gulerødderne er årsagen. For måske har de, der spiser mange gulerødder, også for vane at spise andre grøntsager eller at dyrke motion, og de andre vaner kan i virkeligheden være hovedårsagen til, at de er sunde.

I lodtrækningsforsøg inddeles forsøgspersoner ved lodtrækning helt tilfældigt i for eksempel to grupper, hvor den ene gruppe bliver sat til at spise gulerødder, mens en såkaldt kontrolgruppe ikke får gulerødder, og derefter undersøger forskerne begge gruppers helbred.

På grund af lodtrækningen vil de to grupper sandsynligvis være meget ens, og det vil således være ret sikkert, at det er gulerødderne, der er årsagen, hvis den ene gruppe får et bedre helbred end den anden.

I litteraturgennemgange læser forskerne alle de bedste studier i tidsskrifterne og kommer med en samlet vurdering af, om for eksempel gulerødder er gode eller dårlige for helbredet. Da litteraturgennemgange bygger på alle tidligere studier, giver de den største og stærkeste viden.

Læs mere om evidenshierakiet i artiklen ‘Ikke al forskning giver lige meget evidens: Lær at skelne‘.