Grib din kaffekop og tag en slurk.
Kvikker kaffen dig op? Yes!
Smager den godt? Formentlig.
Er den sund? Hmm, tja, bum bum bum… det er faktisk ret svært at svare på. Selv for et videnskabsmedie som Videnskab.dk.
Videnskabelige undersøgelser af kaffe peger i alle mulige retninger. Nogle resultater indikerer, at kaffedrikkere har højere risiko for kræft. Andre undersøgelser viser, at kaffe er gavnligt for folk med Parkinson og diabetes, og at den brune substans også kan forebygge kræft i leveren.
Så hvad skal vi gøre som forbrugere? Stoppe kaffedrikning? Øge forbruget, men kun op til x antal kopper om dagen? Skifte til filterkaffe, fordi grumset kaffe måske er mere usundt?
Videnskab.dk har et bud: Brug vores nye, opgraderede Evidensbarometer!
\ Udviklet i samarbejde med forskere
Evidensbarometeret er oprindelig udviklet i samarbejde med Anders Sundnes Løvlie og Astrid Waagstein fra IT-Universitetet.
Forskerne har testet forskellige udgaver af barometeret på Videnskab.dk-brugere og har siden fået accepteret et studie til udgivelse i tidsskriftet Digital Journalism for at fortælle om arbejdet med Evidensbarometeret og om brugernes opfattelse af det.
Med på forfatterlisten til studiet er også én af skribenterne bag denne artikel, tidligere udviklingschef på Videnskab.dk, Peter Hyldgård.
Du kan dykke ned i det endnu upublicerede studie på preprint-serveren arXiv.
Barometeret hjælper dig med at afkode, hvor meget evidens der ligger bag en sundhedsvidenskabelig nyhed.
Du kan se et eksempel på Evidensbarometeret både i toppen af denne artikel og længere nede, hvor en forklaring følger med.
Ikke lige stor evidens bag al forskning
Kaffen er et godt eksempel på, hvordan vi nemt bliver forvirrede, når vi følger medier og universiteters udmeldinger om ny forskning, der den ene dag peger i den ene retning og måske allerede dagen efter i den stik modsatte retning.
Det er nemt at forfalde til den holdning, at »når forskerne alligevel ikke kan blive enige, så holder jeg op med at lytte til dem og gør bare, som jeg altid har gjort«. Eller man finder sit yndlings-forskningsresultat, der passer med den adfærd eller holdning, man har i forvejen, og bruger det til at bekræfte, at man handler korrekt.
Vi – medier, forbrugere, politikere, borgere – glemmer bare en helt central mellemregning: Der er ikke lige stærk evidens bag alle forskningsresultater.
Det er en helt central pointe, som tåler en gentagelse: Der er ikke lige stærk evidens bag alle forskningsresultater.
Hvad er stærk evidens?
Evidens dækker over, hvor stor vores pulje af viden er i øjeblikket.
Et enkelt videnskabeligt forsøg kommer i sig selv aldrig med svar, der er 100 procent sikre. Et studie kan i stedet være med til at sandsynliggøre, at noget er sandt.
Den stærkeste evidens får vi, når et emne er undersøgt på mange forskellige måder og både i celler, dyr og mennesker, gerne rigtigt mange gange.
Jo mere veludført forskning, der peger i samme retning, desto stærkere er evidensen.
\ Evidens kan gradbøjes
Styrken af evidens i sundhedsvidenskab bliver groft sagt bestemt ud fra:
- Hvilken type forskning, der er lavet
- Hvor stor og grundig undersøgelsen er
- Hvor stor den målte effekt er
- Hvor mange studier, der peger i samme retning
- Hvor mange studier, der peger i en anden retning
Læs mere i artiklen Hvad er videnskabelig evidens.
Evidens skal altså ses som et udtryk for, hvor meget vi ved om en sammenhæng i verden. Inden for sundhedsvidenskab ville det typisk være, hvor sandsynligt det er, at der er direkte årsagssammenhæng mellem et fænomen, man fokuserer på, og en effekt på mennesker.
Vi ved, at motion gavner vores helbred, at rygning skader vores lunger, og hvorfor vacciner kan holde os raske. Evidensen er stærk, og ny forskning skal ses i forhold til det.
Spørgsmålet er så, hvad man gør, hvis man støder på et nyt studie, der ikke lige lægger sig fint i tråd med en masse tidligere forskning? Måske ser forskerne på noget helt nyt? Måske går konklusionen i en helt anden retning?
Her er det godt at kende til evidenshierarkiet, også kendt som evidenspyramiden.
Et nyt sundhedsstudie placerer sig som tommelfingerregel i et hierarki, inddelt efter hvor stærk evidens forskernes metode kan siges at fremskaffe.
Øverst ligger studier, hvor forskere systematisk har gennemgået al relevant forskning, der indtil videre er udgivet om et emne – den slags studier kaldes systematiske reviews.
Nederst ligger vurderinger, enkelte patienters sygdomsforløb eller oplevelser (kasuistikker) og små forsøg på dyr og celler, der som udgangspunkt siger ganske lidt om, hvordan den komplicerede menneskekrop fungerer og reagerer.
Forskellige typer forsøg giver altså hver især en vis evidens.
Evidenspyramiden efterlader endda plads til flere overvejelser: I al forskning kan en masse forbehold og faldgruber gøre, at man ikke automatisk kan regne med, at et studie giver stærk evidens, blot fordi det befinder sig øverst i pyramiden.
Så hvad pokker skal vi tro som almindelige borgere, når vi møder påstande om kost og sundhed, baseret på et forskningsresultat?
Det er her, Videnskab.dk’s Evidensbarometer version 2.0 kommer ind i billedet.
Tidligere Evidensbarometer havde skæv vægt
Evidensbarometeret blev første gang lanceret i 2019 sammen med forskere fra IT-Universitetet.
Det er blevet brugt på en række nyhedsartikler lavet af Videnskab.dk’s journalister som et forsøg på at give en enkel, visuel indikation på, hvor meget man kan konkludere på baggrund af det omtalte forskningsresultat.
Sagt på en anden måde er tanken, at Evidensbarometeret kan hjælpe dig til at beslutte, om du skal stille kaffekoppen fra dig, eller om det er sikkert at drikke videre, hvis forskere bag en ny undersøgelse hævder at have fundet en sammenhæng mellem kaffe og kræft.
Som vi har nævnt i en tidligere artikel, har Evidensbarometeret fra 2019 vist sig at have sine begrænsninger og på den måde givet et lidt skævt indtryk af det nye studie.
Derfor justerer vi fra i dag Evidensbarometeret, så det bliver mere retvisende.
Nyt Evidensbarometer: Fem vigtige punkter
Fremover vil det bestå af fem centrale elementer:
Pilen i toppen giver dig et overordnet indtryk af, hvor stærk evidens det nye studie bidrager med.
Pilens placering er bestemt af fire underliggende parametre, der langt fra vejer lige tungt.
De fire parametre er:
- Har studiet været gennem peer review, og er det udgivet i et videnskabeligt tidsskrift?
- Hvilken metode har forskerne benyttet?
- Hvordan passer studiet ind i den samlede evidens?
- Særlige omstændigheder (for eksempel interessekonflikter)
1) Peer review eller ej?
Det er afgørende for, hvor pilen står, om arbejdet har været gennem fagfællebedømmelse, også kaldet peer review. Hvis studiet ikke er peer reviewed, lander pilen i det røde felt.
Peer review er en kritisk gennemgang af centrale elementer som metode, beregninger og konklusioner. Den foregår ved, at andre forskere inden for samme forskningsfelt læser forskernes manuskript meget nøje igennem for at se efter mulige fejl og svagheder. Først når fagfællerne har godkendt manuskriptet, kan det publiceres i et tidsskrift.
Rapporter fra interesseorganisationer eller offentlige myndigheder, analyser fra tænketanke og lignende har ikke nødvendigvis været gennem peer review.
Manuskripter præsenteret på såkaldte preprint-servere er aldrig fagfællebedømte. Disse typer arbejde har som udgangspunkt større risiko for at være misvisende og vil derfor altid få pilen til at ligge i det røde felt i Evidensbarometeret.
2) Forskernes metode
Som du kan læse tidligere i denne artikel, er forskernes metode afgørende for, hvor meget evidens studiet kan siges at bidrage med. Derfor betyder metoden en hel del for, hvor højt pilen ender med at stå.
3) Samlet evidens
Det spiller som udgangspunkt også ind på pilens placering, hvis et studie stritter i en helt anden retning end meget andet forskning.
\ Nyt punkt i Evidensbarometeret
Evidensbarometeret har hidtil belønnet et studie, hvis førsteforfatteren er en rutineret professor med meget forskning på CV’et.
Gode ideer, interessante vinkler, flotte studier, nytænkning og solid evidens kan dog sagtens komme fra studier lavet af yngre eller mere urutinerede kræfter.
Derfor sløjfer vi nu hensynet til forskerens historik og erstatter det tidligere punkt »Forskernes erfaring« med et helt nyt parameter, som vi kalder »Samlet evidens«.
Den slags forskning kan være mindst lige så vigtig som forskning, der lægger sig i kølvandet på konklusioner fra tidligere arbejde. Men hvis pilen skal undgå at blive påvirket i negativ retning, kræver det en stærk metode og opbakning fra udenforstående forskere, der altid bliver inddraget som kilder i Videnskab.dk’s historier.
Går det nye studie mod al hidtidig viden på et tyndt grundlag, vil det altid påvirke pilens placering negativt.
4) Særlige bemærkninger
Hvis særlige omstændigheder kan spille ind på studiets konklusioner, skriver vi det eksplicit her. Det kunne for eksempel være, at et studie, der finder en gavnlig effekt af et nyt middel, er betalt af nogen, der har særlig interesse i at få den konklusion frem.
En hel del sundhedsforskning kan kun blive gennemført med finansiering fra fonde eller virksomheder. Det er langt fra altid et problem, at forskerne har fået penge udefra til at lave deres forsøg. I de fleste tilfælde blander sponsorer sig ikke i, hvordan forsøget bliver lavet, og de har ikke direkte indflydelse på resultaterne.
Men det er altid godt at være opmærksom på mulige interessekonflikter. Hvis interessekonflikten er tydelig – eller hvis der er andre åbenlyse faldgruber i studiet – vil det påvirke, hvor pilen ender i barometret.
Bedste bud – lige nu
Ligesom et nyt studie aldrig skal læses som den endegyldige sandhed, skal Evidensbarometeret ikke ses som den absolutte sandhed om et studie.
Tænk det i stedet netop som et barometer:
Når man banker forsigtigt på et barometer i den fysiske verden, bevæger nålen sig en smule og giver en indikation på, om der er bedre eller værre vejr på vej. Men det er netop kun en indikation. Selv om lufttrykket stiger, kan vejret alligevel godt slå om og blive til øs-pøs-regnvejr dagen efter.
På samme måde giver Evidensbarometeret et kvalificeret varsel, som du kan bruge til at navigere efter.
Ligesom med det klassiske barometer giver pilens placering en fornemmelse af, hvad der er på spil: Vær på vagt, hvis nålen ryger helt i bund. Lad dig begejstre lidt mere – altid med din kritiske sans slået til – hvis pilen en sjælden gang imellem skulle ryge helt op i toppen af det mørkegrønne felt.
Evidensbarometer skal hjælpe brugere og journalister
Inden for de rammer er det håbet, at Evidensbarometeret er kan hjælpe os alle sammen til at navigere lidt bedre mellem alle budskaberne om, hvordan vi skal leve et sundt liv.
\ Videnskabsjournalistik siden 2008
I 14 år har Videnskab.dk lavet historier, der har sat forskning på dagsordenen i landets medier og løftet dækningen af videnskab (det har vi fået en pris for) – men vi har også lavet nogle brølere, som vi har lært af.
Alle erfaringerne har vi brugt til at blandt andet at lave et manifest med råd til danskere, der støder på nyheder om forskning i tv eller dagblade eller på sociale medier.
Vi har også lavet en gratis guide med 11 gode råd til journalister, der skriver om videnskab. Guiden er støttet af Den Fynske Bladfond og blandt andet omdelt til 17.500 journalister og kommunikatører med fagbladet Journalisten.
Videnskab.dk præsenterer desuden pointerne i oplæg og på kurser.
Fremover vil du møde Evidensbarometeret, når journalister på Videnskab.dk skriver nyheder om sundhedsforskning.
Tanken er, at det kan hjælpe dig til at vurdere forskningen bag den konkrete nyhed, men vi håber, at det samtidig kan ‘uddanne’ os alle – både journalister og brugere – til at være mere opmærksomme på faldgruber og overdrevne påstande om sundhed, uanset hvor vi møder dem.
Har du ris eller ros, hører vi meget gerne fra dig. Skriv til os på redaktion@videnskab.dk.
Vigtigst af alt håber vi, at vi med Evidensbarometeret alle sammen bliver bedre til at huske, at der er ikke lige stærk evidens bag alle forskningsresultater og dermed forskningsnyheder.
Med det i baghovedet kan du selv afgøre, om du skyller artiklen her ned med kaffe eller urtete.
Skål!
