Er vacciner sikre? Hvor stammer coronavirus fra? Kan man behandle COVID-19 med D-vitamin? Kan det virkelig passe, at rygere bliver mindre syge? Virker mundbind og nedlukninger overhovedet?
Corona-pandemien har sat en tyk streg under, hvor essentielt og nogle gange livsvigtigt det er at have dygtige forskere og solid videnskab til rådighed, når vi skal besvare små og store spørgsmål, løse samfundskriser og styre verden i den bedst mulige retning.
Pandemien har samtidig udstillet nogle af de store udfordringer, som både mediebrugere, politikere og journalister står overfor ved mødet med ny sundhedsforskning:
- Hvor troværdig er ny forskning?
- Hvordan afgør man, om man kan stole på et nyt studie?
- Hvis det nye studie konkluderer det modsatte af, hvad anden forskning har vist – hvad skal man så tro?
Misvisende historier kan være med til at afspore en vigtig debat.
\ Typiske faldgruber i nyheder om ny forskning
Når nyheder giver et skævt billede af, hvad »ny forskning viser«, skyldes det tit:
- Konklusionen i et nyt studie bliver slået stort op, blot fordi forskningen er ny
- Årtiers tidligere studier (evidensen) bliver ignoreret
- Man ser lidt stort på, om et studie er publiceret i et tidsskrift eller ej
- Vigtige nuancer udelades, for eksempel interessekonflikter, som kan påvirke forskning eller formidlingen af den
- Studiets metode bliver ignoreret, selvom den er afgørende for styrken af evidens
Håbet er, at Evidensbarometeret kan være med til at skabe fokus på, om forskning bidrager med svag eller stærk evidens – altså, hvor vigtigt et studie er, og hvor meget viden det bidrager med.
De kan endda få folk til at droppe livreddende vacciner eller kaste sig over behandlinger, som i bedste fald blot er nytteløse, men som risikerer at skabe endnu mere sygdom.
Derfor er det afgørende, at medier er dygtige til at afkode studier eller i det mindste få formidlingen af dem til at sidde i skabet.
Læsere, seere, brugere og beslutningstagere skal have den bedst mulige viden, så de har mulighed for at træffe velinformerede beslutninger.
Som en hjælp i den retning lancerer Videnskab.dk snart en ny og opgraderet version af Evidensbarometeret, der oprindeligt blev præsenteret i 2019.
\ Læs mere
Evidensbarometeret giver en hurtig pejling
Evidensbarometeret er i bund og grund en pil placeret i enten et grønt eller rødt felt i toppen af en journalistisk nyhedshistorie om sundhedsvidenskab.
Du kan se pilen i toppen af denne artikel og se et eksempel på et helt Evidensbarometer i artiklen Dansk studie: Personer med diabetes får det bedre, når de cykler.
Pilen giver et indtryk af, om det omtalte studie i artiklen ser ud til at være til at stole på, eller om man skal være på vagt – ligesom et normalt barometer indikerer, om vejret tegner til at blive godt eller dårligt.
Under pilen kan du som bruger få indsigt i de fire centrale punkter, der indtil nu har afgjort, hvor pilen står:
Nyt studie: Evidensbarometeret kan blive bedre
Tre år efter lanceringen er vi blevet meget klogere, har gjort os en masse erfaringer og fået feedback fra både brugere og forskere.
Et nyt videnskabeligt studie har oven i købet kortlagt effekten af Evidensbarometeret på Videnskab.dk, der blev udviklet i samarbejde med forskere IT-Universitetet og er det første af sin art i verden.
\ Evidensbarometer-studiet
Det videnskabelige studie er lavet af samme forskere fra IT-Universitetet, der i sin tid var med til at udvikle Evidensbarometeret. Med på forfatterlisten til studiet er også Videnskab.dk’s tidligere udviklingschef, Peter Hyldgård.
Studiet har netop været gennem peer review og er accepteret til udgivelse i tidsskriftet Digital Journalism.
For nu kan du dog kun tilgå en version på en preprint-server, hvor konklusionen lyder:
»Evaluations of the design demonstrate some success in helping readers recognize whether studies have undergone scientific peer review or not, but point to challenges in facilitating a more in-depth understanding.«
Du kan læse hele det upublicerede studie – og få mere detaljeret indsigt i overvejelserne bag projektet og brugernes opfattelse af Evidensbarometeret – på arxiv.org.
Studiet er accepteret til udgivelse i tidsskriftet Digital Journalism og har set på, om man som bruger reelt får større indsigt i forskning og bliver klogere på, hvad der giver stærk evidens.
Konklusionen lyder kort sagt: Mnja. Det gør man til dels. Men der er mangler.
Samme typer melding har vi fået fra både jer brugere og andre forskere. Og vi sidder som journalister og ansvarlige for Evidensbarometeret med samme fornemmelse.
Derfor peger alt i én retning: Evidensbarometeret skal justeres for at blive den bedst mulige hjælp.
Helt konkret skal Evidensbarometeret i sin nye form lægge langt mindre vægt på to af parametrene, der hidtil har været med til at afgøre, hvor pilen er endt med at stå:
- Om tidsskriftet ligger højt på en rangliste (Videnskabelig publicering)
- Om en forsker i forvejen har udgivet mange studier med mange citationer til følge (Forskerens erfaring)
I stedet lægger vi vægten på nogle andre og mere afgørende parametre.
1) Peer review vigtigere end rangliste
Evidensbarometeret har indtil set ekstra gunstigt på studier udgivet i de fineste tidsskrifter. Men selv fine tidsskrifter kan komme til at publicere noget hø, og selv lavere rangerende tidsskrifter kan publicere solide studier.
Det nye Evidensbarometer vil derfor generelt belønne studier, der er publiceret i tidsskrifter med peer review frem for at fokusere på, om et studie er publiceret i et særligt fint tidsskrift, der i det tidligere barometer blev afgjort af, om tidsskriftet rangerer højt i på statens BFI-liste.
Det er langt mere sigende for et studie, om det er gennemset af fagfæller eller ej, end om det er udkommet i Science eller PNAS, i The Lancet eller New England Journal of Medicine.
2) »Samlet evidens« ind – erfaring ud
Hidtil har Evidensbarometeret belønnet et studie, hvis førsteforfatteren er en rutineret professor med meget forskning på CV’et. Tilsvarende har det straffet studier lavet af mere urutinerede ph.d.-studerende, der naturligt lå lavere i det såkaldte H-indeks.
Det giver et forkert billede af verden. Som forskerne fra IT-Universitetet gør opmærksom på i deres studie:
»In particular, using an authors’ H-index as an indicator of evidence strength is in logical terms a fallacy«; at bruge H-indeks som indikator for styrken af evidens er en deciceret fejlslutning.
Gode ideer, interessante vinkler, flotte studier, nytænkning og solid evidens kan nemlig i sagtens komme fra studier lavet af yngre eller mere urutinerede kræfter.
H-indekset var blandt andet med som en faktor, fordi det tidligere var en drøm, at Evidensbarometeret mere eller mindre kunne lave sig selv ud fra forholdsvis objektive parametre. Det har vist sig ikke at være tilfældet.
Vi har flere gange oplevet, at pilen er havnet et lidt skævt sted i barometeret, blandt andet fordi et studie blev tillagt for meget eller for lidt vægt på grund af det første forfatternavn.
Derfor sløjfer vi hensynet til forskerens historik og erstatter punktet »Forskernes erfaring« med et helt nyt parameter, som vi kalder »Samlet evidens«.
Samlet evidens dækker over, at langt de fleste studier skriver sig ind i en historierække af andre studier, der tilsammen skaber evidens på feltet.
Pilens placering i det nye Evidensbarometer vil være påvirket af, om et studie går stik imod alt, hvad vi vidste i forvejen, eller lægger sig i slipstrømmen af hidtidig evidens.
Pointen er, at et nyt studie i videnskabens verden aldrig i sig selv vælter al tidligere viden af banen. Det faktum skal indgå tydeligere i Evidensbarometeret, og den bevidsthed vil vi gerne være med til at fremme hos alle, der forholder sig til nyheder om videnskab.
\ Læs mere
Forskellige metoder giver forskellig evidens
Vi laver også et par andre justeringer.
Vigtigst vil den nye version af Evidensbarometeret tage større hensyn til, om et studies konklusioner bygger på de fineste videnskabelige metoder inden for sundhedsvidenskab eller ej. Faktisk vil studiets metode have suverænt mest betydning for, hvor pilen ender med at stå.
\ Videnskabsjournalistik siden 2008
I 14 år har Videnskab.dk lavet fantastiske historier, der har sat forskning på dagsordenen i landets medier og løftet dækningen af videnskab (det har vi fået en pris for) – men vi har også lavet nogle brølere, som vi har lært af, og som har gjort os bedre.
Alle erfaringerne har vi brugt til at blandt andet at lave et manifest til danskere, der støder på nyheder om forskning i tv eller dagblade eller på sociale medier. Manifestet giver en masse råd til, hvordan man afkoder, om man kan stole på budskabet.
Vi har også lavet en gratis guide med 11 gode råd til journalister, der skriver om videnskab. Guiden er støttet af Den Fynske Bladfond og blandt andet omdelt til 17.500 journalister og kommunikatører med fagbladet Journalisten.
Videnskab.dk præsenterer desuden pointerne i oplæg og på kurser.
Et eksempel: Forsøg på mus er rigtigt gode til at vise, hvad der sker i mus.
De kan også være fine til at danne hypoteser om, hvad der kan være på spil i mennesker.
Men vil man have et studie til at sige noget om mennesker – som jo er centrale, når vi taler sundhedsforskning – giver et studie langt større evidens, hvis det rent faktisk er lavet på mennesker.
Det kommer Evidensbarometeret 2.0 til at vægte højere end tidligere.
Husk: Ingen entydig sandhed
Som du kan fornemme, skal du undgå at tænke placeringen af pilen i Evidensbarometeret som en endegyldig sandhed.
Se i stedet pilen som et resultat af de mange faser af journalistens research, der omfatter at forholde sig til studiet med afsæt i Videnskab.dk’s guide til kritisk videnskabsjournalistik.
Helt centralt i den proces er det både at vende studiet både med forskerne bag og med udenforstående forskere, der kan se på det med et frisk blik, for at høre deres vurderinger og tolkninger.
Det er vores overbevisning, at kombinationen af kritisk journalistik, forskeres faglige bemærkninger og dertil nogle centrale parametre til at vurdere selve studiet ud fra forskningens egne præmisser er den bedste vej til et velfungerende Evidensbarometer, der kan hjælpe os alle sammen med hurtigt at blive lidt klogere på videnskab.
Pilen vil komme til at stå et mere retvisende sted, og dykker man ned i teksterne i Evidensbarometeret, vil man blive bedre klædt på til at forstå forskningen og tanker bag videnskabelig evidens.
Hjælp os med at blive bedre!
Arbejdet med justeringerne har været år undervejs, og efter mange test føler vi os sikre på, at ændringerne vil gøre Evidensbarometeret langt bedre.
Men ét er vores egne mavefornemmelser og forestillinger.
Måske du gør dig andre tanker, når du læser det her? Så må du endelig dele dem med os på sociale medier (vi er på Facebook, Twitter og LinkedIn) – eller skrive direkte til os på redaktion@videnskab.dk.
Vi glæder os til at høre fra jer og præsentere det nye barometer ordentligt i løbet af foråret 2022!
