Henrik Dahl fra Liberal Alliance og Morten Messerschmidt fra Dansk Folkeparti har i den seneste tid angrebet køns-og minoritetsforskere med anklager om at bedrive 'venstreorienteret pseudovidenskab', der bygger på 'subjektive fornemmelser'.
Det er en meget alvorlig anklage at rette mod navngivne forskere og hele forskningsmiljøer. Men på trods af alvoren har både Dahl og Messerschmidt været upræcise i deres fremlæggelse af, hvad problemet præcist består i.
De synes lidt arbitrært at udvælge tekstmateriale (hvoraf ikke alt er videnskabeligt peer reviewede tekster), som de så citerer uden at opbygge saglige argumenter for, hvorfor eller hvordan netop dette materiale konflikter med akademiske standarder.
Men hvis vi skal prøve at gå på jagt efter, hvilke pseudovidenskabelige problemer de mener at finde, kan det hjælpe at kigge nærmere på lægen Torsten Skovs blog, begrund.dk. Det er relevant, fordi både Dahl og Messerschmidt refererer til bloggen som en kilde, der dokumenterer, at der bedrives pseudovidenskab i dansk forskning.
\ Om Forskerzonen
Denne artikel er en del af Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler deres forskning, viden og holdninger til et bredt publikum – med hjælp fra redaktionen.
Forskerzonen bliver udgivet takket være støtte fra Lundbeckfonden. Forskerzonens redaktion prioriterer indholdet og styrer de redaktionelle processer, uafhængigt af Lundbeckfonden. Læs mere om Forskerzonens mål, visioner og retningslinjer her.
Kritik fra Folketingets talerstol
Messerschmidt refererer til bloggen i ovennævnte artikel, og Dahl henviser til bloggen fra talerstolen i Folketinget den 28. maj 2021.
Fra talerstolen beskriver Dahl blog-kritikken af vores artikel således:
»Der er rejst nogle meget principelle metode-mæssige kritikker, blandt andet af alt for højt bortfald i en empirisk undersøgelse i Kvinder, Køn og Forskning.
Og da redaktøren blev konfronteret med (fordi Skov søgte om, at artiklen skulle trækkes tilbage pga. hans kritik, red.), at der er et bortfald på 88 procentt., da har han sagt, 'jamen det her er blevet undersøgt af vores kvalitetskontrol, og der er ikke noget at komme efter',« lød det fra Dahl, der fortsatte:
»Jeg kan forsikre dig for, som sociolog, at med et bortfald på 88 procent så er der noget at komme efter. Det er uacceptabelt højt, og så nytter det ikke noget, at man bare ikke vil svare på det.«
Med andre ord er det meget klart, at både Dahl og Messerschmidt mener at kunne påvise et problem med pseudovidenskab på basis af Torsten Skovs blog.
Vi vil derfor gerne - som to af forskerne til en artikel, som bloggen kritiserer - gå igennem den kritik, der fremlægges for systematisk at afvise hans kritikpunkter.
Vi mener, at Skov, Dahl og Messerschmidt alle begår netop den fejl, som de anklager feministiske forskere for: »at forklæde politiske holdninger som videnskab,« som Henrik Dahl udtrykte det fra talerstolen i Folketinget. Det er det bare ikke.
Den konkrete artikel, som Skov kritiserer, er en peer reviewet artikel, der er udgivet i det danske tidsskrift 'Kvinder, Køn og Forskning' under titlen Attitudes to Sexism and Gender Equity at a Danish University.
Artiklen er skrevet af os, Lea og Joshua Skewes, og den veletablerede kønsforsker Michelle K. Ryan. Hun er professor i social-og organisationspsykologi fra Exeter Universitet og professor i Diversitet, Groningen Universitet.
Vi bryder kritikken ned i mindre bidder
Lad os starte med at kigge nærmere på, hvad vores forskningsartikel konkret drejer sig om. Den falder helt klart i kategorien kønsforskning, da vi (på invitation fra det konkrete universitet) afdækker universitetsansattes modstand mod ligestillingsinterventioner i deres egen organisation.
Vi benytter to standardiserede spørgeskemaer: 'Modern Sexism Scale og Support for Discriminatory Practices' samt et åbent spørgsmål om de ansattes holdninger til universitetets daværende ligestillingstiltag.
Vi dokumenterer, at ansatte, der synes, at der blev gjort tilstrækkeligt for at opnå ligestilling på universitetet, har en signifikant højere 'moderne sexisme score' end dem, der mener, at der ikke gøres tilstrækkeligt.
At score højt på 'moderne sexisme skala' vil sige, at man ikke kan få øje på ligestillingsudfordringer, og at man derfor ikke er motiveret til at støtte ligestillingstiltag.
Dette resultat viser, at det konkrete universitet har en udfordring med den del af deres ansatte, der ikke vil være motiveret til at støtte op om ligestillingstiltag, som organisationen faktisk ønsker at implementere.
Det betyder også, at kernefundet i vores studie er relationen mellem universitetsansattes 'moderne sexisme score' og deres holdninger til ligestilling i organisationen.
Men hvorfor opfatter Dahl, Messerschmidt og Skov et så traditionelt designet og positivistisk funderet studie som kontroversielt og pseudovidenskabeligt? I det nedenstående bryder vi blog-kritikken ned i tre mindre bidder og behandler punkterne et ad gangen.
Kan vi konkludere noget på basis af antallet af respondenter?
Det mest afgørende kritikpunkt går på, om vi kan konkludere noget på basis af antallet af besvarelser. Vi sendte spørgeskemaet ud til 15.493 ansatte og fik besvarelser retur fra 1.805. Om dette faktum konkluderer Skov på sin blog, at:
»Det er indlysende, at når næsten 9 ud af 10 har undladt at medvirke, kan den sande værdi af scoren på Modern Sexism Scale ligge langt fra den, der er målt hos de 12 procent. Det finder forfatterne ingen anledning til at diskutere nærmere. Det ville også tvinge dem til at erkende, at dette alene på grund af responsraten er en mislykket undersøgelse.«
Dahl omformulerer, men gentager, denne pointe på talerstolen i Folketinget (jævnfør ovenstående citat).
Så lad os kigge lidt nærmere på, hvad de kan mene med den påstand. Helt forsimplet er påstanden, at antallet af respondenter ikke er tilstrækkeligt til at begrunde de konklusioner, vi drager i vores videnskabelige artikel. Den påstand kan tolkes på to måder:
- At studiet ikke har tilstrækkelig statistisk styrke eller
- At vores sample ikke repræsenterer den gruppe, vi forsøgte at konkludere noget om.
Lad os gennemgå de to mulige tolkninger en efter en.
Er der støj i signalet?
Vi starter med punkt (1), statistisk styrke. Statistisk styrke beregnes på basis af tre faktorer:
- styrken af relationen (mellem moderne sexisme og holdninger til ligestilling),
- støjen i vores datasæt (hvor meget enkelte individer afviger fra gennemsnittet) og sidst, men ikke mindst
- antal af besvarelser.
Det, Skov kritiserer i ovenstående citat, er primært vores antal af besvarelser.
Skov har ret i, at antallet af besvarelser betyder noget; jo flere deltagere man har, jo bedre vil ens chancer være for at kunne nå frem til et resultat, som faktisk indfanger det, man ønsker at undersøge.
Men antallet af deltagere er ikke den eneste faktor, der er afgørende for den statistiske styrke. Det er også helt afgørende, hvor meget støj der er i signalet, man måler på. Det vil sige, at vi må have øje for, hvor meget enkelte ansatte afviger fra gennemsnittet.
Jo større afstanden er mellem den enkelte ansatte og gennemsnittet, jo flere besvarelser vil vi skulle have for at kunne sige noget om relationen mellem moderne sexisme og ansattes holdninger til ligestillingspolitikken.
Derfor forventes alle forskere at afrapportere standardafvigelser fra gennemsnittet, så læseren kan forholde sig til, hvor meget støj der har været i et bestemt datasæt. Den norm følger vi selvfølgelig også.
Lad os tage et lidt forsimplet eksempel på basis af vores artikel.
Hvis vi sammenligner den gennemsnitlige score for dem, der synes, der blev gjort nok, med den gennemsnitlige moderne sexisme score for dem, der ikke synes, der blev gjort nok, kan man beregne, hvor mange deltagere man har brug for.
Se det detaljerede regnestykke i boksen nederst i artiklen.
Beregningen viser, at vi i det konkrete tilfælde ville have brug for 16 besvarelser. Dette lave tal skyldes, at signalet i vores datasæt er meget stærkt.
Det betyder, at der er en relativ stor forskel mellem den 'moderne sexisme score' mellem de to grupper, og at der ikke er særlig meget støj.
I vores studie nøjes vi ikke med at indsamle besvarelser fra 16 ansatte. Vi indsamlede besvarelser fra 1.488 ansatte. Der er derfor ingen tvivl om, at en sample på 1.488 personer er mere end rigeligt til at afdække det, vi ønskede at afdække.
\ Læs mere
Er vores besvarelser repræsentative?
Lad os så bevæge os videre til det næste kritikpunkt (2) - om vores besvarelser er repræsentativ.
Repræsentativitet handler i denne sammenhæng om, hvorvidt vi fik cirka lige mange besvarelser fra mænd og kvinder, om de ansatte var fordelt rimeligt på akademisk rang og repræsenterede alle universitetets fakulteter.
Vi afrapporterer disse demografiske data i vores artikel. Her fremgår det, at vi havde en relativt velafbalanceret gruppe besvarelser fordelt på køn, videnskabelig rang og fakulteter.
Et andet potentielt problem, som Skov kunne sigte efter, når han omtaler repræsentationsproblemer, er en bekymring om, at dem, der valgte at besvare spørgeskemaet, udelukkende inkluderede personer, som har meget markante holdninger til ligestillingspolitik.
Hvis man skal lege djævlens advokat, kan man forsøge at argumentere for, at vi udelukkende modtog besvarelser fra personer, der scorede i de ekstreme ender af den 'moderne sexisme skala', og at vores fund måske derfor kun afspejler en ekstrem undergruppe.
Heldigvis indsamlede vi også data om, hvad de ansattes holdning til ligestillingspolitikken var.
Vi rapporterer, at:
- 43,84 procent af de ansatte ikke vidste, hvad ligestillingspolitikken bestod i.
- 13 procent rapporterede, at de ikke havde en holdning til ligestillingspolitikken,
- 20,11 procent gav en åben besvarelse,
- resten undlod at besvare spørgsmålet.
Men andre ord er der intet, der peger på, at vi primært har rekrutteret holdningsekstremister.
Er den 'moderne sexisme skala' en brugbar skala?
Det sidste kritikpunkt på bloggen er, at skalaen ikke kan benyttes i en verden, hvor vi har opnået ligestilling. På det punkt er vi helt enige med Skov: den 'moderne sexisme skala' er designet til at indfange holdninger til ligestilling i en verden, hvor ligestilling endnu ikke er opnået.
Det betyder, at det er en skala, som man må tolke i forhold til konteksten (lige som alle skalaer, der omhandler holdninger).
Det er derfor helt essentielt at tage i betragtning, at 'The World Economic Forum’s Report on The Global Gender Gap Index' fastslår, at intet land endnu har opnået fuld ligestilling.
Ranglisten afslører også, at Danmark - i modsætning til de andre nordiske lande, der ligger helt i top - placerer sig på en trist 14. plads. Det vil sige, at den hypotetiske verden, hvor den 'moderne sexisme skala' er blevet irrelevant, fordi vi allerede har opnået fuld ligestilling, ligger ude i fremtiden.
Vi fastholder vores konklusioner
Vi startede med at påpege, at både Dahl og Messerschmidt havde et mangelfuldt grundlag i deres argumentation for, at vi har et problem med pseudovidenskab inden for dansk køns- og minoritetsforskning.
Vi valgte derefter at zoome ind på Skovs blog, da begge politikere bestræbte sig på at legitimere deres påstand med henvisning til denne. Nu har vi systematisk afvist Skovs kritik af vores forskningsartikel.
Vi har vist, at vores sample-størrelse var langt større end nødvendigt. Vi har vist, at den demografiske fordeling af de ansatte på køn, rang og fakultet var acceptabel. Vi har vist, at vores brug af den 'moderne sexisme skala' er meningsfuld i den danske kontekst.
Vi fastholder derfor vores konklusioner på basis af vores data, nemlig at ansattes moderne sexisme score er positivt korreleret med deres holdninger til ligestillingspolitikken på det konkrete universitet, og at dette giver organisationen nogle udfordringer i forhold til implementeringen af ligestillingstiltag.
Vi er helt enige med Dahl og Messerschmidt i, at pseudovidenskab ikke hører hjemme på universitetet. Men vi er ikke enige i, at de har dokumenteret, at problemet findes!
Hvis man vil afdække et sådant påstået problem, må man afholde sig fra at anvende, hvad vi vil kalde pseudovidenskabelig kritik, som den Skov anvender på sin blog.
Det vil sige, at man må afholde sig fra at bygge sine argumenter op ved hjælp af en blog, der netop gør det, vi anklages for: »at forklæde politiske holdninger som videnskab.«
Hvis man vil nedlukke hele forskningsmiljøer under anklage af, at de bedriver pseudovidenskab, må man bakke den påstand op med videnskabeligt velfunderede studier, der lever op til standarderne på peer reviewede tidsskrifter.
Der er jo ingen peer reviewede-tidskrifter, der ville kunne tage Skovs kritik af vores peer reviewede artikel seriøst – så hvorfor gør I, Dahl og Messerschmidt?
\ Beregning af nødvendigt antal deltagere
Både gennemsnit og standardafvigelse er vigtige at tage hensyn til, når man beregne, hvor mange deltagere man har brug for i en undersøgelse. Alle forskere forventes derfor at afrapportere standardafvigelser fra gennemsnittet.
Standardafvigelserne er et udtryk for, hvor forskellige folk er i de grupper, man gerne vil sammenligne. Man beregner standardafvigelser ved at måle, hvor langt folks score ligger fra gennemsnittet i deres gruppe.
For at tage et eksempel fra artiklen Attitudes to Sexism and Gender Equity at a Danish University, er den gennemsnitlige moderne sexisme score for dem, der synes, der blev gjort nok, 4.74 (Stardafvigelse +/- 1.2), og den gennemsnitlige score for dem, der ikke synes, der blev gjort nok, 3.01 (Stardafvigelse +/- 1.15).
Man kan lave beregningen selv ved at taste disse tal ind i denne app: Sample Size Calculator (clincalc.com). Så kan man se, at for at afdække en forskel mellem de to grupper ville man have brug for at rekruttere 16 ansatte. Grunden til det er, at forskellen mellem de to grupper er så stor, samtidig med at standardafvigelserne i grupperne er relativt lavt.
