Først tak til Lea Skewes & Joshua Skewes for at svare på min kritik af deres artikel i tidsskriftet Kvinder, Køn & Forskning, 2019.
Svaret har de givet her på Forskerzonen 4. juni: Forskere svarer igen: Kritikken af vores forskning er pseudovidenskabelig.
Dermed er det, der ikke lykkedes mig ved gentagne henvendelser til tidsskriftet og førsteforfatteren, nu lykkedes.
\ Sagen kort
I 2019 udgav Lea Skewes & Joshua Skewes artiklen 'Attitudes to Sexism and Gender Equity at a Danish University'.
Den artikel har Torsten Skov, ph.d. i epidemiologi, fremhævet som et eksempel på ikke-videnskab på sin blog. Deres metoder er ikke valide, lyder kritikken.
Henrik Dahl & Morten Messerschmidt har ad flere omgange refereret til Torsten Skovs blog i deres kritik af pseudoforskning.
Her på Forskerzonen har Lea Skewes & Joshua Skewes svaret både Skov & de to folketingspolikere i kommentaren: Forskere svarer igen: Kritikken af vores forskning er pseudovidenskabelig.
Torsten Skov mener imidlertid ikke, de for alvor forholder sig kritikken. Derfor har han skrevet denne kommentar.
Lea Skewes, Joshua Skewes og tidsskriftet 'Kvinder, Køn & Forskning' svarer på Torsten Skovs kritik i boksen under kommentaren.
Min kritik af deres artikel går på, at den bærer præg af manglede teknisk ekspertise inden for kvantitative metoder, samt at konklusionerne ikke er datadrevne.
Det er så udtalt, at jeg brugte artiklen på min blog som et eksempel på ikke-videnskab.
Skewes & Skewes' svar på kritikken gør desværre kun ondt værre.
Det meste er en diskussion af statistisk styrke, selv om jeg ikke har kritiseret undersøgelsens statistiske styrke; derefter følger en diskussion af repræsentativitet, som ikke løser undersøgelsens repræsentativitetsproblem; og der sluttes af med en ikke-diskussion af min kritik af Modern Sexism Scale.
Skalaen er, som navnet antyder, et forsøg på at måle sexisme, men det er den desværre virkelig dårlig til, hvilket jeg påpeger, og de ikke svarer på.
Et andet problem er, at de ikke svarer på min kritik af, at de ikke kan finde midtpunktet på en skala fra 1 til 7.
I det følgende vil jeg gennemgå deres svar på min kritik samt vise, hvorfor min oprindelige kritik stadig holder vand.
Derfor er deres artikel fejlagtig
Indledningsvis må jeg gøre klart, at min kritik går på de anvendte metoder og ræsonnementer.
Om der er sexisme blandt de ansatte på det undersøgte universitet eller ej, har jeg ingen mening eller viden om.
Min pointe er, at efter læsning af Skewes og kollegers artikel ved jeg det stadig ikke, fordi deres metoder ikke er valide.
Der er faktisk så meget galt med deres artikel, at konklusionen er ugyldig af indtil flere grunde, som kan opsummeres (detaljer følger) således:
- 88 procent af de indbudte har ikke svaret på spørgeskemaerne, og der er ingen analyse af, om de, der svarede, er repræsentative for alle indbudte
- Selv hvis der ikke var et stort bortfald, ville det ikke redde artiklen, for Modern Sexism Scale (MSS) er ikke en valid måling af sexisme
- Selv hvis MSS var en valid måling af sexisme, ville det ikke redde artiklen, for en score på en Likert-skala for en underliggende dimension har ingen absolut fortolkning. Tallet 4,18 for MSS score kan ikke fortolkes i sig selv som udtryk for sexisme
Kun 1 ud af 10 har svaret
Nu til den tekniske gennemgang. Først bortfaldet af deltagere. Skewes & Skewes citerer mit blogindlæg korrekt for følgende:
»Det er indlysende, at når næsten 9 ud af 10 har undladt at medvirke, kan den sande værdi af scoren på Modern Sexism Scale ligge langt fra den, der er målt hos de 12 procent. Det finder forfatterne ingen anledning til at diskutere nærmere. Det ville også tvinge dem til at erkende, at dette alene på grund af responsraten er en mislykket undersøgelse.«
Og så kaster de sig ud i lang redegørelse for statistisk styrke, som fremstår som en afledningsmanøvre, da jeg ikke kritiserer den statistiske styrke.
Det ville også ligge mig fjernt, eftersom undersøgelsens formål er at kortlægge holdninger på en arbejdsplads, og man har spurgt alle i målgruppen.
Om der så kun havde været 10 ansatte på virksomheden, ville man, hvis man ellers fik svar fra alle 10, vide, hvad de mente. Det har ikke noget med statistisk styrke at gøre.
Men hvis man kun får svar fra 1 af de 10, kan man ikke udlede meget om holdningerne hos de 9, der ikke svarede.
Når man, som i Skewes' og kollegers undersøgelse, kun får svar fra 12 procent af dem, hvis holdninger, man gerne vil måle, har man et problem med at sige noget om, hvad de øvrige 88 procent mener.
Skewes & Skewes misforstår repræsentivitet
Medmindre de 12 procent er repræsentative selvfølgelig. Er de så det?
Ifølge Skewes & Skewes handler repræsentativitet »i denne sammenhæng om, hvorvidt vi fik cirka lige mange besvarelser fra mænd og kvinder, om de ansatte var fordelt rimeligt på akademisk rang og repræsenterede alle universitetets fakulteter.«
Det er helt misforstået.
Repræsentativitet handler om, hvorvidt de, der svarede, er bærere af de samme holdninger, som de, der ikke svarede. Det spørgsmål forsøger forskere somme tider at nærme sig ved at sammenligne demografiske data for dem, der deltog, med demografiske data for alle inviterede.
Men det er ikke, hvad Skewes & Skewes gør – de præsenterer kun demografiske data, for dem, der deltog. Det kan undre at de ikke har vist data for alle inviterede, idet fordelingen af køn, alder, stilling, etc. må være kendt eller kunne skaffes.
Ikke at det reelt ville have hjulpet, for et bortfald på 88 procent kan ikke reddes af sådan en bortfaldsanalyse. Men forfatterne har altså end ikke forsøgt.
Den sande score kan ligge langt fra Skewes & Skewes' fund
Modern Sexism Scale er ubrugelig
Det sidste punkt, Skewes & Skewes finder anledning til at kommentere, er min kritik af Modern Sexism Scale (MSS). De skriver:
»Det sidste kritikpunkt på bloggen er, at skalaen ikke kan benyttes i en verden, hvor vi har opnået ligestilling,« fulgt af en diskussion af, om der er ligestilling i Danmark (det er der ikke, konkluderer de).
Min kritik af MSS er imidlertid, at den ikke kan bruges i nogen verden, hverken én, hvor der er fuld ligestilling, eller én, hvor der ikke er.
Jeg viser med eksempler, at i en verden med universel diskrimination imod kvinder, vil skalaen måle nul sexisme, og i en verden med fuld ligestilling vil den måle universel sexisme. I mellemscenarier vil skalaen måle mere sexisme desto mindre diskrimination, der er.
Derfor bør sexisme-skalaen kasseres
Lad mig her illustrere det så enkelt som muligt:
Ét af spørgsmålene i MSS er »Kvinder går ofte glip af gode stillinger på grund af kønsdiskrimination.« Svarmuligheder går fra 'Helt enig' til 'Helt uenig'. Jo mindre enig en respondent er i udsagnet, desto mere sexistisk. Hvis respondenten ikke mener, at kvinder »ofte går glip af gode stillinger på grund at kønsdiskrimination,« er vedkommende sexist.
Lad os nu for argumentets skyld acceptere den præmis om dagens Danmark, at kvinder ofte går glip af gode stillinger på grund af kønsdiskrimination. Vi antager også, at folk godt ved det, men benægter det, og at der derfor ligger sexisme i at være uenig i udsagnet. Bare for argumentets skyld.
Så måler vi sexisme med MSS og får et resultat, x.
Nu tænker vi os, at der går 10 år, og ligestillingen vinder frem, således at det bliver sjældnere, at kvinder går glip af gode stillinger på grund af kønsdiskrimination. Så vil der af gode grunde om 10 år være flere respondenter, der er uenige i, at kvinder ofte går glip af gode jobs på grund af kønsdiskrimination.
Men i praksis vil flere respondenter klassificeres som sexister, og MSS måler stigende sexisme – til trods for at diskriminationen er aftaget. Så paradoksalt fungerer MSS.
Skewes & Skewes ignorerer en fundamental fejl
Skewes & Skewes slutter med at hævde, at de systematisk har afvist min kritik. Som det ses ovenfor, har Skewes & Skewes ikke afvist noget.
Desuden har de ikke været så systematiske, som de gerne vil give indtryk af. Der er nemlig nogle kritikpunkter, de ikke har taget stilling til.
Et af de mere graverende er, at Skewes og kolleger ikke kan finde midtpunktet på en skala, der går fra 1-7. Som det ses af følgende citat, tror de, at midtpunktet er 3,5:
Hvert spørgsmål blev besvaret på en 7-punkts Likert skala (fra 1 = helt uenig til 7 = helt enig), således at en score over 3,5 indikerer enighed i sexistiske udtalelser (s. 74, min oversættelse)
Fundet af en gennemsnitlig score på MSS på 4,18 udlægges på den baggrund i en af artiklens hovedkonklusioner således:
Vi fandt at universitetets ansatte scorede over midtpunktet på modern sexism, hvilket betyder at de i gennemsnit har sexistiske holdninger (s. 71, min oversættelse)
Men midtpunktet på skalaen er altså 4, ikke 3,5. Det skrev jeg til Lea Skewes, da jeg havde hørt hendes foredrag om undersøgelsen, inden de udgav deres artikel.
Alligevel publicerede Skewes og kolleger altså en fortolkning af data, der var helt afhængig af en præmis, som, de vidste, var forkert.
Skewes & Skewes’ svar på Forskerzonen ignorerer endnu engang problemet.
\ Læs mere
En samlet score på 4,18 kan ikke fortolkes som tilstedeværelse af sexisme
Men selv hvis Skewes og kolleger havde været i stand til korrekt at identificere midtpunktet på skalaen, og hvilke svarmuligheder der angiver enighed, ville deres argumentation i artiklen stadig være fejlagtig.
Det skyldes, at den samlede score beregnes på basis af svar på 8 spørgsmål og måler en underliggende dimension på en skala, der har den egenskab, at en score på 4 er mere end 3 og mindre end 5, men ud over det er vanskelig at fortolke.
Løseligt kunne en score på 4 siges at ligge tæt på neutralpunktet, ’hverken enig eller uenig’, men strengt taget har den samlede score ikke som de enkelte spørgsmål et neutralpunkt og har derfor ikke isoleret set nogen fortolkning.
Alligevel baserer Skewes og kolleger deres hovedkonklusioner på en absolut fortolkning af scoren 4,18 som udtryk for, at de ansatte på universitetet »i gennemsnit havde sexistiske holdninger.«
Til sidst fremhæver Skewes & Skewes, at ”ansattes moderne sexisme score er positivt korreleret med deres holdninger til ligestillingspolitikken”. Kun 390 respondenter svarede imidlertid på spørgsmålet om ligestillingspolitik, hvilket giver et frafald for disse data på 97,5 procent.
De afgivne svar, som respondenterne formulerede i fri tekst, blev kodet af Lea Skewes efter kriterier, som hun ændrede undervejs (se s. 76 i deres artikel, During the coding process…).
Hvis Skewes & Skewes vil tillægge denne del af undersøgelsen nogen vægt, er de ude i endnu større problemer med validiteten og generaliserbarheden af deres fund end før.
Hvorfor bruge kræfter på én dårlig artikel?
Det er tankevækkende, at Skewes & Skewes mener at vide, at der ikke er nogen »peer reviewede-tidskrifter, der ville kunne tage Skovs kritik af vores peer reviewede artikel seriøst.«
Jeg har 69 peer reviewede publikationer, de fleste af dem epidemiologiske og/eller lægevidenskabelige, heraf 6 baseret på spørgeskemadata.
Så jeg skulle mene, at jeg har kvalifikationerne i orden. Men derfor kan de da godt få ret i deres forudsigelse – de ved jo, hvordan kønsforskningsmiljøet fungerer.
Hvis vi løfter blikket en smule fra de tekniske aspekter, kan man spørge, hvorfor vi skal bruge tid og kræfter på denne artikel, når der findes utallige andre dårlige artikler, som er udgivet i videnskabelige tidsskrifter?
Det lukkede miljø
Det skal vi, fordi den illustrerer noget vigtigt om (dele af) kønsforskningsmiljøet.
Enhver med en smule indsigt i spørgeskemateknik og -analyse kan gennemskue, at Skewes og kollegers artikel er fuld af fejl, og at konklusionerne ikke er datadrevne.
Alligevel er den blevet publiceret i et peer-reviewet tidsskrift, hvilket forfatterne ikke forsømmer nogen lejlighed til at nævne.
Min henvendelse til tidsskriftet førte kun til en henvisning til, at alle procedurer for peer-review var overholdt.
De reviewere, som tidsskriftet ’Kvinder, Køn & Forskning’ bruger, kan åbenbart ikke tage fejl.
Men når jeg påpeger, at midtpunktet på en skala fra 1 til 7 er 4, ikke 3,5, er det ikke særlig relevant at henvise til, at peer-reviewere har godkendt, at midtpunktet er 3,5. Det er stadig forkert og bør rettes – tillige med alle de andre fejl.
Men tidsskriftet og forfatterne har indtil nu været lukkede som østers. Diskussionen om substansen i artiklen er først kommet i gang, efter at den blev nævnt fra Folketingets talerstol.
Det er tilsyneladende blevet et principielt anliggende, at kritik fra personer uden for kønsforskningsmiljøet af selv de mest oplagte fejl skal ignoreres, så længe det kan lade sig gøre, og, når den strategi ikke længere er holdbar, skal afvises for enhver pris.
Prisen kan blive høj, for ud over at være et eksempel på ikke-forskning illustrerer denne sag først og fremmest, at den videnskabelige selvregulering ikke fungerer i – som minimum – visse dele af kønsforskningsmiljøet.
Denne artikel er blevet forelagt tidsskriftet 'Kvinder, Køn & Forskning samt Lea & Joshua Skewes før publicering. Se deres respons i boksen herunder.
\ Svar fra tidsskriftet og Lea & Joshua Skewes
Før publicering har vi forelagt Torsten Skovs kommentar for henholdsvis Lea & Joshua Skewes samt redaktøren af tidsskriftet 'Kvinder, Køn & Forskning'. Deres svar er gengivet herunder.
Svar fra Lea & Joshua Skewes
Vi henviser til vores tidligere tilbagevisning af Skovs kritik her på Forskerzonen, hvor vi forklarer, hvad vores artikel omhandler og dokumenterer.
Som nævnt fremgår det både i vores titel og abstract, at vores videnskabelige artikel omhandler relationen mellem universitetsansattes moderne sexisme score og deres holdninger til ligestillingspolitik i egen organisation.
Kernen af artiklen er ikke at måle sexisme i hele populationen, men at dokumentere en sammenhæng mellem moderne sexisme og holdninger til ligestillingspolitik.
Det er præcis, hvad vores forskningsartikel sigter efter at indfange, og hvad vi dokumenterer.
Svar fra den ansvarshavende redaktør
Tidsskriftet ’Kvinder, Køn & Forskning’ kan bekræfte, at vi har modtaget Torsten Skovs kritik af artiklen ’Attitudes to Sexism and Gender Equity at a Danish University’.
Tidsskriftets redaktion har behandlet og diskuteret kritikken, og vi har ikke fundet nogen anledning til at korrigere eller rette artiklen. Som redaktion mener vi fortsat, at artiklen er et vigtigt bidrag til forskningen i ligestilling.
Som ansvarshavende redaktør på ’Kvinder, Køn & Forskning’ kan jeg bekræfte, at artiklen (som alle andre artikler i tidsskriftet) har været underlagt anonym og uvildig fagfællebedømmelse og kvalitetssikring.
Vi henviser derudover til vores fagfællebedømmelsesprocedure, som følger Forskning og Uddannelsesstyrelsens såvel som internationale standarder.
Jeg kan afvise, at tidsskriftet eller redaktionen principielt afviser kritik fra personer uden for kønsforskningsmiljøet, ligesom jeg også kan afvise, at fejl ignoreres.
Disse påstande står for Skovs egen regning og har ikke noget hold i virkeligheden.
Skov er, som alle andre, velkommen til at indsende en videnskabelig artikel til ’Kvinder, Køn & Forskning’.
Den vil i så fald gå gennem en uvildig fagfællebedømmelse af mindst to forskelligt positionerede fagfæller, der uafhængigt af hinanden vurderer, om artiklen lever op til fagets metoder og om der er transparens og sammenhæng i forskningsspørgsmål, metodologi, analyse og fortolkning.
Ligesom de vil vurdere, om artiklen forholder sig til den nationale og internationale forskning på området, og om den lever op til videnskabelig etik og redelighed.
Slutteligt bemærker jeg, at Skov har haft mulighed for at offentliggøre sin kritik flere steder og nu også i Forskerzonen. Interesserede har således rig mulighed for at læse Skovs kritik.
Michael Nebeling Petersen,
Ph.d., lektor ved Institut for Nordiske Studier & Sprogvidenskab, Københavns Universitet & ansvarshavende redaktør for tidsskriftet ’Kvinder, Køn & Forskning’.
Læs også: Finske undersøgelser: Hårdt debatklima får forskere til at trække sig
