Kønsforskere ignorerer substansen i min kritik af deres studie
KOMMENTAR: Kønsforskerne afviser min kritik af deres artikel, men svarer ikke på basale og helt reelle kritikpunkter af deres metode, skriver Torsten Skov.
kønsforskning_pseudovidenskab_videnskab_forskningsfrihed

Ifølge Torsten Skov taler kønsforskerne Lea & Joshua Skewes uden om sagens kerne i deres besvarelse af hans kritik. (Foto: Shutterstock)

Ifølge Torsten Skov taler kønsforskerne Lea & Joshua Skewes uden om sagens kerne i deres besvarelse af hans kritik. (Foto: Shutterstock)

Først tak til Lea Skewes & Joshua Skewes for at svare på min kritik af deres artikel i tidsskriftet Kvinder, Køn & Forskning, 2019. 

Svaret har de givet her på Forskerzonen 4. juni: Forskere svarer igen: Kritikken af vores forskning er pseudovidenskabelig.

Dermed er det, der ikke lykkedes mig ved gentagne henvendelser til tidsskriftet og førsteforfatteren, nu lykkedes.

Sagen kort

I 2019 udgav Lea Skewes & Joshua Skewes artiklen 'Attitudes to Sexism and Gender Equity at a Danish University'. 

Den artikel har Torsten Skov, ph.d. i epidemiologi, fremhævet som et eksempel på ikke-videnskab på sin blog. Deres metoder er ikke valide, lyder kritikken. 

Henrik Dahl & Morten Messerschmidt har ad flere omgange refereret til Torsten Skovs blog i deres kritik af pseudoforskning. 

Her på Forskerzonen har Lea Skewes & Joshua Skewes svaret både Skov & de to folketingspolikere i kommentaren: Forskere svarer igen: Kritikken af vores forskning er pseudovidenskabelig.

Torsten Skov mener imidlertid ikke, de for alvor forholder sig kritikken. Derfor har han skrevet denne kommentar. 

Lea Skewes, Joshua Skewes og tidsskriftet 'Kvinder, Køn & Forskning' svarer på Torsten Skovs kritik i boksen under kommentaren

Min kritik af deres artikel går på, at den bærer præg af manglede teknisk ekspertise inden for kvantitative metoder, samt at konklusionerne ikke er datadrevne.

Det er så udtalt, at jeg brugte artiklen på min blog som et eksempel på ikke-videnskab.

Skewes & Skewes' svar på kritikken gør desværre kun ondt værre.

Det meste er en diskussion af statistisk styrke, selv om jeg ikke har kritiseret undersøgelsens statistiske styrke; derefter følger en diskussion af repræsentativitet, som ikke løser undersøgelsens repræsentativitetsproblem; og der sluttes af med en ikke-diskussion af min kritik af Modern Sexism Scale.

Skalaen er, som navnet antyder, et forsøg på at måle sexisme, men det er den desværre virkelig dårlig til, hvilket jeg påpeger, og de ikke svarer på.

Et andet problem er, at de ikke svarer på min kritik af, at de ikke kan finde midtpunktet på en skala fra 1 til 7.

I det følgende vil jeg gennemgå deres svar på min kritik samt vise, hvorfor min oprindelige kritik stadig holder vand.

Derfor er deres artikel fejlagtig

Indledningsvis må jeg gøre klart, at min kritik går på de anvendte metoder og ræsonnementer.

Om der er sexisme blandt de ansatte på det undersøgte universitet eller ej, har jeg ingen mening eller viden om.

Min pointe er, at efter læsning af Skewes og kollegers artikel ved jeg det stadig ikke, fordi deres metoder ikke er valide.

Der er faktisk så meget galt med deres artikel, at konklusionen er ugyldig af indtil flere grunde, som kan opsummeres (detaljer følger) således:

  1. 88 procent af de indbudte har ikke svaret på spørgeskemaerne, og der er ingen analyse af, om de, der svarede, er repræsentative for alle indbudte
  2. Selv hvis der ikke var et stort bortfald, ville det ikke redde artiklen, for Modern Sexism Scale (MSS) er ikke en valid måling af sexisme
  3. Selv hvis MSS var en valid måling af sexisme, ville det ikke redde artiklen, for en score på en Likert-skala for en underliggende dimension har ingen absolut fortolkning. Tallet 4,18 for MSS score kan ikke fortolkes i sig selv som udtryk for sexisme
Fakta
Om Forskerzonen

Denne artikel er en del af Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler deres forskning, viden og holdninger til et bredt publikum – med hjælp fra redaktionen.

Forskerzonen bliver udgivet takket være støtte fra vores partnere: Lundbeckfonden, Aalborg Universitet, Roskilde Universitet og Syddansk Universitet.

Forskerzonens redaktion prioriterer indholdet og styrer de redaktionelle processer, uafhængigt af partnerne. Læs mere om Forskerzonens mål, visioner og retningslinjer her.

Kun 1 ud af 10 har svaret

Nu til den tekniske gennemgang. Først bortfaldet af deltagere. Skewes & Skewes citerer mit blogindlæg korrekt for følgende:

»Det er indlysende, at når næsten 9 ud af 10 har undladt at medvirke, kan den sande værdi af scoren på Modern Sexism Scale ligge langt fra den, der er målt hos de 12 procent. Det finder forfatterne ingen anledning til at diskutere nærmere. Det ville også tvinge dem til at erkende, at dette alene på grund af responsraten er en mislykket undersøgelse.«

Og så kaster de sig ud i lang redegørelse for statistisk styrke, som fremstår som en afledningsmanøvre, da jeg ikke kritiserer den statistiske styrke.

Det ville også ligge mig fjernt, eftersom undersøgelsens formål er at kortlægge holdninger på en arbejdsplads, og man har spurgt alle i målgruppen.

Om der så kun havde været 10 ansatte på virksomheden, ville man, hvis man ellers fik svar fra alle 10, vide, hvad de mente. Det har ikke noget med statistisk styrke at gøre.

Men hvis man kun får svar fra 1 af de 10, kan man ikke udlede meget om holdningerne hos de 9, der ikke svarede.

Når man, som i Skewes' og kollegers undersøgelse, kun får svar fra 12 procent af dem, hvis holdninger, man gerne vil måle, har man et problem med at sige noget om, hvad de øvrige 88 procent mener.

Skewes & Skewes misforstår repræsentivitet

Medmindre de 12 procent er repræsentative selvfølgelig. Er de så det?

Ifølge Skewes & Skewes handler repræsentativitet »i denne sammenhæng om, hvorvidt vi fik cirka lige mange besvarelser fra mænd og kvinder, om de ansatte var fordelt rimeligt på akademisk rang og repræsenterede alle universitetets fakulteter.«

Det er helt misforstået.

Repræsentativitet handler om, hvorvidt de, der svarede, er bærere af de samme holdninger, som de, der ikke svarede. Det spørgsmål forsøger forskere somme tider at nærme sig ved at sammenligne demografiske data for dem, der deltog, med demografiske data for alle inviterede.

Men det er ikke, hvad Skewes & Skewes gør – de præsenterer kun demografiske data, for dem, der deltog. Det kan undre at de ikke har vist data for alle inviterede, idet fordelingen af køn, alder, stilling, etc. må være kendt eller kunne skaffes.

Ikke at det reelt ville have hjulpet, for et bortfald på 88 procent kan ikke reddes af sådan en bortfaldsanalyse. Men forfatterne har altså end ikke forsøgt.

Den sande score kan ligge langt fra Skewes & Skewes' fund

Skewes & Skewes anfører, at jeg med repræsentationsproblemer kunne sigte efter, om »de, der valgte at besvare spørgeskemaet, udelukkende inkluderede personer, som har meget markante holdninger til ligestillingspolitik.«

Det ville ikke være min primære bekymring her, snarere tværtimod. Hvis man, som Skewes & Skewes lægger op til, skal lege djævelens advokat, bør man nærmere overveje den situation at de, der ikke har svaret, er ekstreme.

Hvis man eksempelvis antog det ekstreme scenarie, at alle, der ikke svarede, havde en score på 2 på MSS, ville den sande score for hele populationen af ansatte gå fra de nuværende 4,18 til cirka 2,3.

Hvis de, der ikke svarede, havde en score på 6, ville den sande score for hele populationen omvendt stige til cirka 5,8.

Begge disse scores er langt fra 4,18 og tæt på vores antagne værdi for dem, der ikke deltog.

I princippet kan den sande værdi altså ligge endog meget langt væk fra de 4,18, som Skewes & Skewes er nået frem til.

Modern Sexism Scale er ubrugelig

Det sidste punkt, Skewes & Skewes finder anledning til at kommentere, er min kritik af Modern Sexism Scale (MSS). De skriver:

»Det sidste kritikpunkt på bloggen er, at skalaen ikke kan benyttes i en verden, hvor vi har opnået ligestilling,« fulgt af en diskussion af, om der er ligestilling i Danmark (det er der ikke, konkluderer de).

Min kritik af MSS er imidlertid, at den ikke kan bruges i nogen verden, hverken én, hvor der er fuld ligestilling, eller én, hvor der ikke er.

Jeg viser med eksempler, at i en verden med universel diskrimination imod kvinder, vil skalaen måle nul sexisme, og i en verden med fuld ligestilling vil den måle universel sexisme. I mellemscenarier vil skalaen måle mere sexisme desto mindre diskrimination, der er.

Derfor bør sexisme-skalaen kasseres

Lad mig her illustrere det så enkelt som muligt:

Ét af spørgsmålene i MSS er »Kvinder går ofte glip af gode stillinger på grund af kønsdiskrimination.« Svarmuligheder går fra 'Helt enig' til 'Helt uenig'. Jo mindre enig en respondent er i udsagnet, desto mere sexistisk. Hvis respondenten ikke mener, at kvinder »ofte går glip af gode stillinger på grund at kønsdiskrimination,« er vedkommende sexist.

Lad os nu for argumentets skyld acceptere den præmis om dagens Danmark, at kvinder ofte går glip af gode stillinger på grund af kønsdiskrimination. Vi antager også, at folk godt ved det, men benægter det, og at der derfor ligger sexisme i at være uenig i udsagnet. Bare for argumentets skyld.

Så måler vi sexisme med MSS og får et resultat, x.

Nu tænker vi os, at der går 10 år, og ligestillingen vinder frem, således at det bliver sjældnere, at kvinder går glip af gode stillinger på grund af kønsdiskrimination. Så vil der af gode grunde om 10 år være flere respondenter, der er uenige i, at kvinder ofte går glip af gode jobs på grund af kønsdiskrimination.

Men i praksis vil flere respondenter klassificeres som sexister, og MSS måler stigende sexisme – til trods for at diskriminationen er aftaget. Så paradoksalt fungerer MSS.

Skewes & Skewes ignorerer en fundamental fejl

Skewes & Skewes slutter med at hævde, at de systematisk har afvist min kritik. Som det ses ovenfor, har Skewes & Skewes ikke afvist noget.

Desuden har de ikke været så systematiske, som de gerne vil give indtryk af. Der er nemlig nogle kritikpunkter, de ikke har taget stilling til.

Et af de mere graverende er, at Skewes og kolleger ikke kan finde midtpunktet på en skala, der går fra 1-7. Som det ses af følgende citat, tror de, at midtpunktet er 3,5:

Hvert spørgsmål blev besvaret på en 7-punkts Likert skala (fra 1 = helt uenig til 7 = helt enig), således at en score over 3,5 indikerer enighed i sexistiske udtalelser (s. 74, min oversættelse)

Fundet af en gennemsnitlig score på MSS på 4,18 udlægges på den baggrund i en af artiklens  hovedkonklusioner således:

Vi fandt at universitetets ansatte scorede over midtpunktet på modern sexism, hvilket betyder at de i gennemsnit har sexistiske holdninger (s. 71, min oversættelse)

Men midtpunktet på skalaen er altså 4, ikke 3,5. Det skrev jeg til Lea Skewes, da jeg havde hørt hendes foredrag om undersøgelsen, inden de udgav deres artikel.

Alligevel publicerede Skewes og kolleger altså en fortolkning af data, der var helt afhængig af en præmis, som, de vidste, var forkert.

Skewes & Skewes’ svar på Forskerzonen ignorerer endnu engang problemet. 

En samlet score på 4,18 kan ikke fortolkes som tilstedeværelse af sexisme

Men selv hvis Skewes og kolleger havde været i stand til korrekt at identificere midtpunktet på skalaen, og hvilke svarmuligheder der angiver enighed, ville deres argumentation i artiklen stadig være fejlagtig.

Det skyldes, at den samlede score beregnes på basis af svar på 8 spørgsmål og måler en underliggende dimension på en skala, der har den egenskab, at en score på 4 er mere end 3 og mindre end 5, men ud over det er vanskelig at fortolke.

Løseligt kunne en score på 4 siges at ligge tæt på neutralpunktet, ’hverken enig eller uenig’, men strengt taget har den samlede score ikke som de enkelte spørgsmål et neutralpunkt og har derfor ikke isoleret set nogen fortolkning.

Alligevel baserer Skewes og kolleger deres hovedkonklusioner på en absolut fortolkning af scoren 4,18 som udtryk for, at de ansatte på universitetet »i gennemsnit havde sexistiske holdninger.«

Til sidst fremhæver Skewes & Skewes, at ”ansattes moderne sexisme score er positivt korreleret med deres holdninger til ligestillingspolitikken”. Kun 390 respondenter svarede imidlertid på spørgsmålet om ligestillingspolitik, hvilket giver et frafald for disse data på 97,5 procent.

De afgivne svar, som respondenterne formulerede i fri tekst, blev kodet af Lea Skewes efter kriterier, som hun ændrede undervejs (se s. 76 i deres artikel, During the coding process…).

Hvis Skewes & Skewes vil tillægge denne del af undersøgelsen nogen vægt, er de ude i endnu større problemer med validiteten og generaliserbarheden af deres fund end før.  

Hvorfor bruge kræfter på én dårlig artikel?

Det er tankevækkende, at Skewes & Skewes mener at vide, at der ikke er nogen »peer reviewede-tidskrifter, der ville kunne tage Skovs kritik af vores peer reviewede artikel seriøst.«

Jeg har 69 peer reviewede publikationer, de fleste af dem epidemiologiske og/eller lægevidenskabelige, heraf 6 baseret på spørgeskemadata.

Så jeg skulle mene, at jeg har kvalifikationerne i orden. Men derfor kan de da godt få ret i deres forudsigelse – de ved jo, hvordan kønsforskningsmiljøet fungerer.

Hvis vi løfter blikket en smule fra de tekniske aspekter, kan man spørge, hvorfor vi skal bruge tid og kræfter på denne artikel, når der findes utallige andre dårlige artikler, som er udgivet i videnskabelige tidsskrifter?

Det lukkede miljø

Det skal vi, fordi den illustrerer noget vigtigt om (dele af) kønsforskningsmiljøet.

Enhver med en smule indsigt i spørgeskemateknik og -analyse kan gennemskue, at Skewes og kollegers artikel er fuld af fejl, og at konklusionerne ikke er datadrevne.

Alligevel er den blevet publiceret i et peer-reviewet tidsskrift, hvilket forfatterne ikke forsømmer nogen lejlighed til at nævne.

Min henvendelse til tidsskriftet førte kun til en henvisning til, at alle procedurer for peer-review var overholdt.

De reviewere, som tidsskriftet ’Kvinder, Køn & Forskning’ bruger, kan åbenbart ikke tage fejl.

Men når jeg påpeger, at midtpunktet på en skala fra 1 til 7 er 4, ikke 3,5, er det ikke særlig relevant at henvise til, at peer-reviewere har godkendt, at midtpunktet er 3,5. Det er stadig forkert og bør rettes – tillige med alle de andre fejl.

Men tidsskriftet og forfatterne har indtil nu været lukkede som østers. Diskussionen om substansen i artiklen er først kommet i gang, efter at den blev nævnt fra Folketingets talerstol.

Det er tilsyneladende blevet et principielt anliggende, at kritik fra personer uden for kønsforskningsmiljøet af selv de mest oplagte fejl skal ignoreres, så længe det kan lade sig gøre, og, når den strategi ikke længere er holdbar, skal afvises for enhver pris.

Prisen kan blive høj, for ud over at være et eksempel på ikke-forskning illustrerer denne sag først og fremmest, at den videnskabelige selvregulering ikke fungerer i – som minimum – visse dele af kønsforskningsmiljøet.

Denne artikel er blevet forelagt tidsskriftet 'Kvinder, Køn & Forskning samt Lea & Joshua Skewes før publicering. Se deres respons i boksen herunder.  

Svar fra tidsskriftet og Lea & Joshua Skewes

Før publicering har vi forelagt Torsten Skovs kommentar for henholdsvis Lea & Joshua Skewes samt redaktøren af tidsskriftet 'Kvinder, Køn & Forskning'. Deres svar er gengivet herunder. 

Svar fra Lea & Joshua Skewes

Vi henviser til vores tidligere tilbagevisning af Skovs kritik her på Forskerzonen, hvor vi forklarer, hvad vores artikel omhandler og dokumenterer.

Som nævnt fremgår det både i vores titel og abstract, at vores videnskabelige artikel omhandler relationen mellem universitetsansattes moderne sexisme score og deres holdninger til ligestillingspolitik i egen organisation.

Kernen af artiklen er ikke at måle sexisme i hele populationen, men at dokumentere en sammenhæng mellem moderne sexisme og holdninger til ligestillingspolitik.

Det er præcis, hvad vores forskningsartikel sigter efter at indfange, og hvad vi dokumenterer.

Svar fra den ansvarshavende redaktør

Tidsskriftet ’Kvinder, Køn & Forskning’ kan bekræfte, at vi har modtaget Torsten Skovs kritik af artiklen ’Attitudes to Sexism and Gender Equity at a Danish University’.

Tidsskriftets redaktion har behandlet og diskuteret kritikken, og vi har ikke fundet nogen anledning til at korrigere eller rette artiklen. Som redaktion mener vi fortsat, at artiklen er et vigtigt bidrag til forskningen i ligestilling.

Som ansvarshavende redaktør på ’Kvinder, Køn & Forskning’ kan jeg bekræfte, at artiklen (som alle andre artikler i tidsskriftet) har været underlagt anonym og uvildig fagfællebedømmelse og kvalitetssikring.

Vi henviser derudover til vores fagfællebedømmelsesprocedure, som følger Forskning og Uddannelsesstyrelsens såvel som internationale standarder.

Jeg kan afvise, at tidsskriftet eller redaktionen principielt afviser kritik fra personer uden for kønsforskningsmiljøet, ligesom jeg også kan afvise, at fejl ignoreres.

Disse påstande står for Skovs egen regning og har ikke noget hold i virkeligheden.

Skov er, som alle andre, velkommen til at indsende en videnskabelig artikel til ’Kvinder, Køn & Forskning’.

Den vil i så fald gå gennem en uvildig fagfællebedømmelse af mindst to forskelligt positionerede fagfæller, der uafhængigt af hinanden vurderer, om artiklen lever op til fagets metoder og om der er transparens og sammenhæng i forskningsspørgsmål, metodologi, analyse og fortolkning.

Ligesom de vil vurdere, om artiklen forholder sig til den nationale og internationale forskning på området, og om den lever op til videnskabelig etik og redelighed.

Slutteligt bemærker jeg, at Skov har haft mulighed for at offentliggøre sin kritik flere steder og nu også i Forskerzonen. Interesserede har således rig mulighed for at læse Skovs kritik.

Michael Nebeling Petersen,

Ph.d., lektor ved Institut for Nordiske Studier & Sprogvidenskab, Københavns Universitet & ansvarshavende redaktør for tidsskriftetKvinder, Køn & Forskning’.

Alle må bruge og viderebringe Forskerzonens artikler

På Forskerzonen skriver forskere selv om deres forskning. Vi mener, det er vigtigt, at alle får mulighed for at læse om forskning fra forskerens egen hånd.

Alle må derfor bruge, kopiere og viderebringe Forskerzonens artikler udfra følgende enkle krav:

  • Det skal krediteres: 'Artiklen er oprindelig bragt på Videnskab.dk’s Forskerzonen, hvor forskerne selv formidler'. Hvis artiklen bringes på web, skal der linkes til artiklen på Forskerzonen.
  • Artiklen må ikke redigeres og skal bringes i fuld længde (medmindre andet aftales med forskeren).
  • Du skal give forskeren besked om, at du genpublicerer.
  • Artikler, som er oversat fra The Conversation, skal have indsat en HTML-kode til indsamling af statistik i bunden. HTML-koden finder du i den originale artikel på The Conversations hjemmeside ved at klikke på knappen "Republish this article" ude til højre, derefter klikke på 'Advanced' og kopiere koden. Du finder linket til artiklen på The Conversation i bunden af Forskerzonens oversatte artikel. 

Det er ikke et krav, men vi sætter pris på, at du giver os besked, hvis du publicerer vores indhold (undtaget indhold fra The Conversation). Skriv til redaktør Anders Høeg Lammers på ahl@videnskab.dk.

Læs mere om Forskerzonen i Forskerzonens redaktionelle retningslinjer.

Hej! Vi vil gerne fortælle dig lidt om os selv

Nu hvor du er nået helt herned på vores hjemmeside, er det vist på tide, at vi introducerer os.

Vi hedder Videnskab.dk, kom til verden i 2008 og er siden vokset til at blive Danmarks største videnskabsmedie med 1 million brugere om måneden.

Vores uafhængige redaktion leverer dagligt gratis forskningsnyheder og andet prisvindende indhold, der med solidt afsæt i videnskabens verden forsøger at give dig aha-oplevelser og væbne dig mod misinformation.

Vores journalister fortæller historier om både kultur, astronomi, sundhed, klima, filosofi og al anden god videnskab indimellem - i form af artikler, podcasts, YouTube-videoer og indhold på sociale medier.

Vi stiller meget høje krav til, hvordan vi finder og laver vores historier. Vi har lavet et manifest med gode råd til at finde troværdig information, og vi modtog i 2021 en fornem pris for vores guide til god, kritisk videnskabsjournalistik.

Vores redaktion gør en dyd ud af at få uafhængige forskere til at bedømme betydningen af nye studier, og alle interviewede forskere citat- og faktatjekker vores artikler før publicering.

Hvis du går rundt og undrer dig over stort eller småt, vil vi elske at høre fra dig og forsøge at give dig svar med forskernes hjælp. Send bare dit spørgsmål til vores brevkasse Spørg Videnskaben.

Vi håber, at du vil følge med i forskningens forunderlige opdagelser her på Videnskab.dk.

Få et af vores gratis nyhedsbreve sendt til din indbakke. Du kan også følge os på sociale medier: Facebook, Twitter, Instagram, YouTube eller LinkedIn.

Med venlig hilsen

Videnskab.dk

Videnskab.dk Podcast

Lyt til vores seneste podcast herunder eller via en podcast-app på din smartphone.

Danske corona-tal

Videnskab.dk går i dybden med den seneste corona-forskning. Læs vores artikler i temaet her.

Hver dag opdaterer vi også de seneste tal.

Dyk ned i grafer om udviklingen i antal smittede, indlagte og døde i Danmark og alle andre lande.

Ny video fra Tjek

Tjek er en YouTube-kanal om videnskab henvendt til unge.

Indholdet på kanalen bliver produceret af Videnskab.dk's videojournalister med samme journalistiske arbejdsgange, som bliver anvendt på Videnskab.dk.


Ugens videnskabsbillede

Se flere forskningsfotos på Instagram, og læs om astronautens foto af polarlys, som du kan se herunder.


Det sker