Forskere i kritik af ny PISA-måling: »Man handler i panik«

Danske elever har aldrig været dårligere til læsning, matematik og naturfag.

Sådan lyder det graverende budskab på baggrund af den nye internationale skoleundersøgelse, PISA. Blandt de nordiske lande er det Danmark, der oplever det største fald i point.

Nyheden om undersøgelsen har fået tilnavnet ‘PISA-chok’, og regeringen kalder resultaterne for et politisk svigt.

Allerede nu har undersøgelsen sat gang i et forslag om mobilforbud i folkeskolen og etableringen af en skole-trepart.

Men nu siger to forskere til Videnskab.dk, at reaktionen på undersøgelsen er unødvendigt alarmistisk.

»Jeg synes, det smager af, at man handler i panik,« siger Peter Allerup, professor emeritus i statistik ved Danmarks Institut for Pædagogik og Uddannelse på Aarhus Universitet til Videnskab.dk.

Upræcis test

Peter Allerup understreger, at der er problemer i folkeskolen med børns læse- og koncentrationsevner, men han kritiserer PISA-testen for at være for upræcis og metodisk tvivlsom.

Forskeren mener på den baggrund, at PISA spiller en alt for stor rolle i den danske uddannelses- og skolepolitik. Vi behøver ikke en dyr PISA-test til at kaste lys over, at der er plads til forbedring i den danske folkeskole, siger han.

»Det ved eleverne og lærerne godt i forvejen.«

Ifølge fagbladet Folkeskolen har det kostet 24 millioner kroner at afvikle den nye undersøgelse. Til sammenligning koster driften for en enkelt skole cirka 15,8 millioner om året.

Grundet udgifterne er det for nylig blevet besluttet, at Danmark og de andre lande kun skal deltage i undersøgelsen hvert fjerde år fremfor hvert tredje, skriver fagbladet Folkeskolen.

Svend Kreiner, som er professor emeritus i statistik på Københavns Universitet, har også sine forbehold over for testen.

»Jeg er klar over, at der er mange andre tegn på, at eleverne har nogle faglige problemer nu, som de ikke havde for 10 år siden. Men det er ikke PISA, der dokumenterer det,« siger han til Videnskab.dk.

Selv mener forskerne bag PISA, at resultaterne er brugbare:

»Sammenholdt med andre tendenser mener jeg, man skal tage resultaterne alvorligt, og at situationen kalder på politiske handlinger,« siger forskningschef Andreas Rasch-Christensen fra VIA University College, der er en del af PISA’s danske konsortium, til Videnskab.dk.

Ser mere dramatisk ud, end det er

Der er flere ting, som gør, at Peter Allerup kritiserer den nye måling, som andre forskere fra det danske PISA-konsortium har sagt »kalder på en dyb ransagelse af dansk skolepolitik«.

»Jeg er meget skeptisk overfor, om der er så stort et fald i elevernes evner, som PISA-testen viser,« siger Peter Allerup.

I testen måles de danske skoleelevers præstation gennem såkaldte PISA-point, og eleverne er altså faldet 29 PISA-point i læsning, 18 i matematik og 16 point i naturfag.

Det er de tre negative resultater, der igen og igen er blevet fremhævet som bekymrende.

Men et fald på 29 point - som er tilfældet for danske elevers læsning - kan virke mere voldsomt, end det er, siger Peter Allerup, der understreger, at der ikke er tale om procentpoint.

PISA-point måles på en skala, hvor elevernes gennemsnitsscore på omkring 500 point bruges som et centralt referencepunkt.

Her ville et fald fra 500 point til 400 point svare til et markant lavere præstationsniveau. Men det gør et fald på 29 point ikke, mener Peter Allerup.

Ifølge Peter Allerup svarer faldet på 29 PISA-point til, at eleverne i gennemsnit klarer testen omkring 5 procent dårligere end ved den seneste måling fra 2022.

Ifølge forskeren betyder det ikke, at eleverne pludselig er blevet markant dårligere, selvom forskellen kan se stor ud på PISA-skalaen.

»PISA-undersøgelsen er i stand til at forstørre nogle ting med en lup, så det ser uendeligt dramatisk ud,« siger Peter Allerup.

Ikke bekymrende?

Ifølge Undervisningsministeriet svarer 20 PISA-point dog til dét, en elev kan forvente at rykke sig fagligt på ét år.

Er det ikke bekymrende, at eleverne er faldet med så mange point, nu hvor 20 point svarer til et helt læringsår?

»Det er ikke bekymrende,« svarer Peter Allerup.

»Jeg giver simpelthen ikke en pind for at udregne læringsår. Det er en beskidt måde at omsætte nogle lidt ukendte tal på en ukendt skala til noget mere håndgribeligt. Det er efter min bedste overbevisning en forvrøvlet omsætning.«

En spansk forsker har kritiseret, at det kan være misvisende at opgøre 20 point i et læringsår, da 20 point ifølge forskeren er en relativt lille forskel. I stedet burde et skoleår svare til 50-70 point på skalaen.

Et fald i sig selv, uanset stort eller småt, er vel aldrig en god ting?

»Et enkelt fald er ikke noget, man skal spærre øjnene op over for. Men det kan måske være en tankevækkende tendens,« svarer Peter Allerup.

Derfor skal man være påpasselig med at bruge resultaterne som et mål for skolernes kvalitet, mener han.

Elever får forskellige opgaver

Peter Allerup har også sine forbehold over for testens form.

PISA-testen er bygget op på den måde, at alle elever får forskellige spørgsmål afhængigt af deres præstation undervejs.

Eleverne begynder med et fælles sæt opgaver, og alt afhængigt af deres svar bliver de sendt videre til lettere eller sværere opgaver. Svarer man forkert, vil man typisk få lettere opgaver og omvendt.

Det betyder også, at der ikke er to elever i en klasse, der får de samme opgaver.

Når eleverne ikke nødvendigvis har løst de samme opgaver, men møder forskellige sværhedsgrader og kombinationer af spørgsmål, er det svært at sammenligne resultaterne over tid, siger forskeren.

Samtidig skal testens opgaver kunne bruges over hele verden fra Danmark til Kina, og den er altså ikke orienteret mod et dansk pensum, og hvad børnene egentlig har læst og lært i skolen.

»Dermed bliver testen jo overfladisk og i bedste fald en slags temperaturmåling,« siger Peter Allerup.

Ændringer i testen over tid

Kritikken af PISA er ikke ny. Internationalt har testen, siden den blev introduceret i 1997, også mødt kritik.

Herhjemme er professor emeritus i statistik Svend Kreiner én af dem, der gennem mange år har kastet et kritisk blik på PISA.

Allerede i 2011 rejste professoren en sønderlemmende kritik af PISA-målingerne. I 2013 kaldte han testen for »ubrugelig«

I 2014 kritiserede han i en forskningsartikel den metode, som man i PISA 2006 brugte til at omregne elevers svar til en fælles skala og derefter rangere landene.

Den gennemgående kritik går på, at testen er skruet sammen på en måde, så den dårligt kan bruges som sammenligningsgrundlag - både over tid og på tværs af lande.

Organisationen, der udfører PISA-testene, har tidligere afvist kritikken.

Eftersom de rapporter, der beskriver metoden bag den aktuelle PISA-test, kun udgives løbende, kan Svend Kreiner ikke udtale sig konkret om den nyeste måling.

Et tilbagevendende kritikpunkt fra Svend Kreiner er dog, at man løbende udskifter både de modeller, undersøgelsen bygger på, og opgaverne i selve testen.

»Der bliver lavet så meget om, så det er altså virkelig en svær opgave at få etableret en brobygning mellem de tidligere og de aktuelle resultater.«

»Så der er al grund til at være tilbageholdende med resultaterne,« siger Svend Kreiner.

Ifølge Vibeke Tornhøj Christensen, der er projektleder for den danske PISA-undersøgelse, undersøger OECD, om ændringer i testen påvirker elevernes score - for eksempel da man overgik fra papir til computer i 2015.

Men Svend Kreiner mener ikke, at det gør den store forskel. En simpel justering af resultaterne løser ikke problemerne med at sammenligne resultaterne over tid, siger han.

Ignorer PISA

I sidste ende påpeger de to kritiske forskere, at vi kan blive klogere på tilstanden i folkeskolen på alle mulige andre måder.

PISA-undersøgelser bør ikke påvirke, hvad der sker i undervisningen i Danmark, siger Svend Kreiner. Han mener, at vi bør ignorere PISA og bruge kræfterne på at lave nogle bedre nationale undersøgelser i stedet.

Peter Allerup mener, at det er mere interessant at spørge eleverne direkte, hvad de tænker om de forskellige fag. Og i øvrigt fokusere på, hvad vi i forvejen har af viden.

»Man skal slå koldt vand i blodet og i højere grad hente sine erfaringer fra den daglige undervisning samt terminsprøver og afgangsprøver,« mener Peter Allerup.

Vil du sige, at PISA-prøven decideret er spild af penge?

»Jeg vil sige det på den måde, at der i vores folkeskolelov er et krav om, at vi skal måle fra tid til anden. Men det gribes forkert an. Pengene kunne bruges betydeligt bedre, hvis man erstattede PISA med nogle lokale tests og prøver,« svarer han.

PISA-forsker står fast

Vibeke Tornhøj Christensen er seniorforsker ved forskningsinstituttet VIVE og den danske projektleder for PISA.

Hun fastholder, at undersøgelsen dokumenterer, at elevernes faglige resultater er gået tilbage.

»Vi kan stå inde for, at de danske elever klarer sig dårligere fagligt med den måde, vi måler deres faglighed på, end de gjorde i tidligere runder,« siger hun.

PISA-forskeren vil dog ikke tages til indtægt for den politiske reaktion på testen.

»Jeg kan ikke stå inde for alle de politiske udtalelser på baggrund af det, og hvor skarpvinklet det er blevet,« siger Vibeke Tornhøj Christensen.

Hun henviser til, at OECD anvender statistisk anerkendte modeller og metoder, og at ændringer over årene er blevet dokumenteret og valideret.

Desuden påpeger hun, at et fald i evner som læsning, matematik eller koncentration over tid påvises med statistisk signifikans, der udelukker ren tilfældighed.

De tal er dog statistiske estimater, og derfor er de behæftet med usikkerheder, som generelt vil være tilfældet i undersøgelser som denne, siger Vibeke Tornhøj Christensen også.

Del af et samlet billede

Andreas Rasch-Christensen er medlem af styregruppen for PISA’s danske konsortium. Han mener, at undersøgelsen stadig har en værdi.

Han anerkender, at det er relevant at diskutere PISA’s usikkerheder, og hvordan resultaterne kan bruges.

Andreas Rasch-Christensen advarer også mod at lægge for stor vægt på et bestemt pointtal - for eksempel et fald i læseevne på 29 PISA-point. Samtidig kan resultaterne ikke bruges til at udpege årsager til udviklingen i folkeskolen.

»Der vil altid være usikkerheder i en undersøgelse som den. Så at lægge en enkelt undersøgelse eller en stor national test til grund for bestemte politiske beslutninger, vil være risikofyldt,« siger Andreas Rasch-Christensen.

»Men som led i et samlet billede mener jeg, det er helt kvalificeret at gøre.«

Danmark bruger cirka 24 millioner på at deltage i undersøgelsen. Kunne vi bruge pengene bedre?

»Det er jo en politisk vurdering, om man vil deltage. Min vurdering vil være, at man skal følge elevernes faglige udvikling over tid, om det så sker gennem forskningsundersøgelser, et nationalt værktøj, PISA eller en kombination,« svarer Andreas Rasch-Christensen.

Styrelsen for Undervisning og Kvalitet, der er ansvarlig for PISA i Danmark, skriver i et skriftligt svar til Videnskab.dk, at der ved hver PISA-runde foretages en række kvalitetstjek af undersøgelsen, hvor man undersøger, om opgaverne fungerer over tid.

Derfor har styrelsen tillid til undersøgelsens resultater, da rapporten også videreformidler statistiske usikkerheder.