’Lærerne i den danske folkeskole er uduelige. Eleverne kan hverken læse eller regne.’
Kritikken fra danske politikere har haglet ned over den danske folkeskole, efter at PISA-undersøgelserne blev indført for 10 år siden med det formål at teste og sammenligne skoleelevernes færdigheder i 70 lande.
I de PISA-undersøgelser, der hidtil er blevet gennemført, dukker Danmark først op langt nede på ranglisten, og det har fået forskere og politikere til at stille spørgsmålstegn ved kvaliteten af undervisningen.
Men ifølge en ny undersøgelse, som er lavet af statistikprofessor Svend Kreiner fra Københavns Universitet er det nok snarere PISA-testen, der er noget galt med.
Han har lavet en undersøgelse, der tyder på, at PISA-ranglisten ikke er troværdig.
»Der er noget galt med testen og den statistiske model, man bruger til at analysere dens data med. Det kan ikke diskuteres længere. Testens opgaver har ikke samme niveau i alle lande, og så giver det ikke nogen mening at lave sådan en sammenligning,« siger Svend Kreiner.
’Dårlig rangliste har skadet folkeskolen’
Svend Kreiner kan ikke svare på, hvor stor en betydning, det har for testens udfald, for han mangler dokumentation for dens statistiske modeller.
Han kan derfor kun gætte på, hvilke antagelser og beregninger, den er baseret på. Men hans egne analyser viser, at man på baggrund af de selvsamme data kan flytte Danmark op på en 3.plads eller ned på en 42. plads.
»Det, der er så ulykkeligt, er, at politikerne har brugt Pisa-undersøgelsen til at nedbryde respekten for folkeskolen og lærerne. Det kan godt være, at det er velbegrundet, men det siger Pisa-undersøgelsen altså ikke noget om. Forældrenes holdning til lærerne er uden tvivl blevet farvet af meldingerne om, at lærerne er så dårlige og det ødelægger skolens mulighed for at tiltrække kvalificeret arbejdskraft,« siger Svend Kreiner.
Når PISA-undersøgelsen er så upålidelig, er det ifølge Svend Kreiner betænkeligt, at undervisningsministeriet bruger PISA-undersøgelsen til at styre udviklingen i folkeskolen.
»Hver gang Danmark har klaret sig rigtigt dårligt i testen, så kommer Undervisningsministeriet straks på banen med forskellige tiltag, der skal forbedre undervisningen. Nu har de travlt med at sige, at det ikke kun er PISA-undersøgelsen, der er styrende for folkeskolens udvikling, men det er altså ikke rigtigt. Den er meget bestemmende for, hvad der foregår,« siger han.
At der bliver brugt mange kræfter på undersøgelsen kan man se på prisen: PISA-testen er et projekt, der alene i Danmark har kostet 50 millioner kroner.
Det er en misforståelse at tro, at det vigtigste, der kommer ud af Pisa er en rangliste.
Seniorforsker Jan Mejding
Der er 70 lande med i testen, og hvis det koster lige så meget i de andre lande, så er det ganske dyrt projekt.
»Når det er så dyrt, så er det også klart, at forskerne bag det ikke kan sige andet end, at det holder. Men jeg mangler at se den nødvendige dokumentation,« siger Svend Kreiner.
PISA-forsker: Der må være noget om det
En af de forskere, der arbejder med PISA-undersøgelsen på Danmarks Pædagogiske Universitet, er seniorforsker Jan Mejding, og han er lydhør over for Svend Kreiners kritik.
»Jeg er ikke statistiker. Jeg kan ikke vurdere, om det, som Svend Kreiner har fundet, er invaliderende for PISA-undersøgelsen. Men jeg er helt sikker på, at der må være noget om det, han siger, for jeg kender Svend Kreiner som en dygtig mand,« siger Jan Mejding.
Alligevel mener han, at man skal tage Svend Kreiners konklusioner med et gran salt.
»En ting er teori, en anden ting er praksis. Jeg kender opgaverne i PISA-undersøgelsen. Jeg ved, at vi får forelagt alle de opgaver i testen, som af en eller anden grund opfører sig anderledes, end de skal. Og så sidder vi og kigger grundigt på teksterne, og så undersøger vi, om der er en påviselig årsag til, at de giver et andet udslag i Danmark, end forventet. I så fald bliver de fjernet fra analysen,« siger Jan Mejding.
Han forklarer, at der kan være en teknisk grund til, at Svend Kreiner opnår anderledes resultater end PISA, nemlig at han kan have brugt en anden variant af den statistiske model, Rasch-modellen, end PISA-undersøgelsen gør. Den model findes nemlig i flere forskellige varianter.
»ACER, der står for den statistiske bearbejdning af PISA-testen, fortæller, at de efterprøver testens opgaver med Rasch-analyser, men det er med en anden model end den klassiske Rasch-model, som Svend Kreiner anvender. Spørgsmålet er så, om den ene metode er bedre end den anden - og det er det, en del af diskussionen går på,« siger Jan Meiding.
Sådan ser Svend Kreiner ikke på det. Han mener, at Jan Meiding er helt galt afmacheret.
»Nej, det er ikke en anden form for Rasch-modellen, de bruger. De tekniske rapporter bruger mange sider til at beskrive modellen, og det er en ganske almindelig Rasch-model, der er tale om. Så det er slet ikke det, diskussionen går på,« siger Svend Kreiner.
’Tag ikke ranglisten for bogstaveligt’
De to forskere har altså forskelligt syn på modellerne, men Jan Mejding giver dog Svend Kreiner medhold i, at testens forskellige opgaver ikke har præcist samme niveau i alle lande, som den klassiske Rasch-model ellers forudsætter.
Min store anke ved PISA er, at det er uklart, om det er et politisk projekt eller et forskningsprojekt. Hvis det er forskning, så er det af den dårlige slags, for tingene er ikke dokumenteret.
Svend Kreiner.
I praksis betyder det, at den rangliste, som PISA-undersøgelsen munder ud i, ikke er hugget i sten, men altid vil være behæftet med usikkerheder. Uanset hvad man gør, vil der altid være opgaver, som elever i nogle lande vil have sværere eller lettere ved at løse.
»Selv om vi f.eks. optræder som nummer 24 i læsning i 2009, så er vores resultater ikke signifikant forskellige fra de lande, der ligger som nr. 13-27 på listen. Og det er faktisk også det, vi rapporterer. Så ranglisten skal mere give en idé om, hvor man ligger i hierarkiet, særligt i forhold til de lande, man normalt sammenligner sig med. Men det er altså ikke en eksakt placering,« siger Jan Mejding.
Testen er god på det nationale plan
I øvrigt mener han, det er en misforståelse, at ranglisten er det centrale element i PISA-undersøgelsen.
Testen er mere et værktøj, der gør det muligt for det enkelte land at måle, om eleverne kan det, de skal kunne, og om nye nationale tiltag i undervisningen har haft en effekt – hvis myndighederne kæmper for at styrke specifikke færdigheder i folkeskolen, så burde det også give bonus ved, at eleverne klarer sig godt i de opgaver, der tester netop de færdigheder. Eleverne i dette land får så en lille fordel frem for eleverne i andre lande.
»Vi ser selvfølgelig helst, at alle opgaver fungerer fuldstændigt ens i alle lande, men vi er mere optagede af at undersøge, om eleverne i et land rent faktisk kan det, som der er almindelig enighed om, at de skal kunne for at klare sig i et moderne samfund - og til det formål fungerer PISA-undersøgelsen ganske fint,« siger Jan Mejding.
Hvis man fjerner alle de opgaver fra testen, hvor nogle lande stikker af, vil man let risikere at stå tilbage med et amputeret mål for den færdighed, man gerne vil teste.
»Mit bedste bud er, at PISA-undersøgelsen ikke er perfekt, men at den på den anden side ikke er fuldstændigt skæv. Jeg kender de spørgsmål, der bliver stillet i Danmark, så den kritik, som Svend Kreiner fremfører, er mere af teoretisk karakter. Men det er godt, at vi har diskussionen, for kan vi gøre niveauet i testen mere ensartet og det vi måler, mere præcist, så er det da noget, vi skal stræbe efter,« pointerer han.
Svend Kreiner afviser, at hans overvejelser ikke har hold i virkeligheden.
»Min kritik er ikke af teoretisk art. Den er empirisk baseret på statistiske analyser af PISAs data. Det vil sige praktisk og konkret,« slutter han.
