Extra Blog: Vragen bij PISA - Roger Standaert

Waarover gaat het?

Zoals te verwachten was, raasden de recente resultaten van het Programme for International Student Assessment (PISA) in december als een roller coaster door onze media. Zowel de geschreven als de audiovisuele media concurreerden met elkaar om met deze vette kluif voornamelijk negatief nieuws, de  aandacht te trekken. Opmerkelijk is dat er vrijwel nergens enige kritische noot te ontdekken viel. Een dergelijk gebrek aan kritische zin is zeldzaam in het gevarieerde medialandschap in Vlaanderen waar allerlei opinies meestal hun weg vinden en waar controversen normaliter welig tieren. Dat geeft te denken.

Enige achtergrond over PISA

De OESO is een machtige organisatie van meer dan dertig rijke landen. Het is, zoals de naam zelf suggereert, een economische instantie, die zich richt op de economische groei van de deelnemende landen. Ze is ook invloedrijk omdat ze aangestuurd wordt door de deelnemende regeringen en daardoor een sterke impact heeft op de doorstroming van de informatie via de deelnemende regeringen en de daaraan verbonden centrale administraties. De OESO is ondertussen via de driejaarlijkse hoogmissen van het PISA project een machtige influencer geworden voor de beleidsmensen in de diverse landen. Die hebben overigens niet de gewoonte pedagogisch-didactische teksten te lezen. Ze worden wel overspoeld met teksten die in de economische sfeer liggen. Politici gaan gewillig mee met de vuistdikke rapporten over de PISA resultaten en de bewerkingen daarop met massa’s correlaties, vragenlijsten en dergelijke. Die uitvoerige rapporteringen worden vrijwel door niemand gelezen, maar geen nood, de OESO zorgt voor mooie en verzorgde samenvattende publicaties die zelfs aangenaam om te lezen zijn. In feite doet de OESO dus aan een soort ‘soft governance’ in de lijn van een wereldwijd uniform curriculum.
Het is evident dat een dergelijke organisatie zich bezighoudt met haar duidelijk economische bedoeling. Daar is niets mis mee. Het gaat dan om geldstromen, wisselkoersen, investeringen, arbeidsmarkt en koopkracht. Ook wat onderwijs betreft, kan de organisatie een bijdrage leveren over de relatie tussen onderwijs en arbeidsmarkt en bijvoorbeeld de problematiek van financiële geletterdheid in de curricula. 

 

De OESO heeft een duidelijk economische bedoeling. Daar is niets mis mee.

 

De belangstelling van de economie voor het onderwijs dateert vanaf de jaren zestig van de vorige eeuw. Toen maakte de ‘human capital’ theorie opgang. Die theorie stelt dat je moet kijken naar de economische opbrengst van investeringen in ‘menselijk kapitaal’. Concreet: in welke mate dragen systemen als onderwijs, gezondheidszorg, openbaar vervoer, administratieve beleidsstructuren… bij tot het vergroten van het gemiddelde inkomen, de optimale arbeidsmarkt en voornamelijk tot de koningin van de economische indicatoren: het bruto binnenlands product. En zo kwam de onderwijseconomie als discipline letterlijk in de markt te liggen. Lange tijd ging het om allerlei correlaties tussen indicatoren van input en output in de bestudeerde landen. Daarbij werd vaak gewerkt met de inputfactor: aantal jaren gevolgd onderwijs. Logischerwijze  kwam aan het licht dat bij ontwikkelingslanden er een stevige correlatie bestond tussen de duur van het  genoten onderwijs en de rijkdom van een land. Alleen kon je de correlatie ook omkeren: hoe rijker een land wordt des te langer is de onderwijsduur. Na verloop van tijd bleek dat bij ontwikkelde landen met, laten we zeggen, een algemene scholingsgraad tot minimaal18 jaar, de correlaties met opleidingsduur niet meer klopten.  Er waren dus meer en ook andere factoren verantwoordelijk voor de groei van het landelijk inkomen. Landen met een eerder laks onderwijsbeleid (de VS bijvoorbeeld) scoorden hoog in het bbp, terwijl strenge onderwijslanden (het vroegere Oostblok bijvoorbeeld) laag scoorden in het bbp.

Een nieuwe optiek

Onderwijsduur was niet langer populair als indicator. Daarom kwam er een andere optiek. Niet zozeer de duur, maar wel de inhoud van wat er tijdens die duur wordt gegeven, maakt het verschil. En zo zie je het al komen: de economen gaan zich bezighouden met de inhoud van het onderwijs. Concreet: welke inhouden en op welk niveau moet je in het onderwijs aanbieden opdat de afgestudeerden ervan het gemiddelde inkomen en het bbp gunstig beïnvloeden.?
Van dan af gaat de economie, die het voordeel heeft van een cijferindicator dollar of euro te hebben, de onderwijsinhoud ook bekijken met cijfers. De economen hebben  wel de luxe te beschikken over een vrij meetbare en vergelijkbare indicator, een munteenheid, om geldstromen en koopkracht te bestuderen en economische statistieken op te stellen. Dan moet dat - zo redeneerden de economen - ook kunnen met onderwijsresultaten. PISA toetsen zijn dan een koninginnenstuk in deze redenering.

Alleen is er een groot probleem. Onderwijsinhouden kan je niet omzetten in een vergelijkbare schaal van eenheden in dollar of euro. A fortiori niet in natuurkundige schalen van meters, frequenties, tijd, temperatuur, Voltages of Ampères. Het is niet zo dat de wet van Ohm vijf punten waard is en de fotosynthese drie punten. Of de vergelijking van de eerste graad is twee punten en het berekenen van procenten vijf punten. Het lijdend voorwerp in een zin herkennen is niet één punt en het schrijven van een verhandeling ook niet zesentwintig punten. Dat is de erfzonde van de menswetenschappen en dus ook voor het onderwijs en de metingen van de resultaten ervan. Cijfers kunnen in het onderwijs nooit objectief zijn omdat ze een waarde toekennen aan een kwalitatief denkgedrag. 

 

Wat je wel kan, is kijken of de leerling de wet van Ohm kan toepassen, de fotosynthese kan uitleggen, het lijdend voorwerp aanduiden enzovoort. Maar hoeveel punten je daarop zet, is een subjectief oordeel, waarover de meningen dus niet eenduidig zijn. Objectieve toetsen in het onderwijs zijn dus in feite een contradictio in terminis. Een toets begint al met op de gestelde vragen een cijfer te zetten. Als je dat niet doet, kan je er ook niet mee tellen.  En dan kan je er ook niet de hele statistische software van gemiddeldes, standaarddeviaties, correlaties, meerniveau-analyses enzovoort op toepassen.  Als je over cijfers beschikt kan de moderne software in een minimum van tijd alle mogelijke berekeningen uitvoeren en ze meteen omzetten in grafische voorstellingen, histogrammen, tabellen, taartdiagrammen, wolkendiagrammen enzovoort en liefst nog in kleurendruk. Tezamen met het gehanteerde statistische jargon ziet er dat erg wetenschappelijk en verleidelijk uit. Maar de statistiek spreekt zich niet uit over de aannames die stapsgewijze in het productieproces van de toetsen werden omgezet in cijfers. Die aannames zie je dus niet in de cijfers. Je ziet dus wel de top van de ijsberg maar niet wat er onder de zeespiegel zit. Het begint al met de aanname dat je, om gemakkelijk te tellen, best één punt op iedere vraag zet. Je vermijdt eindeloze discussies over de relatieve waarde van een doelstelling en tegelijkertijd heb je een meetschaal gecreëerd. 

 

Kort gesteld, als het al moeilijk is om een valide toets op te stellen voor gebruik in eigen land dan is het vele malen moeilijker, zo niet onmogelijk, om een toets te maken die valide is voor de grote diversiteit in 81 landen.

Alle toetsen zijn dus steeds een reductie van de echte kwalitatieve realiteit. Ze kunnen zeker nuttig zijn in een evaluatieproces. Examens, overhoringen en toetsen zullen altijd blijven bestaan, maar ze moeten telkens met zorg worden opgesteld en ook worden geïnterpreteerd in hun contexten en met hun beperkingen. Toetsconstructeurs kennen de beperkingen wellicht wel, maar delen die echter maar in zeer sobere mate mee. Kort gesteld, als het al moeilijk is om een valide toets op te stellen voor gebruik in eigen land dan is het vele malen moeilijker, zo niet onmogelijk, om een toets te maken die valide is voor de grote diversiteit in 81 landen.

 

Onderwijssystemen zijn enorm complex

Onderwijssystemen zijn zo complex dat je er niet zomaar er één element (bijvoorbeeld begrijpend lezen voor vijftienjarigen) kan uitnemen en dat dan transponeren naar een ander systeem.  Ieder onderwijssysteem is de resultante van een eigen geschiedenis, een eigen cultuur, een eigen klimaat, een eigen geografische omgeving, eigen godsdienstige opvattingen, eigen waarden in gezinnen, democratisch of autoritair beheerde staatsvormen enzovoort. Al die factoren werken op elkaar in op het macroniveau, het mesoniveau van de school, het microniveau van de klas en ook het ‘nanoniveau’ van de individuele leerlingen. Al die factoren krioelen door elkaar zodat ook de onderwijssystemen in de landen grondig van elkaar verschillen. Het cartesiaans denken dat je er een factor kan uitnemen (zoals bij het klassieke mechanisch uurwerk) en die factor als vergelijkingspunt en model voor de andere systemen laat dienen, werkt niet.

Je kan natuurlijk leren van andere systemen. Maar dan moet je steeds de vertaling maken naar de configuratie van je eigen systeem. En dat vergt grondige kennis van de geschiedenis en de context van de betrokken landen. In de comparatieve pedagogiek is het verschijnsel van het overnemen van situaties uit andere onderwijssystemen een gekend voorwerp van studie. Bijvoorbeeld door graden van adoptie van een onderwijsaspect uit een ander land te onderscheiden.

 

Het is nogal naief dat de PISA-toetsen ‘DE’ indicator zouden zijn van de kwaliteit van een onderwijssysteem.

Met deze achtergrond is het opmerkelijk hoe weinig kritische stemmen te horen zijn bij de wereldwijde proclamatie van de PISA-toetsen. Vandaar een aantal vragen om toch een dam op te werpen tegen de nogal naïeve opstelling dat de PISA-toetsen ‘DE’ indicator zijn van de kwaliteit van een onderwijssysteem. Nog straffer, dat je ‘DE’ kwaliteit van onderwijssystemen kan rangschikken.
 

Discussie is welkom.

Vragen bij de PISA-toetsen

1.     Wellicht de belangrijkste vraag. Wordt er voldoende nagedacht over wat ‘kwaliteit’ van een onderwijssysteem inhoudt? Wat zijn de fundamentele doelen van ons onderwijs? Zijn die doelen voornamelijk economisch of wordt ook een brede vorming beoogd. Beoogt een systeem voornamelijk cognitieve vorming of is er ook plaats voor brede vorming van attitudes en waarden?

2.    Waarop zijn de vragen in de PISA-toetsen gebaseerd? Wie stelt die op? Wat is de relevantie daarvan voor de diverse landen? Hoe gebeurt de keuze uit duizenden mogelijke vragen? Is er een Kleinste Gemeen Veelvoud van wat kinderen in Mexico, Texas, Singapore, Vlaanderen moeten leren? Wie bepaalt dat? Zijn er wereldeindtermen?

3.    Hoeveel tijd wordt er in de diverse landen besteed aan de ondervraagde inhouden en hun voorlopers? Wat is de rol van het schaduwonderwijs, waarbij buitenschools onderwijs in vele landen meer en meer belang krijgt.

4.    Is niet een kennisfilosofische discussie nodig over de mogelijkheden en beperkingen van meetbaarheid en becijferbaarheid van menselijk gedrag (inbegrepen leerlingenresultaten).  Is er voldoende plaats voor niet-meetbare doelen, die vaak een hoger denkniveau vergen?

5.    Moeten wij per se dezelfde doelen nastreven als die van de 81 getoetste landen. In welke mate speelt onze culturele identiteit een rol in vergelijking met ‘de wereld’ of wat men daaronder verstaat?
 

6.    Is het fijn leven in de landen die op die toetsen hoog scoren?

7.    Methodologische vragen.

Als het al zo moeilijk is om een valide toets te maken in eigen kring (met de beperkingen daarvan), hoe moeilijk is het dan niet om een toets te maken die de 81 (of meer) landen dekt. Wie de moed toont om de vuistdikke rapporten over de toetsconstructie en hun vragenlijsten te doorworstelen, zal stoten op allerlei methodologische beperkingen. Bijvoorbeeld: steekproeven, aannames bij de verwerking, kwaliteit van de franchisenemers in de 81 landen, validiteit van de vragenlijsten, vertalingsproblemen in diverse taalsystemen.
 

8.    Welke (subjectieve) aannames liggen aan de basis van de bewering dat een verschil van 20 PISA punten overeenkomt met één jaar onderwijs?
 

9.    Als het over lezen gaat. Hoe vergelijk je lezen in de verschillende taalsystemen en ‘alfabetten’? Denk aan beeldtalen, grammatisch moeilijke talen, fonetische talen , andere schriftbeelden: cyrillisch, arabisch… Bovendien: wat is ‘begrijpen’ en hoe speelt de achtergrond in woordenschat  bij begrijpen in de diverse landen daarin mee?
 

10.    Als in ons land voor natuurwetenschappen zeer veel aandacht besteed wordt aan onderzoeksvaardigheden in meestal zeer degelijk uitgeruste labo’s; hoe meet je die in een toets?

Vragen kunnen verder worden aangevuld. Het is gewoon opmerkelijk dat ze niet in brede fora worden gesteld of bediscussieerd.

 

 

Roger Standaert, 8 december 2023

---

Lees IMPULS – Onderwijstijdschrift voor leidinggevenden

Je onderwijsteam enthousiasmeren en engageren is cruciaal. Impuls helpt daarbij. Het biedt als enige onafhankelijk tijdschrift ter zake een waardevolle ondersteuning aan schoolleiders. Impuls publiceert vier keer per jaar artikelen, interviews, recensies en achtergrondinformatie over schoolleiderschap. Tussentijdse blogberichten geven kritische opinies bij de actualiteit.

Abonneren op het tijdschrift IMPULS:

https://gompel-svacina.eu/product/impuls-abo-2023-2024/

#onderwijs #pisa #impuls