Dit is het eerste deel van de tien vragen over toetsen die wij stelden aan toetsexpert Ben Wilbrink. Het blijkt een zeer weerbarstige materie. Over een week deel 2.
De overgang van basisonderwijs (bo) naar voortgezet onderwijs (vo) is een kwestie waarbij vele belangen over elkaar heen buitelen; de dilemma’s zijn talrijk, en ernstig. De meeste ellende vloeit voort uit ons stelsel waar we 12-jarigen verdelen over (veel te veel) schoolsoorten. Dat moeten we zo dus niet doen, elders vindt de selectie naar vervolgopleidingen pas op 14- of 16-jarige leeftijd plaats, en dat gaat prima (zie bijvoorbeeld Canaan 2019). Totdat Nederland de politieke moed kan opbrengen om die selectie bij 12 jaar echt een eind op te schuiven (de Onderwijsraad adviseert het, 25 juni 2019), zitten we ermee in de maag.
Advies en eindtoets zijn dus onderdeel van een grotere problematiek die ik hier wil schetsen. Het gaat om veel meer dan alleen de vraag of het advies van de school eerlijker is dan de eindtoets, of omgekeerd (zie daarvoor Lek & van de Schoot, 2019). Ik begin met een eigen vraag.
Over welk onderwijs hebben we het?
Alles wat we menen te weten of speculeren over overgangen van basisonderwijs naar voortgezet onderwijs hangt af van het stelsel, van de heersende onderwijscultuur, van opvattingen over talenten, en van de stand van zaken in de strijd tussen maatschappelijke klassen. Dat zijn allemaal zaken die we (ingrijpend) kunnen veranderen of verbeteren.
Onthoud dat laatste, want discussie over adviezen en toetsen gaat er vaak stilzwijgend van uit dat al het andere blijft zoals het is. Maar hoe vreemd is dat voor de claim dat een toets eerlijker is dan een advies (of juist andersom) als het onderwijs zelf door-en-door oneerlijk is (Wilbrink 2017)? Laten we niet veronderstellen dat het onderwijs, breed opgevat, hetzelfde blijft, maar laten we vooral analyseren wat het oneerlijk maakt en hoe dat valt te repareren.
Als we weten dat selectie op latere leeftijd minder oneerlijk is, dan moeten we onderzoeken wat precies de oneerlijkheid van die selectie van 12-jarigen is, zoals Canaan (2019) dat doet.
Als het basisonderwijs 15% functioneel ongeletterde leerlingen aflevert, dan doet een mogelijk verschil in eerlijkheid van advies of toets er geen bal meer toe, dan is het onderwijs zelf oneerlijk en hebben te veel leerlingen geen schijn van kans op zowel advies als eindtoets. Van der Leij (2018) licht ons in over dat hoge aantal functioneel ongeletterden:
“1984 Proefpeilingsonderzoek (Wesdorp & Hoeksma): ongeveer 10 % van de zesdeklassers (huidige groep 8) zijn ‘functionele analfabeten’ en nog eens 15 % laaggeletterd
1994: Commissie Evaluatie Basisonderwijs:
ondanks invoering Basisonderwijs niet veranderd.
2007: Inspectie (De staat van het onderwijs):
veel scholen onvoldoende in staat om risicoleerlingen zoveel instructie, begeleiding en oefening te geven dat begin-achterstanden kleiner worden.”
Ik hoef hier niet uit te leggen dat leerlingen voor wie het onderwijs op deze manier heeft gefaald, daar een leven lang de gevolgen van zullen dragen: in gezondheid, levensgeluk, levenslengte. Vrijwel iedereen kan behoorlijk leren lezen, schrijven en rekenen. Repareer dat onderwijs, echt, het kan (zie o.a. Lemov, 2015; Van der Leij & Zijlstra, 2017; Didau 2018).
De vraag of adviezen en eindtoetsen de verdere schoolloopbaan goed voorspellen krijgt een cynisch karakter wanneer we ons realiseren hoe het basisonderwijs faalt. De voorspellingen zijn immers zo goed als ze zijn juist omdat het basisonderwijs faalt; de verschillen tussen 12-jarige leerlingen zijn zeer veel groter dan wat we van behoorlijk onderwijs mogen verwachten. Laten we mooie praatjes over adviezen en eindtoetsen doorprikken.
1. Is een landelijke gestandaardiseerde eindtoets voor het basisonderwijs noodzakelijk?
Het korte antwoord: nee.
Scholen en hun leraren willen graag selecteren-aan-de-poort. Zo deed Domela Nieuwenhuis in 1860 toelatingsexamen voor het gymnasium aan het Singel in Amsterdam; hij deed dat zo goed dat hij meteen in de tweede klas werd geplaatst. In 1863 bracht Thorbecke de wet middelbaar onderwijs tot stand, waarin ook de hogere burgersscholen. Die eerst HBS kende geen toelatingsexamen omdat de liberaal Thorbecke die verantwoordelijkheid aan ouders zelf wilde laten (zie Krüger, 2014, blz 252, 258). “Hij vond dit soort zaken tot de vrijheid van ouders en leerlingen behoren” (Krüger, 258).
Het feest duurde niet lang: leraren dachten ook toen al dat selectie-aan-de-poort hun werk zou verlichten en kregen binnen enkele jaren een wetswijziging voor elkaar. We weten uit het artikel van Posthumus in De Gids van 1940 dat die selectie-aan-de-poort het bedoelde effect niet oplevert. Immers, een valide selectie-aan-de-poort moet voorkomen dat er in de 1e klas nog zittenblijvers zijn. Maar wat zien we: percentages zittenblijven bleven gewoon rond 23 % voor de 1e klas evenals voor de andere klassen, waarschijnlijk door alle jaren (1870-1940) heen. Ondertussen veranderde de wereld ingrijpend, maar de percentages zittenblijven bleven gelijk. Dat zittenblijven zegt dus niets over de leerlingen, maar alles over een absurde onderwijscultuur. Wees gewaarschuwd, die cultuur hebben we nog steeds. Het onderwijs is verzot op benadrukken van verschillen tussen leerlingen, ten koste van de primaire taak om alle leerlingen op behoorlijk niveau te brengen.
Toelatingsexamens waren niet landelijk, iedere school deed maar wat. Dat leverde rekentoets-achtige toestanden op, als ik dat zo mag uitdrukken. Theo Thijssen maakte de kachel aan met over-de-top vragen in die examens, zie zijn ‘De examenidioot’ uit 1929. Voel u niet verplicht mijn literatuurverwijzingen op te volgen, maar ‘De examenidioot’ is verdraaid aardig om eens door te kijken. De examenvragen werden kunstmatig moeilijk gemaakt, er werden ‘wiskundige denkactiviteiten’ getest, om overtuigend te kunnen selecteren. Zie ook Turkstra (1957) die de cijfers die de jongens en meisjes in de zesde klas hadden voor hun rekenen vergelijkt met de soms sterk afwijkende cijfers op zo’n selectieve rekentoets, eigenlijk een intelligentietest dus.
Het is handig om bij een slecht-nieuws-gesprek te kunnen wijzen op een lage score op een toelatingstoets, maar ethisch kan het echt niet door de beugel om verder onderzoek dan na te laten.
Iedere school een eigen toelatingsexamen, dat is niet ideaal. De toets van het Cito kon dat probleem oplossen (Karen Heij doet onderzoek naar toetscultuur; Heij, 2018). Een landelijke toets heeft immers twee belangrijke voordelen, als ondertussen al het andere gelijk moet blijven: het is een stuk doelmatiger, en is eerlijker in de zin dat voor scholen in Amsterdam, Groningen en Maastricht ongeveer dezelfde toelatingseisen gelden. Maar ik had al gewaarschuwd: het is waarschijnlijk nog veel doelmatiger en veel eerlijker om het onderwijs te verbeteren naar hedendaagse wetenschappelijke inzichten. Zo’n landelijke eindtoets kan ook werken als een rem op die noodzakelijke onderwijsverbetering. Er is nog steeds veel ‘verborgen talent’, om het zo maar eens te zeggen (Van Heek, 1968), ondanks al die toetserij sinds de oprichting van het Cito.
2. Zijn na de afname van verschillende aangeboden eindtoetsen de resultaten vergelijkbaar?
Laat ik een geheim verklappen: toetsen zijn geen meetlatten, maar steekproeven. Eigenlijk is iedere opgave een steekproef die goed of fout kan uitpakken. De toets is de som van al die steekproefjes. Daar zit dus een vette toevalsfactor in (wie goed in zijn statistiek zit: herken het binomiaal-model). Deel een individuele toets maar eens willekeurig in tweeën: de scores op die helften komen zelden overeen. De eindtoets van 2018 is een andere dan die van 2019; daar is dan met een truukje wel een mouwtje aan te passen (zoals de N-term bij eindexamens) maar toch. Er is nog iets anders aan de hand: twee leerlingen met dezelfde toetsscore kunnen die op totaal andere wijze hebben bereikt. Dat maakt intuïtief duidelijk dat ook twee leerlingen met dezelfde beheersing van de stof (%) toch op dezelfde toets meestal verschillend zullen scoren.
De vraag gaat nu over de verschillende eindtoetsen die nu in gebruik zijn, naast die van Cito ook enkele toetsen van andere aanbieders. Dat zijn dus steekproeven die anders zijn opgebouwd, waar maken we ons druk over? Nou ja, het idee is dat er misschien stelselmatige verschillen zijn zodat er oneerlijkheid ontstaat. Hebben we daar een criterium voor? Jazeker. De voorspelling, of preciezer: de voorspellende validiteit, die mag niet substantieel verschillen, daarop moeten de toetsen vergelijkbaar scoren. De voorspelling is bijvoorbeeld waar de leerlingen over drie jaar zijn. That’s all there is to it.
Of twee eindtoetsen van verschillende aanbieders leerlingen op dezelfde manier rangordenen is dus geen goed criterium. Dezelfde rangorde veronderstelt dat verschillende eindtoetsen in beginsel dezelfde voorspelling voor de individuele leerling (stel dat die beide eindtoetsen aflegt) moeten opleveren. Maar dat laatste is geen voorwaarde voor gelijke voorspellende validiteit, dat laatste slaat immers op hele groepen/jaargangen die de toetsen afleggen. Het is veel lastiger dan sjoelbakken: de meeste 12-jarige leerlingen zijn immers geen evidente havisten of kb-ers (kader beroeps), en zijn kansrijk in twee of drie schoolsoorten. De laatste keer dat Nederland daar indringend mee werd geconfronteerd was bij de standaardtoetsen in de basisvorming, 90er jaren: enorme overlap tussen de schoolsoorten.
“Per schooltype blijken de prestaties van scholieren elkaar te overlappen. De beste 25 procent van het mavo presteert bij voorbeeld even goed als de gemiddelde VWO-scholier. De beste 10 procent van het VBO scoort met de toetsen beter dan de helft van de VWO’ers.” (Trouw, 17 februari 1991)
Ooit, in de oude tijd van de ‘citotoets’, was die toets niet verplicht, maar kon een school er ook voor kiezen een intelligentietest af te nemen. Laten we ons niet opwinden over mogelijke verschillen tussen aangeboden eindtoetsen, maar natuurlijk wel in de gaten houden hoe de hazen lopen.
3. Wat moet de rol zijn van een eindtoets bij het schooladvies van de leerkracht?
Geen. Dat is nou ook wat. Als de school de score op de eindtoets al weet bij het opstellen van het eigen advies, dan corrumpeert dat het advies. Dan weten we dus niet meer wat het advies precies behelst, is dat nog een onafhankelijk advies, of dekt de school zich al in tegen de kende en mogelijk afwijkende score op de eindtoets? Dat is een schending van geschreven regels van behoorlijk toetsen en testen (Cotan, 1988; AERA, APA, NCME, 2014).
Aha, maar dan hebben we dus een ernstig probleem, ook al vindt de eindtoets pas na het advies plaats. Want er worden nogal wat tests afgenomen in groep 6, 7 en 8, en die hebben hoogstwaarschijnlijk bewust of onbewust invloed op het advies dat de school opstelt. Ik kan het niet anders maken. Dit is geen goede stand van zaken. Korter: het is een zootje.
4. Wat is het meest geschikte moment voor de afname?
Gezien het voorgaande moeten we landelijke toetsen altijd afnemen nadat scholen hun advies hebben gegeven. Binnen die bandbreedte leiden andere overwegingen dan tot het meest geschikte moment. Maar ja, op overwegingen van de politiek hierbij kun je maar beter geen weddenschap afsluiten (de laatste keer hebben politici handjeklap gedaan over die eindtoetserij, hoogst onzorgvuldig).
De Onderwijsraad denkt er anders over: zij adviseert juist om de eindtoets af te nemen voorafgaand aan het advies (Onderwijsraad, 25 juni 2019).
U mag het zelf uitzoeken. Kijk, dat is nu de reden dat ik een fundamenteler discussie aanzwengel, anders blijven we steken in welles-nietes, over in feite ondergeschikte problemen.
5. Dient het eindadvies van de school in principe doorslaggevend te zijn?
Het advies van de school is geen advies aan de ouders, maar aan de ontvangende scholen. Als de ouders erover zouden gaan, dan gebruiken ze natuurlijk alle informatie die zij zelf al hebben, plus het advies van de school, plus het resultaat van de afgelegde eindtoets. Zij zouden met die informatie kunnen besluiten welke vervolgschool een nog aanvaardbaar afbreukrisico voor hun kroost oplevert. En zo hoort het eigenlijk, vergelijk dat met behandeladviezen van medisch specialisten aan hun cliënten: de cliënt moet uiteindelijk beslissen: doen we het, of doen we het niet. Maar zo gaat het dus niet in ons onderwijs. Ik meen dat er in Australië of Nieuw Zeeland een keer zo’n regeling is gekomen, maar die liep in de praktijk stuk op de onwil van de scholen om zich naar die wet te voegen. Lastige ouders? Weg ermee. Hetzelfde wat Thorbecke overkwam, bij zijn HBS.
verwijzingen deel 1
AERA, APA & NCME (2014). The standards for educational and psychological testing. [niet online, helaas]
http://www.apa.org/science/standards.html
Serena Canaan (June 2019). The long-run effects of reducing early school tracking. IZA DP No. 12419
http://ftp.iza.org/dp12419.pdf
Cotan (1988). Richtlijnen voor ontwikkeling en gebruik van psychologische tests en studietoetsen. Amsterdam: Nederlands Instituut van Psychologen, Commissie Testaangelegenheden. Tweede editie. Hoofdstuk 8. Toetsgebruik in het onderwijs. Scan:
http://www.ben-wilbrink.nl/Richtlijnen_Toetsgebruik_in_het_onderwijs.pdf
David Didau (2018). Making kids cleverer. A manifesto for closing the advantage gap. Crown House.
https://www.crownhouse.co.uk/publications/making-kids-cleverer
F. van Heek et al. (1968). Het verborgen talent. Milieu, schoolkeuze en schoolgeschiktheid. Boom. Besproken door Van Kemenade, 1969:
https://rjh.ub.rug.nl/sogi/article/view/21470/18941
Karen Heij (augustus 2018). Selecteren: we willen het niet, maar we doen het voortdurend. Van Twaalf tot Achttien, augustus 2018
https://www.van12tot18.nl/selecteren-we-willen-het-niet-maar-we-doen-het-voortdurend
Jenneke Krüger (2014). Actoren en factoren achter het wiskundecurriculum sinds 1600. Proefschrift (Jan van Maanen promotor). FIsme. vrij pdf 24 Mb:
https://dspace.library.uu.nl/bitstream/1874/301858/1/kruger.pdf
Kimberley Lek & Rens van de Schoot (2019). Wie weet het beter, de docent of de centrale eindtoets? De Psycholoog
Doug Lemov (2015). Teach like a champion 2.0: 62 techniques that put students on the path to college. Jossey-Bass.
http://eu.wiley.com/WileyCDA/WileyTitle/productCd-1118901851.html
Aryan van der Leij (2018). Denktankdag 2018. Powerpoint:
https://www.expertisecentrumnederlands.nl/wp-content/uploads/2018/05/Denktank_AvdLeij_9mrt18.pdf
A. van der Leij & H. Zijlstra (2017). Voorkom laaggeletterdheid en reduceer dyslexie. BasisSchoolManagement, 31, december (8), 12-15.
Onderwijsraad (25 juni 2019). Brief aan de Vaste Kamercommissie in verlengde van eerdere adviezen.
K. Posthumus (1940). Middelbaar onderwijs en schifting. De Gids, jaargang 104, 24-42
https://www.dbnl.org/tekst/_gid001194001_01/_gid001194001_01_0040.php
Theo Thijssen (1929). De examen-idioot of De kinderexamens van 1928. Overdruk uit De Bode, orgaan van de Bond van Nederlandse Onderwijzers. Bondsdrukkerij “De Volharding”. http://www.ben-wilbrink.nl/Thijssen_De_Examenidioot_1929.pdf (scan 24 Mb)
Trouw (17 februari 1991). Toets basisvorming is te moeilijk voor meesten van de IVBO-leerlingen.
H. Turkstra (1957). Een onderzoek over de correlatie tussen de vorderingen voor algebra en meetkunde in de eerste klas van de middelbare school en het cijfer voor rekenen op de l.s. en op het toelatingsexamen voor de middelbare school. Euclides, 32, 161-172.
http://vakbladeuclides.nl/archief/pdf/32_1956-57_05.pdf
Wesdorp, H., & Hoeksma, J. B. (1985). Voorstudie Periodieke Peiling van het Onderwijsniveau. Deel 1: Lees- en schrijfprestaties van zesdeklassers. Amsterdam: SCO. [NB: Van der Leij geeft geen volledige referentie, maar mogelijk is dit het rapport. Het Kohnstamm Instituut heeft het niet online, helaas]
Ben Wilbrink (2017). Op weg naar eerlijk onderwijs. Van Twaalf tot Achttien, september 2017
https://www.van12tot18.nl/op-weg-naar-eerlijk-onderwijs
extra
Denny Borsboom, Eric-Jan Wagenmakers, Maarten Marsman en Rob Meier (30 juni 2019). ‘Eindtoets is wél belangrijk voor eerlijk schooladvies’ De stelling dat een gestandaardiseerde eindtoets niet zo belangrijk is, is gevaarlijk naïef. Dat stellen drie hoogleraren en een universitair docent. Het Parool, Opinie.
https://twitter.com/parool/status/1145211284708892672
Tweede Kamer Algemeen Overleg ‘Eindtoets po en overgang po en vo’ 24 juni 2019 17:00 – 21:00. Video:
https://debatgemist.tweedekamer.nl/debatten/eindtoets-po-en-overgang-po-en-vo
Ben Wilbrink: annotaties aansluiting basisonderwijs – voortgezet onderwijs
http://benwilbrink.nl/literature/aansluitingbovo.htm
Over een week publiceren we het tweede deel van dit artikel.
Jan Lepeltak
Adam Lenaarts
Is er al eens een degelijk onderzoek uitgevoerd naar de relatie tussen NIO en schooladvies? Wellicht in combinatie met de eindtoets. Ik hoor toch vaak om me heen dat men de NIO veel betrouwbaarder vindt dan het advies. Verder dank voor dit artikel. Het zet je aan tot nadenken over welke fouten willen/ kunnen we herstellen. Ik denk dan ook na over de kansenongelijkheid en de gevolgen van functioneel analfabetisme en laag geletterdheid. Hoe signaleren en remediëren we dit en welke kansen bieden we aan deze groep als ze het VO binnenstappen. Hier liggen kansen!
Ben Wilbrink
Een interessant rapport, over excellerende leerlingen vergeleken met gemiddelde leerlingen, op diverse tests/toetsen
Hans Kuyper & Greetje van der Werf (14-6-2012). Excellente leerlingen in het voortgezet onderwijs. Schoolloopbanen, risicofactoren en keuzen. GION. https://www.rug.nl/research/portal/en/publications/excellente-leerlingen-in-het-voortgezet-onderwijs(223955ad-85f1-46f0-a3cd-4665e853cee8).html
Ben Wilbrink
Goed gevonden krantenkop bovenaan de blog. Het gaat om een bespiegeling van de onderwijsafdeling van het CPB, zeg maar de afdeling postzegelverkoop van de kapper. (met dan aan Wim Sonnevelt). Ik vind het zonde van de beperkt beschikbare ruimte om er in de blog aandacht aan te schenken. Bij deze dan: ik ken geen enkele publicatie van deze afdeling waar geen blunders in zitten. Zou dit dan de eerste zijn zonder zo’n blunder? Ik heb het rapport niet gelezen, kan er de moed niet toe opbrengen. Ik zal zeggen waarom: het gaat niet om onderzoek, maar om een analyse op beschikbare databestanden. Je zet dus een toevallig beschikbare bril op, en beschrijft dan hoe de wereld eruit ziet. Maar zo kan het dus niet.
Deze onderzoekers zijn goed in hun vak, econometrie, dat geef ik meteen toe. Maar een noodzakelijke voorwaarde voor kwaliteit is daarnaast ook een grondige kennis van het onderwijsveld. En die ontbreekt. Toch publiceren zij onder de vlag van het prestigieuze CPB. Denk er het uwe van, maar doe er wel uw voordeel mee.
https://www.cpb.nl/eindtoets-draagt-bij-aan-beter-passend-schooladvies
D. Loeve
Nog twee vragen:
1. Geven leerkrachten een beter advies dan een toets?
Nee, zeker kinderen uit gezinnen met minder hoog opgeleide ouders zijn daar niet bepaald bij gebaat.
2. Welke kinderen zijn erbij gebaat als ouders vrij zijn in hun keuze op basis van diverse infomatie?
Kinderen van hoog opgeleide ouders. De kinderen aan de andere kant van het spectrum waarschijnlijk juist niet.
Ben Wilbrink
Ad 1. Ik ken daar geen aanwijzingen voor uit de onderzoekliteratuur. Integendeel, Jaap Dronkers gaf mij toe dat het advies van de school beter voorspelt dan de eindtoets. Toch hield hij vast aan zijn standpunt dat de eindtoets eerlijker is. Dat laatste is een misvatting: de eindtoets is anders, de stelling dat ‘anders’ dan ook ‘eerlijker’ is vraagt onderbouwing. Het feit dat het gaat om een toets maakt niet dat er sprake is van een erlijker vorm van beoordelen, alleen van een gestandaardiseerde vorm van beoordelen. Over de waarde van toetsen bestaan groteske opvattingen, ook bij politici die graag naar dat instrument grijpen. Interessant discussiepunt dus.
ad 2. Dat hangt ervan af. Sommige keuzen zijn al vrij.
Het hoofd van de lagere school van mijn moeder moest praten als brugman om mijn oma te bewegen zijn beste leerling naar vervolgonderwijs te sturen. Zijn poging liep stuk op de eenvoudige overweging van oma dat oudere broers en zussen (dat waren er 9) die kans ook niet hadden gekregen. Het zou dus niet eerlijk zijn. Het heeft grote gevolgen gehad voor het leven van mijn moeder, maar het gaf haar wel een sterke motivatie om haar kinderen niet hetzelfde te laten overkomen.
Mijn voorstel voor de eindbeslissing bij de ouders berust niet op een liberale politieke filosofie, maar op een analyse van de vele onbedoelde maar wel sterk negatieve effecten van het dwingende systeem dat we nu hebben. Daar gaan deze twee blogs juist over.