De verhouding tussen het schoolexamen en het centraal examen
Bijlage
Nummer: 2008D11732, datum: 2008-10-23, bijgewerkt: 2024-02-19 10:56, versie: 1
Directe link naar document (.doc), link naar pagina op de Tweede Kamer site.
Gerelateerde personen:- Eerste ondertekenaar: J.M. van Bijsterveldt-Vliegenthart, staatssecretaris van Onderwijs, Cultuur en Wetenschap (Ooit CDA kamerlid)
Bijlage bij: Examinering voortgezet onderwijs (2008D11729)
Preview document (🔗 origineel)
De verhouding tussen het schoolexamen en het centraal examen 1. Inleiding Het cijfer op het eindexamen is in de meeste gevallen het rekenkundig gemiddelde van het cijfer op het schoolexamen (SE) en het cijfer op het centraal examen (CE). Recent onderzoek van de Inspectie van het Onderwijs (2007) wijst uit dat cijfers op het SE over het algemeen hoger uitvallen dan cijfers op het CE. Verontrustend in dit verband is dat de gevonden verschillen blijken te variëren tussen scholen en schooltypen. Hierdoor bestaat de mogelijkheid dat het eindcijfer afhangt van het schooltype en de school waarop het eindexamen is afgelegd. Als de variatie tussen scholen substantieel van aard is, zijn examencijfers niet meer goed vergelijkbaar en komt de validiteit en betrouwbaarheid van het eindexamen in het geding. Deze en eerdere bevindingen waren voor staatssecretaris van Onderwijs, Cultuur en Wetenschap van Bijsterveldt-Vliegenthart aanleiding te laten onderzoeken of het zin heeft om de prestaties voor het CE anders te wegen. Aan een onderzoeksteam van Cito is gevraagd een aantal voorgestelde wijzigingen in het examensysteem nader te bestuderen met behulp van beschikbare examenresultaten van de afgelopen jaren. Deze wijzigingen hebben tot doel de positie van het CE ten opzichte van het SE te versterken en excessieve verschillen, zowel positief als negatief, tussen de uitkomsten van beide examens terug te dringen. In het Cito-onderzoek zijn twee benaderingen bestudeerd. In de eerste benadering zijn verschillende mogelijkheden bestudeerd om cijfers op het SE aan te passen door ze op schoolniveau te ijken aan cijfers op het CE. De tweede benadering behelst het leggen van een bodem in het CE door aanvullende eisen te stellen aan de cijfers op het CE. Met andere woorden: de bestudeerde benaderingen hebben betrekking op het aanpassen van het cijfer op het SE of op het wijzigen van de zak-/slaagbeslissing. In het onderzoek is vooral aandacht besteed aan het in kaart brengen van de effecten van de mogelijke wijzigingen op enerzijds slagingspercentages en anderzijds de kwaliteit van de zak-/slaagbeslissing. Dit rapport biedt een samenvatting van de opzet en uitkomsten van het onderzoek. 2. Opzet van het onderzoek Er zijn verschillende soorten analyses mogelijk van wijzigingen in het examensysteem. Dit onderzoek heeft een voornamelijk cijfermatige aanpak en richt zich met name op: Analyse van beschikbare examengegevens Modelmatige simulatie van examengegevens Met een analyse van beschikbare examengegevens kan worden onderzocht in hoeverre maatregelen leiden tot veranderingen in slagingspercentages, en in welke mate deze veranderingen gerelateerd zijn aan de reparatie van verschillen tussen SE en CE. Hierbij dient men te bedenken dat het effect van een daadwerkelijk doorgevoerde wijziging altijd anders is dan het effect op reeds vaststaande examenresultaten. Interpretatie van deze analyses zal dus met enige terughoudendheid moeten gebeuren. Met een modelmatige simulatie van examengegevens is na te gaan in hoeverre de kwaliteit van de zak-/slaagbeslissing in termen van nauwkeurigheid gewaarborgd blijft op het huidige niveau. Dit is een van de voorwaarden waaraan iedere voorgestelde wijziging in het examensysteem dient te voldoen. Bij modelmatige simulaties worden statistische eigenschappen van de examens gebruikt om examenresultaten van leerlingen na te bootsen. Het belangrijkste uitgangspunt voor een dergelijke simulatie is dat een examencijfer van een leerling bestaat uit twee delen: een deel dat samenhangt met het vaardigheidsniveau van de leerling en een deel dat samenhangt met toevallige omstandigheden, doorgaans aangeduid als meetfout. Door de meetfout had een leerling die net een voldoende haalt (5.6), ook net een onvoldoende (5.4) gehaald kunnen hebben, of andersom. De relatieve invloed van de meetfout op het examencijfer is een maat voor de meetnauwkeurigheid van het examen. Als het effect van de meetfout van alle losse examenvakken wordt gecombineerd kan hieruit de meetnauwkeurigheid van het totale examen worden bepaald. Dit gaat als volgt. De examenresultaten van kandidaten worden gesimuleerd uit een verdeling van het vaardigheidsniveau die is gebaseerd op de verdeling van echte examengegevens. Vervolgens wordt hieraan meetfout toegevoegd. De kwaliteit van de zak-/slaagbeslissing wordt geëvalueerd op basis van het verschil tussen de zak-/slaagbeslissing met de cijfers van het echte vaardigheidsniveau en de zak-/slaagbeslissing met de cijfers waaraan een meetfout is toegevoegd. Als maat voor de onnauwkeurigheid van de zak/slaagbeslissing is eenvoudigweg gekozen voor het percentage misclassificaties. Dit betreft dus leerlingen die op basis van hun cijfers met meetfouten worden geclassificeerd als gezakt terwijl ze op basis van hun vaardigheidsniveau zouden moeten slagen, en vice versa. De volgende tabel kan hiertoe worden opgesteld. Tabel SEQ Tabel \* ARABIC 1 : Classificatietabel voor bepalen van nauwkeurigheid van zak-/slaagbeslissing Vaardigheidsniveau (cijfers zonder meetfouten) Gezakt Geslaagd Examenresultaat (cijfers met meetfouten) Gezakt Juiste classificatie Misclassificatie Geslaagd Misclassificatie Juiste classificatie Bij de interpretatie van deze cijfers wordt vooral gekeken naar relatieve verschuivingen ten opzichte van het huidige examensysteem. 3. Verschillen tussen cijfers op het SE en CE De verschillen tussen cijfers op het schoolexamen en cijfers op het centraal examen worden nu kort geanalyseerd voor elk schooltype om zo een referentiekader te creëren voor de bestudering van wijzigingen in het examensysteem. Hierbij is gebruik gemaakt van een databestand met examengegevens uit de periode 2004-2006 voor de schooltypen vwo, havo en vmbo. Van het vmbo zijn alleen de gemengde en theoretische leerweg (gl en tl) opgenomen, omdat het bestand alleen de gegevens van de algemene vakken bevat. De gegevens van kandidaten van VAVO-scholen, particuliere scholen en extraneï ontbreken. In de gegevens zijn herkansingen reeds opgenomen. 3.1 Verschillen op het vwo In een analyse die gebaseerd is op 91714 vwo-leerlingen die ofwel gezakt ofwel geslaagd zijn, komt het gemiddelde SE-cijfer uit op 6.90. Dezelfde leerlingen behaalden een gemiddeld CE-cijfer van 6.44. Deze verschillen zijn vertekend doordat het SE meer vakken betreft dan het CE. Voor een nauwkeurigere vaststelling van de verschillen is daarom gekeken naar de vakken waarin zowel SE als CE is afgelegd. Het verschil tussen SE en CE vermindert dan met 0.10 van 0.46 naar 0.36 cijferpunt. 3.2 Verschillen op het havo Het havo-examen is in de geanalyseerde gegevens afgelegd door 124899 leerlingen. Het verschil tussen het gemiddelde SE-cijfer en het gemiddelde CE-cijfer is 0.31 cijferpunt. Dit verschil daalt tot 0.23 cijferpunt als uitsluitend wordt gekeken naar de vakken van het SE waarin ook CE is afgelegd. 3.2 Verschillen op het vmbo In de beschikbare gegevens hebben 145099 leerlingen het examen vmbo theoretische leerweg en vmbo gemengde leerweg afgelegd. Het verschil tussen het gemiddelde SE-cijfer en het gemiddelde CE-cijfer is 0.25 cijferpunt. Wanneer uitsluitend wordt gekeken naar de algemene vakken waarin zowel SE als CE wordt afgelegd (alleen het vak Maatschappijleer I valt hierdoor af), dan daalt dit verschil naar 0.18 cijferpunt. Als de verschillen worden uitgesplitst naar gl en tl, dan vinden we verschillen van 0.42 (gl) en 0.23 (tl). Als ook hier het vak Maatschappijleer I wordt weggelaten, nemen deze verschillen af tot respectievelijk 0.34 (gl) en 0.17 (tl). 4. Wijzigingen in het examensysteem Hieronder wordt een aantal voorgestelde wijzigingen in het examensysteem besproken. Daarbij wordt onderscheid gemaakt tussen wijzigingen die zorgen voor aanpassingen van het SE-cijfer op basis van ijking aan het CE en wijzigingen die een bodem leggen in het CE. Van iedere wijziging wordt eerst een beknopte theoretische analyse gegeven. Vervolgens worden de resultaten besproken van het analyseren van beschikbare examengegevens en het modelmatig simuleren van examengegevens. 4.1 Aanpassen van SE-cijfers op schoolniveau Eerst zal hier worden ingegaan op de algemene aspecten van ijking van het SE aan het CE op schoolniveau. Daarna wordt een aantal specifieke opties besproken. Algemeen theoretische analyse Een hoger cijfer geven voor een SE dan voor een CE kan alleen worden gerechtvaardigd wanneer kan worden aangetoond dat de prestatie op het betreffende SE ten opzichte van de landelijke populatie ook relatief hoger is geweest dan de prestatie op het CE. Theoretisch kan dit door het inbouwen van een landelijk genormeerd ‘anker’, een toetsgedeelte dat voor iedereen hetzelfde is en waarvan dus bekend is wat het landelijke prestatieniveau is. Zolang scholen dit soort ankertoetsen niet inzetten in het schoolexamen, kan het centraal examen (wat een volledige ankertoets is) als benadering worden gebruikt. Op schoolniveau kan deze benadering nooit leiden tot hogere gemiddelde cijfers op het SE dan op het CE, maar op individueel niveau wel. Het kan immers zijn dat een individu de inhoudselementen die gemeten worden in het SE relatief beter of slechter beheerst dan de inhoudselementen in het CE. Daarnaast kunnen verschillen op individueel niveau ontstaan als gevolg van het calculerende gedrag van leerlingen. Studie-inspanningen voor het CE zijn doorgaans gebaseerd op de resultaten van het SE. Positie van het landelijk verschil tussen SE en CE Als we op een school het gemiddelde SE-cijfer (per vak) ijken aan het gemiddelde CE-cijfer van dezelfde leerlingen streven we impliciet naar een situatie waarbij landelijk het gemiddelde CE-cijfer niet afwijkt van het gemiddelde SE-cijfer. In de praktijk bestaat landelijk historisch echter een verschil tussen SE- en CE-cijfer. Sinds 2005 houdt de Centrale Examencommissie Vaststelling Opgaven (CEVO) onder meer ook rekening met dit verschil bij het vaststellen van de referentienormen die worden gebruikt als ankerpunt voor het vaststellen van de cijfers van nieuwe examens. De geconstateerde historische verschillen worden hierbij beschouwd als “normale” verschillen, zoals die op stelselniveau blijkbaar redelijk worden gevonden. Behalve door een aanpassing van de SE-cijfers op schoolniveau, kunnen de landelijke verschillen ook worden teruggedrongen door de cijfers op het CE aan te passen. Dit kan bijvoorbeeld door referentienormen te kiezen waarbij historisch geen verschil bestaat tussen SE en CE. Dit verandert de zwaarte van het examen als geheel, maar heeft geen effect op de vergelijkbaarheid tussen leerlingen van verschillende scholen. Het landelijke verschil tussen SE en CE kan zodoende (in ieder geval deels) gezien worden als een keuze op systeemniveau, die eenvoudig veranderd kan worden zonder verdere aanpassingen van het systeem. Daarom zullen we bij het doorrekenen van de ijking van het SE-cijfer aan het CE-cijfer twee verschillende strategieën hanteren: IJken aan het landelijke verschil tussen SE en CE. In dit geval wordt het verschil tussen SE en CE op een school door aanpassing gelijk getrokken aan het gemiddelde verschil op landelijk niveau. IJken aan het CE-cijfer. Op schoolniveau wordt dan voor het totale verschil tussen SE en CE gecorrigeerd. Er hoort geen landelijk verschil te bestaan. Praktische uitvoering Het ijken van het SE aan het CE kent als complicatie dat de resultaten van het SE moeten worden bijgesteld na afloop van het CE. Dit kan leiden tot onzekerheid en gevoelens van onrechtvaardigheid (bij bijstelling naar beneden), en daardoor tot een verminderd draagvlak voor het examensysteem. Daarom moet ook onderzocht worden in hoeverre de onzekerheid over het SE-cijfer kan worden teruggedrongen, bijvoorbeeld door vooraf duidelijkheid te geven over de maximale aanpassing hiervan. Verdere praktische complicaties zijn bijvoorbeeld het relatieve korte tijdpad waarin de SE-cijfers zouden moeten worden aangepast, het voorhanden zijn van de benodigde gegevens binnen dit tijdpad en het controleren van de juistheid van de aanpassing. Altijd aanpassen Bij ijking van het SE aan het CE is een eerste optie om het SE altijd aan te passen wanneer bij een bepaald vak op een school de gemiddelde SE- en CE-cijfers van elkaar verschillen. Het gemiddelde verschil tussen SE en CE wordt dan afgetrokken van het SE-cijfer van alle leerlingen van deze school. Dit verschil wordt hiermee impliciet gehanteerd als schatting voor de soepelheid of strengheid waarmee het SE is beoordeeld. Het nadeel hiervan is dat dit mogelijk een slechte schatting is. Dit gaat vooral spelen als op een school slechts weinig leerlingen examen doen in een bepaald vak. Ook maakt deze methode de zak-/slaagbeslissing over individuele leerlingen afhankelijk van de resultaten op het CE van andere leerlingen van dezelfde school. Aanpassen bij een significant verschil per vak Een andere mogelijkheid is om per school, per vak te evalueren of het verschil tussen het SE en het CE significant is. Zo wordt voorkomen dat men corrigeert voor toevallige verschillen die ontstaan bij kleine aantallen kandidaten. Aandachtspunt hierbij is dat hetzelfde kleine verschil bij een grote school significant kan worden bevonden en bij een kleinere school niet. Het risico ontstaat daarmee dat eventuele verschillen op kleine scholen onopgemerkt zullen blijven. Aanpassen bij een significant verschil over vakken Om de invloed van de grootte van de school te beperken, kan men ervoor kiezen de afwijking tussen SE en CE over alle vakken heen te aggregeren. Hierbij moet een weging plaatsvinden voor het aantal leerlingen per vak. Het gewogen verschil kan geëvalueerd worden met behulp van een stappenplan. Hierbij kan allereerst gekeken worden naar het verschil over alle vakken heen (stap 1). Als dit significant is, kan de grootte van het verschil worden bepaald (stap 2). Als dit bijvoorbeeld meer is dan 0.4 cijferpunt, kan per vak bepaald worden of de afwijking significant is. Zo ja, dan kan het SE-cijfer worden aangepast (stap 3). Aanpassen bij een significant verschil over vakken in voorgaand jaar Om het probleem van de onduidelijkheid van de waarde van het SE-cijfer terug te dringen, kan ook gekozen worden voor het inpassen van de ijking in een escalatieladder. Als het verschil tussen SE en CE significant en voldoende groot is, wordt het jaar daarop stap 3 doorgevoerd. Aan kandidaten kan dan vooraf worden verteld dat hun SE-cijfer mogelijk wordt aangepast. Aanpassen over vakken bij een significant verschil over vakken Een alternatief voor een aanpassing per vak zou zijn om een identieke aanpassing van het SE-cijfer voor alle vakken uit te voeren. Door het gemiddelde verschil tussen SE en CE af te trekken van het SE-cijfer van elk vak wordt het gemiddelde van SE en CE over alle vakken heen gelijk. Een theoretisch nadeel is dat het cijfer van een leerling kan worden beïnvloed door een verschil tussen SE en CE op een vak dat buiten zijn/haar vakkenpakket valt. Er zijn vele varianten mogelijk van de hierboven beschreven aanpassingen van het SE-cijfer. In dit onderzoek zijn negen varianten nader bestudeerd. Deze staan kort beschreven in de volgende tabel. Tabel SEQ Tabel \* ARABIC 2 : Overzicht van de gebruikte aanpassingen van SE-cijfers Aanpassing 1 Op elke school worden per vak de verschillen tussen SE en CE aangepast aan het landelijke verschil. Aanpassing 2 Op elke school worden per vak de verschillen tussen SE en CE gecorrigeerd naar nul. Aanpassing 3 Alleen als het verschil tussen SE en CE op een school significant is, wordt het per vak aangepast aan het landelijke verschil. Aanpassing 4 Alleen als het verschil tussen SE en CE op een school significant is, wordt het per vak gecorrigeerd naar nul. Aanpassing 5 Alleen als op een school over vakken heen een significant verschil tussen SE en CE groter dan 0.4 wordt gevonden, dan wordt een significant verschil per vak gecorrigeerd naar nul. Aanpassing 6 Alleen als vorig jaar op een school over vakken heen een significant verschil tussen SE en CE groter dan 0.4 wordt gevonden, dan wordt in het huidige jaar het verschil per vak aangepast aan het landelijke verschil. Aanpassing 7 Alleen als vorig jaar op een school over vakken heen een significant verschil tussen SE en CE groter dan 0.4 wordt gevonden, dan wordt in het huidige jaar het verschil per vak gecorrigeerd naar nul. Aanpassing 8 Alleen als op een school over vakken heen een significant verschil wordt gevonden, dan wordt over vakken aangepast aan het landelijke verschil tussen SE en CE over vakken. Aanpassing 9 Alleen als op een school over vakken heen een significant verschil wordt gevonden, dan wordt over vakken gecorrigeerd naar nul. 4.2 Aanpassen van SE-cijfers: analyse van examengegevens De consequenties van de negen geselecteerde wijzigingen van het examensysteem zijn in kaart gebracht door vergelijking met het huidige examensysteem. Hierbij is gebruikgemaakt van de examenresultaten uit de periode 2004-2006. Als vergelijkingsbasis met de huidige examenregels zijn de zak-/slaagpercentages genomen. Alleen de resultaten van de aanpassingen in het vwo worden hier besproken, omdat de verschillen tussen SE en CE daarbij het grootst zijn. Voor havo en vmbo worden echter in alle gevallen dezelfde trends gevonden. Altijd aanpassen Wat betreft deze optie zijn twee varianten onderzocht. De eerste (hierna aanpassing 1 genoemd) is dat per school per vak de verschillen tussen SE en CE altijd worden aangepast aan het landelijke verschil. In vergelijking met de situatie met de huidige examenregels neemt het totale percentage gezakte vwo-leerlingen hierdoor toe van 6.4 tot 12.8. De tweede variant (aanpassing 2) is de situatie waarbij per school per vak de verschillen tussen SE en CE altijd worden gecorrigeerd naar nul. Dit doet het totale percentage gezakte kandidaten stijgen tot 19.9. Aanpassen bij een significant verschil per vak In 34.5% van de gevallen werd een significant verschil gevonden tussen SE en CE ten opzichte van het landelijke verschil. Alleen dan het verschil per vak aanpassen aan het landelijke verschil (aanpassing 3) zorgt voor een stijging van het totale percentage gezakte leerlingen tot 11.1. In 45.4% van de gevallen werd het verschil tussen SE en CE significant afwijkend van nul bevonden. Het verschil per vak dan corrigeren naar nul (aanpassing 4) doet het totale percentage gezakte leerlingen stijgen tot 18.2. Aanpassen bij een significant verschil over vakken Aanpassing 5 is dat alleen als op een school over vakken heen een significant verschil tussen SE en CE wordt gevonden dat groter is dan 0.4 een significant verschil per vak naar nul wordt gecorrigeerd. Dit bleek zo te zijn in 15.2% van de gevallen. Deze aanpassing leidt tot een toename van het totale percentage gezakte leerlingen tot 10.3. Aanpassen bij een significant verschil over vakken in voorgaand jaar Ook hier zijn weer twee varianten onderzocht. Beiden houden in dat in het huidige jaar het SE-cijfer alleen wordt aangepast als vorig jaar op een school over vakken heen een significant verschil tussen SE en CE groter dan 0.4 is gevonden. Bij de onderzochte vwo examengegevens van 2005 en 2006 bleek dit in 25.8% van de gevallen zo te zijn. Variant 6 is dat het gemiddelde verschil tussen SE en CE dan per vak wordt aangepast aan het landelijke verschil in het huidige jaar. Dit doet het percentage totaal aantal gezakte leerlingen stijgen tot 8.8. Variant 7 is dat het verschil tussen SE en CE in die gevallen tot nul wordt aangepast. Dit leidt tot een toename van het totale percentage gezakte leerlingen tot 11.5. Aanpassen over vakken bij een significant verschil over vakken Bij 28.2% van de scholen werd een significant verschil tussen SE en CE geconstateerd over vakken heen. Variant 8 houdt in dat bij deze scholen over vakken heen het verschil dan wordt aangepast aan het landelijke verschil over vakken heen. Het totale percentage gezakte leerlingen stijgt hierdoor tot 7.7. Variant 9 sluit aan op de voorgaande aanpassing. Alleen wordt nu het SE-cijfer niet aangepast aan het landelijke verschil over vakken heen, maar wordt het gecorrigeerd zodat het verschil nul is. Het gevolg van deze aanpassing is een toename van het totale percentage gezakte leerlingen tot 9.4. De onderstaande tabel geeft de effecten van de aanpassingen op het percentage gezakte leerlingen nog eens samengevat weer. Tabel SEQ Tabel \* ARABIC 3 : Effecten van verschillende aanpassingen van SE-cijfers op percentage gezakte leerlingen voor vwo Aanpassing op SE Percentage gezakte leerlingen Geen aanpassing 6.4 Aanpassing 1 12.8 Aanpassing 2 19.9 Aanpassing 3 11.1 Aanpassing 4 18.2 Aanpassing 5 10.3 Aanpassing 6 8.8 Aanpassing 7 11.5 Aanpassing 8 7.7 Aanpassing 9 9.4 4.3 Aanpassen van SE-cijfers: modelmatige simulatie Bij de modelmatige simulatie is de evaluatie van de nauwkeurigheid van de zak-/slaagbeslissing gebaseerd op het percentage misclassificaties. In eerste instantie gaat de simulatie er vanuit dat de verschillen tussen SE en CE echte verschillen representeren. Er zijn leerlingen gesimuleerd waarbij de verwachte afwijking van het SE en het CE gelijk is aan het landelijke gemiddelde verschil in het betreffende vak in het betreffende profiel. Daarbij is steeds gebruik gemaakt van het in het profiel meest voorkomende vakkenpakket. Per school komen in de simulaties geen systematische afwijkingen van de landelijke verschillen voor en worden over vakken heen geen significante verschillen gevonden. Aanpassingen 5, 8 en 9 hebben dan ook geen significant effect. Het uitvoeren van aanpassingen 6 en 7 is weinig zinvol, omdat dan over jaren gemodelleerd moet worden. Wat betreft de overige varianten blijken aanpassingen 1 en 3 geen effect te hebben op de nauwkeurigheid van de zak-/slaagbeslissing. Net als wanneer het huidige systeem als uitgangspunt wordt genomen is die 6.0%. Aanpassingen 2 en 4, die beide het verschil naar nul aanpassen, doen de nauwkeurigheid verslechteren tot respectievelijk 9.1% en 9.2%. Dit wekt geen verbazing, aangezien is aangenomen dat de verschillen tussen SE en CE echte verschillen representeren en niet zijn ontstaan doordat scholen het SE anders beoordelen. De simulatie is vervolgens zo aangepast dat er bij sommige scholen een structureel verschil tussen SE en CE ontstaat. Op grond van de situatie die uit de beschikbare examengegevens naar voren komt, is gekozen om voor 15% van de scholen het SE-cijfer van alle vakken waar ook CE op wordt afgelegd met 0.5 cijferpunt te verhogen. Aanpassingen aan het landelijke verschil per vak (aanpassingen 1 en 3) leiden dan tot een verbetering van de kwaliteit van de zak-/slaagbeslissing. Deze is echter slechts gering, wellicht ook omdat de aanpassingen alleen effect hebben op kandidaten die net gezakt of net geslaagd zijn. Dit is een relatief klein aantal. Aanpassingen die het verschil tussen het SE en CE tot nul corrigeren (aanpassingen 2, 4, 5 en 9) blijken ook nu weer tot een hoger percentage misclassificaties aanleiding te geven. 4.4 Een bodem in het CE: beschrijving en theoretische analyse Er zijn verschillende scenario's denkbaar met betrekking tot het verplicht stellen van voldoendes voor bepaalde vakken of een bodem in het centraal examen, waarbij een kandidaat kan zakken bij een onvoldoende resultaat op het CE alleen. We bespreken hier een vijftal alternatieve uitslagregels: In aanvulling op de huidige uitslagregel, geldt de verplichting dat het gemiddelde CE-cijfer een voldoende is. In aanvulling op de huidige uitslagregel, wordt een voldoende op het CE voor zowel Nederlands, Engels als Wiskunde verplicht. In aanvulling op de huidige uitslagregel, moet het eindcijfer voor zowel Nederlands, Engels als Wiskunde voldoende zijn. Het eindcijfer voor alle vakken moet voldoende zijn. De verplichting dat de leerling voor zowel het SE als CE afzonderlijk slaagt, waarbij bij beide de huidige uitslagregel wordt gehanteerd. Het tweede en derde scenario zullen naar verwachting geen direct effect hebben op het verschil tussen SE en CE. Ze zullen wel de exameneisen verzwaren en dus de zak-/slaagpercentages beïnvloeden. Ook heeft een verplichte voldoende op het CE voor de vakken Nederlands, Engels en Wiskunde waarschijnlijk een groot effect op de nauwkeurigheid van de zak-/slaagbeslissing. Een leerling kan immers bij elk van de drie individuele examens door onnauwkeurigheid in de meting onterecht een onvoldoende halen. Dit kan niet meer gecompenseerd worden door SE-cijfers of andere CE-cijfers. De verplichting van een CE dat gemiddeld voldoende is (scenario 1) geniet de voorkeur boven het stellen van eisen aan individuele vakken, omdat de onbetrouwbaarheden bij individuele vakken zich hier zullen uitmiddelen. Scenario 5 is een uitwerking van het advies van de profielcommissies Natuur & Techniek/Natuur & Gezondheid en Economie & Maatschappij/Cultuur & Maatschappij om het schoolexamen en centraal examen los te koppelen. Naar verwachting zal deze maatregel een negatief effect hebben op de nauwkeurigheid van de zak-/slaagbeslissing. Doordat twee onafhankelijke beslissingen op het SE en CE worden genomen zal de onnauwkeurigheid van die beslissingen niet kunnen uitmiddelen. Wel geldt er een zekere compensatie tussen vakken onderling, omdat aan de cijfers hiervoor verder geen eisen worden gesteld. Dit tevens de enige uitslagregel die geen aanvulling op of verscherping van de huidige uitslagregel is. 4.5 Een bodem in het CE: analyse van beschikbare examengegevens De vijf alternatieve uitslagregels zijn toegepast op bestaande examenresultaten. Men dient zich daarbij te bedenken dat deze zijn gebaseerd op inspanningen en beoordelingen die horen bij het huidige examensysteem. Er wordt geen rekening gehouden met de invloed op de resultaten van aanpassing van het gedrag aan de nieuwe examensituatie. Regel 1 heeft het kleinste effect, maar doet het percentage gezakten toch bijna verdubbelen van 6.4 naar 12.6. Regel 2, verplichte voldoendes op het CE voor Nederlands, Engels en Wiskunde, heeft het grootste effect. Het percentage gezakte leerlingen neemt dan toe tot 46.2. In de volgende tabel staat een overzicht van de effecten van de verschillende uitslagregels op het percentage gezakte leerlingen in het vwo. Tabel SEQ Tabel \* ARABIC 4 : Effecten van de verschillende uitslagregels op percentage gezakte leerlingen voor vwo Uitslagregel Percentage gezakte leerlingen Huidige uitslagregel 6.4 Uitslagregel 1 12.6 Uitslagregel 2 46.2 Uitslagregel 3 25.6 Uitslagregel 4 41.6 Uitslagregel 5 29.3 4.6 Een bodem in het CE: modelmatige simulatie Met behulp van simulaties is voor de vijf alternatieve uitslagregels onderzocht welk effect deze hebben op de nauwkeurigheid van de beslissing. Alleen regel 1 leidt niet tot een substantiële afname van de kwaliteit van de zak-/slaagbeslissing. Toepassing van regels 2 t/m 5 doet het percentage misclassificaties toenemen van 6.0 in de huidige situatie tot tussen de 9.7 en 17.6 bij aanpassing van de examensituatie. In de onderstaande tabel is het percentage misclassificaties per uitslagregel weergegeven. Tabel SEQ Tabel \* ARABIC 5 : Effecten van de verschillende uitslagregels op percentage misclassificaties voor vwo Uitslagregel Percentage misclassificaties Huidige uitslagregel 6.0 Uitslagregel 1 6.1 Uitslagregel 2 17.6 Uitslagregel 3 9.7 Uitslagregel 4 14.3 Uitslagregel 5 11.1 5. Conclusies en discussie Het aanpassen van het SE aan het CE op basis van het landelijke verschil tussen SE en CE heeft weinig effect op de nauwkeurigheid van de zak-/slaagbeslissing. Wat implementatie wel in de weg kan staan, is een gebrek aan draagvlak voor dergelijke procedures vanwege de onzekerheid die ze met zich meebrengen met betrekking tot de waarde van het SE-cijfer. Waarschijnlijk kan het best gekozen worden voor een eenvoudige procedure die is ingebed in een escalatieladder. Aanpassing 6 uit het onderzoek lijkt wat dat betreft de beste optie: als in een jaar een significant en voldoende groot verschil is geconstateerd, wordt in het volgende jaar het SE aangepast aan het landelijke verschil tussen SE en CE. Om voor minder onzekerheid te zorgen, kan worden overwogen om vooraf te melden wat de maximale aanpassing van het SE-cijfer zal zijn. Vrijwel alle voorgestelde procedures voor een bodem in het CE leiden tot een duidelijk grotere onnauwkeurigheid van de zak-/slaagbeslissing. Dit geldt alleen niet voor de extra eis dat het gemiddelde van de CE-cijfers voldoende moet zijn. Op basis van de huidige data resulteert deze eis wel in een percentage gezakte vwo-leerlingen van 12.6 in plaats van 6.4. Naar verwachting zullen kandidaten echter hun gedrag op de examens aanpassen, zodat dit percentage in de praktijk lager uit zal vallen. Ook kan deze verzwaring eventueel worden opgevangen door de cesuur van de examens aan te passen. Dit zou dan tevens het landelijke verschil tussen het gemiddelde SE- en CE-cijfer terugdringen. Een belangrijk aandachtspunt is het eventuele effect van een wijziging van de zak-/slaagbeslissing op specifieke groepen kandidaten. Exploratieve analyses voor het vwo bevestigen resultaten uit eerdere onderzoeken die uitwijzen dat er verschillen qua prestaties op SE en CE zijn tussen jongens en meisjes en tussen autochtone en allochtone leerlingen. Omdat de verschillen tussen deze groepen op het SE anders zijn dan op het CE, hebben zowel ijking van het SE aan het CE als een bodem in het CE een ander effect voor ieder van deze groepen. Dit aspect is niet meegenomen in het huidige onderzoek, maar kan wel relevant zijn voor het maken van een afgewogen keuze met betrekking tot een wijziging in het examensysteem. Analyse van CITO ten aanzien van effecten bij het het HAVO/VWO en VMBO Percentage gezakt Havo/ vwo BB KB GL* TL Huidige uitslagregel 6.4 4.8 3.5 5.8 5.0 Huidige uitslagregel + gem. CE voldoende 12.6 8.0 7.7 16.7 10.2 Huidige uitslagregel + gem. CE voldoende en Max éé’n 5 in eindcijfer N/E/W 14.4 17.7 11.1 Van vmbo-gl zijn geen bewerkte gegevens van de praktijkexamens beschikbaar. Hierdoor wijkt het percentage af.In de komende periode wordt dit gecorrigeerd. PAGE PAGE 1