Toetsprogramma’s in het hoger beroepsonderwijs roepen geregeld bij zowel docenten als studenten een ‘op hoop van zegen’ gevoel op. Bij studenten op het moment dat ze een verslag inleveren ter beoordeling voor studiepunten. Voor docenten omdat het niet gemakkelijk is om op basis van een enkel verslag en wat toetscriteria een beslissing te nemen die mogelijk zwaarwegende gevolgen heeft voor het studiesucces van de student. In een programma van toetsen heeft iedere individuele toets mogelijk grote positieve of negatieve gevolgen voor het studiesucces van de student. Iedere individuele toets kent echter ook plussen en minnen als het gaat om de betrouwbaarheid en validiteit. Geen enkele toets is optimaal.
Programmatisch toetsen biedt als concept daar antwoord op. Bij programmatisch toetsen is het essentieel dat zak/slaag-beslissingen op robuuste wijze genomen moeten worden. Cees van der Vleuten (2012) vergelijkt het met een onscherpe foto. Bij het eerste plaatje weet je nog niet wat het is. Het beeld wordt scherper naarmate er meer pixels te zien zijn en worden binnen programmatisch toetsen datapunten genoemd. Datapunten zijn formatieve beoordelingen die een onderdeel vormen van het leerproces. Essentieel bij de formatieve beoordeling is de feedback, feedup en feedforward. Naast het aantal beoordelingen, is het ook belangrijk dat de student feedback ontvangt vanuit verschillende perspectieven en dat er verschillende toetsvormen gehanteerd worden. Op deze wijze ontstaat er triangulatie. Uiteindelijk op basis van alle formatieve beoordelingen ontstaat er een steeds scherper beeld waarop beslissingen genomen kunnen worden. Binnen programmatisch toetsen wordt tussen een onderscheid gemaakt tussen beoordelen en beslissen. Programmatisch toetsen is daarmee te vergelijken met het doen van onderzoek. Ook dan trek je geen conclusies op basis van beperkte informatie. Dit onderscheid is er in een programma van toetsen niet. Dan valt vaak het moment van beoordelen en beslissen samen.
Figuur 1: Nemen van robuuste beslissingen (Van der Vleuten et al., 2012)
Cees van der Vleuten maakt ook nog een onderscheid in de zwaarte van de beslissing. Zo ontstaat er een continuüm van ‘low-stakes’ tot ‘high-stakes’ beslissingen (Vleuten et al. 2015; Vleuten et al, 2012). Oftewel er staat weinig tot veel op het spel. Bij het toekennen van studiepunten staat er voor een student al gauw veel op het spel in relatie tot studievoortgang. We kennen allemaal de verhalen dat studenten op enkele studiepunt na misschien de opleiding heeft moeten verlaten. Op het moment dat er sprake is van een “high-stakes” beslissing is er alleen sprake van een zorgvuldige en robuuste beslissing als er ook veel datapunten oftewel formatieve beoordelingen verzameld zijn. Het is goed om als opleiding te reflecteren op het aantal ‘high-stakes” beslissingen en welke er daadwerkelijk nodig zijn. Je komt dan waarschijnlijk uit op niet meer dan twee momenten per jaar. Dat geeft de rest van de tijd ruimte voor het formatief beoordelen en het optimaliseren van toetsen voor leren.
Figuur 2. Continuüm van low-stakes tot high-stakes (Van der Vleuten et al, 2015; figuur overgenomen uit Sluijsmans & Kneyber, 2016).
In de transitie van toetsprogramma’s naar programmatisch toetsen blijkt dat docenten ondanks een grote hoeveelheid aan datapunten toch een handelingsverlegenheid kunnen ervaren als het gaat over het nemen van een beslissingen. Een verklaring hiervoor komt waarschijnlijk door de keuzes die gemaakt worden in de wijze waarop informatie wordt verzameld. Er kan daarbij een onderscheid gemaakt worden tussen ‘data-based decision making’ en ‘decision driven data-collection’ (Hogeschool van Arnhem en Nijmegen, 2020; William, 2013).
Bij ‘data-based decision making’ ligt de focus op de data, vaak de beroeps- of opleidingsproducten die aangeleverd worden door de student voor de beoordeling. De verschillende beoordelingen vormen uiteindelijk de basis om een beslissing te nemen. Het zijn daarmee losse op zichzelf staande momenten. Het is vervolgens geen gemakkelijke opgave om daar een scherp beeld uit te destilleren bij het beslismoment. De beslissing heeft daarmee ook een reactief karakter. De student wacht af omdat welke beslissing er genomen wordt op basis van alle beoordelingsmomenten en de docent wacht af wat hij onder ogen krijgt, moet daar samenhang in ontdekken en een beslissing over nemen.
Bij ‘decision driven data collection’ ligt de focus op het nemen van een beslissing en niet op de afzonderlijke producten. Alle formatieve beoordelingen worden gerelateerd aan die beslissing. Op deze wijze wordt informatie verzameld om die beslissing uiteindelijk robuust te kunnen nemen (Hogeschool van Arnhem en Nijmegen, 2020; Williams, 2013). Er kan daardoor ook meer regie genomen worden op het proces door zowel student als docent. Is er nog niet voldoende informatie verzameld op onderdeel X om tot een robuuste beslissing te komen? Dan kan zowel de student als de docent daarop sturen om dit alsnog te verkrijgen. Is er al wel voldoende informatie dan hoeft dat tijdens een volgend beoordelingsmoment niet weer de revue te passeren. Dit maakt ‘decision driven data collection’ een essentieel onderdeel van programmatisch toetsen.
Door de onwennigheid met programmatisch toetsen is het logisch dat docenten in het begin van de transitie teruggrijpen op een voor hen bekende systematiek van bijvoorbeeld ‘data-based decision making’. Door te reflecteren op de wijze van data-verzameling wordt dit inzichtelijk. Door het oude los te laten en plaats te maken voor ‘decision driven data collection’ ontstaat er bij zowel studenten als docenten pas echt inzicht en regie en kunnen beslissing robuust worden genomen.
Hogeschool van Arnhem en Nijmegen (2020). Lectoraatsaanvraag eigentijds beoordelen. Geraadpleegd op 1 september 2020. https://www1.han.nl/templates/lib/displ-attachment.html?binary=2020-01-24T11-54-44_2609_0.xml_dir/20191223_Aanvraag_lectoraat_Eigentijds_Beoordelen_en_Beslissen_-_definitief_2609_0.pdf
Sluijsmans, D., & Kneyber, R. (2016). Toetsrevolutie. Naar een feedbackcultuur in het voortgezet onderwijs. Culemborg: Phronese.
Van der Vleuten, C., Schut, S. & Heeneman, S. (2018). Programmatisch toetsen als motor voor professioneel leren in het hoger onderwijs. In D. Sluijsmans & M. Segers. Toetsrevolutie. Naar een feedbackcultuur in het hoger onderwijs (p. 124-133). Culemborg: Phronese.
Van der Vleuten, C., Schuwirth, L., Driessen, E., Govaerts, M. & Heeneman, S, (2015). 12 Tips for programmatic assessment. Medical Teacher, 37, 641-646.
Wiliam, D. (2013). Cijfers geven werkt niet. Meppel: Ten Brink over