Expertise

Maak programmatisch toetsen een fluitje van een cent!

Leer meer over programmatisch toetsen in combinatie met ons e-portfolio Portflow en een Learning Management System (LMS).

Inhoudsopgave

Expertisepagina Programmatisch Toetsen

Introductie

Bij Drieam zijn we ervan overtuigd dat het nemen van verantwoordelijkheid over het eigen leren, een belangrijke voorwaarde is om je voor te kunnen bereiden op de snel veranderende toekomst waarvan leven lang leren een integraal onderdeel is. De beste manier om verantwoordelijkheid te leren nemen, is door zo veel mogelijk eigenaarschap te nemen over het eigen leerproces. Onze tool, een studentgestuurd ontwikkelportfolio genaamd Portflow, is ontworpen om het eigenaarschap onder studenten te vergroten door hen inzicht te geven in hun eigen ontwikkeling.

Binnen het onderwijs is steeds meer belangstelling voor een toetsconcept dat aansluit bij de visie van Portflow: programmatisch toetsen. Bij programmatisch toetsen staat het leerproces van de student centraal. Toetsen zijn onderdeel van het leerproces en gebruik je om het proces van de student te sturen, te stimuleren en inzicht te geven in de eigen voortgang (Peeters, 2019). Op deze pagina leer je meer over hoe Portflow in combinatie met een Learning Management System (LMS) kan ondersteunen bij programmatisch toetsen. 

Programmatisch toetsen in Portflow en het LMS

Er is niet één manier van programmatisch toetsen, het is namelijk een toetsconcept (in tegenstelling tot een recept). Er is dus geen kant-en-klaar stappenplan om programmatisch toetsen te implementeren (Baartman et al., 2020). Zo is er ook niet één manier om Portflow te gebruiken in het kader van programmatisch toetsen. Op verschillende manieren kan er vormgegeven worden aan programmatisch toetsen in combinatie met een digitaal portfolio en een LMS. Om inzicht te krijgen in hoe Portflow in combinatie met een LMS programmatisch toetsen kan ondersteunen, gaan we eerst in op de uitgangspunten van programmatisch toetsen en de componenten van Portflow.  

De uitgangspunten van programmatisch toetsen

De uitgangspunten van programmatisch toetsen (Baartman et al., 2020) zijn als volgt:

1. Inzicht in de ontwikkeling van de student ontstaat door een mix van verschillende datapunten;

2. Elk datapunt is feedbackgericht en kent geen zak-/slaagbeslissing;

3. De leeropbrengsten vormen de ruggengraat van het toetsprogramma;

4. Er is een constante dialoog over het gebruik van feedback voor zelfsturing;

5. Het aantal datapunten en de zwaarte van de beslissing zijn proportioneel aan elkaar gerelateerd;

6. De zwaarte van een beslissing is leidend voor de hoeveelheid benodigde beoordelaars expertise.

De componenten van Portflow

In Portflow kunnen studenten (onder eigen regie) hun ontwikkelingsvoortgang zichtbaar maken en verantwoording afleggen door bewijsmateriaal te verzamelen, feedback te vragen aan docenten, medestudenten en experts, en voortgangsevaluaties vast te leggen. Docenten/opleidingen kunnen een structuur voor delen van het portfolio meegeven aan studenten door middel van een template. In het template kan de opleiding secties, collecties en doelen vastleggen. De opleiding kan hiermee scaffolding aanbieden door bijvoorbeeld in leerjaar 1 en 2 wel doelen in het template voor te formuleren, maar in leerjaar 3 niet meer. De bewijsstukken (datapunten) voegt een student zelf toe, deze kan bovendien ook zelf de structuur van een template aanvullen. De componenten (secties, collecties, doelen) in Portflow kunnen per opleiding anders ingezet worden, afhankelijk van het onderwijsprogramma:
  • Sectie: verzameling van collecties (jaar, semester, project, minor, vak)
  • Collectie: hetgeen waarbinnen geleerd wordt (vak, module, project, stage)
  • Doel: hetgeen waarnaartoe geleerd wordt (competentie, leerdoel, vaardigheid, leeruitkomst)
  • Bewijs: artefacten, verslagen, producten, reflecties (datapunten).

De integratie van Programmatisch toetsen in Portflow en het LMS

Hieronder schetsen we een beeld van hoe de verschillende uitgangspunten van programmatisch toetsen ondersteund worden door Portflow en het LMS.

Bij programmatisch toetsen wordt de ontwikkeling van studenten gevolgd door middel van datapunten. Gemaakte opdrachten, beroepsproducten, presentaties, feedback van medestudenten, docenten of opdrachtgevers, fungeren als informatiebrokjes over het leerproces. Studenten verwerken feedback bij elk datapunt. Zo leren zij stil staan bij hun leerproces en leren zij formuleren welke vervolgstappen nodig zijn (Baartman et al., 2020). In Portflow worden de datapunten toegevoegd als bewijsstuk. Een rijke mix van datapunten wordt door Portflow ondersteund. Dit stimuleert niet alleen de creativiteit van studenten, maar moedigt ook aan om verantwoordelijkheid te nemen over het eigen leerproces. De student kan zelf beslissen met welk bewijsstuk een bepaalde leeruitkomst het beste wordt aangetoond. De bewijsstukken worden gekoppeld aan specifieke doelen. De datapunten kunnen vanuit een LMS geïmporteerd worden, inclusief de bijbehorende feedback, of direct in Portflow worden geplaatst. Een student kan in Portflow feedback vragen aan alle betrokkenen uit het leerproces (bv. docenten, medestudenten en externen).

Bij programmatisch toetsen wordt op basis van één enkel datapunt geen zak-/slaagbeslissing genomen. Aan één datapunt zijn dus geen studiepunten gekoppeld (Baartman et al., 2020). Het leerproces wordt hierdoor gestimuleerd, doordat de student fouten kan maken en de feedback optimaal kan benutten (Platform Leren van Toetsen, 2024). In Portflow wordt dit ondersteund doordat het mogelijk is om rijke feedback op bewijsstuk-niveau te ontvangen en hier een dialoog over te voeren. Bovendien kunnen nieuwe versies van bewijsstukken gemaakt worden waarbij de complete feedbackdialoog per versie inzichtelijk is. Dit stimuleert studenten om feedback te integreren in verbeterde versies en te leren van de ontvangen feedback. De student kan de gegeven feedback vervolgens koppelen aan een doel. In de doelkaart is de feedback per doel overzichtelijk terug te vinden.

Bij programmatisch toetsen vormt een raamwerk van competenties, vaardigheden, beroepstaken of leeruitkomsten de ruggengraat van zowel het onderwijsprogramma als het toetsprogramma. Hierdoor wordt het voor studenten en docenten inzichtelijk dat en op welke manier alle opdrachten, feedback etc. bijdragen aan het leerproces en de leerresultaten van de student (Baartman, et al., 2020).In Portflow is het mogelijk om zo’n raamwerk te maken als student. Je maakt secties, collecties en doelen aan en koppelt bewijsstukken aan de doelen. Om de student hierbij te helpen, kan een opleiding gebruikmaken van templates. In het template geeft een opleiding de student een structuur mee. Vanuit de competenties, vaardigheden, beroepstaken of leeruitkomsten (een doel in Portflow) wordt bepaald welke informatie wordt opgenomen in het portfolio. In een doelomschrijving kan een opleiding bijvoorbeeld meegeven wat voor soort bewijsstukken de opleiding verwacht bij het doel.Feedback op een bepaald doel kan worden geïntegreerd in volgende bewijsstukken, waardoor de focus niet alleen ligt op het bewijsstuk zelf, maar ook op bredere competentieontwikkeling. De feedback kan de student benutten bij een volgende opdracht die bij dat doel (de competentie, vaardigheid of leeruitkomst) aansluit, omdat ook deze opdracht is verbonden met de ruggengraat (de structuur) waarin de competentie opnieuw zichtbaar wordt.

Een voorwaarde om studenten van feedback te laten leren, is het voeren van een continue dialoog met de student (Baartman et al., 2020). De doelkaart kan als startpunt dienen bij voortgangsgesprekken. Hierin is alle ontwikkeling (kwantitatieve en kwalitatieve feedback) van de student zichtbaar. Dit inzicht wordt versterkt door de groeigrafiek en tijdlijn (kwantitatieve feedback). Doordat er op verschillende plekken feedback gegeven kan worden, zowel op bewijsstukken, collecties en doelen, en deze feedback samenkomt in de doelkaart, ontstaat er een complete feedbackloop.Het is belangrijk om studenten te begeleiden bij het nemen van zelfregie. In Portflow ondersteunt de functie ‘voortgangsevaluatie’ bij coachgesprekken met de student. De evaluaties geven zowel kwantitatieve als kwalitatieve feedback weer. Ze kunnen ingezet worden als zelfevaluatie én ingevuld worden door een docent, medestudent, of externe partij. Ze bieden, samen met de doelkaart, een mooi vertrekpunt voor een coachingsgesprek, bijvoorbeeld de medium-stake van programmatisch toetsen, waarbij het volledige portfolio en tot dan toe verzamelde datapunten worden gewaardeerd.Bij een voortgangsevaluatie wordt feedback (kwalitatief en/of kwantitatief) gegeven op een doel en niet op één specifiek datapunt. Hierdoor wordt voor de student en docent zichtbaar hoe een student zich op een bepaald doel ontwikkelt. Deze voortgangsevaluaties dragen uiteindelijk bij aan het vormen van de eindbeslissing (high-stake). Er wordt dan niet meer gekeken naar een specifieke opdracht, maar naar een overkoepelende leeruitkomst, competentie of vaardigheid (een doel in Portflow).

Bij programmatisch toetsen wordt onderscheid gemaakt tussen datapunten (low-stakes), medium-stakes en high-stakes. Low-stakes kunnen in Portflow plaatsvinden op bewijsstuk niveau, waarbij de student feedback krijgt op een specifiek bewijsstuk. Hier staat weinig op het spel, waardoor de student fouten kan maken en hiervan kan leren.Bij de medium-stake kan de voortgangsevaluatie ingezet worden in Portflow. Bij de voortgangsevaluatie staat al iets meer op het spel. Er wordt gekeken naar wat goed gaat, wat beter kan en welke richting de ontwikkeling opgaat (Baartman et al., 2020).Bij de high-stake vindt de eindbeslissing plaats. Er wordt een zak-/slaagbeslissing genomen. Zo’n high-stake moment kan plaatsvinden in het LMS of een externe beoordelingstool. Voorafgaand aan de high-stake maakt een student een snapshot van het portfolio, of een deel ervan. Een snapshot bevriest het portfolio op een specifiek moment, waardoor de student een momentopname van de prestaties vastlegt. Deze bevroren versie kan vervolgens ingeleverd worden, waarna de eindbeslissing genomen wordt over het portfolio. Gedurende deze periode kan de student blijven werken aan bewijsstukken in het niet bevroren ‘live’ portfolio.

Een eindbeslissing wordt het beste gemaakt door een onafhankelijke groep beoordelaars (Baartman et al., 2020). Doordat er een bevroren versie gemaakt kan worden van het portfolio, die apart wordt ingeleverd, hoeft de student de beoordelaars geen toegang te geven tot het eigen ‘live’ portfolio. De beslissing kan zo volledig onafhankelijk plaatsvinden.

Een concreet voorbeeld

Nu we hebben gezien hoe Portflow kan ondersteunen in programmatisch toetsen, kunnen we het verder concretiseren in een voorbeeld. Zoals eerder aangegeven is programmatisch toetsen geen recept, maar een concept. Er zijn dus veel verschillende mogelijkheden, dit is er slechts één van:

Week 1 t/m 3 Low-stakes

  • De opleiding werkt met templates en geeft studenten vooraf een structuur mee;
  • De student verzamelt datapunten zowel in het LMS als in Portflow zelf;
  • De datapunten en feedback vanuit het LMS worden door de student geïmporteerd in Portflow en er wordt eventuele additionele feedback uitgevraagd en verwerkt.
  • De student koppelt de datapunten aan de relevante doelen (leeruitkomsten, competenties, etc.)

Week 3/4 Medium-stake 1

  • De student werkt met zelfevaluaties en vraagt daarnaast voortgangsevaluaties aan voor de medium-stakes bij zijn coach of een expert. 

Week 4 t/m 6 Low-stakes

  • Op basis van deze voortgangsevaluaties werkt de student verder aan nieuwe datapunten en verzamelt nieuwe feedback.

Week 6/7 Medium-stake 2

  • Er volgt een tweede zelfevaluatie en voortgangsevaluatie. 

Week 7 t/m 9 Low-stakes

  • De student verzamelt nog meer datapunten en feedback n.a.v. de medium-stake.

Week 10 High-stake 1

  • Er volgt een beslismoment, de high-stake, waarbij gekeken wordt naar de voortgangsevaluaties en de doelenkaarten met verzamelde feedback. Het beslismoment vindt plaats in het LMS waarbij een snapshot (bevroren versie van het portfolio) bekeken wordt door de opleiding aangewezen beoordelaars. 

Aan de slag met programmatisch toetsen in Portflow en het LMS?

Doordat we de uitgangspunten van programmatisch toetsen gelinkt hebben aan de functionaliteiten in Portflow, heb je inzicht gekregen in de ondersteuning die Portflow in combinatie met het LMS biedt voor programmatisch toetsen. Benieuwd naar hoe Portflow in de praktijk werkt? Boek een demo en ontdek wat Portflow voor jouw onderwijs kan betekenen.

Boek een demo
Bekijk bronnen