1. Introductie

Onderwijs ontwerpen om studenten voor te bereiden op een Leven Lang Ontwikkelen

Studenten worden steeds meer voorbereid op banen die nog niet bestaan. Snelle veranderingen zijn een constante. Daarom heeft de maatschappij professionals nodig die zich snel kunnen aanpassen aan deze veranderingen in hun omgeving en die een leven lang leren. Dit vereist dat het onderwijs zich meer richt op het in staat stellen van studenten om de belangrijke vaardigheden, competenties en attitudes te ontwikkelen naast het vergaren van theoretische kennis. Het vereist ook meer aandacht voor het leerproces zelf.

Omdat ze de noodzaak inzagen om dit probleem aan te pakken, begon de bacheloropleiding Communication Event Music and Entertainment Studies (CO-IEMES, sinds kort Creative Concepts for Communication), gevestigd in de Academie voor de Creatieve Economie (ACE), een faculteit van Fontys Hogeschool in Tilburg, met het implementeren van programmatisch toetsen.

Programmatisch toetsen

Programmatisch toetsen is een didactisch concept dat longitudinaal leren accentueert en beoordelingsmomenten gelijkmatiger spreidt over een cursus of module. Concreet zijn deze metingen, ook bekend als datapunten, meestal low-stakes en intermediate stakes. Dit betekent dat ze niet leiden tot een beslissing of een student verder kan gaan. De uiteindelijke summatieve beoordeling heeft een high-stake karakter en neemt alle inzichten van de datapunten mee voor een holistisch beeld van de bekwaamheden van de student. Programmatisch toetsen wordt ook gekenmerkt door een voortdurende dialoog tussen de student en de docent en/of coach.

Om programmatisch toetsen succesvol te kunnen uitvoeren, is het erg belangrijk dat coaches bij CO-IEMES inzicht hebben in het hele leerproces van hun studenten. Daarom heeft CO-IEMES het initiatief genomen om een leerplatform in te zetten dat de leerreis van een student zichtbaarder en beter traceerbaar maakt. CO-IEMES heeft dat platform gevonden in Portflow, het leerervaringsportfolio waarvan het eigenaarschap bij de studenten ligt, waardoor studenten het stuur van hun opleiding in handen kunnen nemen en zich zo als verantwoordelijke professionals kunnen ontwikkelen.

Belangrijkste voordelen van Portflow voor CO-IEMES:

De leerreis en persoonlijke groei van een student kunnen volgen

Portflow heeft CO-IEMES een portfolio oplossing geboden om programmatisch toetsen te implementeren in hun instituut. Portflow maakt de leerreis van een student zichtbaar en traceerbaar. Studenten en andere stakeholders van hun leerreis kunnen hun ontwikkeling naar hun doelen (competenties, vaardigheden, uitkomsten) echt volgen. Hierdoor kunnen de studenten van CO-IEMES zien wat hun eigen groei is geweest tijdens hun leerreis. Het stelt de docenten en coaches van CO-IEMES ook in staat om gemakkelijk rijke en dynamische inzichten te krijgen in het leerproces van een student, omdat ze met Portflow niet lineair een proces hoeven te doorlopen dat per definitie niet lineair verloopt.

“Het volgen van het leerproces van de student wordt heel duidelijk met versiebeheer, feedback en voortgangsevaluaties in Portflow.”

Beter gestroomlijnde feedback

Portflow heeft een functie voor feedbackverzoeken, waarmee studenten feedback kunnen vragen aan medestudenten, coaches en ook aan externe mensen. De feedback die wordt gegeven op het werk van een student blijft zichtbaar in Portflow, ongeacht waar een student zijn werk neerzet in zijn portfolio. Hierdoor is het voor de docenten en coaches van CO-IEMES veel gemakkelijker geworden om te zien of er feedback is gegeven op het werk van een student en of de feedbackloop gesloten is of niet. Een gesloten feedbacklus betekent dat de feedback genoeg informatie heeft gegeven om de dialoog over dit specifieke product te stoppen. Als dit niet het geval is, wordt de feedbacklus weer geopend en gaat de dialoog tussen student en docent/coach verder.

“Portflow maakt het veel gemakkelijker om te zien of het werk van een student feedback heeft gekregen, de feedbackloop gesloten is, de student zijn competentieniveau heeft bewezen, of dat dit niet het geval is.”

Studenten zijn in staat om te leren op een manier die bij hen past

Omdat Portflow een non-lineair leerplatform is, kunnen studenten werken op een manier die het beste bij hun leerstijl past. Met Portflow kunnen studenten bij CO-IEMES zelf bepalen welke bewijzen ze maken, hoe ze hun portfolio structureren, wanneer en bij wie ze feedback vragen en wat ze uiteindelijk in het LMS inleveren om hun leeruitkomsten aan te tonen.

“Portflow versterkt het idee om studenten te laten werken op een manier die hun werkelijke leerproces het beste weerspiegelt.”

Onvoorspelbaarheid omarmen met flexibiliteit

Om studenten voor te bereiden op uitdagingen in de echte wereld, moesten de leeractiviteiten in de curricula relevant en gepersonaliseerd zijn. Bovendien erkende CO-IEMES dat, door hun studenten (gescaffolde) controle te geven over hun eigen leeractiviteiten en -processen, dit een zekere mate van onvoorspelbaarheid zou opleveren in de resulterende leerprocessen en -activiteiten. CO-IEMES identificeerde studenten al snel als een van de meest flexibele stakeholders in hun organisatie. Portflow stelde CO-IEMES in staat om deze onvoorspelbaarheid volledig te omarmen met flexibiliteit in een platform dat gebruikers in staat stelt om de voortgang in hun ontwikkeling te delen, te documenteren en te interacteren met elke gewenste flow.

Minder werkdruk en stress tegen het einde van het semester voor studenten en docenten

Voordat ze Portflow ontdekten, maakten studenten van CO-IEMES hun portfolio’s in Microsoft Teams. Aan het einde van elk semester maakten studenten lineaire PDF-documenten op basis van hun werkdocumenten die ze gedurende het jaar hadden verzameld, inclusief de feedback die ze op die documenten hadden ontvangen. Dit resulteerde niet alleen in extreem grote PDF-documenten, maar ook in een verhoogde werkdruk voor studenten en een beoordelingspiek voor docenten tegen het einde van het semester. Met Portflow hoeven studenten bij CO-IEMES niet meer een heel portfolio te maken aan het einde van het semester, omdat ze dat al tijdens het semester hebben gemaakt. Dit heeft de examenstress en de druk van deadlines voor studenten bij CO-IEMES verminderd, wat perfect aansluit bij het doel van programmatisch toetsen: door continu te leren is een summatieve toets aan het einde van een leerperiode niet meer nodig. Daarnaast heeft Portflow docenten van CO-IEMES in staat gesteld om het portfolio op hun eigen manier te doorlopen, wat het beoordelingsproces voor hen heeft versneld.

“De examenstress die je wilt wegnemen met programmatisch toetsen is dankzij Portflow inderdaad afgenomen voor onze studenten.”

2. Maak kennis met Fontys

Fontys Hogeschool is een innovatieve aanbieder van hoger onderwijs, met verschillende instituten verspreid over het zuiden van Nederland. Fontys verzorgt onderwijs aan meer dan 44.000 studenten en biedt een grote verscheidenheid aan opleidingen op zowel bachelor- als postdoctoraal niveau.

De Academy for the Creative Economy (ACE) is een van de faculteiten van Fontys in Tilburg. Hun doel is het opleiden van creatieve professionals voor de nieuwe economie. Het CO-IEMES programma realiseert dit met High Impact Learning. Studenten moeten werken aan ‘wicked problems’, dit zijn problemen van echte klanten die studenten zelf inbrengen en waar niet per se een kant-en-klare oplossing voor is. Studenten kunnen deze oplossen met onderzoek en conceptontwikkeling, waarbij het belangrijk is dat ze contextrijk en omgevingsbewust te werk gaan.

Brigit Kolen, MA

Challenge-based Learning Coach, Expert in Programmatisch Toetsen en DLO-coach

Brigit Kolen was docent Copywriting en Academische Competenties en Coach Digitale Leeromgeving aan de Academie voor de Creatieve Economie (Fontys). Bij CO-IEMES heeft ze het voortouw genomen bij de implementatie van Portflow in het curriculum. Na de zomer van 2023 is ze aan een nieuwe rol begonnen binnen het Onderwijsinnovatieteam van Fontys’ afdeling Onderwijs en Onderzoek. Brigit is een groot ambassadeur van blended learning en heeft in 2019 zelfs haar eigen boek uitgebracht (Coutinho): “Impact op afstand. Online lesgeven in het hoger onderwijs”. In haar boek duikt ze dieper in online onderwijsstrategieën en best practices voor het hoger onderwijs.

“Studenteigenaarschap is door Portflow heel snel zichtbaar geworden. Het wordt allemaal veel beter te volgen waar een student mee bezig is en hoe die leerreis eruit ziet. Die zichtbaarheid is heel goed te zien in de groei en zelfredzaamheid van studenten.”

3. Uitdaging

Studenten voorbereiden op een onvoorspelbare toekomst met beheersbare middelen

Fontys wilde adaptieve professionals opleiden die voorbereid zijn op een onvoorspelbare toekomst. Daarom moest hun opleiding daarop worden afgestemd. In lijn met deze visie was Fontys op zoek naar een leerplatform dat aan de volgende 3 eisen zou voldoen:

Het platform moet studenten in staat stellen om het eigenaarschap over hun leren te nemen, en daarom moet de student in the lead gezet kunnen worden.

Het moet mogelijk zijn om snapshots van portfolio’s te maken, die ingediend kunnen worden voor summatieve beoordelingen.

Het platform moet diep integreren met het LMS van Fontys, Canvas, en mag niet een zoveelste op zichzelf staand systeem zijn.

4. Oplossing

Een studentgestuurd ontwikkel- en assessmentportfolio die de student aan het stuur zet van diens onderwijs

  • Lente 2021: De zoektocht van Fontys heeft hen geleid naar Portflow, het studentgestuurd ontwikkel- en assessmentportfolio met authentieke 360°-feedback dat de student aan het stuur zet van zijn onderwijs. Portflow bereidt studenten voor op een leven lang ontwikkelen door een de hun intrinsieke leermotivatie te versterken en door competentiegericht onderwijs te centraliseren.

  • Zomer 2021: CO-IEMES startte een pilot voor Portflow met een aantal studenten en coaches die de uitdaging wilden aangaan. Geconcludeerd werd dat de pilot zeer succesvol was geweest, omdat het hen veel waardevolle informatie en antwoorden had opgeleverd. Na de pilot heeft CO-IEMES besloten om Portflow te gaan gebruiken voor hun opleiding. Cruciale factoren in hun beslissing waren het vermogen van Portflow om inzicht te geven in leren dat niet-lineair verloopt, de stress voor studenten en beoordelingspiek voor docenten die Portflow wegneemt tegen het einde van het semester, en het belangrijkste dat het paste in hun onderwijskundige visie.

  • September 2021: Uitrol van Portflow voor CO-IEMES studenten in hun laatste jaar.

  • September 2022: Uitrol van Portflow voor studenten in hun propedeuse van de CO-CCC (Creative Concepts for Communication) opleiding, de nieuwe naam van CO-IEMES.

  • Februari 2023: Uitrol van Portflow voor studenten van CO-IEMES die zich in de hoofdfase van hun studie bevinden.

5. Operationalisering

Modern programmatisch toetsen met studenten aan het stuur: een sterke combinatie met Challenge-Based Learning

Onderwijsorganisatie

CO-IEMES constateerde een paar jaar geleden dat hun studenten na hun eerste jaar, op het moment dat ze de theoretische verdieping ingingen, de koppeling met de praktijk misten. De relevantie van waar ze mee bezig waren ontbrak in hun beleving, waardoor ze afhaakten. Daarom hebben ze rond 2018 Challenge-Based Learning ingevoerd. Daarmee is er geen voorgestructureerd onderwijsaanbod, maar is het onderwijsaanbod volledig vraaggericht: studenten geven aan wat ze nodig hebben en worden daarin volop begeleid door hun coaches. Studenten zoeken zelf projecten (praktijkcasussen) en werken hierbij aan hun leeruitkomsten. Om dit goed behapbaar te maken heeft CO-IEMES destijds de bestaande leeruitkomsten ook geconsolideerd naar een overzichtelijk en behapbaar aantal (6).

De studentenpopulatie is ingericht in community’s van 60 studenten met elk 7 coaches. De coaches begeleiden op zowel proces als op inhoud. De coaches zijn verdeeld over vier dagdelen en er zijn altijd drie coaches aanwezig. Dankzij de overlap in aanwezigheid is er goede overdracht, intervisie en zichtbaarheid geborgd. Richting de afstudeerfase begeleiden de coaches de studenten naar steeds meer zelfregulatie en zelfsturing.

Werkwijze: Programmatisch Toetsen bij CO-IEMES

Plannen

Bij aanvang van projecten en het maken van een plan, wordt al feedback uitgewisseld om te borgen dat het gekozen project en de beoogde aanpak aansluit bij het beoogde niveau en passende complexiteit. Daarnaast worden vaak tips uitgevraagd over het aanpakken van het project.

Leren

Studenten stellen hun portfolio samen met bewijsstukken (beroepsproducten, handelingen, demonstraties etc.) geordend per project waar ze aan hebben gewerkt als collecties. Studenten koppelen vervolgens de bewijsstukken aan de doelen die als leeruitkomsten zijn gedefinieerd via de template. Hierop vragen ze 360°-feedback van experts, peers, opdrachtgevers, docenten en coaches. Feedback wordt continu, ook tijdens het werken aan producten, uitgewisseld. Zowel synchroon in dialoog als asynchroon in geschreven feedback in het portfolio.

Hierbij wordt vaak de synchrone ontvangen feedback door de student beschreven in het portfolio en gevalideerd door de feedbackgever. Hiervoor hebben we ook afspraken gemaakt over hoe we de feedback formuleren: in een balans tussen feedback op proces en groei en feedback op het niveau. Daarmee geven we de student de benodigde houvast om te weten wat deze kan verbeteren en waar deze staat tegenover het verwachte niveau. De combinatie van bewijsstukken en feedback vormen de datapunten in het portfolio en studenten zijn vrij in het bepalen van de hoeveelheid.

Volgen

De manier waarop de datapunten zijn ingericht is zeer flexibel. Er zijn slechts 2 verplichte datapunten die elke student in het portfolio moet opnemen: een midterm review en een zelfreflectie/zelfassessment op basis van VRAAK-criteria.

  • Variatie: verschillende soorten producten en contexten waarin aan bewijsstukken en leeruitkomsten is gewerkt;
  • Relevantie: alle bewijsstukken zijn relevant en te hangen aan de leeruitkomsten;
  • Authenticiteit: de bewijsstukken zijn echt, betrouwbaar en origineel – er is dus geen fraude gepleegd;
  • Actualiteit: de bewijsstukken zijn actueel en hebben betrekking op huidige periode;
  • Kwaliteit: de bewijsstukken zijn van voldoende kwaliteit om te kunnen dienen als overtuigend bewijs van bekwaamheid. Kwaliteit is aan te tonen door validatie middels 360°-feedback.

Vanuit het perspectief van een leeruitkomst is eenvoudig te zien welke bewijsstukken daaraan gelinkt zijn, hoeveel dit zijn, welke spreiding er is over de verschillende soorten en aan welke projecten (collecties) ze gekoppeld zijn. Het is bovendien ook mogelijk hoe lang en wanneer een student aan een leeruitkomst heeft gewerkt middels de tijdlijn met alle activiteiten op die leeruitkomst. De inzichten uit de progress reviews (onder meer het spinnenweb waarin de waardering per rol uitgesplitst staat op de leeruitkomsten) geven een rijke aanleiding voor coachingsgesprekken.

Aantonen

Aan het eind van elk semester leveren studenten een snapshot van hun portfolio in ter summatieve beoordeling en beslissing. Hierbij wordt ook gekeken naar de VRAAK-criteria en de rol van de student zelf in het hele proces. Doordat er gewerkt wordt met programmatisch toetsen, is het proces van waardering van al die datapunten al een doorlopend proces geweest. Dat betekent ook dat het toekennen van studiepunten (afhankelijk van het summatieve oordeel) geen verrassing meer kan zijn en slechts een formaliteit is geworden.

6. Resultaten

  • In het academisch jaar 2022-2023 hebben CO-IEMES & CO-CCC hun gebruik van Portflow voor portfolio-gebaseerd leren en programmatisch toetsen verder uitgebreid.

  • Portflow heeft CO-IEMES & CO-CCC geholpen om de leerreis van hun studenten zeer zichtbaar en traceerbaar te maken, en daarmee ook de groei en zelfsturing van hun studenten.

  • Naast het feit dat Portflow de zichtbaarheid en traceerbaarheid van de leerreis van studenten vergroot, vergroot het ook het eigenaarschap van studenten over hun leerproces en bevordert het een leven lang leren.

  • Op deze manier helpt Portflow CO-IEMES ook om hun studenten voor te bereiden om die adaptieve professionals te worden die in staat zijn om verantwoordelijkheid te nemen voor hun eigen leerproces dat ze aan de maatschappij willen bijdragen.

7. Toekomstige richting

CO-IEMES/CO-CCC gaat het gebruik van Portflow uitbreiden naar studenten die stage lopen, omdat Portflow een functie biedt waarmee externen op uitnodiging van de student toegang krijgen tot het portfolio, om het 360-graden feedbackproces te stroomlijnen. Nu er binnen Fontys steeds meer aandacht komt voor longitudinaal leren, holistisch beoordelen en manieren van beoordelen die een veel eerlijker beeld geven van de kennis en vaardigheden van een student in plaats van een snapshot, is Brigit enthousiast om te zien op welke manieren Portflow andere instituten binnen Fontys hierbij kan ondersteunen.

Want er zijn veel meer scenario’s waarin portfolio-based learning waarde kan toevoegen voor het onderwijs dan alleen programmatisch toetsen. Brigit ziet ook veel potentie in het verder uitrollen van de zelfevaluatie functie van Portflow. Met deze functie kunnen studenten een spindiagram zien dat wordt gemaakt nadat een student zichzelf heeft geëvalueerd op gegevens uit het portfolio. Dit zou helpen om de student letterlijk te laten visualiseren: “Waar sta ik nu? En wat moet ik nog doen?”

Benieuwd hoe Portflow ook binnen jouw onderwijsinstelling programmatisch toetsen en ontwikkelingsgericht onderwijs mogelijk kan maken?