1. Vaardigheden vaststellen met AI
Waar staat een student? Welke leerdoelen zijn behaald? In het hoger onderwijs geldt het tentamen aan het einde van een lesperiode nog steeds als dé methode om kennis of vaardigheden te toetsen. Of dat de beste manier is? Hoogleraar Desirée Joosten-ten Brinke denkt dat er meer mogelijkheden zijn. 'Een van de nieuwere ontwikkelingen in het onderwijs is het toepassen van artificial intelligence (AI). Het zou mooi zijn als we bij beslissingen over het leren ook deels gebruik kunnen maken van automatische beoordelingen. Stel, je wilt weten hoe het staat met de schrijfvaardigheid van een student. Dan kan de computer op basis van hoe en wat de student in een bepaalde periode schrijft een uitspraak doen over verschillende schrijfcompetenties. Denk aan spelling, grammatica, stijl of inhoud. Studenten kunnen dan automatische feedback ontvangen via bijvoorbeeld een dashboard op hun computer of telefoon.'
'Aspirant-promovendus Marco Dumont schrijft aan onze faculteit Onderwijswetenschappen een onderzoeksvoorstel voor een AI- toepassing die hij wil inzetten bij leren op de werkplek. Tijdens het werk maak je meerdere producten. Een werknemer kan tussentijds feedback krijgen op de kwaliteit daarvan en op zijn eigen competentieontwikkeling. De faculteit Managementwetenschappen onderzoekt ook of we met hulp van AI beter kunnen inschatten wat de kans is dat een student een cursus succesvol afrondt. Natuurlijk kleven er nog allerhande vragen aan deze methode. Hoe nauwkeurig kan AI competenties beoordelen? Is het ethisch verantwoord om de computer te betrekken bij het beoordelen? Dat zijn interessante thema’s voor verder onderzoek.'
2. Digitaal toetsen
Door sluiting van scholen en universiteiten tijdens de pandemie beleefde het digitaal toetsen een enorme boost. 'Online proctoring, oftewel online surveilleren, kun je op verschillende manieren inzetten', vertelt Joosten-ten Brinke. 'Een docent kan via specifieke software realtime meekijken of via een opname checken wat een student tijdens het tentamen doet. Daarnaast zijn er programma’s die via AI afwijkingen signaleren tijdens het tentamen.' De hamvraag is of na corona een toekomst is weggelegd voor online proctoring. 'De Tweede Kamer adviseert er vanwege privacyvraagstukken zo min mogelijk gebruik van te maken. Ik denk dat online proctoring juist veel mogelijkheden biedt. In de eigen omgeving een gestandaardiseerd tentamen doen, is voor veel studenten een uitkomst. Bijvoorbeeld als ze in het buitenland wonen, werken of niet zo makkelijk reizen vanwege een functiebeperking.'
'Bij de Open Universiteit mogen studenten kiezen tussen online proctoring of een tentamen op een studiecentrum. We gaan komende jaren verder onderzoeken hoe je digitaal toetsen het beste vormgeeft. Een van de onderzoekslijnen is gericht op het gebruik van multimedia bij toetsen. We kijken hoe je tekst en afbeeldingen in een toetsvraag het beste op het scherm kunt presenteren, om de vaardigheid van de student zo goed mogelijk te beoordelen. Bij dit soort onderzoek gebruiken we een eye-tracker: aan de oogbewegingen kan je dan zien waar de student naar kijkt en waardoor hij wordt afgeleid.'
3. Beslissing gedreven dataverzameling
Stel, je haalt halverwege een onderwijsblok een drie voor statistiek, dan kan het goed zijn dat het kwartje vier weken later wel valt. Maar helaas, die drie blijft je gemiddelde omlaag trekken, ook al zegt dat cijfer niks over hoe je er op een later moment voorstaat. 'In het onderwijs worden beslissingen over het al dan niet beheersen van leerstof meestal genomen op basis van verzamelde data (lees: cijfers)', weet Joosten-ten Brinke. 'De laatste jaren is daar veel kritiek op. Daarom zie je steeds meer de beweging van data gedreven besluitvorming naar beslissing gedreven dataverzameling. Docenten gaan dan meer uit van de vraag: welke gegevens heb ik eigenlijk nodig om te weten of een student de stof beheerst. Kan ik die drie voor statistiek aan het begin van de leerperiode misschien wegstrepen?' 'Gegevens uit tussentijdse opdrachten kun je zien als formatieve toetsen. En deze zijn minstens zo belangrijk voor de beslissing of een student de juiste vaardigheden in huis heeft. Onder de noemer 'programmatisch toetsen' herontwerpen meerdere opleidingen hun onderwijs op basis van deze gedachte. Een van de promovenda die ik begeleid, onderzoekt hoe docenten in het voortgezet onderwijs een hele onderwijsperiode zo kunnen inrichten dat het resultaat op het tentamen aan het einde van die periode geen verrassing is, maar een bevestiging van het leerproces in de voorafgaande weken.'
4. Micro-credentials
De snel veranderende arbeidsmarkt vraagt continu om nieuwe vaardigheden en kennis. Een leven lang leren is een must om bij te blijven, te kunnen veranderen van baan of carrière te maken. Met een diploma van twintig jaar geleden kom je er niet meer. 'De tijd is rijp voor micro-credentials' zegt Joosten-ten Brinke. 'Dat zijn minikwalificaties waarmee je vaardigheden, kennis of ervaring in een bepaald vakgebied aantoont. Binnen een diplomaprogramma kunnen meerdere eenheden zitten die geschikt zijn om te waarderen met een micro-credential. Maar ook een korte cursus of specifieke vaardigheid is goed voor een micro-credential, bijvoorbeeld rond leiderschap of projectmanagement. Een badge kan de competentie(s) visualiseren, en is online beschikbaar. Die badge bevat gegevens over onder andere context, betekenis, verstrekkende partij en resultaat van een (leer)activiteit.
Met collega’s bij Fontys deed ik een eerste verkenning naar micro-credentials en open badges. Deze leverde voldoende aanwijzingen op voor het potentiële belang ervan. De badges zijn eenvoudig te presenteren op bijvoorbeeld LinkedIn en je kunt ze opnemen in een e-portfolio. De Open Universiteit denkt hier verder over na in samenwerking met Europese partners. Zo is het belangrijk dat badges uitwisselbaar zijn tussen verschillende landen, organisaties en onderwijsinstellingen.'
5. Serious gaming
Wat is er nou leuker om vaardigheden te oefenen of vast te stellen dan met behulp van een computerspel? 'Maar serious gaming is wel wat meer dan een spelletje', benadrukt Joosten-ten Brinke. 'Het aanleren van complexe vaardigheden staat voorop en de game-elementen zijn geïntegreerd in het leerproces. Serious gaming zetten we bij de Open Universiteit al jaren in om studenten te inspireren, een inkijkje te geven in de praktijk en taaie stof concreet te maken. De games passen goed bij ons activerend onderwijs. Sinds 2006 zijn er al meer dan zeventig games ontwikkeld met daaraan gekoppeld flankerend onderzoek. Onderzoek van universitair hoofddocent Hans Hummel richt zich bijvoorbeeld op het effectief ontwerpen van de games, de wijze van feedback of hoe je in een game de ontwikkeling van vaardigheden kan beoordelen. Serious games zijn dus niet nieuw, maar worden wel steeds geavanceerder. In een van de nieuwste games bij Rechtswetenschappen onderzoeken we of we de kwaliteit van het (online) pleitvaardigheden-onderwijs kunnen vergroten door de inzet van (peer) feedback en (video-verrijkte) analytische rubrieken. En in het kader van onze kwaliteitsafspraken werken we aan een serious game voor de cursus HR management. Ook onze faculteit Psychologie werkt veel met serious games. Voor aankomend studenten is er een virtuele snuffelstage ontwikkeld waarmee ze kunnen ervaren of de opleiding en het beroep psycholoog wel bij ze past.'
Over Desirée Joosten-ten Brinke
Desirée Joosten-ten Brinke (1967) is hoogleraar Leren van volwassenen en decaan van de faculteit Onderwijswetenschappen van de Open Universiteit. Joosten- ten Brinke studeerde Toegepaste Onderwijskunde aan de Universiteit Twente. Zij promoveerde aan de Open Universiteit op Erkennen van Verworven Competenties (EVC) en was universitair docent en hoofddocent. Haar onderzoek is gericht op kwaliteit van toetsen en beoordelen, digitaal toetsen, EVC en formatief beoordelen.
Tekst: Ingrid Beckers
Illustraties: Amber Delahaye