In haar proefschrift beschrijft Maren Scheffel het onderzoek naar gebruik en toepassing van learning analytics in het onderwijs. De belangrijkste uitkomst van haar onderzoek is de ontwikkeling van het standaard evaluatie instrument, EFLA. Het raamwerk, voorziet in een lacune op het gebied van evaluatie-instrumenten en biedt een gestandaardiseerde manier aan om learning analytics tools te evalueren en de impact van learning analytics op de onderwijspraktijk te meten en te vergelijken.
Inzicht in online studentgedrag en kwaliteit van leermateriaal
Learning analytics tools geven inzicht in de kwaliteit van het leermateriaal of de opbouw van de cursus. Het kan een complete dashboard zijn, of een visualisatie voor studenten en docenten in hun leeromgeving. Daarnaast bieden ze studenten de mogelijkheid om zelf meer regie over hun eigen studievoortgang te nemen.
Met de toenemende behoefte om learning analytics tools meer te verankeren in leertheorieën en om vast te stellen of de tool het beoogde doel heeft bereikt, kan het EFLA raamwerk worden toegepast. Met dit evaluatie instrument kan worden gemeten of de tool daadwerkelijk invloed heeft op leer- en onderwijsprocessen en deze efficiënter en effectiever maakt. Bovendien kan door het leveren van bewijs worden aangetoond dat het verzamelen van gebruikersgegevens, wat gezien wordt als een van de grootste privacy-gerelateerde problemen, geoorloofd is.
Evaluatie tools verankeren in leerstrategieën
Maren Scheffel beveelt het onderwijsveld aan om studenten en docenten bij de evaluatie van learning analytics tool meer dan tot nu toe te betrekken. ‘Om grote successen te boeken moeten er twee aspecten worden aangepakt. Enerzijds moet de 'markt’, dat wil zeggen degenen die de learning analytics tools ontwerpen, ontwikkelen, implementeren en leveren, ervan overtuigd worden dat ze kunnen profiteren van het gebruik van het EFLA om hun tools te evalueren.
Anderzijds zullen de gebruikers ervan overtuigd moeten worden dat ze de EFLA-vragenlijst invullen. Zonder deelname van de gebruikers kan geen integrale evaluatie mogelijk zijn.’ Volgens de promovenda kan deze werkwijze leiden tot verbeterde versies van de learning analytics tools. Uiteindelijk moeten betrokkenen tot een besef komen dat het doel van het verzamelen en analyseren van data binnen het onderwijs er niet is om intelligente systemen of domme systemen te ontwikkelen, maar om intelligente en succesvolle studenten te vormen en om het onderwijs te bevorderen. Vanuit die visie is het belangrijk dat er een gestandaardiseerd evaluatie instrument als het EFLA is, om learning analytics tools in het onderwijs blijvend te evalueren.
De EFLA evaluatietool is openbaar beschikbaar voor iedereen via de
