Educatieve chatbots zijn effectief, maar missen theoretische basis
Ondersteuning bij leren
Debets voerde een systematische literatuurreview uit samen met Seyyed Kazem Banihashem, Tanja Vos, Gideon Maillette de Buy Wenniger en Gino Camp (Open Universiteit), in samenwerking met Desirée Joosten-Ten Brinke (Universiteit Maastricht). Daarbij hadden ze specifieke aandacht voor doelstellingen, gebruikte technologie, onderliggende theorieën, evaluatiecriteria, effectiviteit en het samenspel tussen deze elementen. Hun studie laat zien dat de meeste educatieve chatbots zijn ontworpen om kennisoverdracht en leeruitkomsten te bevorderen. Chatbots die zich richten op services en administratie (zoals notificaties van opkomende deadlines of informatie over het rooster) komen minder vaak voor. Wat betreft de gebruikte technologie blijkt dat de meerderheid van de chatbots gebruik maken van chatbot builder platforms die AI-gebaseerde technieken - zoals Natural Language Processing (NLP) en machine learning - en regels toepassen. Dit toont aan dat er alternatieven beschikbaar zijn voor pure AI chatbots. Regelgebaseerde chatbots - die transparanter en eenvoudiger te implementeren zijn - kwamen opvallend weinig voor.
Gebrek aan theoretische basis, maar toch effectief
Uit veel studies bleek dat chatbots niet expliciet zijn ontworpen op basis van wetenschappelijke theorieën. Waar dit wel gebeurde, ging het vaak om algemene leer- en instructietheorieën. Interessant genoeg waren ook de chatbots zonder duidelijke theoretische onderbouwing in veel gevallen effectief in het verbeteren van leeruitkomsten. De evaluatie van deze chatbots richtte zich meestal op gebruikerservaring: tevredenheid, bruikbaarheid en acceptatie kwamen het vaakst voor. Psychologische factoren zoals motivatie, cognitieve belasting of betrokkenheid werden nauwelijks onderzocht. En ook naar de langetermijneffecten op prestaties of gedragsverandering werd nauwelijks gekeken. Een aanvullende socialenetwerkanalyse toonde aan dat de meeste studies zich richten op praktische, ontwikkelgerichte benaderingen, met nadruk op gebruikerservaring en leerresultaten.
Verankering in pedagogische principes nodig
Het onderzoek benadrukt de noodzaak van een meer diverse, diepgaande en theoretisch onderbouwde benadering van chatbotontwikkeling. Vooral psychologische en sociaal-emotionele aspecten, met name in de evaluatie, verdienen meer aandacht. Ontwikkelaars en onderzoekers zouden daarnaast vaker alternatieve technologieën en minder gangbare evaluatievormen kunnen inzetten om de impact van chatbots vollediger in kaart te brengen. Voor de verdere optimalisatie van chatbots is het belangrijk dat onderwijsprofessionals inzicht krijgen in de onderliggende bouwstenen van effectieve chatbotontwerpen. Fundamentele AI-modellen kunnen worden benut voor genuanceerdere interacties en meer gepersonaliseerde leerervaringen. Door technologie, doelen, theorie en evaluatie beter op elkaar af te stemmen, kunnen docenten pedagogisch onderbouwde keuzes maken, de effectiviteit van chatbots vergroten en de tevredenheid van gebruikers verhogen. De onderzoekers pleiten dan ook voor chatbots die niet slechts als hulpmiddel fungeren, maar echt bijdragen aan het versterken van het onderwijs.
Onderzoeksopzet
De systematische review bracht 71 studies in kaart over educatieve chatbots, met specifieke informatie over doelstellingen, technologieën, theorieën, evaluatiestrategieën en effectiviteit. De studies werden geanalyseerd via codering op basis van een theoretisch raamwerk. Vervolgens werd een socialenetwerkanalyse uitgevoerd om de relaties tussen categorieën binnen elk van deze vijf elementen visueel en kwantitatief in kaart te brengen. Opvallend was dat bijna de helft van de chatbots (49%) gericht was op vakgebieden zoals wiskunde en informatica.
Het artikel 'Chatbots in education: A systematic review of objectives, underlying technology and theory, evaluation criteria, and impacts' is gratis te lezen.
