Of ChatGPT het werk van leraren gaat overnemen. Die vraag krijgt Rob van der Willigen vaak gesteld. De techlead van het programma AI & Ethiek aan de Hogeschool Rotterdam is er nog niet helemaal uit, zegt hij tijdens een seminar over ChatGPT in het hoger onderwijs. De ai-chatbot is volgens hem ‘notoir onbetrouwbaar’, maar kan docenten op weg helpen mits hij de juiste intenties begrijpt.
We zijn in het gloednieuw pand van Hogeschool Rotterdam (HR) aan de Kralingse Zoom. Als een bijenkorf zoemt het van de activiteit, met groepjes studenten in lokalen, open ruimtes en op de trappen. Vandaag vindt een seminar plaats over de ontwikkelingen in het hoger onderwijs, met lezingen en workshops. In een van de lokalen start een sessie over ChatGPT als ‘universele tutor’, ter vervanging van hbo-docenten. Gelukkig staat er nog een echt mens voor de groep.
Ai-chatbot
Als techlead van AI & Ethiek van de HR doet Rob van der Willigen onderzoek naar de inzet van artificiële intelligence (ai)-chatbots bij het lesgeven. We wisten al dat studenten de technologie volop gebruiken voor het doen van opdrachten, maar hoe zit dat met de docenten? Wat zijn voor hen de mogelijkheden, beperkingen en ethische afwegingen? Inmiddels zetten meerdere onderwijsinstellingen de ai-chatbot in (zie kader onderaan), maar is dit een bevlieging of een blijvertje?
Is er met ChatGPT nog wel toekomst voor docenten? Van der Willigen is sceptisch. ‘Ik zou een systeem willen hebben dat echt antwoord geeft op mijn vragen’, verzucht hij. Nog te vaak komt ChatGPT er niet uit en vraagt dan om extra informatie voordat hij een antwoord kan formuleren, is zijn ervaring.
Context
De moeilijkheid zit volgens hem in de intentie van de vragen die je de bot stelt. Hij geeft gewoon antwoord, zonder zich bewust te zijn van de gedachte achter de vraag of de context waarin deze wordt gesteld. ‘Het systeem moet iets veel moeilijkers doen dan antwoorden geven. Het moet de intentie van de vragensteller begrijpen. Wat precies wordt om welke reden gevraagd? Als deze inschatting fout is, gaat de hele interactie fout.’
Het is bovendien niet mogelijk om het antwoord te controleren of te achterhalen hoe het antwoord tot stand kwam. Doordat de uitkomst ook nog eens verschilt per chatsessie, is de reproduceerbaarheid een groot probleem voor het gebruik in een onderwijssetting. Volgens de techlead kun je de variatie in het antwoord verkleinen door de instructie zo taakgericht mogelijk te geven. Zo is de opdracht om softwarecode te genereren of een tekst samen te vatten veel gerichter dan de opdracht om een open vraag te beantwoorden of iets te beredeneren, is zijn idee.
Studenten motiveren
Toch is Van der Willigen tot de conclusie gekomen dat met relatief weinig technieken en slimme aanwijzingen goede interactie met de chatbot mogelijk is. Docenten kunnen er hun voordeel mee doen. De inzet van zo’n bot kan het onderwijs verrijken en studenten motiveren en hun betrokkenheid vergroten. Zolang de intenties maar goed worden ingeschat. En daarvoor blijven docenten een belangrijke rol spelen, verwacht hij. ‘Je moet in de echte emotionele wereld zitten om de juiste interactie te bereiken. In dat opzicht blijft ChatGPT een beperkt systeem.’
Dat ChatGPT een waardevolle toevoeging aan het onderwijs kan zijn, laat de techlead van de hogeschool graag zien. Bijvoorbeeld door als tutor studenten te helpen bij het nemen van een verantwoord besluit over ethische dilemma’s. Alles staat of valt met de juiste prompt, de instructie die je in natuurlijke taal invoert in de ai-chat. Een goed geformuleerde en stapsgewijze instructie leidt tot bruikbare output die recht doet aan de intentie van de gebruiker. Zo’n prompt bestaat volgens Van der Willigen uit een feitelijke instructie (wat moet de bot doen?), een korte beschrijving van de context (waarom?), de invoergegevens (aan de hand van welke informatie moet de bot dit doen?) en een uitvoerindicator (hoe ziet de output eruit?).
Prompt engineering
Het vergt oefening om ChatGPT goed te instrueren, zodat de bot de intentie begrijpt. De beste prompt schrijf je meestal niet in één keer, maar door te herformuleren of door een vervolgvraag of -instructie te geven. Prompt engineering noem je dat. Beproefde manieren zijn volgens Van der Willigen het toevoegen van voorbeelden (in-context learning) en het in stappen opbouwen van de argumentatie (chain of thought). De bot kan de in stappen aangeleverde informatie samenvoegen en toevoegen aan de redenering, waarvoor hij ook nieuwe relevante externe informatie gebruikt. Wat ook helpt is om de ai-bot te vragen om zelf de vervolg-prompt te verzinnen, vertelt hij.
We kwamen naar de hogeschool voor een antwoord op de vraag of ChatGPT op termijn hbo-docenten gaat vervangen. Maar echt veel wijzer zijn we eigenlijk niet geworden; precies het gevoel dat we vaak hebben als we de hulp van ai inschakelen. Met de juiste instructies kan de ai-chatbot een docent aardig op weg helpen. Maar voorlopig blijft doceren mensenwerk, hier en daar geholpen door kunstmatige intelligentie. En dat is misschien maar goed ook. Onderwijs is meer dan instrueren en leren alleen. De schoolse bijenkorf moet zoemen, ook daar aan de Kralingse Zoom.
(Dit artikel verscheen eerder in Computable-magazine #04/23, de Career Guide)
ChatGPT en het onderwijs
Hogeschool Rotterdam is uiteraard niet de enige onderwijsinstelling die broedt op slimme inzet van ai-chatbots door docenten. Veel organisaties zijn ermee bezig. Drie recente voorbeelden.
Bit Academy omarmt ChatGPT in zijn lesprogramma. Volgens de Amsterdamse opleider past zo’n ai-bot ‘perfect’ binnen de gebruikte peer-to-peer-methode, waarbij leerlingen worden gestimuleerd om in een lessysteem samen te werken aan opdrachten en elkaars werk te beoordelen. ChatGPT geeft ondersteuning als ze zelfstandig aan projecten werken. De technologie wordt ook ingezet bij codeeroefeningen, bijvoorbeeld voor inzicht in de voor- en nadelen van verschillende programmeertalen en het bedenken van de beste procedures voor softwareontwikkeling. Ze leren bovendien de technologie goed te gebruiken door op de juiste manier vragen te stellen. Ook docenten gebruiken ChatGPT. Zo controleren ze op plagiaat door in de chatbot een multiple-choice-toets te genereren over de tekst die een student heeft geschreven en deze toets vervolgens offline voor te leggen. Daarnaast gebruiken docenten de technologie voor de ontwikkeling van lesmateriaal. Denk hierbij aan het verzinnen van ‘verhalen’ voor opdrachten of het uitwerken van de leerdoelen.
De Eindhovense opleider Goodhabitz koppelt drie nieuwe functies van zijn onlineleerplatform met ChatGPT. De eerste is een ai-aangestuurde functie die trainingscontent verrijkt en het leertraject van de student verbetert. De tweede is een interactieve test die identificeert op welke vlakken de student zijn of haar kennis over een bepaald onderwerp kan verbreden. De derde is een rollenspel om de communicatie in een verkooptraining te verbeteren door interactie en een flexibele benadering met verschillende persoonlijkheidstypes. De integratie met ChatGPT zou de leerresultaten verbeteren, kennis beter vasthouden, opleidingstijd- en middelen verminderen en continue ontwikkeling bevorderen. Directeur Maarten Franken noemt het ‘een geheel nieuw niveau van leren dat voorheen niet mogelijk was’.
Ook bij de Hogeschool van Amsterdam zien ze de mogelijkheden van ChatGPT. Zo kunnen docenten studenten de output van ChatGPT laten beoordelen, onderbouwen of weerleggen en zo een kritische, onderzoekende houding stimuleren. Ze gebruiken de technologie ook bij het ontwerp van modules of voorbereiding van colleges. Maar er is ook ruimte voor de nuance. ‘We weten dat ChatGPT ‘slechts’ een chatbot is, met een interface van een taalmodel zonder intelligentie’, meldt de hogeschool. ‘ChatGPT-output varieert van heel bruikbaar tot onbetrouwbaar. De kunst is dus om de output op waarde te kunnen schatten. Daarvoor is, naast vakkennis en een kritische houding, ai-geletterdheid nodig: een bewustzijn van de (on-)mogelijkheden van artificiële intelligentie, en daardoor doordachte keuzes kunnen maken.’
