"Veel docenten maken zich zorgen over de impact van deze technologie op het werk", begint Johan Adriaensen zijn openingspraatje; hij is docent bij de vakgroep Politics en moderator vandaag. “Maar met meer begrip van de kracht en de beperkingen van ChatGPT kunnen we ons beter voorbereiden op het onderwijs van de toekomst. En misschien kunnen we de technologie in het onderwijs integreren. Het debat is een kans om meer te weten te komen over deze cutting-edge-technologie.”
Een opvallend lovende introductie. Maar die blijkt dan ook geschreven door ChatGPT, verklapt Adriaensen.
De nieuwste chatbot van het Amerikaanse bedrijf OpenAI heeft een schokgolf in het onderwijs veroorzaakt. Met behulp van kunstmatige intelligentie tovert de chatbot opiniestukken, essays en zelfs romans of gedichten in een paar minuten op het scherm.
Mulisch
Maar ook werkstukken en essays. Meer dan andere faculteiten toetst Fasos de kennis van studenten met schrijfopdrachten. Heeft dat nog zin? Wie de chatbot vraagt om een essay te schrijven over de invloed van de Tweede Wereldoorlog op het werk van Harry Mulisch, om maar eens wat te noemen, kan binnen een paar minuten een goed lopend antwoord verwachten. Plagiaatcheckers weten er geen raad mee, ook omdat er geen sprake is van plagiaat; ChatGPT komt met een nieuwe tekst.
De Universiteit Utrecht gaat het Onderwijs- en Examenreglement aanpassen, met name de passage over plagiaat. “Die zal worden uitgebreid met een zin over het gebruik van teksten die niet zelf zijn geproduceerd maar geformuleerd door chatbots”, schrijft het universiteitsblad DUB.
Wat kunnen universiteiten nog meer doen? Daar gaat het debat over dat Fasos half januari op touw heeft gezet in het eigen pand aan de Grote Gracht. Vooraan zit een panel met drie onderzoekers en twee studenten. In de zaal een kleine honderd bezoekers.
Alarm
Sommige Australische universiteiten hebben de klok tientallen jaren teruggedraaid, en toetsen weer met pen en papier, andere hebben take-home-examens al verboden, zegt Adriaensens. Moeten wij dat ook doen? Hij geeft het woord aan panellid en historicus Jo Wachelder.
"We moeten zeker over ons toetsbeleid nadenken, maar laten we geen chaos creëren", zegt die. "Het bannen van ChatGPT uit de universiteit lijkt me in ieder geval niet verstandig. Laat studenten maar ermee experimenteren."
Volgens panellid en filosoof Massimiliano Simons moeten docenten anders tegen essayopdrachten aankijken. Zie het als een vertrekpunt in plaats van het sluitstuk, zegt hij. "Laat studenten hun essay presenteren en bediscussiëren. Dan blijkt of ze de stof echt beheersen."
Er bestaat ook kunstmatige intelligentie die presentaties kan maken, zegt iemand in de zaal. "Dus dat is niet de oplossing. Volgens mij is er software die onderscheid maakt tussen teksten die door mensen zijn geschreven en door AI."
Dan klinkt in de zaal een alarm, afkomstig van een mobiele telefoon. Gelach onder de bezoekers. Het alarm vertolkt exact hoe sommige bezoekers tegen de nieuwe taalsoftware aankijken.
Bronvermeldingen
Hoe belangrijk is het nog dat Fasos-studenten zich bekwamen in writing skills, vraagt Adriaensens. “Heel belangrijk”, zegt panellid Sjoerd Stoffels, gespecialiseerd in onderwijstechnologie. “Academic writing is meer dan alleen schrijven, maar ook kritisch nadenken, analyses maken, beargumenteren. Dat kan ChatGPT niet.”
Vergelijk het met de introductie van de rekenmachine, zegt Simons. “Toen ontstond hetzelfde debat over rekenvaardigheden. Waren die nog nodig? We kunnen nog steeds rekenen en doen dat ook zonder rekenmachine. En zo zullen we ook niet ophouden om te schrijven. Ik vraag me af of deze chatbot veel veranderingen teweeg zal brengen.”
Die zullen wat hem betreft “in onze ooghoeken opduiken” in de vorm van extra functies oftewel add-ons, om bijvoorbeeld citaties uit websites te plukken. “Ook zal er wellicht een knop in tekstverwerkers verschijnen. Het zal zo’n vaart niet lopen. Het is maar een chatbox, mensen. Blijf ademen!”
De feilen zijn bovendien uitgebreid in kranten aan bod gekomen, waaronder het ontbreken van bronvermeldingen en een seksistische en racistische bias.
Nachtmerrie
Welk straf moet volgen als een student ChatGPT gebruikt voor een essay, vraagt Adriaensen? “Het is hoe dan ook fraude, tenzij anders afgesproken met de docent”, zegt Wachelder. “De examencommissie gaat dan in gesprek met studenten. Die gaan dit zeker gebruiken, al is het maar alleen voor de argumentatie of een ander deel van de tekst. Deze chatbot is gevoed met kennis van een paar jaar geleden, dus wat krijg je dan? Geen nieuwe, originele argumenten, maar middle-of-the-road-kennis. En als die teksten kan maken, kan die ook feedback geven. En krijgen studenten straks doorsnee adviezen en commentaar. Wat een nachtmerrie!”
Bijeenkomst Edlab: FASoS-student schrijft scriptie met ChatGPT, en valt door de mand
Binnen de UM is chatbot ChatGPT op vele plekken onderwerp van gesprek. Bij de examencommissies, het onderwijsplatform maar ook in het bestuursgebouw op de Minderbroedersberg. Daar buigt men zich onder meer over de vraag of het Onderwijs- en Examen Reglement moet worden aangepast? Academic Affairs maakt op dit moment een ‘impactanalyse’ van de taalsoftware op het Maastrichtse onderwijs en in het bijzonder op de toetsing. Die notitie zal in de tweede helft van februari verschijnen.
Deze week stuurt de UM een mail naar alle studenten met daarin onder meer de geldende regels over wat wel en niet mag, en wanneer er sprake is van fraude.
Tijdens een bijeenkomst van het Edlab, afgelopen maandag, bleek dat een student bij FASoS het erop heeft gewaagd en een thesis heeft geschreven met behulp van ChatGPT. Het bleek geen briljant verhaal, want de docent had het snel in de smiezen. Twee andere docenten die bij de Edlab-sessie aanwezig zijn, van de dertig in totaal, blijken wel onder de indruk van de chatbot. Een rechtendocent zag een overtuigend juridisch advies op het scherm verschijnen, dat een advocaat ongewijzigd aan een klant zou kunnen meegeven.
Dan werpt Edlab-coördinator Walter Jansen, die de bijeenkomst leidt, de vraag op hoeveel studenten bewust over de schreef zullen gaan. “Hoeveel UM-studenten maken zich schuldig aan plagiaat? Toch niet meer dan 3 procent.”
“We kennen alleen de fraudeurs die gepakt worden”, zegt een andere docent. “Hoeveel het er in totaal zijn weten we niet. Er zijn vele handige manieren om te plagiëren.” De docent doelt misschien op de FASoS-student die een paar jaar geleden meerdere alfabetten in dezelfde scriptie gebruikte waardoor de plagiaatchecker op tilt sloeg.
Ook om ChatGPT te ontmaskeren blijkt deze software niet geschikt. Maarten van Wesel, data-analist bij de universiteitsbibliotheek, raadt GPTZero aan. “Dat is een programma dat de statistische kenmerken van een tekst tegen het licht houdt, zoals de lengte van de zinnen. Terwijl mensen daarmee variëren, zijn de zinnen van ChatGPT vaak even lang.”
GPTZero is ontworpen door een Amerikaanse AI-deskundige van Princeton University. De pilot-versie is voor alle docenten vrij te downloaden. De claim: 98 procent van de AI-teksten worden ontdekt.
Wie twijfelt aan de uitslag kan ook terecht bij OpenAI-detector, GPT3 Content Detector of AI Content Detector.