Educational data forensics

Transcriptie

1 Educational data forensics Statistische detectie van examenfraude Dr. Sebastiaan de Klerk, Sanette van Noord MSc, Christiaan van Ommering MSc, Kirsten Vegt MSc, Anouk Mulder MSc en Kees Boonman (allen Xquiry) Dr. Sebastiaan de Klerk is wetenschappelijk adviseur, Sanette van Noord MSc is psychometrisch adviseur en onderzoeker, Kirsten Vegt MSc is psychometrisch adviseur, Christiaan van Ommering MSc is adviseur en onderzoeker, Anouk Mulder MSc is adviseur en Kees Boonman is manager. Allen werken bij Xquiry. Educational data forensics (EDF) is het analyseren van examendata, met als doel afwijkingen te detecteren die mogelijk op examenfraude duiden. In dit artikel wordt EDF vanuit verschillende oogpunten belicht. Het artikel bevat een inleiding op en een korte historische schets van EDF, de meest gebruikte methodes binnen EDF, hoe EDF in de praktijk is toe te passen en een beschrijving van een onderzoek naar verschillende EDF-indices dat door Xquiry is uitgevoerd. Inleiding educational data forensics Examenfraude kan gedefinieerd worden als het opzettelijk beïnvloeden van het examenproces met als doel een beter resultaat op het examen te verkrijgen. De verschillende vormen van examenfraude vallen daarmee binnen een breed spectrum. Minder structurele en georganiseerde vormen zoals spiekbriefjes of afkijken aan de ene kant van het spectrum en diefstal of omkoping als structurelere en georganiseerdere vormen aan de andere kant van het spectrum. Een examenafname levert data op die gebruikt kunnen worden om examenfraude te detecteren. De methodes die hiervoor gebruikt worden zijn onderdeel van het educational data forensics (EDF) vakgebied. Hoewel de meeste huidige methodes exclusief zijn toe te passen op de data van computerexamens, zijn de oorspronkelijke methodes ook toepasbaar op de resultaten van papieren examens. Dit is niet vreemd, want lang voordat de computer zijn intrede deed in de examenwereld werd EDF al toegepast. Bird (1927) deed bijvoorbeeld onderzoek naar het aantal identieke fouten in de essay examens van paren kandidaten die naast elkaar zaten in een examenruimte. Als het aantal identieke fouten de toevalsdrempel oversteeg, dan was er waarschijnlijk gefraudeerd, zo redeneerde hij. Maar in essay examens van paren kandidaten die naast elkaar zitten in een examenruimte is deze toevalsdrempel natuurlijk uiterst lastig te bepalen. In de daaropvolgende decennia nam het gebruik van het beroemde multiple-choice examen een vlucht. De data die uit multiple-choice examens komen, stelden onderzoekers beter in staat om EDF toe te passen. Saupe (1960) was een van de eersten die met een empirisch model kwam waarmee de waarschijnlijkheid dat twee kandidaten hadden samengewerkt op hun multiple-choice examen kon worden geschat. De statistische procedures rondom kopieergedrag werden later uitgewerkt en beschreven door Bellezza en Bellezza (1989). In de daaropvolgende periode kwamen vooral andere methodes in de belangstelling te staan en inmiddels zijn er enkele tientallen statistische EDF-indices beschreven (Kempers-Warmerdam, 2014). De misschien wel belangrijkste methodes zijn geënt op het bepalen van het zogeheten aantal Guttman fouten, het detecteren van wisselgedrag van kandidaten en het analyseren van afwijkingen in de respon- Examens februari 2019 nr 1 15

2 sietijd. In de volgende paragrafen zullen deze methodes uitgebreider behandeld worden. Educational data forensics methodes Het is duidelijk dat een onwaarschijnlijk hoge mate van overeenstemming tussen antwoorden een grote kans op examenfraude betekent. Daarnaast is de mate van overeenstemming statistisch relatief makkelijk te onderbouwen. Met de intrede van computer-based testing (CBT), en met name gerandomiseerde CBT, waarbij elke toets uniek wordt samengesteld uit een bank met vragen, is het echter niet meer mogelijk om de mate van overeenstemming te berekenen. Iedere kandidaat in de groep heeft immers een ander examen. Daarmee wordt afkijken overigens ook op een preventieve manier bestreden. Andere vormen van examenfraude (o.a. het gebruik van technologie, voorkennis van examenmateriaal of hulp van een docent/surveillant) blijven natuurlijk nog steeds mogelijk en dus zijn er andere EDFmethodes nodig om mogelijke examenfraude te detecteren. Guttman fouten Een eerste methode die eigenlijk op alle examenvormen toepasbaar is, is het berekenen van het aantal Guttman fouten. Louis Guttman was een bekende psychometricus die een model ontwikkelde waarin je altijd een kans van 1 hebt dat je een vaardigheid die je beheerst kunt tonen (Guttman, 1944). Omgekeerd heb altijd een kans van 0 dat je een vaardigheid die je niet beheerst kunt tonen. Een afwijking op een dergelijk patroon wordt een Guttman fout genoemd (Meijer, 1994). Meer eenvoudig gesteld betekent een Guttman fout dus eigenlijk dat je vragen goed beantwoordt die boven je vaardigheidsniveau liggen. Natuurlijk komt dat bij iedereen wel eens voor je weet toevallig iets of je gokt een (paar) keer goed maar een sterke afwijking in het aantal Guttman fouten duidt op mogelijke examenfraude. De standaard Guttman fout is het uitgangspunt voor veel verschillende EDF-indices. Een voorbeeld van een uitbreiding op de standaard Guttman fout is dat je gewicht hangt aan fouten die extremer zijn. Het is bijvoorbeeld opvallender als een kandidaat een aantal zeer eenvoudige vragen fout beantwoordt en een aantal zeer moeilijke vragen goed beantwoordt, dan wanneer een kandidaat vragen van bijna een gelijk, maar net afwijkend, moeilijkheidsniveau goed of fout beantwoordt. Door gewicht te hangen aan deze verschillen kan er meer nadruk worden gelegd op extremere afwijkingen in het antwoordgedrag van de kandidaat. Dit geeft een betere indicatie van potentiële fraude (Van Noord, 2018). Wisselgedrag Ook analyse van het wisselgedrag van kandidaten is mogelijk. Met wisselgedrag wordt het aantal gewijzigde antwoorden in het examen bedoeld. Bij het standaard multiple-choice examen kunnen dit wijzigingen zijn van goed naar fout, van fout naar goed en van fout naar fout. Qualls (2001) is één van de eersten die empirisch heeft onderzocht hoe vaak wijzigingen gemiddeld voorkomen in een examen en wat als afwijkend kan worden bestempeld. Traditioneel wordt er gekeken naar drie standaardafwijkingen van het gemiddelde, maar later is de grens van detectie in veel betere en geavanceerdere (Bayesiaanse) modellen uitgewerkt (Van der Linden & Jeon, 2012; Van der Linden & Lewis, 2015). In Amerika is een aantal grote examenfraudegevallen ontdekt door middel van een analyse van het wisselgedrag. Opmerkelijk genoeg waren het de docenten die antwoorden van hun leerlingen hadden veranderd om zo de school en zichzelf in een beter daglicht te stellen (Dewan, 2010). Responsietijdanalyse Bij een responsietijdanalyse wordt er op verschillende manieren gekeken of de responsietijden van kandidaten realistisch zijn. Het centrale idee achter deze analyses is dat een kandidaat die examenfraude pleegt afwijkende responsietijden op de vragen heeft. Snelle responsietijden kunnen bijvoorbeeld duiden op voorkennis van het examenmateriaal en langzame responsietijden op het gebruik van oneigenlijke middelen zoals een smartphone. In feite is responsietijd op zichzelf moeilijk te gebruiken om examenfraude te detecteren of het moet om een zeer sterke af- 16 Examens februari 2019 nr 1

3 wijking gaan. Dit komt doordat er behoorlijk wat variatie in responsietijd zit tussen kandidaten, omdat sommige kandidaten van nature een stuk sneller of langzamer zijn dan het gemiddelde. De bekendste methode voor het gebruiken van responsietijden om mogelijke examenfraude te detecteren, is beschreven door Van der Linden (2006). In zijn lognormale model voor de analyse van responsietijden wordt rekening gehouden met de werksnelheid van de kandidaat én de eigenschappen van de vragen die zijn voorgelegd. Uitgebreide vragen waarin bijvoorbeeld iets berekend moet worden duren gemiddeld langer om te beantwoorden dan een beknopte feitvraag. Met gegevens over de werksnelheid van de kandidaat en de uitgebreidheid van een item kun je in feite voor elke kandidaat op elk item een verwachte responsietijd berekenen. Een verwachting over hoe lang, bijvoorbeeld in seconden, kandidaat X over item Y zou moeten doen. Hoe groter de afwijking van je verwachting is, des te waarschijnlijker is het dat er examenfraude is gepleegd. Natuurlijk zijn andere verklaringen niet per definitie uit te sluiten, maar daar kan dan verder onderzoek naar worden gedaan. Educational data forensics in de praktijk De EDF-methodes zijn in de praktijk niet altijd even eenvoudig toe te passen. Het gaat vaak om veel data die bij voorkeur geanalyseerd moeten worden door middel van geautomatiseerde algoritmes. Xquiry, een organisatie die services biedt op het gebied van fraudepreventie en -detectie, heeft de laatste twee jaar aan een softwareapplicatie gewerkt die automatische examenfraudeanalyse mogelijk maakt. Deze software, de EDF-Monitor genaamd, bestaat uit verschillende algoritmes waarmee onder andere de mate van overeenstemming tussen kandidaten, verschillende vormen van het Guttman model en de responsietijden van kandidaten aan de hand van het lognormale model geanalyseerd kunnen worden. Om meer inzicht te krijgen in de betrouwbaarheid van de analyses heeft coauteur Sanette Het onderzoek toonde aan dat we met de juiste afstelling van de EDF-indices een detectieratio van 37,5% bij een betrouwbaarheid van 96,8% konden realiseren van Noord in samenwerking met de Universiteit Twente een onderzoek uitgevoerd. Onderzoek educational data forensics In het onderzoek heeft zij verschillende groepen leerlingen van een opleiding in het beroepsonderwijs een proefexamen laten doen. De leerlingen werden geïnstrueerd om op verschillende manieren examenfraude te plegen. De verschillende experimentele condities (N = 80) bestonden uit: het gebruik van een smartphone, het gebruik van een spiekbriefje, hulp van de docent, onderling overleg en voorkennis. Voor deze laatste conditie werd gebruikgemaakt van experts die kennis hadden van de itembank. De Examens februari 2019 nr 1 17

4 controleconditie (N = 37) bestond uit leerlingen die onder het toezicht van vier in plaats van twee examinatoren examen deden, om zoveel mogelijk uit te sluiten dat zij alsnog examenfraude pleegden. Vervolgens is onderzocht op welke manier de EDF-indices afgesteld moesten worden om een zo hoog mogelijke detectieratio, oftewel pakkans, te realiseren. Standaard wordt namelijk in de literatuur beschreven dat iedereen die drie of meer standaardafwijkingen van het gemiddelde scoort als verdacht dient te worden bestempeld. Het is echter de vraag of dat daadwerkelijk zo is. Een belangrijke bevinding van het onderzoek was dat het standaard Guttman model eigenlijk niet werkt. Met name wanneer gebruik gemaakt wordt van combinaties van EDF-indices, bijvoorbeeld het aangepaste Guttman model met In Amerika zijn een aantal grote examenfraudegevallen ontdekt door middel van een analyse van het wisselgedrag het responsietijden model van Van der Linden (2006), dan neemt de detectieratio (fors) toe. Bij de optimale afstelling van deze combinatie van EDF-indices kon een detectieratio van 37,5%, bij een betrouwbaarheid van 96,8%, worden gerealiseerd. Met een optimale afstelling wordt bedoeld dat de best passende gewichten aan de Guttman fouten worden gehangen, en dat boven het juiste aantal standaardafwijkingen kandidaten worden gevlagd. De cijfers in dit onderzoek wijzen dus uit dat met deze afstelling 37,5% van de 80 daadwerkelijk frauderende leerlingen over de verschillende experimentele condities werd gedetecteerd als examenfraudeur en dat van alle als frauderend gedetecteerde leerlingen 96,8% inderdaad tot de experimentele condities behoorde. De detectieratio was, met respectievelijk 42,9% en 52,9%, het hoogst in de conditie hulp van de docent en voorkennis. Overigens moet worden opgemerkt dat het hier om de pakkans gaat voor een individuele, eenmalig frauderende kandidaat. De pakkans ligt een stuk hoger als het gaat om stelselmatige examenfraude (bijv. een frauderende examinator). Tot slot In dit artikel hebben wij beschreven wat wordt verstaan onder educational data forensics. De historie van het vakgebied, de meest gebruikte methodes en het gebruik van educational data forensics in de praktijk zijn beschreven. In de toekomst zullen wij onderzoek blijven doen naar de betrouwbaarheid en validiteit van onze analyses. Daarnaast zullen wij de softwareapplicatie verder uitbreiden met nieuwe EDF-indices. De methodes om examenfraude te plegen blijven zich ontwikkelen. Het is daarom belangrijk om evenredig aan die ontwikkelingen examenfraude op nieuwe en betere manieren te bestrijden. Het toepassen van educational data forensics is een onmisbaar element in de bestrijding van examenfraude. Literatuur Bellezza, F.S., & Bellezza, S.F. (1989). Detection of cheating on multiple-choice tests by using error-similarity analysis. Teaching of Psychology, 16(3), Examens februari 2019 nr 1

5 Bird, C. (1927). The detection of cheating in objective examinations. School and Society, 25(635), Dewan, S. (2010, February 12). Georgia schools inquiry finds signs of cheating. The New York Times, pp. A14. Guttman, L. (1944). A basis for scaling qualitative data. American Sociological Review, 9(2), Kempers-Warmerdam, A. (2014). Dataforensics: geen sinecure. Examens, 11(2), Meijer, R. R. (1994). The number of Guttman errors as a simple and powerful person-fit statistic. Applied Psychological Measurement, 18(4), Qualls, A.L. (2001). Can knowledge of erasure behavior be used as an indicator of possible cheating?. Educational Measurement: Issues and Practices, 20(1), Saupe, J.L. (1960). An empirical model for the corroboration of suspected cheating on multiple-choice tests. Educational and Psychological Measurement, 20(3), Van der Linden, W.J. (2006). A lognormal model for response times on test items. Journal of Educational and Behavioral Statistics, 31(2), Van der Linden, W.J., & Jeon, M. (2012). Modeling answer changes on test items. Journal of Educational and Behavioral Statistics, 37(1), Van der Linden, W.J., & Lewis, C. (2015). Bayesian checks on cheating on tests. Psychometrika, 80(3), Van Noord, S. (2018). Using Data Forensics To Detect Cheating in Randomized Computer-Based Multiple-Choice Testing. Unpublished master thesis. Gesignaleerd Fraude bij veel taalscholen Tientallen taalscholen plegen fraude bij het inburgeringsexamen. Ze pikken het geleende geld van de inburgeraar in, of gooien het met de nieuwkomer op een akkoordje. Dit blijkt uit een brief van minister Wouter Koolmees van Sociale Zaken aan de Tweede Kamer. Er zijn al tijden signalen van fraude en oplichting bij de verplichte inburgering. Inburgeraars kunnen bij de DUO-groep euro lenen om de Nederlandse taal te leren bij een taalschool. En dat geld lokt allerlei oplichters. Bij veel scholen is het mis, blijkt uit de inventarisatie van de inspectie SZW. Er zijn inmiddels twee strafrechtelijke onderzoeken gestart. 45 taalscholen raakten dit jaar al hun keurmerk kwijt en mogelijk volgen er nog eens 15 scholen. Uit: BNdeStem, 18 december 2018 Examens februari 2019 nr 1 19