Educational dataforensics NVE congres 23 november 2017 Kees Boonman, Sebastiaan de Klerk, Sanette van Noord, Arnold Brouwer
Wie zijn wij. Sebastiaan de Klerk (ex:plain) Sanette van Noord (Universiteit Twente) Arnold Brouwer (RCEC) Kees Boonman (ex:plain) NVE Congres Educational dataforensics 2
Wat is Xquiry Wat: Een samenwerking tussen ex:plain en het RCEC. Waarom: Het ondersteunen van examenlijnen/organisaties bij het controleren van examenfraude. Examenfraude zal er altijd zijn kent een constante ontwikkeling. Dit vraagt om een permanente controle van examenfraude. NVE Congres Educational dataforensics 3
Examenfraude is het opzettelijk beïnvloeden van (onderdelen van) het gehele examenproces met als doel een ander resultaat uit het examen te verkrijgen. Examenfraude NVE Congres Educational dataforensics 4
Waar hebben we het over.. Examenfraude Diplomafraude Groepsgewijs Individueel Professioneel Amateuristisch Omkoping Surveillant Omkoping Surveillant Diploma diefstal ID verwisseling Afpersing Surveillant Afpersing Surveillant Vervalsen Kopiëren Inzet elektronica Inzet elektronica Hacken registers Vervalsen Fysieke signalen Spieken Diefstal items ID verwisseling ID verwisseling NVE Congres Educational dataforensics 5
Fraudeprevalentie.. Afhankelijk van schooltype Middelbare school: 80% van 3.123 middelbare scholieren gaf toe wel eens te hebben gefraudeerd (95% gaf overigens aan niet gepakt te zijn!) Universiteit: 75% gaf aan tenminste 1 keer te hebben gefraudeerd (study van het Center for Academic Integrity) 20 30% gaf aan op regelmatige basis te frauderen (Koch, 2002) Private stelsels: Geen cijfers over private stelsels (waarschijnlijk weten veel organisaties het niet, willen ze het niet weten, of willen ze dit niet bekend maken) Het is waarschijnlijk dat examenfraude in een high-stakes/certificerende setting vaker voorkomt dan op de scholen. NVE Congres Educational dataforensics 6
Wat denkt u? Hoe zal examenfraude zich ontwikkelen? Wat gebeurt er als we passief toe blijven kijken? Kunnen we examenfraude ooit uitbannen? NVE Congres Educational dataforensics 7
Educational dataforensics Sebastiaan de Klerk NVE congres 23 november 2017
Inhoud 1 Dataforensics 2 Dataforensics tool 3 Afwijkende patronen 4 Samenvatting NVE Congres Educational dataforensics 9
Dataforensics NVE Congres Educational dataforensics 10
Wat en waarom educational dataforensics Wat: Educational dataforensics is een set methodes om de beschikbare informatie van examens te analyseren op potentiële fraude. Waarom: Het doel daarbij is om afwijkende patronen te detecteren die duiden op potentiële fraude. Het wetenschappelijk onderzoek naar statistische methodes om afwijkende patronen te herkennen bestaat al langer. NVE Congres Educational dataforensics 11
Dataforensics tool NVE Congres Educational dataforensics 12
Dataforeniscs tool Web-based applicatie Databases Algoritmes NVE Congres Educational dataforensics 13
Resultaatniveaus Alle itemresponses Itemniveau Alle kandidaten Kandidaatniveau Alle examenevenementen Toetsniveau Alle type examens in de itembank Itembankniveau Database met itembank(en) Databaseniveau 14
Database structure Xquiry database 2-year calculation solution DFT web application Transformation A Transformation B Transformation C Transformation Z This process runs automatically on a daily basis Customer A database Customer B database Customer C database Customer Z database 15
Databaseniveau NVE Congres Educational dataforensics 16
Itembankniveau NVE Congres Educational dataforensics 17
Toetsniveau NVE Congres Educational dataforensics 18
Kandidaatniveau NVE Congres Educational dataforensics 19
Itemniveau NVE Congres Educational dataforensics 20
Afwijkende patronen tool NVE Congres Educational dataforensics 21
Afwijkende patronen Individuen Guttman fouten Responsietijden Groepen Overeenstemming P-waarden Responsietijden NVE Congres Educational dataforensics 22
Guttman fouten Vragen sorteren van makkelijk naar moeilijk Grotere kans om een makkelijkere vraag goed te maken dan een moeilijkere Afwijkingen op dit patroon worden Guttman fouten genoemd NVE Congres Educational dataforensics 23
Responsietijdenanalyse Individueel vs. Groep NVE Congres Educational dataforensics 24
Overeenstemming en afwijkende p-waarden Alleen op groepsniveau Groep stemt zeer vaak overeen in zelfde (foute/goede) antwoord Groep doet het aanzienlijk beter op items dan (langjarig) gemiddelde NVE Congres Educational dataforensics 25
Samenvatting NVE Congres Educational dataforensics 26
Samengevat Dataforensics methoden worden gebruikt om afwijkende patronen te detecteren die mogelijk op fraude duiden Het gebruiken van een combinatie van indices leidt tot een betere uitspraak Ook toepasbaar op random samengestelde examens In de toekomst mogelijk nog meer indices beschikbaar NVE Congres Educational dataforensics 27
Betrouwbaarheid van de dataforensics Sanette van Noord NVE congres 23 november 2017
Inhoud 1 Waarom (wetenschappelijk) onderzoek? 2 Wat wordt precies onderzocht? 3 Hoe wordt het onderzoek gedaan? Titel presentatie 29
Waarom (wetenschappelijk) onderzoek? Titel presentatie 30
1 Waarom (wetenschappelijk) onderzoek? Research & Development Mooi allemaal, die theorie, maar (hoe) werkt het echt in de praktijk? Ander wetenschappelijk onderzoek werkt met: Gesimuleerde data, vanuit de theoretische patronen Speciaal ontworpen testen Titel presentatie 31
Wat wordt onderzocht? Titel presentatie 32
2 Wat wordt onderzocht? Onderzoeksvragen: Hoe betrouwbaar is de dataforensics tool nu precies? Hoe kunnen we de tool het beste gebruiken? Kunnen we verschillende soorten fraude detecteren en identificeren? Hoe kunnen we de dataforensics tool verder ontwikkelen? Research Development Titel presentatie 33
Hoe wordt dit onderzocht? Titel presentatie 34
Dataverzameling Data Controle groep: Eerlijke examenkandidaten Experimentele groep: Fraudeurs Titel presentatie 35
Fase 1: Research Evalueren Tool Data Controle groep: Eerlijke examenkandidaten Experimentele groep: Fraudeurs Titel presentatie 36
Fase 1: Research Hoe betrouwbaar is de dataforensics tool nu precies? Hoe kunnen we de tool het beste gebruiken? Evalueren Tool Data Titel presentatie 37
Fase 2: Development Conditie 1: Gebruik mobiele telefoon Conditie 2: Samenwerken Conditie 3: Hulp van docent/surveillant Tool Verbeteren Data Conditie 4: Spiekbriefje Conditie 5: Voorkennis Controle groep Titel presentatie 38
Fase 2: Development Hoe kunnen we verschillende soorten fraude detecteren in de data? Hoe kunnen we de tool verder verbeteren? Tool Verbeteren Data Titel presentatie 39
Wanneer kunnen we de resultaten verwachten? Titel presentatie 40
Vragen? Titel presentatie 41