Educational dataforensics

Transcriptie

1 Educational dataforensics NVE congres 23 november 2017 Kees Boonman, Sebastiaan de Klerk, Sanette van Noord, Arnold Brouwer

2 Wie zijn wij. Sebastiaan de Klerk (ex:plain) Sanette van Noord (Universiteit Twente) Arnold Brouwer (RCEC) Kees Boonman (ex:plain) NVE Congres Educational dataforensics 2

3 Wat is Xquiry Wat: Een samenwerking tussen ex:plain en het RCEC. Waarom: Het ondersteunen van examenlijnen/organisaties bij het controleren van examenfraude. Examenfraude zal er altijd zijn kent een constante ontwikkeling. Dit vraagt om een permanente controle van examenfraude. NVE Congres Educational dataforensics 3

4 Examenfraude is het opzettelijk beïnvloeden van (onderdelen van) het gehele examenproces met als doel een ander resultaat uit het examen te verkrijgen. Examenfraude NVE Congres Educational dataforensics 4

5 Waar hebben we het over.. Examenfraude Diplomafraude Groepsgewijs Individueel Professioneel Amateuristisch Omkoping Surveillant Omkoping Surveillant Diploma diefstal ID verwisseling Afpersing Surveillant Afpersing Surveillant Vervalsen Kopiëren Inzet elektronica Inzet elektronica Hacken registers Vervalsen Fysieke signalen Spieken Diefstal items ID verwisseling ID verwisseling NVE Congres Educational dataforensics 5

6 Fraudeprevalentie.. Afhankelijk van schooltype Middelbare school: 80% van middelbare scholieren gaf toe wel eens te hebben gefraudeerd (95% gaf overigens aan niet gepakt te zijn!) Universiteit: 75% gaf aan tenminste 1 keer te hebben gefraudeerd (study van het Center for Academic Integrity) 20 30% gaf aan op regelmatige basis te frauderen (Koch, 2002) Private stelsels: Geen cijfers over private stelsels (waarschijnlijk weten veel organisaties het niet, willen ze het niet weten, of willen ze dit niet bekend maken) Het is waarschijnlijk dat examenfraude in een high-stakes/certificerende setting vaker voorkomt dan op de scholen. NVE Congres Educational dataforensics 6

7 Wat denkt u? Hoe zal examenfraude zich ontwikkelen? Wat gebeurt er als we passief toe blijven kijken? Kunnen we examenfraude ooit uitbannen? NVE Congres Educational dataforensics 7

8 Educational dataforensics Sebastiaan de Klerk NVE congres 23 november 2017

9 Inhoud 1 Dataforensics 2 Dataforensics tool 3 Afwijkende patronen 4 Samenvatting NVE Congres Educational dataforensics 9

10 Dataforensics NVE Congres Educational dataforensics 10

11 Wat en waarom educational dataforensics Wat: Educational dataforensics is een set methodes om de beschikbare informatie van examens te analyseren op potentiële fraude. Waarom: Het doel daarbij is om afwijkende patronen te detecteren die duiden op potentiële fraude. Het wetenschappelijk onderzoek naar statistische methodes om afwijkende patronen te herkennen bestaat al langer. NVE Congres Educational dataforensics 11

12 Dataforensics tool NVE Congres Educational dataforensics 12

13 Dataforeniscs tool Web-based applicatie Databases Algoritmes NVE Congres Educational dataforensics 13

14 Resultaatniveaus Alle itemresponses Itemniveau Alle kandidaten Kandidaatniveau Alle examenevenementen Toetsniveau Alle type examens in de itembank Itembankniveau Database met itembank(en) Databaseniveau 14

15 Database structure Xquiry database 2-year calculation solution DFT web application Transformation A Transformation B Transformation C Transformation Z This process runs automatically on a daily basis Customer A database Customer B database Customer C database Customer Z database 15

16 Databaseniveau NVE Congres Educational dataforensics 16

17 Itembankniveau NVE Congres Educational dataforensics 17

18 Toetsniveau NVE Congres Educational dataforensics 18

19 Kandidaatniveau NVE Congres Educational dataforensics 19

20 Itemniveau NVE Congres Educational dataforensics 20

21 Afwijkende patronen tool NVE Congres Educational dataforensics 21

22 Afwijkende patronen Individuen Guttman fouten Responsietijden Groepen Overeenstemming P-waarden Responsietijden NVE Congres Educational dataforensics 22

23 Guttman fouten Vragen sorteren van makkelijk naar moeilijk Grotere kans om een makkelijkere vraag goed te maken dan een moeilijkere Afwijkingen op dit patroon worden Guttman fouten genoemd NVE Congres Educational dataforensics 23

24 Responsietijdenanalyse Individueel vs. Groep NVE Congres Educational dataforensics 24

25 Overeenstemming en afwijkende p-waarden Alleen op groepsniveau Groep stemt zeer vaak overeen in zelfde (foute/goede) antwoord Groep doet het aanzienlijk beter op items dan (langjarig) gemiddelde NVE Congres Educational dataforensics 25

26 Samenvatting NVE Congres Educational dataforensics 26

27 Samengevat Dataforensics methoden worden gebruikt om afwijkende patronen te detecteren die mogelijk op fraude duiden Het gebruiken van een combinatie van indices leidt tot een betere uitspraak Ook toepasbaar op random samengestelde examens In de toekomst mogelijk nog meer indices beschikbaar NVE Congres Educational dataforensics 27

28 Betrouwbaarheid van de dataforensics Sanette van Noord NVE congres 23 november 2017

29 Inhoud 1 Waarom (wetenschappelijk) onderzoek? 2 Wat wordt precies onderzocht? 3 Hoe wordt het onderzoek gedaan? Titel presentatie 29

30 Waarom (wetenschappelijk) onderzoek? Titel presentatie 30

31 1 Waarom (wetenschappelijk) onderzoek? Research & Development Mooi allemaal, die theorie, maar (hoe) werkt het echt in de praktijk? Ander wetenschappelijk onderzoek werkt met: Gesimuleerde data, vanuit de theoretische patronen Speciaal ontworpen testen Titel presentatie 31

32 Wat wordt onderzocht? Titel presentatie 32

33 2 Wat wordt onderzocht? Onderzoeksvragen: Hoe betrouwbaar is de dataforensics tool nu precies? Hoe kunnen we de tool het beste gebruiken? Kunnen we verschillende soorten fraude detecteren en identificeren? Hoe kunnen we de dataforensics tool verder ontwikkelen? Research Development Titel presentatie 33

34 Hoe wordt dit onderzocht? Titel presentatie 34

35 Dataverzameling Data Controle groep: Eerlijke examenkandidaten Experimentele groep: Fraudeurs Titel presentatie 35

36 Fase 1: Research Evalueren Tool Data Controle groep: Eerlijke examenkandidaten Experimentele groep: Fraudeurs Titel presentatie 36

37 Fase 1: Research Hoe betrouwbaar is de dataforensics tool nu precies? Hoe kunnen we de tool het beste gebruiken? Evalueren Tool Data Titel presentatie 37

38 Fase 2: Development Conditie 1: Gebruik mobiele telefoon Conditie 2: Samenwerken Conditie 3: Hulp van docent/surveillant Tool Verbeteren Data Conditie 4: Spiekbriefje Conditie 5: Voorkennis Controle groep Titel presentatie 38

39 Fase 2: Development Hoe kunnen we verschillende soorten fraude detecteren in de data? Hoe kunnen we de tool verder verbeteren? Tool Verbeteren Data Titel presentatie 39

40 Wanneer kunnen we de resultaten verwachten? Titel presentatie 40

41 Vragen? Titel presentatie 41