Adaptief Toetsen. een oude oplossing voor nieuwe problemen. Theo Eggen

Transcriptie

1 Adaptief Toetsen een oude oplossing voor nieuwe problemen Theo Eggen

2 Inhoud Wat is adaptief toetsen? Wat is er voor nodig? Onderzoek en praktijk Slotopmerkingen

3 Wat is toetsen? Toetsen is meten van prestaties,vaardigheden, kennis,competenties De uitslag van toetsen is een getal of classificatie op basis waarvan een uitspraak wordt gedaan Toetsen moet valide, betrouwbaar, efficiënt zijn

4 Weerbericht van 19 november 2008

5 Meten Temperatuur Gebaseerd op een theorie over de uitzetting van kwik in relatie tot temperatuur, die ons in staat stelt om het meetinstrument (thermometer) te kalibreren en er mee te meten Vaardigheid Gebaseerd op een theorie over de relatie tussen opgaven en vaardigheid die ons in staat stelt om het meetinstrument (toets) te kalibreren en er mee te meten

6 Wat is een C A T? De toetsafname en de toetssamenstelling zijn computergestuurd en geïndividualiseerd Keuze van de opgaven vindt plaats tijdens de afname op basis van de gegeven antwoorden Niet iedereen dezelfde toets, maar elke kandidaat de best passende De nauwkeurigheid van toetsen is van te voren ingesteld Psychometrisch optimaal onder praktische randvoorwaarden

7 vaardigheid / moeilijkheid Aantal afgenomen items

8 Antwoord is fout Aantal afgenomen items vaardigheid / moeilijkheid

9 vaardigheid / moeilijkheid Aantal afgenomen items

10 vaardigheid / moeilijkheid Aantal afgenomen items

11 vaardigheid / moeilijkheid Antwoord is correct Aantal afgenomen items

12 vaardigheid / moeilijkheid Aantal afgenomen items

13 vaardigheid / moeilijkheid Aantal afgenomen items

14 vaardigheid / moeilijkheid Aantal afgenomen items

15 Aantal afgenomen items Grensscore vaardigheid / moeilijkheid

16 Voordelen Cat Optimale afstemming op individu: Iedere persoon een andere toets toetsen zijn niet te moeilijk of te gemakkelijk Meetefficiëntie wordt verhoogd 50% winst Met name in staarten van verdeling Besparing voor kandidaat en organisator Beter meten CBT voordelen: standaardisatie flexibiliteit (icm beveiliging) meer inhoudelijke mogelijkheden

17 Wat is er nodig voor CAT? Computers Testtheorie: item respons theorie (IRT) Verzameling opgaven: gekalibreerde itembank Algoritme: regels voor afname

18

19 Elementen IRT essentieel voor adaptief toetsen moeilijkheid van items op dezelfde schaal als de vaardigheid informatie van items hangt af van de vaardigheid met willekeurige deelverzameling van items uit de itembank is de vaardigheid op dezelfde schaal te schatten

20 IRT model: kans op goed maken 1 0,8 0,6 0,4 0, Vaardigheid θ

21 Moeilijkheid opgave 1 0,8 0,6 0,4 0, b Vaardigheid θ

22

23 informatie informatiefuncties gemakkelijk middelmatig moeilijk Vaardigheid θ

24 Aannemelijkheid X1 = x1, X 2 = x2,..., X k = xk, xi = 0 of 1 Kans op een 0 of 1: IRT model Aannemelijkheid: gezamenlijke kans op de uitkomsten:,..., x ) L( θ; x, x2 1 k aannemelijkheid aannemelijkheid vaardigheid vaardigheid

25 Inhoud itembank Item id Link tekst; afbeelding materiaal Sleutel Tijd Inhoud a_i b_i abc 74,5 3 A abc d 2 B abc weg 4 B

26 van de

27 Algoritme voor een adaptieve toets start selecteer neem af scoor reken stop? nee ja rapporteer

28 Itemselectie procedures Maximale informatie bij vaardigheidschatting Maximale informatie + randvoorwaarden inhoudscontrole afname (exposure) controle Maximale informatie + moeilijkheidsgraad

29 Maximale Informatie selectie informatie vaardigheid θ

30 Onderzoek 1 In optimale Cats heeft een persoon succeskans van 50% op elk item Is het mogelijk items te kiezen met hogere succeskans zonder veel verlies van efficiëntie?

31 Maximale Informatie selectie informatie vaardigheid θ

32 Selectie met hogere succeskans 1 0,8 0,6 0,4 0,2 0 θ

33 Selectie met hogere succeskans 1 0,8 0,6 0,4 0,2 0 θ

34 Selectie met hogere succeskans 1 0,8 0,6 0,4 0, θ

35 Selectie met hogere succeskans 1 0,8 0,6 0,4 0,2 0 θ

36 Gem se vaardigheid en selectie met succeskansen 0.30 selr sel50 sel60 sel70 sel80 sel aantal items

37 Toepassing

38 Dyslexie Samenwerking EN-Cito Zwak in lezen; blijvend Vroege herkenning van groot belang Signaleringsinstrumenten bij jonge kinderen

39 Cats voor signalering risico Efficiënt afnemen Efficiënt meten Nauwkeurig meten (groei in) vaardigheid Nauwkeurig meten in zwakke groep Met gemakkelijke opgaven

40 Screeningsinstrument beginnende geletterdheid Meetpretentie Fonologisch bewustzijn Functie Opsporen van leerlingen met een risico op leesproblemen Doelgroep Alle leerlingen: B2, E2, B3 Zwakke groep: M3, E3

41 Screeningsinstrument beginnende geletterdheid Adaptieve toets fonologisch bewustzijn - Rijm - Beginfoneem - Synthese - Deletie

42 Toetsafname fonologisch bewustzijn Beginfoneem (8) Synthese (8) Rijm (8) Deletie (8)

43 Onderzoek 2 Als classificatie het toetsdoel is, kunnen we dan bestaande procedures verbeteren? Niet statistisch schatten, maar statistisch toetsen

44 Basiselementen classificatie probleem nonmaster master θ 1 Waar Beslissing Beslisfout H0:θ < θ 1 H1:θ θ 1 D=n D=m D=n D=m P( D = mθ < θ ) α P( D = nθ θ ) β 1 1

45 Toepassing SPRT Oplossing Geeft gegarandeerd een beslissing met de geëiste maximale beslisfouten Stochastisch afgeknotte SPRT Basisidee: stop toetsen op het moment dat de kans dat je van beslissing verandert heel klein is

46 Resultaat % juiste beslissingen Aantal gebruikte items N j =300 a j ~U[0.5,1.5] b j ~U[-4,4] N max = 50 SPRT SCSPRT θ 0 = γ = 0.95 δ = 0.2 α = 0.05 β = 0.05 Verschil ten minste 6.93

47 Mogelijke nieuwe toepassing Referentieniveaus Meijerink Doorlopende leerlijnen voor rekenen en taal van primair tot hoger onderwijs Vier referentieniveaus (voor verschillende leeftijden) gedefinieerd: elk basis en streefniveau Inhoudelijk beschreven voor de eerste 3 niveaus van taal en rekenen

48 REFERENTIEKADER 1 1F 2 1S 2F 3 2S 3F 4 3S 4F 4S Algemeen maatschappelijk niveau Drempels

49

50 Cats voor vaststelling niveaus Efficiënt voor vaststelling of niveau bereikt is Meting basisvaardigheden Grote spreiding in vaardigheden Standaardisatie Flexibel toetsinstrumentarium Geheimhoudingsmogelijkheden

51 slotopmerkingen

52 Tenslotte: bedenk! Cat beperking tot automatisch scoorbare opgaven Item respons model volgen Cat werkt met bekende itemkenmerken Cats in de praktijk: onderhoud nodig

53 Tenslotte: niet besproken Gebruik responstijden Beveiliging Klonen van items Volgorde toetsen

54 Tenslotte Cat zorgt voor grotere efficiëntie van toetsen Met cat hebben we de kwaliteit van toetsen onder controle ICT maakt routematige ontwikkeling en afname mogelijk Psychometrisch onderzoek niet alleen theoretisch, maar geïnspireerd door praktijk

55 Dank U voor Uw aandacht