Wetenschappelijke achtergrond Voortgekomen uit fundamenteel onderzoek (UvA) Het cognitieve systeem in ontwikkeling is een complex systeem Wat leren we van Rekentuin? Complexe systemen moeten intensief gemeten worden Maar dagelijks toetsen in de klas is onhaalbaar Wat kunnen we leren van Rekentuin? Gebruik de dagelijkse oefeningen uit de klas Digitale schriftjes Marthe Straatemeier 2 Didactische ideeën? Rekenen is een vorm van cognitieve expertise Vereist Deliberate Practice Intensieve op individu afgestemde oefeningen met feedback Hoogfrequente metingen Het positieve effect van een-op-een onderwijs is zeer groot! Bloom s 2 sigma probleem 3 Time Maar ICT biedt nieuwe mogelijkheden 5 Laptops Tablets Snel internet Wifi
2 2 27 2 2 Hoe vind je een gelijkwaardige tegenstander? Leerlingen Leerkrachten Onderzoekers 2 x Spelenderwijs Eigen niveau Nakijkwerk uit handen Gedetailleerde analyses Hoogfrequente data Grote database 7 ADAPTIEF Schaken: Elo ratings Rekentuin: Elo ratings Kinderen (Vaardigheid) Laag Hoog Laag Hoog 2+3 Vragen (Moeilijkheid) Elo in werking Welk probleem is moeilijker? Laag Kinderen (Vaardigheid) Hoog 22 + 3 2 + 3 7 + 2 + 3 + 77 3 + 2 + Vragen (Moeilijkheid) 3 2
High Speed High Stakes scoringsregel Sommen waarbij r & s < Simpel + (r + s = m) Voorspeller Simpel (m s = r) Intercept m O Minimum van r & s ** ** Volgorde: r = s (tie) R² = O% R² = 7% Volgorde: r > s Over tiental Eenheden r en/of s is Eenheden r en/of s is 5 * Eenheden r en/of is ** * m is tiental Eenheden m is Snelheid en accuratesse geïntegreerd Snel gokken wordt gestraft Visueel spelelement Eenheden m is 5 Eenheden m is O Voordelen nieuw CAT systeem Methode onafhankelijk Docent hoeft niets in te stellen Groei planten = vaardigheid Basis- & bonustuin = belang vaardigheden Aantal munten = inzet / speelfrequentie Verdorring / gieters = onderhouden van vaardigheden Vaardigheid = gegeven antwoorden & reactietijd Spelmotivaties Rekentuin Zelf-organiserend = Moeilijkheid opgaven automatisch aangepast aan vaardigheid kind Na elk antwoord wordt het niveau aangepast Ieder kind maakt altijd zo'n 75% van opgaven goed succeservaring en motivatie grote variatie aan oefenstof: van makkelijk tot heel moeilijk (ook geschikt voor VO, MBO en HO). Rekentuin Tuincentrum Voor alle leeftijden (PO, VO, MBO & HO) De spelletjes: - optellen - aftrekken - vermenigvuldigen - tellen - delen - cijferreeksen - klokkijken - -2-3tje - getallen - kangoeroe spel - rekenvolgorde - bloemencode - breuken, procenten en verhoudingen - cijfers (maak met cijfers een gegeven getal) - slowmix (rt = sec.) - snelheidsmix (rt = sec.) - mollenspel 2 3
Innovatieve psychometrie Nieuwe inzichten Rekenontwikkeling & leerprocessen Geanonimiseerde data Onderwijs & Onderzoek 2 Voordelen Ecologisch valide Natuurlijke leeromgeving Veel domeinen 3 spellen in rekenen, taal en cognitieve functies. Brede leeftijdsrange ( tot volwassenen) Hoogfrequentie metingen 22 Betrouwbaarheid - - - -2 - - - -2 Correlation m+n, n+m Rating mirror item (n+m) Rating item (m+n) 7 + 3 7 + + 7 + 3 2 + 3 + + 5 + 3 5 + 7 + 7 + + + 5 + + + 3 + + 7 + 2 + + 2 + + 2 + + -5 5-5 5 Correlation mxn, nxm Rating mirror item (nxm) Rating item (mxn) 5 x 5 x 2 7 x x 5 x x x x 2 x x x 7 7 x 5 x 5 25 x 5 x 2 x 33 x 75 x 2 x 5 r =. r =. 23 Parallel items jan mrt mei jul sep 2 2 date rating Drie sets van parallel items van de bloemencode. Validiteit 25 5 5 r =.3 rating addition Cito Norm score 5 7 5 5 5 r =. rating subtraction Cito Norm score 5 7 2 Ruim 3% van de sommen wordt buiten schooltijd gemaakt
Wall of fame Foutenanalyse Open item formaat in meeste spelletjes Duizenden foute antwoorden per item Informatief? x 2 Klassencompetitie 5 27 2 2 72 5 2 x =? x =? 2 x x 2 Omdraaifout? Eenentachtig Optellen? + = Tafelfout? 2 x = 2 2 2 27 2 2 2 2 27 2 3 x 7=? Data gebaseerde benadering 35 3 25 2 5 x 7 5 3 35 5 5 3 3 52 32 72 5 3 2 7 x 5 3 5 35 3 5 3 32 52 2 x 5 2 N 2 2 Eerder onderzoek: Vooraf bepaalde volgorde x = is een tafel gerelateerde fout omdat het de eerste kandidaat is Frequentieregel: Kijk naar frequentie van fouten op andere items is een omdraaifout als het de populairste fout is op andere items waarbij er geen sprake is van dubbel classificatie ( x = ) Gewogen frequentie regel: Corrigeer voor aantal mogelijke matches Slechts antwoord is een omdraaifout Veel antwoorden zijn tafel gerelateerde fouten 3 32 x 2 N 2 Ten most frequent answers 3 x Ten most frequent answers x 3
Resultaten Eerder onderzoek overschatte ten table en operand related fouten en veel fouten worden niet geclassificeerd Veel fouten zijn een correct antwoord op een andere vermeldingssom Miss ^ ( x 2 = ) is populair Systematische leeftijdstrends Meeste fouten nemen af met leeftijd Optelfouten en naming errors komen veel voor bij jonge kinderen 33 Evaluatie De gewogen frequentieregel werkt veel beter dan de huidige methodes Het is nog steeds een beschrijvende methode Geen statistische fitmaten Toepasbaar in andere domeinen Bij conclusies rekening houden met adaptieve dataset Nuttig voor onderwijs? Automatische link naar instructie? Operator relevant Ten table Operand related Double-half Same decade Ten table > Miss Miss Miss Miss ^ m/n m - n m + n m + n Typo Reverse Naming error Intrusion Pastesub Addsub Zero 3 Moeilijkheidsniveaus Moeilijkheidskeuze Uniek binnen adaptief systeem: Spelers kiezen eigen moeilijkheid Makkelijk Normaal Moeilijk E(P+)=. (halve muntjes) E(P+)=.75 E(P+)=. (dubbele munten) %...2.3..5 P+=. girls P+=.75 boys P+=. 2 3 5 7 3 37 Psychometrie Adaptieve module Betrouwbaarheid en validiteit Voorspelling item moeilijkheid Vermenigvuldigen Optellen en aftrekken Tellen (subitizing) Foutenanalyses Rekenangst & zelfbeeld Scoringsregel Ontwikkelingsprocessen Samenhang tussen vaardigheden Executieve functies Logisch redeneren Onderzoek Klinkenberg S, Straatemeier. M., & van der Maas H. L. J. (2). Computer adapgve pracgce of Maths ability using a new item response model for on the fly ability and difficulty esgmagon. Computers in educagon, 57, 3-. Maris, G. & Van der Maas, H. L. J. (2). Speed- accuracy response models: Scoring rules based on response Gme and accuracy. Psychometrika, 77, - 33. Jansen, B. R. J., Louwerse, J., Straatemeier, M., Van der Ven, S. H., Klinkenberg, S., & Van der Maas, H. L. (23). The influence of experiencing success in math on math anxiety, perceived math competence, and math performance. Learning and Individual Differences,, - 7. Gierasimczuk, N., van der Maas, H. L. J., & Raijmakers, M. E. J. (23). An analygc tableaux model for deducgve mastermind empirically tested with a massively used online learning system. Journal of Logic, Language and Informa3on, 22, 27-3. Van der Ven, S., van der Maas, H. L. J., Straatemeier, M., & Jansen, B. R. J. (23). VisuospaGal working memory and mathemagcal ability at different ages throughout primary school. Learning and Individual Differences, 27, - 2. 3 Issues Data integriteit Veel bedreigingen: vals spelen, invloed klassituatie, verschillende devices, spelen op elkaars account, hulp van ouders, fouten in de achtergrondgegevens De kracht van de grootte van de dataset Data afhandeling: miljoen antwoorden per dag Privacy Geanonimiseerde data (op kind, klas en schoolniveau) Privacy statement Oefenweb.nl Mogelijkheid om niet deel te nemen of dit later alsnog te beslissen 3
Issues Risico s van exploratief onderzoek: data fishing Check hoe robuust je effecten zijn Opsplitsen van data > replicaties Als je willekeurige keuzes moet maken > check ze allemaal. Vermeld het in je artikel Bij grote steekproeven: check effect size Presenteer het niet als confirmatieve analyses Combineer met andere onderzoeken De simpele vraag helpt Rekentuin is uitermate lastig te beantwoorden Rekentuin wordt gebruikt in combinatie met andere methoden Vereist dubbel blind, gerandomiseerd, onafhankelijk onderzoek Experimenten in Rekentuin We voegen een nieuwe functionaliteit toe feedback, andere scoringsregels etc. Deze functionaliteit stellen we ter beschikking aan een willekeurige steekproef Dubbel blind Gerandomiseerd We onderzoeken welke groep (wel/niet functionaliteit) het: meeste vooruit gaat, meeste speelt, etc. Toekomstplannen Oefenweb Rekentuin & Taalzee ±2. actieve gebruikers ± miljoen opgaven 5 jaar ±.. opgaven per dag ± scholen ±5 items Andere producten 2 Oefenweb @ Panama 3 conferentie We welcome. Nieuws & contact Volg ons op twitter: @Rekentuin & @Taalzee Volg onze blog via: Rekentuin.nl & Taalzee.nl Neem deel aan het Rekentuin platform op LinkedIn Bekijk de Rekentuin en Taalzee Facebook pagina www.wordsandbirds.nl mstraatemeier@oefenweb.nl 5 7