Formatief en Digitaal Informatievaardigheden Meten (DIM) Caroline Timmers & Amber Walraven 27 november 2015 Kom verder. Saxion.
Inhoud Over DIM* Effectstudie DIM* DIM* bij Saxion *DIM = Digitaal Informatievaardigheden Meten
Informatievaardigheden = 21 st century skill Walraven, A. (2009). De googlificatie van het onderwijs: een positief geluid. Vives, (93), 12-13. 27-09-2013 3
Digitaal Informatievaardigheid Meten (DIM) Project Kennisnet Oorspronkelijke doelgroep: scholieren VO Nadruk op meten van gedrag ipv kennis 4
Opdrachten in de DIM Jongeren smsen en msnen veel. Heeft dit invloed op hun Nederlands? Licht je antwoord toe in eigen woorden in ongeveer 15 regels Genetisch gemodificeerd eten heeft een slecht imago, is dit terecht? 5
DIM als formatieve toets Het doel van een formatieve toets is het ondersteunen van leerprocessen en groei. Bij de DIM via geautomatiseerde feedback.
Feedback in de DIM Voorbeelduitwerking Vragen over het zoekproces Heb je meerdere zoektermen gebruikt? Wat zou je de volgende keer hetzelfde doen? Wat zou je anders doen? Vraag naar eigen oordeel over Het resultaat en Het zoekproces https://www.kaltura.com/index.php/extwidget/opengraph/wid/1_xha3j841
Feedback in de DIM = geautomatiseerd Niveau van feedback DIM (Hattie & Timperley, 2007): Zelf: Goed gedaan. Taak: Het antwoord is correct. Proces: De gehanteerde strategie is juist. Regulatie: Wat vind je zelf van het resultaat?
DIM en Learning Analytics Learning Analytics is het meten, verzamelen, analyseren en rapporteren van en over data van studenten en hun context, met als doel het begrijpen en optimaliseren van het leren en de omgeving waarin dit plaatsvindt.
DIM data Achtergrond informatie (m/v) Resultaat Eigen oordeel over het resultaat Antwoorden op vragen over het zoekproces, incl. eigen oordeel over zoekproces Zoekgedrag Aantal zoekacties Geraadpleegde websites
Effectstudie DIM
Effectstudie DIM 50 scholieren (13 jaar) Maakten 2 opdrachten uit de DIM Random geselecteerd Twee weken tussen opdracht 1 en 2 DIM data + oordeel expert De Interventie: Geautomatiseerde feedback na opdracht 1
Vergelijking data DIM Opdracht 1 Opdracht 2 Oordeel leerling Oordeel Expert Aantal websites Aantal zoekacties Oordeel leerling Oordeel expert Aantal websites Aantal zoekacties
Resultaten: oordelen leerling en expert Oordeel Opdracht 1 Opdracht 2 Leerling 6.5 (1.3) 7.3 (0.9) Expert 4.2 (1.6) 5.0 (1.7) * Op een schaal van 1-10 * Verschil in kwaliteitstandaard tussen student en expert
Resultaten: jongens versus meisjes Expert oordeel Opdracht 1 Opdracht 2 Jongens (24) 4.3 (1.6) 4.5 (1.4) Meisjes (26) 4.2 (1.6) 5.5 (1.9) * Op een schaal van 1 tot 10
Resultaten: zoekgedrag Zoekgedrag Opdracht 1 Opdracht 2 Aantal websites 4.1 (2.0) 5.1 (3.2) Aantal zoekacties * Op een schaal van 1-10 4.1 (2.8) 4.7 (3.9)
Conclusie Resultaten tonen positief effect van DIM op kwaliteit van opdracht 2 Verschil in kwaliteitstandaarden tussen leerlingen en experts Oplossing: toevoegen beoordelingscriteria? Timmers, C.F., Walraven, A., & Veldkamp, B.P. (submitted). The effect of regulation feedback in a computer-based formative assessment on information problem solving. Computers & Education.
DIM bij Saxion 18
DIM bij Saxion Onderzoek in onderwijs Leerlijn onderzoek Aandacht voor Informatievaardigheden 1 e jaars: onvoldoende vaardig + neiging tot zelfoverschatting 19
Digitaal Informatievaardigheid Meten (DIM) Stelling Zeer eens eens oneens Zeer oneens Voor de toets Ik vind onderwijs in informatievaardigheden zinvol 15 68 7 1 Ik ben informatievaardig 5 70 16 Ik vind het belangrijk om de test goed te maken 19 55 15 1 Na de toets Ik heb mijn best gedaan om deze test goed te maken 6 64 17 3 Ik vond de zoekopdracht lastig 4 19 59 9 Ik vond het leuk om de zoekopdracht uit te voeren 1 22 54 12 Ik vond deze test waardevol 3 31 50 6 Ik vond de voorbeeld uitwerkingen leerzaam 5 56 24 5 Ik vond de vragen over het zoekproces leerzaam 3 57 25 6 Ik heb een beter beeld gekregen van wat het inhoudt om informatievaardig te zijn 7 57 23 2 20
Reactie docent Voordelen: - De studenten denken bewust na over het zoekproces. - De studenten zelf vonden dit ook verhelderend - Vragen over het eigen zoekproces leuk en leerzaam - Het instructiefilmpje maakte opdracht goed duidelijk - Kladblok' werd gezien als een groot voordeel. Nadelen: - De onderwerpen sloten niet aan bij de studie - De tijd van 30 minuten (te) kort voor beantwoorden van de vraag 21
Conclusies en vervolg - De DIM is van toegevoegde waarde voor Saxion - Bruikbaarheid DIM vergroten via opleiding specifieke opdrachten - 2 opleiding specifieke opdrachten bij MIM - Onderzoek naar effect van DIM bij MIM in 2015 22
Hartelijk dank voor jullie aandacht Voor feedback en vragen: c.f.timmers@saxion.nl a.walraven@its.ru.nl
SIG Digitaal Toetsen Wat doet de SIG Digitaal Toetsen? Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en signaleren. Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren. Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden. Waar vindt u de SIG Digitaal Toetsen? SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd. Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.