Formatief en Digitaal Informatievaardigheden Meten (DIM) Caroline Timmers & Amber Walraven

Transcriptie

1 Formatief en Digitaal Informatievaardigheden Meten (DIM) Caroline Timmers & Amber Walraven 27 november 2015 Kom verder. Saxion.

2 Inhoud Over DIM* Effectstudie DIM* DIM* bij Saxion *DIM = Digitaal Informatievaardigheden Meten

3 Informatievaardigheden = 21 st century skill Walraven, A. (2009). De googlificatie van het onderwijs: een positief geluid. Vives, (93),

4 Digitaal Informatievaardigheid Meten (DIM) Project Kennisnet Oorspronkelijke doelgroep: scholieren VO Nadruk op meten van gedrag ipv kennis 4

5 Opdrachten in de DIM Jongeren smsen en msnen veel. Heeft dit invloed op hun Nederlands? Licht je antwoord toe in eigen woorden in ongeveer 15 regels Genetisch gemodificeerd eten heeft een slecht imago, is dit terecht? 5

6 DIM als formatieve toets Het doel van een formatieve toets is het ondersteunen van leerprocessen en groei. Bij de DIM via geautomatiseerde feedback.

7 Feedback in de DIM Voorbeelduitwerking Vragen over het zoekproces Heb je meerdere zoektermen gebruikt? Wat zou je de volgende keer hetzelfde doen? Wat zou je anders doen? Vraag naar eigen oordeel over Het resultaat en Het zoekproces

8 Feedback in de DIM = geautomatiseerd Niveau van feedback DIM (Hattie & Timperley, 2007): Zelf: Goed gedaan. Taak: Het antwoord is correct. Proces: De gehanteerde strategie is juist. Regulatie: Wat vind je zelf van het resultaat?

9 DIM en Learning Analytics Learning Analytics is het meten, verzamelen, analyseren en rapporteren van en over data van studenten en hun context, met als doel het begrijpen en optimaliseren van het leren en de omgeving waarin dit plaatsvindt.

10 DIM data Achtergrond informatie (m/v) Resultaat Eigen oordeel over het resultaat Antwoorden op vragen over het zoekproces, incl. eigen oordeel over zoekproces Zoekgedrag Aantal zoekacties Geraadpleegde websites

11 Effectstudie DIM

12 Effectstudie DIM 50 scholieren (13 jaar) Maakten 2 opdrachten uit de DIM Random geselecteerd Twee weken tussen opdracht 1 en 2 DIM data + oordeel expert De Interventie: Geautomatiseerde feedback na opdracht 1

13 Vergelijking data DIM Opdracht 1 Opdracht 2 Oordeel leerling Oordeel Expert Aantal websites Aantal zoekacties Oordeel leerling Oordeel expert Aantal websites Aantal zoekacties

14 Resultaten: oordelen leerling en expert Oordeel Opdracht 1 Opdracht 2 Leerling 6.5 (1.3) 7.3 (0.9) Expert 4.2 (1.6) 5.0 (1.7) * Op een schaal van 1-10 * Verschil in kwaliteitstandaard tussen student en expert

15 Resultaten: jongens versus meisjes Expert oordeel Opdracht 1 Opdracht 2 Jongens (24) 4.3 (1.6) 4.5 (1.4) Meisjes (26) 4.2 (1.6) 5.5 (1.9) * Op een schaal van 1 tot 10

16 Resultaten: zoekgedrag Zoekgedrag Opdracht 1 Opdracht 2 Aantal websites 4.1 (2.0) 5.1 (3.2) Aantal zoekacties * Op een schaal van (2.8) 4.7 (3.9)

17 Conclusie Resultaten tonen positief effect van DIM op kwaliteit van opdracht 2 Verschil in kwaliteitstandaarden tussen leerlingen en experts Oplossing: toevoegen beoordelingscriteria? Timmers, C.F., Walraven, A., & Veldkamp, B.P. (submitted). The effect of regulation feedback in a computer-based formative assessment on information problem solving. Computers & Education.

18 DIM bij Saxion 18

19 DIM bij Saxion Onderzoek in onderwijs Leerlijn onderzoek Aandacht voor Informatievaardigheden 1 e jaars: onvoldoende vaardig + neiging tot zelfoverschatting 19

20 Digitaal Informatievaardigheid Meten (DIM) Stelling Zeer eens eens oneens Zeer oneens Voor de toets Ik vind onderwijs in informatievaardigheden zinvol Ik ben informatievaardig Ik vind het belangrijk om de test goed te maken Na de toets Ik heb mijn best gedaan om deze test goed te maken Ik vond de zoekopdracht lastig Ik vond het leuk om de zoekopdracht uit te voeren Ik vond deze test waardevol Ik vond de voorbeeld uitwerkingen leerzaam Ik vond de vragen over het zoekproces leerzaam Ik heb een beter beeld gekregen van wat het inhoudt om informatievaardig te zijn

21 Reactie docent Voordelen: - De studenten denken bewust na over het zoekproces. - De studenten zelf vonden dit ook verhelderend - Vragen over het eigen zoekproces leuk en leerzaam - Het instructiefilmpje maakte opdracht goed duidelijk - Kladblok' werd gezien als een groot voordeel. Nadelen: - De onderwerpen sloten niet aan bij de studie - De tijd van 30 minuten (te) kort voor beantwoorden van de vraag 21

22 Conclusies en vervolg - De DIM is van toegevoegde waarde voor Saxion - Bruikbaarheid DIM vergroten via opleiding specifieke opdrachten - 2 opleiding specifieke opdrachten bij MIM - Onderzoek naar effect van DIM bij MIM in

23 Hartelijk dank voor jullie aandacht Voor feedback en vragen:

24 SIG Digitaal Toetsen Wat doet de SIG Digitaal Toetsen? Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en signaleren. Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren. Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden. Waar vindt u de SIG Digitaal Toetsen? SURFspace: geeft een overzicht van kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd. Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.