Proeven aan Proeve. Frank Benneker Onderwijs- en Onderzoek Diensten groep Informatiseringscentrum

Transcriptie

1 Proeven aan Proeve Frank Benneker Onderwijs- en Onderzoek Diensten groep Informatiseringscentrum

2 Zelfbouw personal pages academic staff Student Homepages Community (Open) Source Studiegids U-drive MijnUvA (Uportal) UVA COMMUNITIES (Sakai) Euphorus interfaces Mieloso mediamosa UvAwiki ODG - Wereld Maple-TA mediasite / webcolleges QMP Evasys streaming media server Blackboard Closed Source Portfolio (SAKAI) Cloud services

3

4 Rol van Toetsen Toetsen dicteert het studiegedrag van studenten in belangrijke mate Onderwijs ontwikkelen: begin bij de toets Bron: Silverster Draaijer, slot congres Proeve Programma

5 Vormen van (digitaal) toetsen Selectie Sturing Beoordeling Diagnostisch Formatief Summatief Ingangstoets Voortgangstoets Eindtoets

6

7 De feedback Dit is een schermafdruk van PLATO-IV, (Programmed Logic Automated Teaching Operations) Een ICT onderwijssysteem dat in gebruik was aan de UvA tussen Het idee was om een wereldwijd netwerk opzetten van Plato systemen die onderwijsmateriaal en toetsen zouden uitwisselen. In 1985 was Plato-IV bij meer dan 100 campussen in gebruik. Plato is ontwikkeld aan de Universiteit van Ilinois vanaf Bron: Computer Museum UvA

8 Toetsen Nieuw Digitaal Toetsen Nieuw Interior of Pressey Testing Machine showing punchcard answer key. Patent dates 1928 and 1930.

9 Vrij naar Mieke Jaspers en Marianne Schade (2002)

10 Studiesucces : Aspects of formative assessment Where the learner is going Where the learner is How to get there Teacher Clarify and share learning intentions Engineering effective discussions, tasks and activities that elicit evidence of learning Providing feedback that moves learners forward Peer Understand and share learning intentions Activating students as learning resources for one another Learner Understand learning intentions Activating students as owners of their own learning Bron: Dylan Wiliam

11 Waarom Proeve & Studiesucces Verhoogde personeelsbelasting door: Groter aantal toetsen Ingangstoetsen, BaMa structuur, Rendementen moet omhoog Grotere groepen (studentenaantallen) Modern onderwijs vraagt om: Andere vaardigheden Aansluiten bij belevingswereld student Aantrekkelijkere toetsvormen Internationale aanpak

12 Waarom digitaal... nieuwe toetsvormen mogelijk door b.v. de introductie van: Nieuwe vraagtypen, b.v. spoken response Inzet van multimedia in de opdracht Ontsluiting van meerdere bronnen tijdens een toets Introductie van itembanken draagt bij aan het hergebruik van toetsvragen en de kwaliteit van toetsen vereenvoudigt de ontwikkeling en inzet van tussen toetsen en diagnostische & formatieve toetsen kan een bijdrage leveren aan een optimalisatie van het proces van creëren, aanbieden en verwerken van toetsen & toetsresultaten

13 Een fictieve rekensom voor een business case Casus Bachelor student (er zijn bachelor studenten) Summatief 10 tentamens per jaar; 1 tentamen is digitaal (10 %) UvA breed zijn dit tentamens (volledig digitaal) tijdwinst voor het verwerkingsproces is 30 min besparing in uren : 9000 ( +/- 6 fte) Formatief 20 tussen toetsen per jaar ; 10 digitaal ( 50%) UvA breed zijn dit tussentoetsen (volledig digitaal) tijdwinst voor het verwerkingsproces is 10 min besparing in uren : (+/- 20 fte)

14 Proeve : een opdracht voor advies over digitaal toetsen Doel: Onderzoeken of een ICT instrument voor toetsing een bijdrage kan leveren aan de kwaliteitsverbetering in het onderwijs. December 2009: Advies aan de ICT & O programmaraad dat ingaat op de eisen en randvoorwaarden voor het ontwikkelen van ICT dienstverlening om innovatief gebruik te maken van ICT instrumenten voor formatief en summatief toetsen

15 Geen selectie voor een (centraal) toetssysteem aan de start van Proeve maar een periode van centraal ondersteunde projecten en grassroots met toets oplossingen naar keuze & inzicht

16

17 Wat is er gevraagd aan die projecten en grassroots? Rol in het Onderwijsproces Itembanken en toetsconstructie Efficiency voordelen Toets- en itemanalyse Werken met complexe vragen Verwerking van open vragen Automatische feedback Toetsafname Grote & Kleine groepen Formatief & Summatief

18 Terugkoppeling uit de praktijk Digitaal toetsen zorgt voor een aanzienlijke tijd- en kostenbesparing. Artsen hoeven eenmaal per jaar hun vragen aanleveren (itt meerdere malen per jaar) maar hun werk wordt nog meer verlicht doordat zij geen (handmatig) corrigeer- en invoerwerk mee hoeven te verrichten. Dit kost gemiddeld 3 uur bij een overwegend standaard modelantwoord tot 8 uur bij een complexer antwoord: Ook het secretariaat van de Klinische Lijntoets heeft profijt van de elektronische afname. Zo krijgen studenten voortaan een naar onderdeel gespecificeerde e- mailrapportage waardoor er geen inzage in de toets mogelijk gemaakt hoeft te worden. Ook vervalt voor hen de logistiek rond de bezwaarschriften van studenten op de scoring van hun vragen. Centraal staat de geïntegreerde toetsing van taalvaardigheid, waarbij gebruik wordt gemaakt van verschillende media (video, audio, tekst, opnamemogelijkheden van de stem van de student).

19 Daarnaast willen we studenten de mogelijkheid geven zelf te kunnen oefenen met de stof, feedback te ontvangen en zo studenten inzicht te geven in de wijze waarop ze de stof beheersen Onze huidige summatieve toets kan niet in een valide toetssetting worden afgenomen. Met een online itembank gevuld met valide vragen kan een veel betrouwbaarder toetssetting worden gecreëerd. Daarbij wordt de invloed van begeleiders/antwoordbeoordelaars (subjectiviteit) uitgeschakeld, want overgenomen door de in QMP ingebouwde feedback en antwoorden. Digitale toetsen zijn zeer geschikt voor grootschalig statistiekonderwijs. Het onderwijs kan geïntensiveerd worden, door beter en vaker te toetsen, eventueel gepaard gaand met extra instructie, zonder dat het een evenredig grote inspanning van de statistiekdocenten vraagt. Statistiekopgaven en extra instructies kunnen gemakkelijk op een beeldscherm worden aangeboden. In een digitale omgeving kunnen, zowel in de opgaven als in de extra instructie, grafische presentaties gebruikt worden, eventueel met dynamische en interactieve elementen (multimedia).

20 Proeve - Geleerde lessen Techniek is weerbarstig en in sommige gevallen de reden voor sterke frustraties en beperkingen Ondersteuning van docenten op de werkvloer (technisch en toetsinhoudelijk) is een essentiële randvoorwaarde maar kostbaar Introductie van nieuwe mogelijkheden geeft kansen om studenten hun vaardigheden te laten tonen Digitaal toetsen kan bijdragen aan verbetering van kwaliteit en efficiency maar vereist een verandering in het proces van creëren, organiseren en aanbieden van toetsen

21 Uitdagingen voor Onderwijs instituten Toetsontwikkeling Ontwikkelen van items & toetsen Inbedding in de opleiding (formatief & summatief) Professionalisering van docenten Aandacht in BKO voor digitaal toetsen Inrichten digitaal kwaliteitsproces

22 De prijs van Proeve: het Toetslandschap Een campusbreed aangeboden Toetslandschap op basis van QMP, Blackboard, Sakai en Maple TA biedt de beste dekking voor de uitgebreide functionaliteiten die gevraagd wordt door medewerkers aan de UvA. Inhoudelijk en functioneel past het huidige Toetslandschap goed bij de brede vraag naar ondersteuning voor digitaal toetsen.

23 Elementen in het Toetslandschap Belangrijke voorwaarden voor de UvA Ondersteunen van verschillende toetsscenario s Statistische analyse van items en toetsen Sturen op kwaliteit van items en toetsen Gegevensverwerking / koppeling aan concernsystemen Blackboard (koppeling cursus/student aan toets SIS-UvA (resultatenregistratie) IDM (gebruik UvANetID)

24 Belangrijke voorwaarden voor de UvA (vervolg) Ondersteuning voor alle stappen in de toetscyclus Mogelijkheid gebruik mobiele devices (in brede zin) Meertalige User Interface Accessibility voor studenten met een functiebeperking Technologie webbased (in ieder geval afname) Platform (OS) agnostisch voor studenten Goede mogelijkheden voor localisatie Ondersteuning internationale standaarden (Standaard) Mogelijkheden voor integratie met andere UvA systemen Toetssoftware moet een zekere volwassenheid hebben

25

26 Waarom deze diversiteit? Verschillende doelgroepen Sakai : niet regulier onderwijs ; Blackboard & QMP regulier onderwijs Formatief andere wensen en eisen dan summatief Specifieke functionaliteiten Maple TA lokale oplossingen Ondersteuning deel processen in de toetscyclus Bv Respondus als ondersteunde auteursomgeving Blackboard en Sakai goed in (directe) afname minder kwaliteitsprocessen Evasys voor onderwijsevaluaties QMP & Maple brede dekking in toetscyclus

27

28 Waar staat de UvA? Opschalen huidige Toetslandschap (centraal ondersteund) Focus op diagnostisch en formatieve toetsing Implementatie campus brede QMP omgeving Professionaliseren dienstverlening & processen : Blackboard Maple TA UvA Communities (Sakai) Sourcing strategie ontwikkelen Werken aan ondersteuning voor centraal summatief toetsen Toetszalen

29 Advies van de rector in het laatste overleg voor de vakantie: Falen is geen optie voor een summatieve(digitale) toets

30

31