ITEMBANKING ULTIMATE BATTLE? V 0.1, 8 SEPTEMBER 2016
TOETSCYCLUS VOOR (KENNIS)TOETSING Evalueren Ontwerpen Sanctioneren Construeren items/toetsen Toetsbeheer Analyseren Samenstellen toets Scannen Afnemen toets
ITEMBANKING De grote belofte van (digitale) toetsing die niet is uitgekomen
DE DROOM Iedereen op de wereld werkt in harmonie met elkaar samen en houdt van elkaar! Samenwerken aan vragenbanken levert alleen maar voordelen op: Schaalvergroting verhoogt kwaliteit en verlaagt kosten Je maakt betere toetsvragen (de juiste student op de juiste plek) Elkaars werk controleren (je leert nieuwe mensen kennen) Leren wat het niveau is van de andere (je leert nieuwe contexten kennen) Delen van opbrengsten (je profiteert van het werk van anderen) Lagere kosten (je hoeft minder te doen) Het voorbeeld: Voortgangstoetsen Medisch Onderwijs
KLEINE GESCHIEDENIS Jaren 90 to nu: gesubsidieerde projecten SURF, JISC, Digitale Universiteit. Voorbeelden TOIA Galileo (van Eric Mazur) SKIF (lerarenopleiding) Voortgangstoetsen medisch onderwijs Samenwerkende Verpleegkunde opleidingen LTSN (Bioscience, Engineering, e3an etc.) DU: 2e graads lerarenopleiding, MER Wiskunde vragenbanken SOWISO I Hate Statistics Bedrijfseconomie vragenbanken LeerstationZorg
DE REALITEIT Veel barrières Psychologisch Sociologisch Organisatorisch Financieel Voorbeeld Verborgen geld versus out-of-pocket geld Grote afstand tussen productie van toetsvragen en resultaten van toetsvragen. Opbrengst van toetsen met gesloten vragen is niet bijzonder groot Toetsvragen moeten toch direct worden vrijgegeven Moet zo precies mogelijk aansluiten bij het gegeven onderwijs, vele genuanceerde verschillen over domeinkennis Not Invented Here Geen gedeelde kennisbases Wel geld voor ontwikkelproject, geen geld voor exploitatie (Groot verschil tussen formatief gebruik en summatief gebruik) De NL Wet: vragen van financiële vergoeding aan studenten voor toetsing en examinering mag niet
KLEINE GESCHIEDENIS Oplossing gezocht in standaarden voor uitwisseling van toetsitems (QTI met name). QTI TOIA SURF infrastructuur Questionmark Item Sharing Open Educational Resources Canvas Commons? Blackboard LOR Helpt het probleem niet echt oplossen
KLEINE GESCHIEDENIS Uitgeverijen kunnen het wel! Pearson (MyLab Series) McGraw Hill digitale methoden WebAssign Rekentuin, Taalzee Statistiekfabriek SOWISO (Wiskunde van vorige sheet) I Hate Statistics (misschien) MOOCs (misschien) Uitwisselingsplatforms Quizlet Drillster WRTS WebAssign Studenten ook Studeersnel.nl
KLEINE GESCHIEDENIS Instellingen met gedeelde kennisbasis kunnen het ook Voortgangstoetsing medische opleidingen Wettelijke verplichting werkt ook (en gedeelde kennisbasis) Kennisbasis Lerarenopleidingen: (10voordeleraar Of toetsing bij één instantie onderbrengen Examens voor specifieke beroepsgroepen Artsen Notarissen Radiologen Financieel dienstverleners (Wet Financieel Toezicht WfT) Interessant: 1 e poging om toetsvragenmaken uit te besteden volledig mislukt In het MBO ook meer centralisering van examens Ontkoppelen van Onderwijs en Toetsing
KLEINE GESCHIEDENIS
SURF UITGAVE 2013 2.1. Fair-use policy 4 2.2. Onderling samenwerkingsverband 4 2.3. Consortium 5 2.4. Samenwerkingsverband met puntensysteem 6 2.5. Aansluiten bij een bestaand samenwerkingsverband 7 2.6. Coöperatie 7 2.7. Stichting 8 2.8. Spin-off bedrijf (BV) 9 2.9. Overdragen aan een commerciële partij 9 Michiel van Geloven
EN KAN DE TECHNIEK HELPEN? AIG
DE REALITEIT PROFESSIONELE BUREAUCRATIE GOOD OLD MINTZBERG Hoger onderwijs is nog steeds georganiseerd als een professionele bureaucratie docenten zijn de baas over hun eigen onderwijs Het werk is horizontaal sterk gespecialiseerd, maar verticaal bestrijkt het een groot gebied. Zeggenschap over de eigen werkzaamheden houdt in dat de professional in zijn werk betrekkelijk onafhankelijk is van zijn collega s, maar nauw samenwerkt met zijn cliënten. Ook de output van professioneel werk kan niet gemakkelijk worden gemeten en leent zich daarom niet voor standaardisatie. Daarom kunnen professionele bureaucratieën maar tot op zekere hoogte terugvallen op de formalisatie van professioneel werk of op systemen om dit te plannen en te controleren.
DE REALITEIT PROFESSIONELE BUREAUCRATIE GOOD OLD MINTZBERG Hoger onderwijs is nog steeds georganiseerd als een professionele bureaucratie docenten zijn de baas over hun eigen onderwijs Waar ligt de macht: bij de Professional of de Bestuurder? We trekken hieruit de conclusie dat in de professionele bureacratie de macht zeker toevalt aan die professionals die graag hun krachten wijden aan bestuurlijk werk in plaats van aan hun eigen beroep, vooral aan degenen die daarin uitblinken. Mijn idee: Itembanking vraag om een sociale innovatie! Het bereiken van de bestuurlijke professional. Het vormen van horizontale beroepsverbanden (vb Ecotoxicologen)
DE DROOM REVISITED Iedereen op de wereld werkt in harmonie met elkaar samen en houdt van elkaar! Samenwerken aan vragenbanken levert alleen maar voordelen op: Schaalvergroting verhoogt kwaliteit en verlaagt kosten Je maakt betere toetsvragen (de juiste student op de juiste plek) Elkaars werk controleren (je leert nieuwe mensen kennen) Leren wat het niveau is van de andere (je leert nieuwe contexten kennen) Delen van opbrengsten (je profiteert van het werk van anderen) Lagere kosten (je hoeft minder te doen) Het voorbeeld: Voortgangstoetsen Medisch Onderwijs
ITEMBANKING De grote belofte van (digitale) toetsing die gaat uitgekomen