Computergebaseerd toetsen bij de Open universiteit

Transcriptie

1 Computergebaseerd toetsen bij de Open universiteit Desirée Joosten-ten Brinke, juni 2011 Het schrijven van een visie op computergebaseerd toetsen (CBT) bij de Open universiteit vraagt om een visie op toetsen en beoordelen en een visie op het digitaliseren daarvan. In deze notitie komen beide aan de orde vanuit het centrale kenmerk van de Open universiteit, het ontwikkelen en verzorgen van hoogwaardig en innovatief hoger afstandsonderwijs. Studenten studeren, hun leven lang, in hun eigen tempo, in een eigen omgeving en kunnen met een studie beginnen op een tijdstip dat hen uitkomt. Het onderwijs is opgedeeld in modulen van 100 uur. Begeleiding vindt plaats via een elektronische leeromgeving en docenten op afstand. Voor begeleidingsbijeenkomsten en tentamens moeten studenten naar een van de studiecentra in Nederland of Vlaanderen. Toetsen en beoordelen In het onderwijs is het toetsen en beoordelen van studenten een van de hoofdactiviteiten die docenten uitvoeren. Bij toetsen gaat het om de keuze voor het instrument om te meten en bij beoordelen om het toekennen van een waarde aan een meting op basis van vooraf opgestelde criteria. Het bewust inzetten van toetsen om te komen tot een beoordeling is belangrijk. De gevolgen van toetsen zijn voor studenten en instellingen groot. Verkeerde keuzes van beoordelingsvormen en uitspraken over studenten die niet valide en betrouwbaar zijn kunnen grote gevolgen hebben voor studenten en opleidingen. Onterecht te laag beoordelen kan gevolgen hebben voor bijvoorbeeld de studieduur van de studenten. Het onterecht te hoog beoordelen van studenten heeft gevolgen voor het vertrouwen van de maatschappij in diploma s (Onderwijsraad, 2010). Daarnaast weten we dat toetsing sturend is voor het leren van de studenten (zie onder andere Boud, 2000; Brown, Bull, & Pendlebury, 1997 of Van der Vleuten & Schuwirth, 2005), maar ook dat onze studenten een leven lang leren. Dit betekent nadrukkelijk aandacht voor de kwaliteit van toetsen en beoordelen waarbij niet alleen het leren binnen het curriculum centraal staat, maar ook aandacht is voor het leren van studenten in informele en non-formele contexten. De expertise die studenten in die contexten op doet kan relevant zijn voor een opleiding en kan officieel worden gewaardeerd in die formele context van leren (Livingstone, 2000). Beoordelen is bij face-to-face-onderwijs een continue activiteit van interactie tussen de lerende en de docent. Docenten zijn zich hiervan niet altijd bewust. Toetsen wordt vaak gezien als het afsluiten van een onderwijsonderdeel, terwijl studenten in de weg naar die afsluiting toe net zo goed beoordeeld worden. We spreken dan over formatief beoordelen, waarbij de docent de rol heeft om te kijken waar staat de student nu en wat moet er nog gebeuren om verder te ontwikkelen. Bij afstandsonderwijs, wat bij de OU het geval is, is het formatief toetsen en beoordelen ingebouwd in het onderwijsmateriaal of is dat verweven met de proces- en productbegeleiding bij het schrijven van werkstukken en scripties. Contact 1

2 tussen studenten en docenten is beperkt en dit betekent dat studenten meer op zichzelf aangewezen zijn om te oordelen of ze op de goede weg zijn. In het (elektronisch) cursusmateriaal is een aantal toetsen opgenomen dat tot doel heeft om het studeergedrag van de studenten bij te sturen, hen bewust te maken van hun vorderingen en hen voor te bereiden op het tentamen. Deze toetsen hebben vooral een didactische functie en ondersteunen het leerproces. Formatief en summatief beoordelen kunnen niet los van elkaar worden gezien. Ze liggen in elkaars verlengde en sluiten op elkaar aan (Shavelson et al., 2008). Het summatief beoordelen is bij de Open universiteit echter veel nadrukkelijker aanwezig. Na elke module moet vastgesteld worden of de student de leerdoelen van de cursus beheersen om hiervoor een certificaat te ontvangen. Dit is al zichtbaar in het ontwikkelproces van een cursus. Docenten moeten al bij het ontwerp van de cursus vastleggen hoe de module afgesloten gaat worden. Daarbij wordt rekening gehouden met het karakter van de open universiteit, de opvattingen van de opleiding over toetsen, de plaats van de cursus in het curriculum en de leerdoelen van de cursus. Bij de OU worden verschillende toetsvormen voor summatieve doeleinden gebruikt, te weten schriftelijke of computergebaseerde tentamens, mondelinge tentamens en bijzondere verplichtingen (scripties, opdrachten, practica). Het belang van kwalitatief goede toetsen is groot. Voor studenten is het gevolg van een slechte toets dat zij mogelijk onterecht slagen, wat een negatief effect heeft op de kwaliteit van de opleiding, of onterecht zakken, wat de voortgang van de studenten belemmert. Betrouwbaarheid en validiteit van de toetsen zijn daarom cruciaal. Deze kwaliteitscriteria wordt doorvertaald naar itemniveau, waarbij de afzonderlijke items relevant, objectief en efficiënt zijn en op het juiste moeilijkheidsniveau de kennis en vaardigheden van de student meten. Figuur 1. Kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke & Sluijsmans, 2010). De samenhang tussen de missie van de instelling, de visie en het toetsprogramma van een opleiding, de afzonderlijke toetsinstrumenten en de toetsonderdelen vraagt om bewuste keuzes. Hiervoor is specifieke kennis en kunde nodig bij de docenten (Joosten-ten Brinke, 2011). Deze samenhang is weergegeven in de kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke & Sluijsmans, 2010; zie figuur 1). 2

3 Op het hoogste niveau gaat het om de kwaliteit van toetsing in termen van de effecten voor de studenten op de lange termijn. Wat is de visie van een opleiding ten aanzien van toetsen en beoordelen? In hoeverre draagt toetsing bij het vormen van een blijvende lerende houding bij leerlingen of studenten? Op het tweede niveau gaat het om de kwaliteit van het hele toetsprogramma van een opleiding. Is het programma in balans voor het meten van de competenties van de student? Het derde niveau betreft de kwaliteit van afzonderlijke toetsen beoordelingsinstrumenten en op het laagste niveau gaat het om de kwaliteit van taken, opdrachten of items. De niveaus staan niet op zichzelf. Kwaliteit van toetsing wordt geborgd door een sterke samenhang van de vier niveaus (aangegeven door de zijdelingse pijl). Is de kwaliteit op het onderste niveau niet goed, dan heeft dit negatieve invloed op de kwaliteit van de bovenliggende niveaus. Andersom, idem dito. Als onduidelijk is wat de visie op toetsing is, zal dit zijn uitwerking naar beneden hebben op de kwaliteit van toetsprogramma s, toetsen en de onderliggende items. Computergebaseerd toetsen Door ICT-mogelijkheden heeft toetsing een extra dimensie gekregen. De Open Universiteit was al vanaf de oprichting actief in het ontwikkelen van een digitale leeromgeving voor de studenten en het tentamensysteem kon daar niet bij achter blijven. Voor de kennistoetsen werd al in 1987 een geautomatiseerd tentamensysteem, sys, ontwikkeld. In dit systeem kunnen studenten op een tijdstip dat het hen goed uitkomt een tentamen afleggen op een studiecentrum naar keuze. Een systeem dat dus aansluit bij de kenmerken van flexibiliteit van de Open Universiteit. In eerste instantie werd gewerkt met itemboeken, waarin alle items opgenomen stonden en de student een lijst met te beantwoorden itemnummers kreeg. Antwoorden werden ingevoerd op optisch leesbare formulieren. Na een paar jaar werd het mogelijk om hele tentamens voor de studenten af te drukken, maar het duurde nog tot 2006 voordat het CvB besloot dat deze manier van tentamineren niet meer van deze tijd was. De afname van de tentamens moest ook vanachter de computer, waarbij de studenten de antwoorden met de muis aanklikt, direct na afloop van de tentamensessie de uitslag op het scherm kan bekijken en inzicht krijgt in de foutief beantwoorde vragen. De keuzes die gemaakt moeten worden bij het invoeren van CBT moeten ervoor zorgen dat de kwaliteit minimaal gelijk blijft of zelfs zal leiden tot kwaliteitsverhoging. Ik zal deze kwaliteit bespreken vanuit de kwaliteitspiramide voor eigentijds toetsen en beoordelen. Op het hoogste niveau gaat het dan om de vraag of CBT aansluit bij de visie van de instelling, dan wel bij de visie van de opleiding. CBT sluit aan bij de missie van de OU om innovatief, hoogwaardig afstandsonderwijs te bieden in een elektronische leeromgeving. Onze studenten studeren grotendeels via de computer; tentaminering via de computer is dan een logisch vervolg. Een voordeel van CBT is dat de toetsen flexibel afgenomen kunnen worden. In de toekomst worden alle tentamens voor elke student apart samengesteld uit voorgestructureerde databases. Dit geldt op dit moment dit alleen voor de individuele tentamens die bestaan uit meerkeuzevragen. Een groot deel van de tentamens bij de Open Universiteit wordt nog afgenomen in groepen, waarbij elke student voor dat specifieke vak op een door de instelling gekozen tijdstip naar het studiecentrum moet komen. Hier valt nog een grote winst voor de studenten te behalen. Daarbij moet tevens gedacht worden aan het ontwikkelen van itembanken voor open vragen, waardoor studenten ook voor deze 3

4 tentamens afspraken kunnen maken met de studiecentra op een tijd die past bij hun studietempo. Op programmaniveau moet de computergebaseerde toetsing een aanvulling zijn op de andere afsluitende toetsvormen, zoals mondelinge tentamens en bijzondere verplichtingen. Het volledige programma moet voldoen aan twaalf kwaliteitscriteria die geformuleerd zijn door Baartman, Prins, Kirschner, and Van der Vleuten (2007; 1. Geschikt voor het bereiken van de onderwijsleerdoelen, 2. Acceptatie, 3. Transparantie, 4. Reproduceerbaarheid van beslissingen, 5. Vergelijkbaarheid, 6. Eerlijkheid, 7. Betekenisvol, 8. Cognitieve complexiteit, 9. Authenticiteit, 10. Ontwikkeling van zelfsturend leren, 11. Onderwijsgevolgen, 12. Tijd en kosten). CBT kan bijdragen aan deze kwaliteitscriteria door ze te gebruiken voor leerdoelen die gericht zijn op het cognitieve niveau. Communicatie over het invoeren van CBT draagt bij aan de acceptatie. Voor studenten moet helder beschreven worden wat CBT inhoudt en hoe het eruit ziet. Hiervoor zijn oefententamens beschikbaar die qua inhoud en vorm vergelijkbaar zijn met de definitieve toets. Door te werken met kwalitatief goede meerkeuzevragen en toetsmatrijzen zorgen de computergebaseerde toetsen voor reproduceerbare beslissingen. Voor alle studenten is de werkwijze, de inhoud van de toets (per vakgebied) en de wijze waarop tot beslissingen gekomen wordt vergelijkbaar. Een voordeel van CBT is tevens de mogelijkheid om voor speciale doelgroepen dezelfde toetsen voor te leggen. Omdat QMP web gebaseerd is, kan het afnameproces van tentamens voor studenten in het buitenland, studenten met een functiebeperking en gedetineerden eveneens aanzienlijk verbeterd worden. Tentamens worden afgenomen in een computer gecontroleerde omgeving Studenten met specifieke functiebeperkingen kunnen tentamens afleggen op de eigen laptop als deze voorzien is van aangepaste software. Eerlijkheid wordt onder andere bepaald door de aansluiting van de toets op de leerdoelen, maar ook door vertrouwen in het systeem. Doordat er niet meer vijf maal per jaar tentamens en uitwerkpapier verstuurd hoeft te worden kan CBT ook voordeel opleveren in het logistieke proces. Studenten kunnen ook sneller hun uitslag ontvangen. Het derde niveau en vierde niveau betreffen de kwaliteitseisen die gesteld worden aan elke afzonderlijke computergebaseerde toets en de afzonderlijke items daarbinnen. Elke toets moet betrouwbaar en valide zijn. De lengte van de toets, de omvang van de itembank, de opbouw van de itembank aan de hand van een toetsmatrijs en de vooraf gestructureerde selectie van toetsvragen draagt hieraan bij. Door de extra mogelijkheden van een toetservicesysteem is het mogelijk om de toetsvragen meer relevant te maken door gebruik te maken van video of audio. Digitale toetsing vraagt naast standaard kwaliteitscriteria voor goede toetsing om specifieke kwaliteitscriteria, zoals veiligheid en technische mogelijkheden (Draaijer, 2009). Bij het invoeren van digitale toetsing is professionalisering van de gebruikers (docenten en studenten) belangrijk. Over de invoering wordt vaak te eenvoudig gedacht. Mogelijk is dit het gevolg van de gedachte dat er altijd al getoetst werd en dat het enige verschil is dat het nu ook digitaal kan. Een kwalitatief goed ontwerp van het hele toetsprogramma is hierbij echter voorwaardelijk. De opkomst van digitale toetsing vraagt om een verandering in de professionalisering van de docenten. Nieuwe en veranderende inzichten over de wijze van toetsing vereisen een uitbreiding van kennis en kunde over toetsing. Een schriftelijke toets kun je nog valide en betrouwbaar maken door itemanalyse of een goede handleiding, maar zeker bij de nieuwe vormen van toetsen hangt de kwaliteit veel meer af van de uitvoerder. Omdat toetsing niet los staat van het onderwijs en de kwaliteit 4

5 van de toetsing steeds meer moet worden verantwoord, zal elke docent zich moeten professionaliseren in de nieuwe benaderingen van (digitale) toetsing, bijvoorbeeld het analyseren van een portfolio en het construeren van goede toetsitems. Ook zal de docent moeten worden voorzien van handvatten om de toetsing beheersbaar, transparant en eerlijk te houden. Visie Bovenstaande redenering leidt tot de volgende visie op computergebaseerd toetsen bij de Open universiteit. 1. CBT sluit aan bij de missie van de universiteit om hoogwaardig innovatief afstandsonderwijs aan te bieden; 2. CBT draagt bij aan de kwaliteit van de toetsprogramma s van de opleidingen; 3. CBT biedt de mogelijkheid tot betrouwbare en valide toetsing; 4. CBT biedt de mogelijkheid tot het aanbieden van relevante, efficiënte en objectieve items om op universitair niveau kennis van studenten te beoordelen. Dit alles gaat uiteraard niet vanzelf. Professionalisering van docenten, medewerkers studiecentra, en medewerkers in het administratief-logistieke traject is daarvoor voorwaardelijk. Referenties Baartman, L. K. J., Prins, F. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007). Determining the quality of competence assessment programs: a self-evaluation procedure. Studies in Educational Evaluation, 33, Boud, D. (2000). Sustainable assessment: rethinking assessment for the learning society. Studies in Continuing Education, 22(2), Brown, G., Bull, J., & Pendlebury, T. (1997) Assessing Student Learning in Higher Education. London: Routledge. Draaijer, S., & Hartog, R. (2007). Guidelines for the design of digital closed questions for assessment and learning in higher education. e-journal of Instructional Science and Technology, 10(1). Joosten-ten Brinke, D. (2011). Eigentijds toetsen en beoordelen. Lectorale Rede. Tilburg: Fontys Lerarenopleiding Tilburg. Joosten-ten Brinke, D., & Sluijsmans, D. M. A. (2010). De kwaliteitspiramide voor eigentijds toetsen en beoordelen. Tilburg/Nijmegen: Fontys Lerarenopleidingen Tilburg/Hogeschool van Arnhem en Nijmegen. Livingstone, D. W. (2000). Exploring the icebergs of adult learning: findings of the first Canadian survey of informal learning practices. Canadian Journal for the Study of Adult Education, 13(2), Onderwijsraad (2010). Advies. Een diploma van waarde. Den Haag: Onderwijsraad. Shavelson, R. J., Young, D. B., Ayala, C. C., Brandon, P. R., Furtak, E. M., Ruiz-Primo, M., Araceli, T., Miki K., & Yin, Y. (2008). On the impact of curriculum-embedded formative assessment on learning: A collaboration between curriculum and assessment developers. Applied Measurement in Education, 21(4), Van der Vleuten, C. P. M. & Schuwirth, L. W. T. (2005). Assessing professional competence: from methods to programmes. Medical Education, 39,