Projecten Educatieve Middelen Pool Aanvraagformulier ondersteuning Onderwijscentrum VU

Transcriptie

1 Projecten Educatieve Middelen Pool Aanvraagformulier ondersteuning Onderwijscentrum VU Project: Digitalisering onderwijsevaluaties Bachelor VUmc-compas Mw. drs. D.C. Bloemkolk, Kwaliteitszorgmedewerker Mw. drs. K.J. de Wilde, Projectmedewerker Faculteit Geneeskunde Afdeling Onderwijsinstituut Mw. J.A. Jansen, Manager Kwaliteitszorg Datum: 26 maart 2007

2 1. Projectbeschrijving 1.1 Samenvatting Binnen de kwaliteitszorg van het VUmc-compas (het vernieuwde curriculum Geneeskunde dat in september 2005 van start is gegaan) bestaat de wens om de slag te maken van schriftelijke naar digitale evaluatie van het VUmc-compas. Het huidige systeem van schriftelijke evaluaties onder de studenten functioneert, maar lijkt tegen capaciteitsproblemen aan te lopen, nu er elk jaar een studiejaar bij komt in het VUmc-compas. Binnen het VUmc-compas bestaat de unieke situatie, waarbij studenten meerdere malen per jaar summatieve beeldschermtoetsen moeten maken wat de mogelijkheid geeft om een digitale evaluatie af te nemen. Door deze unieke situatie kan naar verwachting de respons op de evaluaties aanzienlijk hoger of gelijk uitvallen ten opzichte van de schriftelijke evaluaties (70-90%). Dit in tegenstelling tot gebruikelijk is bij digitale evaluaties (30-50%), waarbij de respondenten per worden uitgenodigd. Dit projectvoorstel beschrijft de aanpak van een pilot om digitale evaluatie onder de studenten Geneeskunde van het VUmc-compas op te zetten, uit te voeren en te vergelijken met een schriftelijke evaluatie om uiteindelijk tot een advies te komen voor het al dan niet invoeren van digitale evaluaties in de gehele bachelor van het VUmc-compas. 1.2 Doelstellingen In het VUmc-Compas, het nieuwe curriculum voor de studie geneeskunde dat in september 2005 van start is gegaan, neemt het thema kwaliteit een essentiële plaats in. Om de kwaliteit van het curriculum goed te verankeren is de Kwaliteitszorg voor het VUmc-compas opgezet. Eén van de taken van de kwaliteitszorg is het opzetten, uitvoeren en nabespreken van de onderwijsevaluaties. Deze evaluaties worden schriftelijk afgenomen en vinden plaats aan het einde van elke cursus, tijdens de afsluitende schriftelijke toets (CAT of 2V12). Naast deze schriftelijke toetsen, krijgen de studenten ook een beeldschermtoets (PAK) na afloop van elke cursus. Het schriftelijk afnemen van de evaluaties heeft als nadeel dat het organiseren ervan veel werk is omdat er veel verschillende medewerkers bij betrokken zijn. Allereerst moeten de vragen die op het evaluatieformulier moeten komen te staan, wanneer deze bekend zijn, naar de drukker om de evaluatieformulieren te drukken. Daarna moeten de formulieren worden uitgedeeld aan alle (bijna) 400 studenten en weer ingenomen. Vervolgens moeten de formulieren naar het 2

3 Onderwijscentrum VU worden gebracht, waar ze handmatig met behulp van een computer worden ingelezen. Het inlezen van de evaluatieformulieren is een gevoelige klus, omdat de formulieren niet gevouwen/geniet/geperforeerd of buiten de hokjes beschreven mogen zijn. Ondanks de aanzienlijke logistieke inspanningen die voor de schriftelijke evaluaties gedaan moeten worden, verloopt de procedure goed. Dit komt mede doordat er niet te veel evaluaties tegelijkertijd afgenomen worden. Er komt echter elk jaar weer een nieuw studiejaar bij. Hierdoor wordt de afname van de evaluaties op papier logistiek steeds minder haalbaar. Dit is de reden dat de medewerkers van de kwaliteitszorg op zoek zijn gegaan naar alternatieven voor de evaluatie op papier die ook logistiek haalbaar zijn bij grotere aantallen evaluaties. De verwachting is dat het digitaal afnemen van de evaluaties het alternatief is dat ook bij meerdere evaluaties de logistieke druk kan verminderen. Naast de vermindering van de logistieke lasten worden er nog een aantal positieve effecten verwacht van de invoering van digitale evaluaties. Allereerst is er de verwachting dat met de invoering van digitale evaluaties aangesloten wordt bij de trend naar beeldschermtoetsing. Dit betekent dat met de invoering van digitale evaluaties alvast voorbereiding wordt getroffen en ervaring wordt opgedaan met de manier van evalueren zoals deze waarschijnlijk over een aantal jaren op grote schaal zal worden toegepast. Daarnaast is de verwachting dat met de invoering van digitale evaluaties, gekoppeld aan de beeldschermtoetsing de respons op de evaluaties groot zal zijn. Er wordt namelijk verwacht dat wanneer een student al achter een beeldscherm heeft plaatsgenomen voor een toets, deze meer geneigd zal zijn om ook de evaluatievragen te beantwoorden. Tot slot wordt als voordeel gezien dat op termijn ook gebruik gemaakt kan worden van extra mogelijkheden in de digitale evaluatie, bijvoorbeeld een foto van een tutor die geëvalueerd word, een stukje film van een college waar naar gevraagd wordt, etc. Omdat de logistieke problemen die papieren evaluaties op grotere schaal met zich meebrengen als business case wordt gezien voor dit project, is voor dit project het volgende projectdoel gedefinieerd: Het vereenvoudigen en beter uitvoerbaar maken van het onderwijs-evaluatieproces door het invoeren van een digitale evaluatie. 3

4 1.3 Afbakening Om te voorkomen dat een bestaand wiel opnieuw uitgevonden wordt, is vooraf bekeken of elders al een bruikbare digitale evaluatie is ontwikkeld. Deze is niet gevonden. Wel is er bij de Faculteit der Economische Wetenschappen en Bedrijfskunde (FEWEB) in het studiejaar een pilot (EMP project Efficiënt evalueren ) uitgevoerd onder de studenten van 20 verschillende vakken. Deze studenten zijn per benaderd met het verzoek een digitale evaluatie over hun vak in te vullen. Gedurende twee weken hadden de studenten de mogelijkheid om deze evaluatie in te vullen. De uitkomsten van deze pilot met betrekking tot de werkbaarheid, zijn: Na afloop was de respons ± 33.5%, wat op zich niet laag is voor een digitale evaluatie, maar wel beduidend lager dan de huidige respons bij geneeskunde (tussen de 70 en 90%). De bereikbaarheid van de studenten op hun adres bleek problematisch in verband met de verandering van adressen. De periode bleek ongunstig gekozen; vlak voor de kerst. Dit verklaart wellicht voor een deel de lage respons. Bij de verwerking van de resultaten is men tegen een aantal problemen aangelopen. Het zelfontworpen softwarepakket wordt hiervoor als oorzaak aangewezen. Deze resultaten, samen met het feit dat de uitgangssituatie bij de faculteit Geneeskunde op een aantal cruciale punten verschilt van de uitgangssituatie bij FEWEB, zijn voor de faculteit Geneeskunde redenen om de opzet van de pilot van de FEWEB niet één op één over te nemen. Wel zullen de lessons learned van de pilot bij FEWEB meegenomen worden in de opzet van de pilot bij de faculteit geneeskunde. De belangrijkste verschillen in de uitgangssituatie bij de faculteit geneeskunde zijn: Binnen de faculteit Geneeskunde is reeds een sofware pakket in gebruik, dat bekend is bij een breed publiek en waarvoor de benodigde licenties in huis zijn. Deze software, Question Mark Perception (QMP), lijkt ook bijzonder geschikt voor het digitaal afnemen van de onderwijsevaluaties. Momenteel wordt QMP gebruikt voor de afname van de PAK. Dit lijkt ook een ideaal moment om met dezelfde software, direct na afloop van de PAK, de student te vragen de onderwijsevaluaties in te vullen. Immers, dit is een unieke situatie waarbij alle studenten al gelijktijdig achter een computer zitten. Deze situatie is vrijwel identiek aan de huidige situatie in de TenT (grote tentamenhal op middenterrein VU), waar de CAT wordt afgenomen. Verwacht wordt dan ook, dat de respons vergelijkbaar met de CAT zal zijn, die varieert tussen de 70 en 90%. 4

5 Aansluitend aan de verschillen in uitgangssituatie zijn tevens een aantal eisen aangegeven door de opdrachtgever waar het resultaat van dit project aan moet voldoen, namelijk: De digitale evaluatie moet plaats kunnen vinden op een vergelijkbaar tijdstip en vergelijkbare manier als de huidige schriftelijke evaluaties om de respons en vergelijkbaarheid met de huidige evaluaties te kunnen waarborgen; Studenten per uitnodigen om een evaluatie in te vullen is geen optie binnen dit project, gezien de ervaringen van FEWEB en omdat de kwaliteitszog van het VUmc-compas dit niet wil naar aanleiding van eigen digitalte evaluatie ervaring onder de docenten van het VUmccompas; De evaluatie moet afgenomen kunnen worden met QMP of een ander goed bruikbaar softwarepakket, dat reeds bestaat en beschikbaar is op de campus; De verwerking van de evaluatieresultaten zal ook bij digitale evaluatiemomenten worden uitgevoerd door het Onderwijscentrum VU, zoals dat momenteel ook gebeurt; De evaluatie moet binnen een dagdeel bij 400 studenten afgenomen kunnen worden; De evaluatie moet minder logistieke inspanningen vereisen dan de papieren evaluatie; De kwaliteit van de digitale evaluatie mag niet minder zijn dan die van een evaluatie op papier. De financiële middelen die voor de invoering van digitale evaluatie nodig zijn, moeten acceptabel zijn voor de organisatie. Hierover beslist de daartoe bevoegde persoon binnen het Onderwijsinstituut (momenteel Eric de Leede) tijdens het project, omdat dit gaande weg duidelijk wordt. In het kader van het kwaliteitsbeleid van het VUmc-compas is hier momenteel geen beperking te verwachten. 1.4 Resultaten Bovenstaande lessons learned uit de pilot van FEWEB en de eisen van de opdrachtgever hebben geleid tot het definiëren van de volgende resultaten die het project zal opleveren: Een pilot waarin één digitale onderwijsevaluatie van begin tot het einde uitgevoerd wordt binnen het VUmc-compas, inclusief verwerking en rapportage van de resultaten. De evaluatie zal niet worden afgenomen via . Een procesbeschrijving van het gehele evaluatieproces van de digitale evaluatie voor de pilot, welke extrapoleerbaar is naar digitale evaluaties in het algemeen. Een procesbeschrijving van het gehele evaluatieproces van de schriftelijke evaluatie voor het case-gebaseerde onderzoek. Een case-gebaseerd onderzoek ter vergelijking van digitale evaluatie versus schriftelijke evaluatie, met aanbevelingen aan de opdrachtgever en het managementteam. Hierin wordt aandacht besteed aan de haalbaarheid en uitvoerbaarheid van digitale evaluatie wanneer deze op grote schaal wordt ingezet, afgezet tegen de schriftelijke evaluatie. 5

6 Wanneer deze pilot goed bevalt, kan deze vorm van evaluatie worden ingevoerd in studiejaar in de gehele bachelor VUmc-compas en in de studiejaren daaropvolgend in de master VUmc-compas. 1.5 Facultair commitment De Kwaliteitszorg is een standaard onderdeel van het onderwijs binnen het VUmc-compas. De pilot, zoals deze uitgevoerd zal worden tijdens dit project, is onderdeel van de kwaliteitszorg van het VUmc-compas. De opdrachtgever en belangrijkste gebruiker van de resultaten van het project is de manager van de kwaliteitszorg van het VUmc-compas. Zij (mw. J.A. Jansen) is als zodanig ook lid van de begeleidingscommissie (ook wel stuurgroep). Hiermee is het commitment vanuit de kwaliteitszorg gewaarborgd. Immers, de manager kwaliteitszorg is erbij gebaat dat de resultaten, zoals hierboven beschreven, door middel van dit project gerealiseerd worden. Tevens is zij, vanuit haar rol in de kwaliteitszorg ervoor verantwoordelijk dat de kwaliteit van de evaluaties gewaarborgd wordt. Dit geldt uiteraard ook voor de digitale evaluatie die in deze pilot wordt uitgevoerd. Naast de opdrachtgever is tevens de manager O&S (Dhr. Drs. A.H. de Voogd), die nu is belast met een groot deel van de logistiek van de evaluaties, lid van de begeleidingscommissie. Door zijn verantwoordelijkheid is hij degene die gebaat is bij het behalen van het doel van het project, namelijk het vereenvoudigen en beter uitvoerbaar maken van het onderwijs-evaluatieproces. Zijn rol in de begeleidingsgroep is dan ook het erop toezien dat de keuzes die gemaakt worden binnen het project het doel van het project ondersteunen. Tot slot is er vanuit het managementteam de wens uitgesproken om op termijn meer toetsen te digitaliseren. De ontwikkeling naar het digitaal afnemen van evaluaties is hierbij aansluitend en hierop vooruit lopend. Hiermee is de ontwikkeling naar digitale evaluaties en daarmee dit project ook geborgd binnen het managementteam. Tevens sluit het digitaal evalueren aan op aanverwante digitaliseringsactiviteiten van het managementteam, zoals mogelijke vergroting van de capaciteit van het netwerk. 1.6 Onderwijskundig kader Het onderwijs binnen het VUmc-compas is ingericht volgens de volgende principes 1 : Integratie van kennis en vaardigheden in competenties Taakgestuurd onderwijs Leren in context Toetsing als stimulans voor leergedrag 1 Uit: J.A.A.M van Diemen et.al. (2005). VUmc-compas; Beschrijving van de bacheloropleiding en de masteropleiding geneeskunde. 6

7 De onderwijsevaluatie is opgericht om input te geven om het onderwijs bij te stellen daar waar niet aan de bovenstaande uitgangspunten voldaan wordt. Voor de kwaliteitszorg wordt een continue cyclus (Plan, Do, Check, Act) gevolgd, waarin de kwaliteit van het onderwijs van het VUmc-compas continu gemeten en verbeterd wordt. Met de digitalisering van de evaluaties wordt getracht het evaluatieproces efficiënter te laten verlopen, waardoor de kans op procesfouten verkleind wordt, wat ten goede komt aan de kwaliteit van het onderwijs. Op dit moment vindt de docentevaluatie binnen de kwaliteitszorg al gedigitaliseerd plaats op uitnodiging per , maar deze verloopt niet goed. 1.7 Kwaliteit De kwaliteit van dit project wordt gewaarborgd door de juiste personen bij het project te betrekken. Zoals in paragraaf 1.5 is beschreven, is de begeleidingscommissie dusdanig vastgesteld dat er een persoon verantwoordelijk is voor de kwaliteit van de uitgevoerde evaluatie, en daarmee voor de kwaliteit van het projectresultaat, de evaluatie in de pilot. Tevens is een persoon binnen de begeleidingscommissie verantwoordelijk voor het behalen van het projectdoel, waarmee de kwaliteit van het project gewaarborgd is. Ook in de projectgroep zijn die medewerkers geplaatst die samen alle benodigde expertise in huis hebben op het gebied van digitalisering en evaluatie en momenteel ook al betrokken zijn bij ofwel de schriftelijke evaluaties ofwel de huidige beeldschermtoetsing. Zie paragraaf 3.3 voor een overzicht van de projectgroep. 1.8 Disseminatie De ervaringen en aanbevelingen die uit dit project voortvloeien zullen een belangrijke input zijn voor de beslissing om wel of niet digitale evaluaties in te zetten in het gehele VUmc-compas. Daarnaast zijn de uitkomsten uit dit project een belangrijke input voor de andere faculteiten die overwegen de overstap naar digitale evaluaties te maken. De uitkomsten van dit project zullen aan de overige faculteiten van de VU en afdelingen van het VUmc beschikbaar worden gesteld door middel van de gebruikelijke kanalen. Hierbij valt te denken aan artikelen in de Tracer en Ad Valvas. Tevens zullen de uitkomsten als onderdeel van de samenwerking met het Onderwijscentrum VU verspreid worden via de medewerkers en de website van het Onderwijscentrum VU. De concrete resultaten van het project zoals de procesbeschrijving en het case-gebaseerd onderzoek zullen ter beschikking worden gesteld aan het onderwijscentrum VU en aan belangstellenden van andere faculteiten van de VU. 7

8 2. Gewenste ondersteuning Onderwijscentrum VU Hoewel het kwaliteitszorgsysteem voor het VUmc-compas ver ontwikkeld is, wordt voor dit project de volgende ondersteuning vanuit het onderwijscentrum VU gevraagd: 1. Technische ondersteuning bij het gebruik van QMP voor de evaluatie en zo nodig hulp bij het zoeken naar een ander geschikt softwarepakket dat aan de gestelde eisen voldoet. (bijvoorbeeld door Sylvester Draaijer); 2. Input voor de opzet van de pilot met daarbij meegenomen de ervaringen die reeds zijn opgedaan met FEWEB; 3. De verwerking van de digitale evaluatie van de pilot (bijvoorbeeld door Arthur van Oeveren); 4. Ondersteuning bij het opstellen van een procesbeschrijving voor de digitale evaluatie van de pilot, welke extraheerbaar is naar digitale evaluaties in het algemeen; 5. Ondersteuning bij en input voor het case-gebaseerde onderzoek. 3. Projectstructuur 3.1 Opdrachtgever project Mw. drs. J.A. Jansen, Manager Kwaliteitszorg VUmc-compas. 3.2 Begeleidingscommissie Naam Projectrol Functie Afdeling Manager kwaliteitszorg, Joke Jansen opdrachtgever project Manager sectie O&S Albert de Voogd binnen het OWI. Uren p/m Telefoon ja.jansen@vumc.nl ah.devoogd@vumc.nl 3.3 Projectleider en medewerkers Naam Projectrol Uren Telefoon Functie Afdeling p/w Daphne Bloemkolk, kwaliteitszorgmedewerker Projectleider d.bloemkolk@vumc.nl Onderwijsinstituut Renée Teunissen, kwaliteitszorgmedewerker Projectlid r.teunissen@vumc.nl Onderwijsinstituut Arthur van Oeveren (?), verwerkt alle evaluatieresultaten voor het Projectlid a.vanoeveren@ond.vu.nl Onderwijsinstituut vanuit het Onderwijscentrum VU Sylvester Draaijer (?), QMP-expert bij het Onderwijscentrum VU Projectlid s.draaijer@ond.vu.nl 8

9 Cor Camps, QMP-expert bij het Projectlid c.camps@vumc.nl Onderwijsinstituut NB: Er is bij dit project sprake van piekbelasting. Het genoemde aantal uren is dan ook een inschatting van de gemiddelde tijdsbelasting gedurende het gehele traject. Omdat het om een schatting gaat en er gedurende het project beslissingen genomen zullen worden welke de tijdsbelasting kunnen beïnvloeden, kan in overleg het aantal uren tijdsbelasting aangepast worden. 9

10 4. Planning Omdat er vooraf door de opdrachtgever een aantal eisen is gesteld aan de digitale evaluatie zijn er Go/No Go momenten in de projectplanning ingebouwd waarop wordt nagegaan of het verloop van het project nog past binnen de gestelde eisen van de opdrachtgever. De Go / No Go momenten van het project vallen aan het eind van fase 1, 2 en Activiteitenplanning Fase Maand Hoofdactiviteit Omschrijving Medewerker(s) 1 Heden t/m juni 07 Software keuzes maken 2 Juni 07 Keuzes maken over opzet 3 Juni 07 t/m augustus 07 4 September 07 t/m maart 08 Onderzoeksvoorste l schrijven Voorbereiding en uitvoering pilot Keuze maken in welke software wordt gebruikt voor de digitale evaluatie. (QMP of anders) o.b.v. de eisen en uitgangspunten zoals genoemd in dit voorstel op p4 en p5. Keuze maken in de opzet van de evaluatie: 1. Wat wordt er geëvalueerd (cursus, semester, tutor of anders)? 2. In welk studiejaar wordt de evaluatie afgenomen (1e, 2e of 3 e )? 3. Wordt één groep studenten opgesplitst in twee groepen, waarbij de ene helft de digitale en de andere helft de schriftelijke evaluatie invult? Of worden twee evaluaties afgenomen in twee verschillende groepen, de een schriftelijk en de ander digitaal? M.a.w. wordt de onderwijsevaluatie die jaar digitaal afgenomen en vergeleken met de schriftelijke evaluatie van vorig jaar? Of wordt cursus x digitaal geëvalueerd en vergeleken met cursus y die schriftelijk is geëvalueerd? Of vindt binnen dezelfde evaluatie een opsplitsing in twee groepen plaats? 4. Wanneer wordt de evaluatie afgenomen? Tijdens een PAK of op een ander moment? Schrijven onderzoeksvoorstel o.b.v. bovengenoemde keuzes. Onderzoeksvoorstel gaat over de vergelijking van het evaluatieproces bij een schriftelijke evaluatie en een digitale evaluatie afname. Maken procesbeschrijvingen voor de digitale en schriftelijke evaluatie, het digitale systeem voorbereiden en vullen voor de Projectteam Projectteam Projectteam Projectteam 10

11 digitale evaluatie, de schriftelijke evaluatieformulieren organiseren, de evaluatie digitaal en schriftelijk uitvoeren en de resultaten van beide verwerken. 5 April 08 Pilot afgerond Gehele pilot heeft 1 keer gedraaid Projectteam 6 Mei 08 Check doorlopen Check de beschrijvingen van de processen voor digitale en Projectteam 7 Mei 08 t/m Augustus 08 proces Afronding schriftelijke evaluatie en stel bij indien nodig. Case-onderzoek wordt geschreven, waarbij het digitale evaluatieproces wordt vergeleken met het schriftelijke evaluatieproces. Hieruit volgt een antwoord op de vraag die centraal staat in dit project: is digitalisering van het onderwijsevaluatieproces een oplossing voor omvangrijke logistiek bij een schriftelijke evaluatie? Projectteam NB: Omdat de precieze invulling van de pilot nog onduidelijk is en de mogelijkheden en de keuzes die gemaakt moeten worden in fase 1 en 2 van invloed zijn op het precieze tijdstip waarop de pilot plaats zal vinden, wordt de vrijheid genomen om in samenspraak met het Onderwijscentrum VU uit te kunnen lopen op de projectplanning, met in acht neming van de uiterlijke deadline van 31 augustus

12 5. Begroting Fac. in fte # mnd Fac. in OND in fte # mnd PERSONEEL projectleiding 0,2 18 onderwijskundige expertise n.v.t. n.v.t technische expertise 0,1 18 0,1 12 vakinhoudelijke expertise 0, ,1 12 secretariële ondersteuning 0,1 18 MATERIEEL hardware/ infrastructuur n.t.b. n.t.b. software n.t.b. n.t.b. diversen 2000 TOTAAL NB: omdat de start van het project voor 1 september 2007 ligt, overschrijdt de totale duur van het project de 12 maanden. Wij realiseren ons dat de educatieve middelenpool formeel pas vanaf 1 september 2007 operationeel zal zijn. Voor een gedegen voorbereiding op 1 september is het echter noodzakelijk eerder met het project te starten. Het is wenselijk voor een naadloze aansluiting met de educatieve middelenpool dat het OC-VU tot 1 september 2007 naar vermogen meewerkt aan de voorbereidingen. Het leeuwendeel van de werkzaamheden tot 1 september 2007 zal uitgevoerd worden door medewerkers van het Onderwijsinstituut VUmc. Tevens is er bij dit project sprake van piekbelasting. Het genoemde aantal fte s is dan ook een inschatting van de gemiddelde tijdsbelasting gedurende het gehele traject. n.t.b. nader te bepalen 6. Ondertekening en datum Namens het Onderwijsinstituut VUmc Namens het OC-VU Mw. drs. J.A. Jansen Mw. drs. C.M.J. Peters Datum: Datum: 12