Eindrapportage Projecten programma Toetsing en Toetsgestuurd Leren

Transcriptie

1 Eindrapportage Projecten programma Toetsing en Toetsgestuurd Leren Digitaal toetsen met beelden, een etra dimensie Eindrapportage mei 2014 Penvoerende instelling: UMC Utrecht, divisie Beeld Projectleider: Prof. dr. J.P.J. van Schaik Projectsecretaris en contactpersoon SURF: drs. A. van der Gijp De eindrapportage is een zelfstandig leesbaar document, met een evaluatief karakter. Dit betekent dat een lezer, die geen van de andere stukken over het Project gelezen of gezien heeft, zich een goed beeld moet kunnen vormen van het gehele project. Uit de rapportage dient eenvoudig af te leiden zijn hoe de bereikte eindresultaten zich verhouden tot het Controlling Document. Bij elke publicatie van de (eind)resultaten van het project dient de Projectuitvoerder melding te maken van de medefinanciering van Stichting SURF. Daartoe dient hij de tekst zoals opgenomen in Bijlage 6 van de Subsidievoorwaarden in zijn publicatie op te nemen. 1

2 Samenvatting Het hoofddoel van het project was het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden van de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal toetsprogramma. In het project zijn randvoorwaarden voor de organisatie en ICT infrastructuur voor de digitale toets met beelden geschept. Er is een ontwerp gemaakt voor de digitale toets en de docenten zijn getraind in het maken van de digitale beeldvragen. Er zijn veel tests en pilots uitgevoerd om de toetsafnames uiteindelijk optimaal te laten verlopen. Dit proces is uiteindelijk driemaal doorlopen als voorbereiding op de afname van drie digitale voortgangstoetsen radiologie. De in totaal 1106 toetsafnames zijn succesvol verlopen. Na de toetsafnames vonden er evaluaties plaats op deelnemers-, docent- en projectniveau. Er is een structuur opgezet voor een itembank en er zijn nieuwe feedbackmodules ontwikkeld. Een deel van de nieuwe feedbackmodules is reeds ingezet. Er is een advies geschreven over de manier van implementatie van de feedbackmodules en de itembank. Uit het project kunnen we concluderen dat digitaal toetsen met beelden veilig en betrouwbaar op grote schaal kan worden uitgevoerd en dat de implementatie hiervan de kwaliteit van toetsen met beelden kan verbeteren. De resultaten van het project zijn duurzaam, omdat de digitale voortgangstoets radiologie voortaan onderdeel zal zijn van het reguliere toetsprogramma in de medisch specialistische vervolgopleiding radiologie. 2

3 Inleiding Opzet en doel van het project Het hoofddoel van het project is het optimaliseren van de kwaliteit en efficiëntie en het uitbreiden van de mogelijkheden van toetsing van beeldinterpretatievaardigheden in de voortgangstoets in de specialistenopleiding radiologie met behulp van authentieke 2D- en 3D-beeldvragen in een digitaal toetsprogramma. Daarmee zal (in elk geval op langere termijn) de gepercipieerde werkdruk door opleiders bij voortgangstoetsing kunnen afnemen. De verhoging van de authenticiteit van de toetsing kan motiverend werken naar de deelnemers en daarmee indirect bijdragen aan hun studiesucces. Om dit doel te realiseren wordt een overdraagbaar prototype digitaal toetsontwerp en een procesgericht feedbacksysteem geënt op beeldinterpretatievaardigheden ontwikkeld en geïmplementeerd in de landelijke opleiding radiologie. Het feedbacksysteem koppelt, gebaseerd op het idee van learning analytics, het handelingsproces van aios tijdens beeldinterpretatie in een rapportage terug. Dat werkt studiesucces in de hand. In het project vonden eerst voorbereidende werkzaamheden plaats, zoals opstellen van de eisen voor de ICT infrastructuur en de realisatie hiervan (werkpakket 1), het herontwerpen van de toets (werkpakket 2) en het selecteren van belangrijke parameters voor feedback (werkpakket 3). Vervolgens werden er verscheidene pilots uitgevoerd en is de digitale voortgangstoets met 2D en 3D beelden uiteindelijk digitaal afgenomen (werkpakket 4). Tot slot zijn de resultaten geëvalueerd (werkpakket 5). Belangrijkste te behalen resultaten Het beoogde resultaat van het projectvoorstel was om het digitaal toetsen van 2D- en 3Dbeeldinterpretatievaardigheden te integreren in landelijke voortgangstoetsing, in dit geval de landelijke VGT radiologie. Dit met behulp van het toetsontwerp en met de vraagtypen waarmee deze vaardigheid zo optimaal mogelijk getoetst kan worden. Daarnaast wordt het toetssysteem voorzien van een feedbacksysteem, dat de deelnemers specifieke feedback geeft over hun beeldinterpretatievaardigheden. De volgende concrete resultaten / deliverables werden beoogd te behalen: 1. Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden. 2. Vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten. 3. Scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie. 4. Een training over toetsconstructie, in het bijzonder gericht op het construeren van toetsen met beeldvragen. 5. Een structuur van een digitale itembank met 2D- en 3D-beeldvragen 6. Een beschrijving van het feedbacksysteem gericht op een innovatieve manier van procesmatige feedback geven op beeldinterpretatievaardigheden. 7. Een format voor terugrapportage van de feedback op beeldinterpretatievaardigheden. 8. Rapportage resultaten systeemkwaliteit, psychometrische kwaliteit, en tevredenheid van aios, opleiders en eamencommissieleden met de herontworpen digitale voortgangstoets en het feedbacksysteem in dit project. 9. Handboek Landelijke digitale toetsing met 2D- en 3D-beelden, waarin de kennis uit het project gebundeld wordt. Participerende instellingen Stuurgroepleden: 3

4 Prof. Dr. M. Maas, voorzitter onderwijscommissie Nederlandse Vereniging voor Radiologie (NVvR) Prof. Dr. Th. J. ten Cate, hoogleraar medische onderwijskunde UMC Utrecht en voorzitter van de Nederlandse Vereniging voor Medisch Onderwijs (NVMO) Prof. Dr. J.S. Laméris, (tot begin 2014) divisievoorzitter en hoofd van de afdeling radiologie in het AMC Dr. A.J. Smeets, radioloog (St. Elizabeth ziekenhuis Tilburg) en (tot eind 2013) voorzitter NVvR Dr. J.A. Vos, radioloog (St. Antonius ziekenhuis Nieuwegein) en voorzitter eamencommissie NVvR Projectleider: Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding Co-projectleider Amsterdam Drs. C.A. Tipker (AMC), radiodiagnostisch laborant en wetenschappelijk docent Co-projectleider Utrecht Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences), universitair onderwijskundig onderzoeker en docent Projectsecretaris Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs Projectgroep: Prof. Dr. A.D.C. Jaarsma (AMC), hoogleraar Evidence-Based Education Drs. J.W. van den Berg (AMC), arts en promovendus medisch onderwijs Drs. C.A. Tipker AMC), radiodiagnostisch laborant en wetenschappelijk docent Drs. K. de Crom (AMC), adviseur onderwijstechnologie, focus gebieden digitaal toetsen, projectmanagement en computer-mens interactie Prof. Dr. J.P.J. van Schaik (UMCU), hoogleraar radiologie, in het bijzonder onderwijs en opleiding Dr. I.C. van der Schaaf (UMCU), radioloog Dhr. P.J. van der Schoot (UMCU), adviseur ICT Drs. C. Mol (UMCU), onderzoeker Image Sciences Institute Dr. Ir. K.L. Vincken (UMCU), universitair hoofddocent Image Sciences Institute Drs. C.J. Ravesloot (UMCU), radioloog in opleiding en promovenda medisch onderwijs Drs. A. van der Gijp (UMCU), radioloog in opleiding en promovenda medisch onderwijs Dr. M.F. van der Schaaf (UU, Faculteit Sociale Wetenschappen, Educational Sciences, universitair hoofddocent Dr. D.R. Rutgers (UMCU), radioloog en lid van de eamencommissie van de NVvR (later toegetreden als nieuw projectlid) Projectperiode 1 Maart 2012 t/m 31 April 2014 (incl. verlenging van 2 maanden) Begroting en subsidie Totale projectbegroting: Toegekende subsidie:

5 Beschrijving per werkpakket Per werkpakket: een inhoudelijk evaluatief verslag van de activiteiten en resultaten/deliverables die zijn uitgevoerd respectievelijk bereikt, afgezet tegen de afspraken die zijn gemaakt in het Controlling Document. In deze paragraaf wordt per werkpakket beschreven welke activiteiten zijn uitgevoerd conform het controlling document en op welke punten de activiteiten afwijken van het controlling document. In bijlage 2 is een overzicht opgenomen met de deliverables die opgeleverd zijn per werkpakket. Werkpakket 1 Randvoorwaarden: De voorwaarden m.b.t. infrastructuur van toetszalen, netwerk- en systeembeheer, toetssoftware, uitwisseling van toetscontent en het faciliteren van een nakijkmodel zijn in kaart gebracht. Ontwikkeling: De gebruikte toetslocaties zijn in kaart gebracht en beoordeeld op geschiktheid voor het afnemen van testen op grote schaal. Veiligheid omtrent gebruik van beelddata voor en tijdens de toets is procedureel opgezet, met speciale aandacht voor anonimisatie van patiëntendata. Er is een begin gemaakt met faciliteren van een itembank voor beelddata, met name de eisen die aan VQuest gesteld worden zijn uitgewerkt. Toepassing: Stresstests zijn uitgevoerd op 4 verschillende niveaus van toetsafname. De software is getest op gebruiksvriendelijkheid en veiligheid van antwoorden. Het reviewproces voor het werken met grote datasets is in kaart gebracht. De volgende punten wijken af van het controlling document: De functionaliteit voor het inrichten van een itembank via VQuest is nog in ontwikkeling. De volgende punten zijn etra uitgevoerd: -De beveiliging van de toets in een netwerkomgeving is op meerdere manieren getest: met eterne software (Kioware) en d.m.v. group policy (Windows). -twee pilots in het AMC tijdens het blok 3D mens van de basisopleiding geneeskunde. Werkpakket 2 De volgende punten zijn uitgewerkt conform het Controlling Document: Resultaten 1. Resultaten betrouwbaarheidsanalyses, dekking toetsmatrijs en uitkomsten factoranalyse 2. Resultaten vragenlijsten deelnemers (aios en opleiders) 3.Nieuwe vraagtypen voor 2D- en 3Dbeeldvragen met psychometrische kwaliteit (onderscheidend vermogen, moeilijkheidsgraad) Deliverables Hoofdstuk 2 in het handboek Landelijke digitale toetsing met 2D- en 3Dbeelden - Document met vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten 4.Toetsontwerp: toetsmatrijs - Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden 5.Toetsontwerp: scoremodel - Document met scoremodel voor de 2D- en 3D-vragen van de voortgangstoets radiologie. 6. Docenttraining met evaluatie - Een training over toetsconstructie van 2D- en 3D-beeldvragen 7.Structuur itembank - Een structuur van een digitale itembank met 2D- en 3D-beeldvragen 5

6 Randvoorwaarden: Een randvoorwaarde voor WP2 was het opstellen van het studentmodel. Dit heeft deels plaatsgevonden in het Surf project toetsing in Beeld. ECD Kernvraag Methode Deliverable 1. Studentmodel Wat houden Literatuurstudie en Beschrijving van het construct en de (SURF project beeldinterpretatievaardigheden empirisch onderzoek ontwikkeling van Toetsing in in? Wat willen we toetsen? in het lopende SURF beeldinterpretatievaardigheden (deze beeld, lopend project Toetsing in deliverable is onderdeel van het onderzoek) beeld SURF project Toetsing in beeld). Ontwikkeling: De ontwikkeling van WP2 vond plaats via de procesgang van het Evidence Centered Design (ECD) van Mislevy. De volgende stappen zijn uitgevoerd: ECD Kernvraag Methode Deliverable 2. Taakdomein Welke (toets)vragen (zowel inhoudelijk en qua vorm) zijn nodig om informatie te krijgen over de beeldinterpretatievaardigheden van de AIOS? Welke essentiële taakkenmerken moet het toetsprogramma (VQuest) daarvoor hebben? Literatuurstudie Item en toetsanalyse op bestaande data 3. Bewijsmodel Wat telt als bewijs voor beeldinterpretatievaardigheden en hoe interpreteren we dit bewijs? Item- en toetsanalyse op bestaande data Een toetsmatrijs met te dekken onderwerpen en vaardigheden in de toetsing van beeldinterpretatievaardigheden. Vraagtypen die geschikt zijn om beeldinterpretatievaardigheden te meten. Scoringsregels en nakijkmodel van de voortgangstoets radiologie met 2D- en 3D-vragen. Een samengestelde voortgangstoets met 2D- en 3D-beeldvragen. 4. Assemblage Hoeveel taken en welke soort taken zijn nodig in de complete toets? (welke vragen en in welke volgorde van moeilijkheid etc.) Training en toetsconstructie met leden van de eamencommissie radiologie Een training over toetsconstructie. Een basis van een digitale itembank met 2D- en 3D-beeldvragen worden opgeleverd, waarin in ieder geval voldoende beeldvragen voor de eerste landelijke digitale voortgangstoets opgenomen zullen zijn. De digitale itembank zal een database bevatten waarin kwaliteitsindicatoren per vraag kunnen worden opgenomen na toetsafname Toepassing: De toepassing van WP2 is terug te vinden in de uiteindelijk ontwikkelde toets. Dit is conform fase 5 in het ECD uitgevoerd. ECD Kernvraag Methode Deliverable 5. Presentatie (zie werkpakket 4) Hoe wordt de toets gepresenteerd, hoe ziet de toets eruit? Wat zou de afnamesituatie Gebruik maken van ervaringen tijdens pilots Gebruik maken van Een gebruiksvriendelijk en intuïtief interface voor toetsafname en toetsconstructie 6

7 moeten zijn? Wat zijn technische, materiële voorwaarden om taakuitvoering op te roepen? Hoe kunnen de scores effectief gepresenteerd worden gegevens uit de literatuur. Specificaties over een overzichtelijke en effectieve manier van score representatie De volgende punten wijken af van het controlling document: Geen De volgende punten zijn etra uitgevoerd: Voor de training van eamencommissieleden is accreditatie verleend. Werkpakket 3 De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: betekenisvolle parameters zijn gedefinieerd aan de hand van literatuuronderzoek. Verschillende manieren van rapporteren en visualiseren van de parameters zijn voorgesteld. Ontwikkeling: De etractie van de parameters is gerealiseerd door middel van een logfile-script, dat de ruwe data omzet in de betekenisvolle parameters. Toepassing: De logfiles zijn omgezet in parameters door middel van het logfile programma. De volgende punten wijken af van het controlling document: De rapportages zijn nog niet verspreid onder aios en opleiders. De volgende punten zijn etra uitgevoerd: -Er is een advies geschreven voor de eamencommissie waarin aangedragen wordt welke feedbackmogelijkheden er zijn en hoe deze optimaal ingezet kunnen worden. -er is een feedbackmodule ontwikkeld en toegepast waarmee de gegeven antwoorden, juiste antwoorden en scores automatisch gegenereerd kunnen worden en per naar de deelnemers gestuurd kunnen worden. Werkpakket 4 De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: Pilots en drie digitale afnamen van de voortgangstoets hebben geleid tot aanscherping van de randvoorwaarden van toetsafname (wp 1), zowel qua ICT infrastructuur als organisatie. Overall is geconcludeerd dat tijdens alle toetsafnamen aan de gestelde randvoorwaarden is voldaan. Ontwikkeling: Implementatie van de digitale voortgangstoets heeft waardevolle informatie opgeleverd met betrekking tot de presentatie van de toets(resultaten) en toetsinhoud. Deze informatie is in WP1, WP2 en WP3 gebruikt om de workflow, de (feedback op de) digitale voortgangstoets en VQuest te optimaliseren. Toepassing: naast verschillende pilots, zijn drie digitale voortgangstoetsen afgenomen. Iedere afname van de voortgangstoets had zijn eigen specifieke aandachtspunten, maar overall zijn de toetsafnamen succesvol te noemen. De volgende punten wijken af van het controlling document: Geen. De volgende punten zijn etra uitgevoerd: -een etra afname van de voortgangstoets in april concept incidenten en calamiteitenplan Werkpakket 5a De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: de kwaliteitsindicatoren en bijbehorende parameters die nodig zijn voor de evaluatie van de toetskwaliteit zijn vastgesteld en beschreven in het handboek H5a. Ontwikkeling: op basis van de benodigde parameters is een gebruikersevaluatie (in de vorm van een enquête) en een item- en toetsanalyseplan opgesteld. 7

8 Toepassing: de vragenlijsten zijn afgenomen en geanalyseerd. De itemanalyse per toets is uitgevoerd. De kwaliteit van de digitale beeldvragen is vergeleken met de kwaliteit van de schriftelijke beeldvragen. De volgende punten wijken af van het controlling document: Er is geen aparte gebruikersevaluatie ontwikkeld en afgenomen voor het feedbacksysteem, omdat deze niet in de voorgenomen vorm is toegepast onder de aios. Er is wel een gebruikersevaluatie ontwikkeld voor de evaluatie van de ontwikkelde feedbackmodule bij studenten, maar dit valt niet onder dit project. De volgende punten zijn etra uitgevoerd: Na elke digitale voortgangstoets werd er een evaluatiebijeenkomst gehouden met de projectgroep en met leden uit de staande organisatie om de belangrijkste evaluatiepunten te bespreken en plannen te maken voor verdere kwaliteitsverbetering. Werkpakket 5b De volgende punten zijn uitgewerkt conform het Controlling Document: Randvoorwaarden: definities van de itembank, het feedbacksysteem en de relatie met de ontwikkelgroep van VQuest zijn vastgelegd en deels beschreven in het advies aan de eamencommissie en deels in de licentieovereenkomst. Ook de kosten voor de nieuwe digitale voortgangstoets zijn bepaald en deze zijn vergelijkbaar met de huidige kosten. De licentiekosten zijn vastgelegd in de licentieovereenkomst. Ontwikkeling: op basis van resultaten van de vragenlijsten en ervaringen van de toets zijn voortdurend aanpassingen gedaan in het toetssysteem en in de organisatie Toepassing: Er is een licentie opgesteld voor de eamencommissie. De overdracht naar de staande organisatie heeft grotendeels al geleidelijk plaatsgevonden tijdens de voorbereidingen van de derde digitale voortgangstoets. Op de overdrachtsvergadering van 12 juni a.s. zal de officiële overdracht plaatsvinden. De volgende punten zijn etra uitgevoerd: Er is een advies geschreven voor de eamencommissie waarin onder andere de draaiboeken zijn opgenomen ten behoeve van de borging van het project. 8

9 Overige zaken Kennisdisseminatie Er is veel aan kennisdisseminatie gedaan, zowel op nationaal als op internationaal niveau. De disseminatie vond voornamelijk plaats op onderwijskundige en radiologische congressen en bijeenkomsten. Als afsluitende disseminatieactiviteit is er een symposium georganiseerd in samenwerking met het project Toetsing in Beeld. Tevens is er een handboek gemaakt met de belangrijkste projectresultaten, zodat de kennis die is opgedaan tijdens dit project niet verloren gaat. Lijst met disseminatieactiviteiten -Er is geparticipeerd in alle projectbijeenkomsten van SURF. -Er is een publieksversie van het projectvoorstel gemaakt en deze is uitgedeeld aan belangrijke betrokkenen, bijvoorbeeld uit de Nederlandse Vereniging van de Radiologie. Eén van de projectleden is aangewezen als PR-coördinator om disseminatie activiteiten aan te sturen. -De eamencommissie heeft een uitgebreide demo gehad van het programma en was erg enthousiast -Eén van de leden van de junior NVvR (belangenbehartiging van de radiologen in opleiding) is als contactpersoon voor de projectgroep aangewezen en heeft een individuele uitleg over het project en een demo van het programma gekregen. -Op 27 september is er tijdens de algemene ledenvergadering van de junior NVvR (hierin zijn alle aios radiologie vertegenwoordigd) een presentatie gehouden over de digitalisering van de VGT. -Tijdens de radiologendagen (jaarlijks congres) op 26 en 27 september werd het project onder de aandacht gebracht middels een stand. Aios en andere geïnteresseerden werden in de gelegenheid gesteld om te oefenen met het toetsprogramma. Er waren vier computers met een oefentoets waarmee de aios alle functionaliteiten van het toetsprogramma konden uitproberen. Er werd ook een instructiefilmpje getoond en er werden flyers uitgedeeld. Er was zeer veel animo, de stand werd steeds druk bezocht. -alle leden van de NVvR werden tevens op de hoogte gebracht van het project via de nieuwsbrief van de NVvR. -alle aios en opleiders hebben apart een gekregen waarin de nieuwe ontwikkelingen nogmaals aangekondigd werden en waarin aangekondigd werd dat er een stand zou zijn op de radiologendagen. -Tijdens de EARLI studiereis is het projectteam vertegenwoordigd door 2 projectleden. -Tijdens de training voor de eamencommissieleden hebben zij nader kennisgemaakt met het project en met het toetsprogramma (hands-on). -Op het NVMO congres waren vele projectleden aanwezig en hebben hier kennis opgedaan over digitalisering van toetsing (o.a. over het IMS systeem). -Enkele projectleden zijn naar het RSNA congres in Chicago geweest. Hier zijn vooral ideeën opgedaan over het gebruik van systemen waarmee gemakkelijk data uitgewisseld kunnen worden (MIRC) en systemen voor metadatering van radiologische beelden (radle). -de digitale VGT op 19 april kreeg aandacht op de site van het AMC en het UMCU -bericht in de nieuwsbrief van de NVvR -Artikel over de eerste digitale afname in het tijdschrift Discours (zie bijlage discours12- radiologietoets ). Discours is een tijdschrift voor co-assistenten, arts-assistenten en hun opleiders in de AMC-opleidingsregio. -pecha cucha voor De onderwijsdagen gemaakt -presentatie eerste projectresultaten op de RSNA (groot radiologisch congres in de VS). Tevens een congres waar veel contacten kunnen worden opgedaan voor het verspreiden van onze ideeën en promoten van VQuest. -Presentatie over VQuest op de public meets private dag van het UMC Utrecht waar academici en de private sector bij elkaar kwamen om ideeën uit te wisselen. 9

10 -Presentatie over de resultaten van de VGT op de Ottawa conference (conferentie over toetsing in medical education). -Presentatie over de eerste resultaten van de VGT op het ECR congres (Europees radiologisch congres) -Handboek met projectresultaten zowel digitaal als op schrift -Symposium met presentaties over de projectresultaten (i.s.m. het project Toetsing in Beeld) en een workshop over werken met VQuest -Presentatie projectresultaten op het CAA congres in Zeist In onderstaande tabel zijn de disseminatie-activiteiten samengevat. Activiteit / middel Doelgroep Datum / periode Publieksversie project Diverse stakeholders 1 e kwartaal Demo toetsprogramma Eamencommissie 6 maart 2012 Demo toetsprogramma Junior NVvR Maart 2012 Algemene leden vergadering junior NVvR (info over het project) Junior NVvR / aios 27 september 2012 Congres radiologendagen Aios / opleiders / leden NVvR 26 en 27 september 2012 Nieuwsbrief NVvR Leden NVvR Augustus met vooraankondiging over toetsafname Aios en opleiders September 2012 EARLI Sig 1, Brussel SURF epertisenetwerk augustus 2012 Training eamencommissie Leden eamencommissie 13 november 2012 NVMO, Maastricht Medici/onderwijskundigen november 2012 RSNA, Chicago Radiologen november 2012 Nieuwsberichten internetsite AMC/UMCU (zie bijlage 4 en 5) Werknemers AMC/UMC 19 april 2013 Nieuwsbrief NVvR Radiologen en aios 26 april 2013 Artikel Discours Werknemers AMC Juni 2013 Presentatie RSNA, Chicago Radiologen / radiologen in opleiding / wetenschappers Pecha Kucha De onderwijsdagen Geïnteresseerden in onderwijs Nov 2013 Presentatie Public Meets Private dag UMC Presentatie ECR, Wenen Presentatie Ottawa Conference Symposium ism Toetsing in beeld Handboek Presentatie CAA Publieke en private sector (academie en bedrijven) Radiologen / radiologen in opleiding / wetenschappers Geïnteresseerden in toetsing binnen medische educatie SURF projectleiders en geïnteresseerden in (digitalisering van) radiologisch onderwijs Iedereen die meer wil weten over implementatie van digitale toetsing met beelden Geïnteresseerden in digitaal toetsen 30 nov 7 dec oktober maart april maart mei juni

11 Effectmetingen Studie-uitval: Deze projectaanvraag had als subdoel de formatieve functie van de VGT te verbeteren. In de literatuur is voldoende bewijs dat formatieve toetsing grote impact heeft op ontwikkelingen en prestaties. De verwachting is dat een authentiekere toets leidt tot een betere acceptatie van de toets en de motivatie tot dieper leren stimuleert (Gulikers, J, (2006).Authenticity is in the eye of the beholder. Academisch proefschrift. Heerlen: Open Universiteit). Dit geldt ook voor de AIOS die goed presteren. Ook zij zijn gebaat bij een formatief toetsmiddel dat de werkelijkheid zo veel mogelijk weerspiegelt, zodat dit een waardering is van de verrichte studieactiviteiten en een stimulans geeft om deze studieactiviteiten voort te zetten. Aangezien we verwachten dat een effect op studie-uitval niet tijdens de projectperiode te detecteren zou zijn en een verandering in studie-uitval bovendien aan veel andere factoren toegeschreven kan worden, hebben we gekozen om de perceptie van de deelnemers over de authenticiteit van de toets en de acceptatie van de toets als (afgeleide) effectmaten te hanteren. In de enquête hebben we de deelnemers op deze onderdelen bevraagd. De resultaten laten zien dat de deelnemers de authenticiteit van de toets beter vonden door de digitale afname: ruim 70% van de deelnemers wilde dat de toets vaker met behulp van VQuest wordt afgenomen, ongeveer 18 % was neutraal. Ook vonden de meeste deelnemers dat digitale toetsafname beter aansluit bij de klinische praktijk: slechts 8% was het oneens met deze stelling. Werkdrukvermindering Het opstellen van 2D- en 3D-beeldvragen is een arbeidsintensieve aangelegenheid. Dit komt deels doordat het zoeken van geschikte casuïstiek veel tijd kost. Daarnaast wordt bij elke vraag een uitgebreide review cyclus doorlopen, wat een forse tijdsinvestering met zich mee brengt. In deze projectaanvraag wordt een fundament gelegd voor een in de toekomst te ontwikkelen itembank, hetgeen werkdruk vermindering in de hand kan werken. De structuur van de itembank zal vrijelijk beschikbaar zijn en kan gebruikt worden door andere instellingen die radiologische beeldinterpretatievaardigheden willen toetsen. Daarnaast is de ervaring dat er naar aanleiding van de itemanalyses en het commentaar van de AIOS steeds een aantal toetsvragen vervalt, terwijl het zoeken van casuïstiek en het opstellen van deze vragen wel veel tijd heeft gekost. In de toekomstige itembank zullen kwaliteitsindicatoren en de moeilijkheidsgraad na de eerste toetsafname worden geregistreerd. Het samenstellen van de volgende toets zal daardoor efficiënter verlopen. Immers de kwaliteit en moeilijkheid van de vragen zijn op voorhand bekend en toetsvragen kunnen dan zo nodig worden aangepast of komen te vervallen. De verwachting is dat er minder toetsvragen achteraf zullen vervallen. Tijdens de projectperiode is een structuur voor de itembank opgesteld, maar nog niet in gebruik genomen. We hebben het effect hiervan op de werkdruk van de eamencommissieleden dan ook niet kunnen meten tijdens de projectperiode. Daarnaast is de verwachting dat de digitale toets aanvankelijk juist etra tijd kost voor de eamencommissie. Om toch een indruk te krijgen van de verwachte gepercipieerde werkdruk van de digitale toetsing voor de eamencommissie hebben we gemeten hoe positief de eamencommissie tegenover de digitale toetsing staat (en stond voorafgaand aan het project). De redenatie hierachter is dat als je je werk leuk vindt, je minder werkdruk percipieert. We hebben hen een korte vragenlijst voorgelegd met vragen over hun mening en houding ten aanzien van digitaal toetsen en hun motivatie voor het maken van digitale toetsvragen. De vragenlijst is ontwikkeld en door de stuurgroep en het aanspreekpunt van de eamencommissie goedgekeurd. De vragenlijst is verstuurd naar alle eamencommissieleden die tijdens 1 of 2 van de digitale voortgangstoetsen in de eamencommissie zaten. De enquête is ingevuld door 43% van de eamencommissieleden die hebben meegedaan bij de toets constructie van één of meer digitale voortgangstoetsen. De respondenten hadden reeds een positieve houding ten opzichte van digitaal toetsen voorafgaand aan het project (gemiddelde score van 4 uit 5), maar deze houding bleef vergelijkbaar tijdens het project (gem. 4,2 uit 5). De respondenten zijn gemotiveerd om digitale 11

12 toetsvragen te maken en vinden de digitale VGT een kwaliteitsverbetering (beiden 3,8). De digitalisering heeft volgens de respondenten wel gezorgd voor meer werk (4,2), maar de meeste respondenten vinden het de tijdsinvestering waard, gezien de kwaliteitsverbetering (3,8). Concluderend is uit deze enquête gebleken dat de eamencommissieleden gemotiveerd zijn om 3D beeldvragen te maken, men de digitalisering een kwaliteitsverbetering vindt en men vindt dat de etra tijdsinvestering in verhouding staat tot de kwaliteitsverbetering. Psychometrische kwaliteit De geschatte betrouwbaarheid van beide digitale voortgangstoetsen was hoog (Cronbachs alpha rond.90) en vergelijkbaar met de betrouwbaarheid van de voorgaande schriftelijke voortgangstoetsen (.87 tot.96). De betrouwbaarheid van de 3D vragen was bij beide toetsen, indien gecorrigeerd voor het aantal vragen, iets hoger dan de betrouwbaarheid van de 2D vragen. In de eerste digitale VGT werd er hoger gescoord op de 3D beeldvragen dan op de 2D beeldvragen en in de tweede digitale VGT was er bijna geen verschil. Systeemkwaliteit Er zijn steeds verscheidene tests uitgevoerd om de systeemkwaliteit te meten. Alle tests kunnen onderverdeeld worden in twee categorieën: op student- en op docentniveau. Met studentniveau wordt bedoeld het gebruik van VQuest voor het afnemen van toetsen of het inkijken van gemaakte toetsen. Met docentniveau wordt bedoeld het samenstellen van nieuwe toetsvragen, toetsen en het nakijken van antwoorden. Als een test op studentniveau geslaagd is, betekent dit dat de omgeving geschikt is om VQuest als toetsmiddel in te zetten. Omdat de eisen (zoals wachttijd en stabiliteit) bij het inkijken minder streng zijn dan voor het afnemen, worden alle eisen op studentniveau bepaald in de zin dat het afnemen op grote schaal zonder problemen plaats kan vinden. De studentniveau test wordt op 4 manieren uitgevoerd: a. op een los werkstation, data lokaal Deze test is geslaagd. b. op een los werkstation, data op het netwerk Deze test is geslaagd. Er wordt geen gebruik gemaakt van draadloze verbindingen (bij afwezigheid van een bedraad netwerk, zoals laptops, wordt de toets per USB stick verspreid). c. in een netwerk van werkstations, data lokaal Deze test is geslaagd. Verschil met b is dat er nu meerdere toetsen tegelijk antwoorden en logfiles naar de server sturen. Dat blijkt geen probleem. d. in een netwerk van werkstations, data op het netwerk Deze test is geslaagd. (Zie opmerking bij b voor draadloze laptops). Bij elke test wordt gekeken naar de volgende punten: 1. opstarttijd VQuest Deze test is geslaagd. De opstarttijd is minimaal. 2. laadtijd 3D dataset van een bepaalde afmeting De maimale laadtijd voor een 3D dataset is ongeveer 10 sec. Niet elk werkstation of laptop haalt deze limiet. Dit is ondervangen door het tonen van een laadbalk die langzaam vol loopt. Daarmee wordt de langzame laadtijd geaccepteerd door de gebruiker. Dit geldt nog niet voor het laden van overlays (de rode structuren die zichtbaar worden bij een benoemvraag). 3. snelheid datamanipulatie (aanwijsvraag, window-leveling en scrollen) Deze test is geslaagd, de waardering uit de evaluatie is voldoende. 4. stabiliteit van het systeem Deze test is geslaagd. Bij alle grote toetsen zijn er geen noemenswaardige aantallen systemen uitgevallen. VQuest kan crashen bij een verkeerd opgestelde toets, maar dat blijkt dan al in docentmodus. In elke situatie wanneer dit gebeurt, wordt dit meteen doorgegeven aan het 12

13 ontwikkelteam. Daarmee wordt de foutenanalyse en stabiliteit van VQuest elke versie weer hoger. 5. betrouwbaarheid opslaan van antwoorden Deze test is geslaagd. Voor alle zekerheid worden de antwoorden tegenwoordig op 2 plaatsen weggeschreven: naar de server en lokaal. Op het einde van de toets worden alle lokale antwoorden als back-up nogmaals weggeschreven naar de server. Controle leert dat deze back-up niet gebruikt hoeft te worden, omdat er geen verschillen zijn tussen de antwoorden op server en de back-up. Het systeem kost nauwelijks etra bandbreedte, dus voorlopig houden we deze voorziening overeind (voor het geval dat er ooit iets mis gaat op de server of het netwerk). Na de ervaringen in de VU wordt voortaan ook op docentniveau getest. Dit houdt in dat een afgevaardigde van de eamencommissie de toets steeds ter plaatse test. Dit om ervoor te zorgen dat alle beelden goed beoordeelbaar zijn. De kwaliteit van de beelden wordt getest op: 1. Grootte / resolutie van het beeld evt. kunnen loze ruimten aan de zijkanten van de afbeelding nog verder worden geminimaliseerd 2. Mate van hinder door reflectie van het folie aan de randen evt. aan te passen door de afbeeldingen te verplaatsen in de lay out 3. Mate van hinder door lichtinval (eperimenteren met alternatieve sfeerverlichting ) Eploitatieplan/implementatieplan Daadwerkelijk gebruik van de projectresultaten Het belangrijkste resultaat van het project is dat de nieuwe, digitale voortgangstoets onderdeel is geworden van het reguliere toets programma en voortgezet zal worden door de staande organisatie. Tijdens de projectperiode zijn al veel stappen in het implementatieproces gezet. Na de projectperiode zal de nieuwe opzet overgenomen worden door de NVvR en in het bijzonder de eamencommissie. Omdat deze bestuursorganen deelnamen in het project en de eamencommissie tijdens de projectperiode de nieuwe manier van toetsing eigen zullen maken, wordt verwacht dat de overgang na het project geen grote problemen oplevert. De nieuwe opzet zal naar verwachting minstens 10 jaar volwaardig deel uitmaken van de opleiding en aangeboden worden aan honderden aios per jaar. Daarnaast kan een soortgelijk systeem met beeldvragen ingevoerd worden op diverse andere niveaus van de opleiding radiologie (coassistenten en mogelijk zelfs de specialisten radiologie), andere medische specialistenopleidingen (orthopedie, neurologie, chirurgie, dermatologie, pathologie) en zelfs in andere vakgebieden (kunst, geologie, biologie). De feedbackmogelijkheden die in VQuest mogelijk zijn worden nog niet optimaal gebruikt. Indien de onderzoeksresultaten van de visuele feedbackmodules positief blijven uitvallen (zie SURF-project ImageMe, learning analytics tender) kan dit hopelijk in de toekomst een stimulans zijn voor de eamencommissie om hier gebruik van te maken. De itembank wordt nog niet ingezet om bestaande toetsvragen opnieuw te gebruiken, omdat de eamencommissie de toetsvragen traditioneel bekend maakt aan de deelnemers zodat deze voor zelfstudie gebruikt willen worden. In het adviesrapport is het nut van de itembank voor zowel de kwaliteit als de efficiëntie van het vragen maken beschreven en een voorzet voor de structuur van de itembank opgenomen. Dit advies kan dan door eamencommissie gebruikt worden om de voor- en nadelen van de itembank met elkaar af te wegen en vormt meteen een leidraad voor implementatie ervan. Ook over de implementatie van de feedbackmodule is een advies opgesteld. Inbedding in de organisatie 13

14 Na het project zal de verantwoordelijkheid voor het maken van toetsvragen en de coördinatie van de VGT onveranderd bij de eamencommissie van de NVvR liggen. Het beheer van de toetsvragen (en het bijbehorende beeldmateriaal) zal terug worden overgedragen aan de eamencommissie. Het beheer zal naar verwachting wel ondersteund worden door het VQuest team. Het uitvoeren van de toetsanalyses zal onveranderd onder de verantwoordelijkheid van de NVvR vallen. De organisatie van de voortgangstoets wordt terug overgedragen aan de NVvR. Om dit te bewerkstelligen is een volledig draaiboek gemaakt voor de voorbereidingen, de afname en de resultaatverwerking van de toets. In dit draaiboek zijn ook de verantwoordelijkheden van de verschillende betrokkenen beschreven. Hoewel het NVvR bureau al een groot deel van de taken voor zijn rekening heeft genomen tijdens de laatste (derde) digitale toets, zullen nu ook de overige taken door het bureau opgepakt moeten worden. Op 12 juni a.s. is de laatste evaluatievergadering van de derde digitale VGT gepland en dan zal ook de definitieve overdracht gepland worden (van de organisatie van de digitale toets) naar de staande organisatie. Het bureau zal dan alle documentatie ontvangen (zover zij deze nog niet in bezit hebben), die nodig zijn voor de organisatie van de toets. Vanaf dat moment zal het NVvR bureau dan ook eigenaar worden van het draaiboek. De verantwoordelijk medewerker van het NVvR bureau is nauw betrokken geweest bij de ontwikkeling van het draaiboek en bij de organisatie van de voortgangstoetsen tijdens het project, zodat zij reeds op de hoogte is van het takenpakket. Om continuïteit en kwaliteit te waarborgen zijn twee contactpersonen uit het projectteam aangewezen (één uit het AMC en één uit het UMCU) die tijdens de organisatie van de komende digitale toets gecontacteerd kunnen worden bij vragen. 14

15 Evaluatie en lessons learned Evaluatiepunten Tijdsplanning Het project is grotendeels verlopen binnen de tijdsplanning. Doordat veel disseminatieactiviteiten aan het eind van het project of net daarna plaatsvonden is het project twee maanden verlengd. De tussendeliverables en deliverables zijn steeds op tijd opgeleverd. Twee tussendeliverables zijn vervallen na overleg met het SURF projectmanagement, omdat deze deliverables inhoudelijk te veel zouden gaan lijken op kort daarvoor opgeleverde deliverables in de betreffende werkpakketten. Het opstellen van de tussendeliverables tijdens het project kostte vrij veel tijd, maar sommige tussendeliverables konden aan het eind van het project gebruikt worden voor het handboek, zodat de tijdsinvestering zich op deze manier deels heeft terugbetaald. Budget Tijdens het project was er steeds sprake van onderuitputting. Dit kwam doordat veel facturen lang op zich lieten wachten. Vooral de facturen die via het AMC kwamen waren steeds erg vertraagd. Dit had te maken met de betrokkenheid van een onafhankelijk bedrijf dat het financiële projectmanagement van het AMC onder zijn hoede heeft, waardoor de facturen over veel schijven moesten gaan en de lijnen bepaald niet kort waren. In alle instanties duurde het erg lang voordat declaraties van projectleden bij de bedrijfsbureaus binnen waren. Dit zorgde voor een enorme vertraging. Verdere toelichting over de financiële eindrapportage is gegeven onder het kopje afsluitende financiële verantwoording. Samenwerking en communicatie Bij aanvang van het project was in het UMC reeds meerdere jaren ervaring met de digitale afname van radiologietoetsen bij studenten geneeskunde. In het AMC was dit echter niet het geval. Het AMC heeft deze hele organisatie en ICT infrastructuur weten op te bouwen in korte tijd, wat een grote organisatie is geweest. De onderlinge samenwerking tussen het UMC, UU en het AMC was erg goed: projectleden kwamen zeer regelmatig bij elkaar over de vloer voor vergaderingen, tests en uitleg over de ICT infrastructuur en het toetsprogramma. Toen de VU TenT in beeld kwam gingen projectleden gezamenlijk naar de VU. Verder is er heel veel mailcontact en telefonisch contact onderling geweest. De gezamenlijke disseminatieactiviteiten hebben het groepsgevoel verder versterkt en zorgden voor een zeer goede sfeer in de groep. Commitment De commitment voor het project is uitermate groot. Veel projectleden hebben op avonden en in het weekend gewerkt om deadlines te halen. Dit komt waarschijnlijk door de positieve sfeer in de projectgroep en de positieve ontvangst van de projectresultaten door andere betrokkenen. Daarnaast speelt waarschijnlijk ook mee dat het belang van slagen van het project groot is. Risico`s Tijdens de projectperiode is één van de acht risico`s opgetreden: Mogelijk risico: ICT infrastructuur ontoereikend door wijzigingen bij migratie PC`s in het AMC. De migratie brengt ongetwijfeld veranderingen met zich mee. Dit zou negatieve gevolgen kunnen hebben op de ICT infrastructuur die nodig is voor de toetsafnames. Kans: gemiddeld 15

16 Maatregel: Er is een projectlid van de ADICT betrokken, zodat de randvoorwaarden die nodig zijn voor het project meegenomen kunnen worden bij de migratie. De migratie van de computers in het AMC van de ICTO naar de ADICT was aanvankelijk uitgesteld tot de zomer 2013, maar enkele weken voor de eerste digitale toets bleek toch één van de zalen gemigreerd te worden vóór 19 april Na veel overleg en discussies hierover konden we uiteindelijk toch geen gebruik maken van deze zaal (hoewel deze zaal al ruim van te voren gereserveerd was). Uiteindelijk is dit opgevangen in het UMC Utrecht. Hier is een tweetal etra zalen gereserveerd en ingericht als toetszaal. Een mooie bijkomstigheid was dat het aantal deelnemers per locatie nu gelijk getrokken was, zodat de belasting beter verdeeld was. Dit risico bleef na de eerste digitale toetsafname actief (de rest van de migratie zou in de zomer plaatsvinden) en dit zou grote consequenties hebben voor de tweede digitale toetsafname (opnieuw veel etra werk om de toetsafname te realiseren, zoals nieuwe testen toetsprogramma, distributie van de toets, beveiliging). Aangezien er andere nadelen zaten aan de toetsafname in het AMC en UMC (twee locaties met veel zalen, waardoor zeer arbeidsintensieve organisatie en wisselende toetsomstandigheden), was de kans groot dat dit geen oplossing zou zijn voor de lange termijn en dat zou erg zonde zijn van de tijdsinvestering. Daarom hebben we geïnventariseerd of het mogelijk was om uit te wijken naar de VU en dit bleek een werkbare oplossing. Lessons learned Behoudens de inhoudelijk en organisatorische lessen, zijn er ook veel lessen geleerd op het gebied van projectmanagement en verandermanagement. -Projectmanagement kost veel tijd. Dit werd in dit project gedaan door de gedelegeerd projectleider en de co-projectleiders uit het AMC en de UU, terwijl dit projectleden waren die ook veel inhoudelijke taken hadden in het project. Het aanstellen van een projectmanager zou de werklast bij de projectleden kunnen hebben verlicht. -Een goede sfeer in het projectteam is cruciaal. Het team was zeer gedreven en sociaal en de sfeer was zeer goed, zodat regelmatig een stapje etra gezet werd om bepaalde doelen te behalen. -Van te voren goed nadenken over welke kosten door welke instantie gedragen zullen worden tijdens het project. Is het bijvoorbeeld wel nodig dat kosten die eerder door de staande organisatie gemaakt worden tijdens het project door de projectorganisatie worden gedragen? Als deze kosten niet overgenomen worden kun je de subsidiegelden direct inzetten voor alleen de projectontwikkeling en de vele personele uren die hierin gaan zitten. -Het is belangrijk om de staande organisatie zoveel mogelijk te betrekken in de projectontwikkelingen, zodat de veranderingen in de toekomst ook gedragen worden in de staande organisatie. Daarom is in de loop van het project een eamencommissielid toegevoegd aan het projectteam en is hij samen met de verantwoordelijk werknemer van het NVvR bureau bij projectvergaderingen aanwezig geweest. -Het bleek dat de staande organisatie wel bereid was te veranderen, maar alleen stapje voor stapje. Mogelijk kwam dit onder andere doordat er aanvankelijk geen leden uit de eamencommissie zitting hadden in de projectgroep (alleen in de stuurgroep). Hierdoor kregen zij initiatieven voor nieuwe ontwikkelingen in eerste instantie vaak als laatste mee, bijvoorbeeld tijdens een training, terwijl het uiteindelijk hun toets is en verantwoordelijk zijn voor de uitvoer ervan. Nadat we in overleg met de eamencommissie besloten hadden om één lid deel te laten nemen aan de projectvergaderingen als lid van de projectgroep werden de implementatiestappen groter en de lijnen met de betrokken eamenleden kleiner. Dit heeft de implementatie sterk bevorderd. 16

17 - Het afnemen van een digitale toets met beelddata op grote schaal vergt een nauwkeurige en realistische planning van alle verschillende stappen: data verzamelen, vragen maken, vragen reviewen, uiteindelijke toets samenstellen, geschikte zaal vinden en inrichten volgens veiligheidsrichtlijnen, toets meermalen testen op lokatie, toets afname volgens schema, binnen afzienbare tijd resultaten verwerken en terugkoppelen. Het is niet moeilijk in te zien dat deze stappen onderling sterk afhankelijk en consecutief zijn. Om niet in tijdnood te komen en een periode van etreme werkdruk te creëren, is het noodzakelijk ruim te plannen. Conclusies 1) Digitaal toetsen met beelden kan veilig en betrouwbaar op grote schaal op diverse locaties geïmplementeerd worden, mits een reële planning door alle betrokkenen wordt ondersteund en nageleefd. 2) De kwaliteit van digitaal toetsen met radiologische beelden m.b.v. VQuest is op meerdere (kwaliteits-)aspecten beter ten opzichte van schriftelijke toetsing. 3) De digitale voortgangstoets radiologie is onderdeel geworden van het reguliere toetsprogramma in de vervolgopleiding radiologie. 4) De structuur voor de itembank en de feedbackmethoden zijn in dit project ontwikkeld en in een advies aan de staande organisatie wordt aangegeven hoe dit te implementeren. 17

18 Afsluitende financiële verantwoording Zie bijlage voor de financiële rapportage. IBAN: BIC: NL69RABO RABONL2U Kenmerk: project nummer R2464 Toelichting Er is wat verschuiving opgetreden in de budgetten. We hebben budget overgehouden op de post materieel, doordat de kosten van de zaalhuur waren inbegroot, maar ten behoeve van de borging van het project zijn deze facturen na de eerste voortgangstoets verder voldaan door het NVvR bureau. Zij zullen deze kosten ook na de projectperiode moeten voldoen. Aan de andere kant was er juist budget te kort op de post personele uren. Er werden sowieso al meer uren gemaakt dan inbegroot, maar daarnaast zijn er tijdens de twee maanden verlenging van het project ook nog veel personele uren in het project gestopt. Deze personele uren hebben we na overleg met het SURF projectmanagement deels kunnen compenseren met het overgebleven budget van de materiele kosten, de post onvoorzien en de accountantskosten. De disseminatie post leek aanvankelijk nogal weinig benut. Deels komt dit doordat het zwaartepunt van de disseminatieactiviteiten in de laatste projectperiode lag. Daarnaast bleek bij een inventarisatie van de gedeclareerde kosten tbv disseminatie per projectlid dat een groot deel van de declaraties niet waren doorgekomen in het systeem (vanuit zowel het AMC, de UU als intern in het UMCU). Als gevolg hiervan konden deze kosten pas in de laatste periode worden opgenomen in de financiële eindrapportage. 18

19 Bijlage 1 Standlijnenoverzicht Evaluatie planning Het project is twee maanden verlengd in verband met disseminatieactiviteiten die na februari 2014 plaatsvonden. De disseminatieactiviteiten hadden hun zwaartepunt in het laatste deel van het project, doordat de eerste resultaten van het project pas in de tweede helft van het project beschikbaar waren (na de eerste digitale voortgangstoets van april 2013) en deze resultaten niet eerder ingediend konden worden bij congressen. De verlenging van twee maanden gaf ons tegelijkertijd de mogelijkheid om ook de derde digitale voortgangstoets nog te ondersteunen, zodat de overdracht naar de staande organisatie geleidelijk kon verlopen. Alle fasen binnen de werkpakketten zijn binnen de projectperiode doorlopen (groen gearceerd). De rood gearceerde gebieden zijn de maanden waarin de landelijke voortgangstoets radiologie plaats heeft gevonden. De witte kruisjes zijn momenten dat er tussendeliverables zijn opgeleverd en de zwarte kruisjes de momenten dat er einddeliverables opgeleverd zijn. De tussendeliverables waren waardevol voor het verspreiden van werklast, omdat hierdoor de projectresultaten al tijdens het project in stukjes waren opgeschreven. In de laatste periode, waarin de handboeken geschreven moesten worden en de derde digitale VGT ondersteund moesten worden, was het erg behulpzaam dat er reeds twee handboek hoofdstukken geschreven waren en dat er meerdere tussendeliverables waren om uit te putten voor het schrijven van de overige hoofdstukken M A M J J A S O N D J F M A M J J A S O N D J F Planning werkpakket 1 Randvoorwaarden Ontwikkeling Toepassing Opstellen deliverables Verlenging maart/april Opstellen deliverables / disseminatie M A M A M J J A S O N D J F M A M J J A S O N D J F Planning werkpakket 2 Randvoorwaarden Ontwikkeling Toepassing Opstellen deliverables Verlenging maart/april M A Opstellen deliverables / disseminatie 19

20 M A M J J A S O N D J F M A M J J A S O N D J F Planning werkpakket 3 Randvoorwaarden Ontwikkeling Toepassing Opstellen deliverables Verlenging maart/april Opstellen deliverables / disseminatie M A M A M J J A S O N D J F M A M J J A S O N D J F Planning werkpakket 4 Randvoorwaarden Ontwikkeling Toepassing X Opstellen deliverables Verlenging maart/april Opstellen deliverables / disseminatie M A M A M J J A S O N D J F M A M J J A S O N D J F Planning werkpakket 5 a) Evaluatie Randvoorwaarden Ontwikkeling Toepassing Opstellen deliverables Verlenging maart/april Opstellen deliverables / disseminatie 20

21 b) Borging Randvoorwaarden Ontwikkeling Toepassing Opstellen deliverables Verlenging maart/april Opstellen deliverables / disseminatie M A 21

22 Bijlage 2 Opgeleverde deliverables In onderstaande tabel is weergegeven welke deliverables er waren opgenomen in het Controlling Document en of deze zijn opgeleverd. Twee tussendeliverables zijn vervallen na overleg met het SURF projectmanagement, omdat deze deliverables inhoudelijk te veel zouden gaan lijken op kort daarvoor opgeleverde deliverables in de betreffende werkpakketten. Twee van de einddeliverables zijn niet apart opgeleverd, maar zijn ingebed in het handboek. In onderstaand overzicht is te zien op welke (tussen)deliverables dit van toepassing is. WP TD/ED* Deliverables Deadline Opgeleverd? 1 TD Werkdocument eisen ICT infrastructuur en organisatie 31 Augustus 2012 J Werkdocument beschrijving beveiliging, patiëntveiligheid, 31 December 2012 J review proces Eventuele aanpassingen tussendeliverables 1 en 2 31 Juli 2013 J ED Hoofdstuk 1 in het handboek Landelijke digitale toetsing met 2D- en 3D-beelden 1 e versie: 31 mei e N (vervallen) 2 e versie: 28 februari e : J 2 TD Concept studentmodel, op basis van resultaten SURF 30 Juni 2012 J project Toetsing in beeld Concept taakmodel: vraagtypen en toetsmatrijs 31 December 2012 J Werkdocument docenttraining 31 Juli 2013 J Eerste indicatie geschikte vraagtypen obv 1 e digitale VGT 31 Juli 2013 J ED Hoofdstuk 2 in het handboek Landelijke digitale toetsing 31 December 2013 J met 2D- en 3D-beelden Document met vraagtypen die geschikt zijn om 31 December 2013 J beeldinterpretatievaardigheden te meten Een toetsmatrijs met te dekken onderwerpen en 30 April 2013 J vaardigheden in de toetsing van beeldinterpretatievaardigheden Document met scoremodel voor de 2D- en 3D-vragen van 31 December 2013 J de voortgangstoets radiologie. Een training over toetsconstructie van 2D- en 3Dbeeldvragen 30 April 2013 J Een structuur van een digitale itembank met 2D- en 3Dbeeldvragen 30 April 2013 J 3 TD Concept betekenisvolle parameters 30 November 2012 J Concept formats rapportage feedback 31 Maart 2013 J Betekenisvolle parameters, aangepast nav 1 e pilot 31 Oktober 2013 J ED Hoofdstuk 3 in het handboek Landelijke digitale toetsing 28 Februari 2014 J met 2D- en 3D-beelden Een geschikt format voor terug rapportage van de feedback 31 Juli 2013 J op beeldinterpretatievaardigheden Beschrijving van het feedbacksysteem gericht op een 28 Februari 2014 J (handboek) nieuwe manier van procesmatige feedback geven op beeldinterpretatievaardigheden 4 TD Concept presentatie van de toets voor 1 e pilot VGT 28 Februari 2013 J Ervaringen pilot digitale VGT (technisch en organisatie) 31 Mei 2013 J Tweede concept presentatie van de toets nav ervaringen 1 e 30 September J pilot VGT 2013 Ervaringen digitale VGT (technisch en organisatie) 31 December 2013 J 22