Zelfevaluatie PASTEL project

Transcriptie

1 project Samenvatting Na één jaar looptijd van het Pastel project kan een balans worden opgemaakt met betrekking tot de voortgang. Een aantal activiteiten loopt geheel volgens planning en daarin zijn ook resultaten te vermelden, zoals: er zijn beoordelingsformulieren ontwikkeld voor een medisch inhoudelijke beoordeling en voor een onderwijskundige beoordeling van de E-learning modules in MedischOnderwijs.nl; er is een selectieprocedure afgesproken en het geplande aantal E-learning modules is ook geselecteerd; er is een beoordelingsprocedure afgesproken en volgens die procedure wordt ook gewerkt; een aantal E-learning modules (circa 15) is beoordeeld volgens de afgesproken procedure; er zijn afspraken gemaakt over de wijze waarop de verschillende beoordelingen (twee medisch inhoudelijke en een onderwijskundige) worden samengevoegd tot één oordeel en tevens is afgesproken op welke wijze een beoordeling zichtbaar zal worden gemaakt op de website van MedischOnderwijs.nl en wanneer een module een stempel krijgt; er zijn koppelingen gerealiseerd tussen MedischOnderwijs.nl en de ELO van Boerhaave en tussen MedischOnderwijs.nl en de website van PAOG Heyendael; er is een presentatie gegeven over het project tijdens het NVMO congres. Een activiteit loopt duidelijk achter op de planning en dat is het uitvoeren van de beoordelingen van de E-learning modules. Het blijkt lastiger dan gedacht om E-learning modules te laten beoordelen door inhoudelijk deskundigen. Dit komt deels door de drukke agenda van de medisch specialisten, deels door ziekte en verloop van projectmedewerkers, deels door de plug-ins die soms nodig zijn en misschien deels ook wel door een te ambitieuze planning van het aantal E- learning modules dat we willen beoordelen. Er zijn maatregelen genomen om deze knelpunten op te lossen en te proberen het geplande aantal toch te halen. Het volgende punt is nog belangrijk te vermelden. Veel modules zijn primair ontwikkeld voor de opleiding geneeskunde en/of biomedische wetenschappen. Het ligt voor de hand dat het niveau van deze modules niet zonder aanpassingen zomaar bij het postacademische onderwijs aansluiten. Dit maakt dat één van de opschalingdoelstellingen van het project wellicht niet te bereiken is. Pagina 1

2 Karakteristieken project Het PASTEL project beoogt te komen tot een opschaling van het gebruik van E-learning modules uit de portal MedischOnderwijs.nl. Deze portal wordt nu door medische studenten gebruikt om online medisch studiemateriaal te bereiken. Het PASTEL project heeft tot doel om het gebruik van dit materiaal uit te breiden. Dit gebeurt aan de ene kant door het toevoegen van een kwaliteitsbeoordeling aan de E-learning modules, waarmee studenten en docenten van (andere) medische faculteiten een beter zicht krijgen op de kwaliteit van het beschikbare E-learning materiaal. Aan de andere kant gebeurt dit door het gebruik van het materiaal te promoten naar andere doelgroepen zoals het postacademisch onderwijs. Doelstellingen: Ontwikkelen van een objectieve beoordelingsprocedure (accreditatie) voor medische E-learning modules. Selecteren van de lessen uit MedischOnderwijs.nl die geschikt zijn voor de doelgroep van nascholingsinstituten en hiertoe auteursrechtelijk vrij ter beschikking staan of na onderhandeling ter beschikking komen. Eenduidige beoordeling van de medische inhoud en onderwijskundige kwaliteit van een belangrijk aantal E-learning modules, op basis van de opgestelde beoordelingsprocedure. Dit aantal is aan het begin van het project op 100 gesteld. Het resultaat van de beoordeling zichtbaar maken in MedischOnderwijs.nl voor alle gebruikers. Koppelen van MedischOnderwijs.nl aan de elektronische leeromgevingen (ELO s) van de verschillende nascholingsinstituten. Rapporteren over de bevindingen van de artsen en de nascholingsinstituten bij de eerste inzet van E-learning voor nascholing en het effect van beoordelingsrapporten op de overige MedischOnderwijs.nl gebruikers. Projectperiode: Aanvang: januari 2007 Afsluiting: december 2008 Participerende instellingen: Boerhaave Commissie (Leids UMC) Wenckebach Instituut (UMC Groningen) Heyendael Commissie (UMC St Radboud, Nijmegen) Belangrijkste te behalen resultaten: Hoewel de opschaling het uiteindelijk doel is in dit project,wordt dit niet als resultaat van het project verwacht. In de twee jaar van dit project wordt de weg naar opschaling mogelijk gemaakt. Om E-learning in het postacademisch onderwijs in te kunnen zetten, moeten de modules van een beoordeling worden voorzien en door de beroepsverenigingen worden geaccrediteerd. Aangezien er bij de beroepsverenigingen nog weinig tot geen ervaring is met E-learning bestaat daarvoor geen beoordelingsprocedure. De resultaten van dit project zijn dan ook gericht op het opstellen van een dergelijke procedure en gebruik daarvan. 1. Eenduidige beoordelingsprocedure voor het vastleggen van de inhoud en de gebruiksvriendelijkheid van de E-learning modules uit MedischOnderwijs.nl. 2. Lijst met 100 E-learning modules die beoordeeld worden gedurende de looptijd van het project. 3. Gebruikers kunnen via de ELO, zonder opnieuw in te loggen, gebruik maken van de E- learning modules van MedischOnderwijs.nl en kunnen inzicht krijgen in de studieresultaten op deze modules. 4. De 100 geselecteerde E-learning modules worden beoordeeld en een beoordelingsrapport wordt in MedischOnderwijs.nl gezet indien relevant. Pagina 2

3 5. MedischOnderwijs.nl wordt aangepast om beoordelingen te bevatten, zodat gebruikers de beoordelingen kunnen inzien. 6. Rapportage en publicaties op congressen over de bevindingen van de inzet van E-learning modules bij de nascholing van artsen. Evaluatie per fase Onderstaand standlijnen overzicht laat de fasen van het project zien, de planning daarvan en de te behalen aantallen beoordeelde E-learning modules. Fase 1 Fase 2 Fase 3 Fase 4 Fase 5 Fase 6 Selectie Lessen Inzet en lessen accrediteren evaluatie Accreditatie procedure Koppeling MedischOnd erwijs.nl- ELO Jan 2007 Feb 2007 Mrt 2007 Apr Mei Juni Juli Aug Sept Okt Nov Dec Jan Feb Mrt Apr Mei Juni Juli Aug Sept Okt 2008 Nov 2008 Dec 2008 Integratie accreditatie- MedischOnd erwijs.nl Legenda Geen activeit Geplande activiteit Geplande deliverable 20 Voortgang activiteit Fase 1, Accreditatie procedure: Fase 1 is volgens planning afgerond. Het geplande resultaat, een eenduidige beoordelingsprocedure, is opgeleverd en staat op de pastel website: De drie partners in dit project gebruiken deze beoordelingsprocedure bij het uitvoeren van de beoordelingen van de E-learning modules. Pagina 3

4 Fase 2, Selectie lessen: De selectie van de E-learning modules loopt op dit moment op schema. Halverwege dit jaar was enige vertraging opgelopen in de selectie van E-learning modules. Dit kwam deels door wisseling van projectleden en deels door problemen met het niet kunnen bekijken van E-learning modules vanwege firewall en plugin problemen. Wat betreft bemensing is het project weer op sterkte en ook zijn oplossingen gevonden om E-learning modules toch te kunnen bekijken, ondanks plugin en firewall problemen. We streven er nu naar om vóór te lopen op de planning en dat lukt. Fase 3, Koppeling MedischOnderwijs.nl met ELO: Niet alle ELO s van de instellingen zijn al gekoppeld aan MedischOnderwijs.nl. De ELO in Leiden is wel gekoppeld. Hier ligt zowel een koppeling met het universitaire BlackBoard systeem als met twee ELO systemen die in gebruik zijn door de Boerhaave Cie. In Groningen zijn testen uitgevoerd en daaruit blijkt dat de koppeling op zich wel gemaakt kan worden. Er zijn echter ontwikkelingen voor 2008 gepland, waarin toegewerkt zal worden naar een generieke koppeling tussen de ELO en meerdere repositories, waarvan MedischOnderwijs.nl daar dan één van is. Mocht er voor het gereed komen van deze generieke koppeling behoefte zijn aan gebruik van E-learning modules in de ELO, dan kan het al bestaande Building Block vrij snel geïmplementeerd worden. In Nijmegen is met succes een koppeling gemaakt tussen de testversie van de PAOG Heyendael website en medischonderwijs.nl. Cursussen in de PAOG Heyendael website hebben een extra tabblad gekregen met als titel "E-module". Hierin kunnen links naar e-modules in medischonderwijs.nl geplaatst worden. Als er op zo'n link geklikt wordt dan wordt er automatisch ingelogd in medischonderwijs.nl en wordt de module opgestart. Fase 4, Lessen accrediteren: Met het beoordelen van E-learning modules lopen we achter op de planning. Dit komt deels door wisselingen die hebben plaatsgevonden van een aantal projectleden en door tijdelijke afwezigheid van andere projectleden. Verder blijkt het in de praktijk erg lastig om daadwerkelijk afspraken te laten plaatsvinden met medisch specialisten die de E-learning modules gaan beoordelen. Medische specialisten zijn drukbezet en afspraken kunnen vaak niet eerder dan na een aantal weken gepland worden en datzelfde is de realiteit wanneer een afspraak later toch verplaatst moet worden. Hierdoor loopt het proces van het beoordelen van modules vertraging op. Dit is ook de reden waarom we met de selectie van E-learning modules nu vóór willen gaan lopen. We hopen dat we hierdoor eerder afspraken kunnen gaan plannen. Fase 5, Integratie accreditatie MedischOnderwijs.nl: In deze fase is het de bedoeling dat MedischOnderwijs.nl aangepast zal worden, zodat beoordelingen zichtbaar gemaakt kunnen worden. De voorbereidingen hiervoor zijn in volle gang. We hebben een procedure ontwikkeld die beschrijft hoe de verschillende medisch inhoudelijke en onderwijskundige beoordelingen van een E-learning module samengevoegd zullen worden tot één beoordelingsrapport over die module. Dit rapport zal zichtbaar gemaakt worden bij de betreffende module op MedischOnderwijs.nl. Daarnaast is een technisch ontwerp gemaakt om de gegevens in de database van MedischOnderwijs.nl te kunnen inpassen. Fase 6, Inzet en evaluatie: Deze fase is volgens planning nog niet gestart. Op dit moment zijn er ook inderdaad nog geen E-learning modules die worden ingezet in de nascholing van artsen. Wat al wel wordt gedaan is disseminatie op congressen. Er is een presentatie gegeven van het project op het NVMO congres. Daarnaast is ingetekend op het Innovatium congres in maart 2008 en zal ook daar een presentatie worden gegeven. Het ligt in de planning om ook een publicatie te schrijven voor het AMEE congres in augustus Algemeen: Zoals reeds geschreven zijn de meeste E-learning modules in eerste instantie ontwikkeld voor de basis opleiding Geneeskunde. Het niveau is daarom vaak te laag om direct gebruikt te kunnen worden in het postacademische onderwijs voor de nascholing van specialisten en huisartsen. Dit Pagina 4

5 vindt men jammer, want de verwachting was dat er wel veel bruikbaar materiaal zou zitten tussen de circa 1000 E-learning modules. Dit lijkt echter niet het geval te zijn. Dit maakt dat één van de opschalingdoelstellingen van het project wellicht niet te bereiken is. Overigens hoeven hiermee de andere doelstellingen en te bereiken resultaten nog niet in gevaar te komen. Met de meeste activiteiten loopt het project op schema. Bij het selecteren en ter beoordeling voorleggen van de E-learning modules zullen we ons echter vanaf nu meer (moeten) richten op het verkrijgen van een kwaliteitsoordeel van medisch inhoudelijke beoordelaars (medisch specialisten) en minder op de mogelijke inzetbaarheid van de module in het onderwijs van de PAOG s. Risicoanalyse In het controlling document staat als eerste risico genoemd dat een medewerker tijdelijk afwezig is of stopt tijdens het project. Helaas is dit risico bewaarheid geworden in Leiden, Nijmegen en Groningen. In Nijmegen zijn 2 medewerkers die zich bezig hielden met voornamelijk fase 4 voortijdig gestopt, in Leiden zijn 3 medewerkers die zich bezig hielden met voornamelijk fase 4 voortijdig gestopt en in Groningen is een medewerker ziek geworden (met ziekenhuisopname). Hierdoor is fase 4 ernstig onder druk komen te staan. Fase 4 is vooral een kwantitatieve fase waarin een aantal E-learning modules beoordeeld moeten worden. Op het moment van schrijven van deze analyse zijn bij alle PAOG s oplossingen gevonden voor deze problematiek, maar dat neemt niet weg dat we tegen een achterstand aan kijken voor wat betreft het beoordelen van e-learning modules. Tijdens het project is het aantal te beoordelen modules op 100 gesteld, wat op zich een arbitrair aantal is. Wellicht wordt dit aantal naar een iets reëlere waarde bijgesteld. Vooruitblik In het tweede en laatste jaar van het Pastel project gaan we verder met het selecteren en beoordelen van E-learning modules. Daarnaast willen we één of enkele modules, die geschikt worden bevonden voor de nascholing van de PAOG s, voorleggen voor accreditatie aan de betreffende beroepsvereniging. Eén van de belangrijkste redenen voor de PAOG s om mee te doen aan dit project, was de mogelijkheid om uit een groot aanbod van e-learning modules, interessant materiaal te halen voor hun nascholingsactiviteiten. Helaas blijkt echter dat het niveau van veel modules door de medisch inhoudelijke beoordelaars niet geschikt wordt bevonden voor de nascholing van specialisten. Dit is op zich niet zo vreemd, aangezien de meeste modules specifiek gemaakt zijn voor studenten van de initiële opleiding. In sommige gevallen lijken modules wel geschikt voor andere (para)medisch beroepen, zoals verpleging, fysiotherapie, e.d. We zullen in ieder geval proberen om van de medisch inhoudelijke beoordelaars een mening te krijgen over de geschiktheid van de modules voor dit type doelgroepen. Hiermee krijgen we toch een indruk van de mogelijke verbreding van de inzetbaarheid van de E-learning modules ten behoeve van de opschalingdoelstelling van het project. Bovendien worden ook buiten het project om nieuwe E-learning modules ontwikkeld voor het post-academisch onderwijs en de interne opleidingen van de PAOG s. Deze modules zullen ook binnen MedischOnderwijs.nl beschikbaar komen en zullen zo mogelijk nog binnen de termijn van het PASTEL project beoordeeld worden. Aan het begin van het project hebben we een vrij arbitraire schatting gemaakt van het aantal E- learning modules dat beoordeeld zou gaan worden, namelijk 100. We streven er nog steeds naar om dit aantal te halen maar mogelijk moeten we deze doelstelling naar beneden bijstellen. Het beoordelingsinstrument dat gemaakt is in het kader van dit project wordt nu gebruikt om de medisch inhoudelijke beoordelingen te doen. We willen in het komend jaar onderzoek doen naar de betrouwbaarheid en validiteit van dit instrument. We zullen daarvoor een methodoloog benaderen en hopen uit dit onderzoek ook een publicatie te kunnen maken. Pagina 5

6 De informatie bij de E-learning modules op MedischOnderwijs.nl zal worden uitgebreid met de beoordelingen die in het kader van het Pastel project gedaan zijn. Bij modules die geschikt geacht worden voor de PAOG zal een kwaliteitsstempel zichtbaar worden gemaakt. Meer nog dan in het afgelopen jaar zal worden deelgenomen aan congressen. Er zullen in ieder geval presentaties gegeven worden tijdens het Innovatium congres in maart, het NVMO congres in november en het SURF onderwijscongres in november en verder tijdens andere relevante gelegenheden die zich voordoen. Pagina 6