Voortgangsrapportage april t/m juni PASTEL Professionele Accreditatie en Schaalvergroting van Toepassing van Elektronische Leerobjecten

Transcriptie

1 Voortgangsrapportage april t/m juni 2008 PASTEL Professionele Accreditatie en Schaalvergroting van Toepassing van Elektronische Leerobjecten Penvoerende instelling: Participerende instellingen: Universiteit Leiden, LUMC Universiteit Leiden, Boerhaave Commissie Rijksuniversiteit Groningen, Wenckebach Instituut Radbouduniversiteit, Heyendael Commissie Datum: 25 augustus 2008 Kenmerk: Rapportage PASTEL.doc

2 Inhoudsopgave Inhoudsopgave... 2 Samenvatting... 3 Doelstelling... 3 Standlijnen overzicht... 4 Voortgang per fase... 4 Fase 1 Opstellen accreditatie procedure... 4 Fase 2 Selectie lessen... 5 Fase 3 Koppeling MedischOnderwijs.nl aan ELO s... 5 Fase 4 Lessen beoordelen... 5 Fase 5 Integratie beoordelingen in MedischOnderwijs.nl... 5 Fase 6 Inzet en evaluatie... 8 Continuering... 9 Stuurgroep... 9 Positie MedischOnderwijs.nl... 9 Kennis disseminatie... 9 College voor Accreditering Huisartsen... 9 AMEE congres NVMO congres Symposium MedischOnderwijs.nl Knelpunten Kostenoverzicht Declaratie Bijlagen Bijlage 1 Vragenlijst voor te leggen aan (nascholings)cursisten

3 Samenvatting In de afgelopen projectperiode is de achterstand bij het beoordelen van E-learning modules kleiner geworden. In de projectvergaderingen zijn inmiddels 46 E-learning modules besproken, waarvan er 29 een stempel hebben gekregen. De integratie van beoordelingen in MedischOnderwijs.nl is gerealiseerd. Het is mogelijk gemaakt om de database te vullen met data van de beoordelingen en deze aan eindgebruikers te tonen. De nieuwste versie van MedischOnderwijs.nl, waarin de stempels beschikbaar zijn, is inmiddels in gebruik genomen. Er zijn 25 stempels ingevoerd in de database en zichtbaar voor eindgebruikers. Doelstelling Het merendeel van de medische faculteiten van Nederland gebruikt voor de distributie en registratie van Computer Ondersteund Onderwijs (COO) momenteel MedischOnderwijs.nl voorheen het Registratie Systeem, LRS.Net). Dit wordt tijdens de basisopleiding tot arts aangeboden via Internet op De basisopleiding is echter slechts het begin. Het beroep van arts evolueert zo snel dat hierop de uitdrukking een leven lang leren van toepassing is(1). Medische specialisten behouden slechts hun licentie wanneer zij door middel van bij- en nascholing voldoende accreditatiepunten halen. Voor deze doelgroep is het volgen van cursorisch onderwijs, zoals cursussen en symposia lastig met het werk te combineren. Daarnaast bestaat een grote behoefte aan self-directed leren, waarbij de arts zelfstandig de lacunes in kennis en vaardigheden die hij bij de uitoefening van het beroep constateert kan opvullen. De medische nascholingsinstituten hebben deze behoefte onderkend en willen het onderwijsaanbod uitbreiden met individueel, plaats- en tijd onafhankelijk e-learning modules (emodules). Het ligt voor de hand om naast de ontwikkeling van eigen onderwijsmateriaal, de service van MedischOnderwijs.nl hiertoe uit te breiden, zodat ook artsen hiervan gebruik kunnen maken in het nascholingstraject. Het aanbod van COO dat via MedischOnderwijs.nl voor handen is moet echter wel voldoen aan de standaarden van de specialistenverenigingen, wil het volgen hiervan accreditatie punten opleveren. Het onderwijsmateriaal moet hiertoe eerst door de nascholingsinstituten zelf beoordeeld worden. Een positief neveneffect van deze beoordeling is dat het medisch inhoudelijke niveau van het bestaande COO hierdoor beter wordt vastgelegd en de status van beoordeelde lessen toeneemt. Het ter beschikking stellen van MedischOnderwijs.nl met het daarin aanwezige COO ter beoordeling en gebruik door de nascholingsinstituten in ruil voor een toegenomen status van dit materiaal lijkt dan ook een eerlijke. Het gezamenlijke gebruik van e-modules binnen de medische basis- en vervolgopleidingen verhoogt de inzet en kwaliteit van de bestaande COO middelen en heeft tevens een aanzuigende werking op de rest van het medische opleidingscontinuüm, zoals de verpleegkunde en paramedische opleidingen. Door het opschalen van MedischOnderwijs.nl van de basisopleiding naar de vervolgopleidingen wordt de doelgroep direct verviervoudigd. Tevens wordt de weg gebaand voor aansluiting met andere medisch georiënteerde opleidingen

4 Standlijnen overzicht Het oorspronkelijke standlijnen overzicht uit het Controlling Document is uitgebreid met een weergave van het aantal lessen dat binnen een bepaalde fase gerapporteerd wordt. De gearceerde delen geven de voortgang aan in de betreffende fase. Fase 1 Fase 2 Fase 3 Fase 4 Fase 5 Fase 6 Accreditatie procedure Selectie lessen Koppeling MedischOnd erwijs.nl- ELO Jan 2007 Feb 2007 Mrt 2007 Apr Mei Juni Juli Aug Sept Okt Nov Dec Jan Feb Mrt Apr Mei Juni Juli Aug Sept Okt 2008 Nov 2008 Dec 2008 Lessen beoordelen Integratie beoordelingen MedischOnder -wijs.nl Inzet en evaluatie Legenda Geen activeit Geplande activiteit Geplande deliverable 20 Voortgang activiteit Op bovenstaand standlijnenoverzicht is te zien dat Fase 4 achter ligt op schema. Momenteel bedraagt de achterstand 3 maanden t.o.v. de planning. Bij de vorige projectperiode bedroeg de achterstand 4 maanden t.o.v. de planning voor die periode. Er is dus 1 maand achterstand ingelopen in de afgelopen projectperiode, dit ondanks het feit dat het aantal E-learning modules dat beoordeeld moet worden gedurende de afgelopen maanden hoger lag dan daarvoor. Voortgang per fase Fase 1 Opstellen accreditatie procedure Deze fase is inmiddels afgerond. De nieuwste versies van het medisch-inhoudelijke en onderwijskundige beoordelingsformulier zijn beschikbaar op de deliverables pagina van de PASTEL website

5 Fase 2 Selectie lessen Fase 2 liep vorige rapportage al iets voor op schema, zodat deze fase inmiddels is afgerond. De selectie van lessen kan gedurende de rest van het project nog wel worden bijgesteld. Deze minieme aanpassingen worden bijgehouden in het onder Fase 4 genoemde document waarin ook de voortgang van de beoordelingen wordt bijgehouden. Fase 3 Koppeling MedischOnderwijs.nl aan ELO s Koppeling Wenckebach In het kader van de koppeling tussen Medischonderwijs.nl en Nestor (de ELO van de RUG gebaseerd op Blackboard) is een project gestart. Er is op dit moment al een voorziening die regelt dat wanneer een student eenmaal is ingelogd in Nestor, hij/zij ook bij de bestanden (repositories) kan zien van bijvoorbeeld de Universiteits Biliotheek. Daarnaast is het RichURL building Block (dat toegang regelt vanuit Blackboard naar Medischonderwijs.nl) geïnstalleerd op een test server. In de komende maanden zullen deze oplossingen verder worden onderzocht en zal gekeken worden wat de beste oplossing is voor de koppeling tussen Nestor en MedischOnderwijs.nl Koppeling Heyendael De koppeling tussen de Heyendael website en MedischOnderwijs.nl is technisch gerealiseerd. Het daadwerkelijk aanbieden van materiaal via deze website heeft wat vertraging opgelopen doordat de medewerker die hier over ging is vertrokken. Er is inmiddels een nieuwe medewerker die deze taak op zich neemt. Fase 4 Lessen beoordelen De voortgang van de beoordeling van alle E-learning modules wordt in 1 document bijgehouden, dat regelmatig op de website wordt gepubliceerd: Momenteel is van 63 E-learning modules de eerste Medisch-Inhoudelijke beoordeling uitgevoerd en van 54 E-learning modules ook de tweede. Daarnaast zijn 28 E-learning applicaties ook Onderwijskundig beoordeeld. De verwachting is dat een Onderwijskundige beoordeling soms voor meer dan 1 E-learning module kan gelden, wanneer het modules van eenzelfde soort betreft. Dit totale aantal hoeft gedurende de rest van het project dus niet tot een totaal van 100 op te lopen. Volgens het standlijnenoverzicht, dat uitgaat van 100 E-learning modules gedurende het gehele project, zouden momenteel wel 82 E-learning modules 2 maal Medisch-inhoudelijk beoordeeld moeten zijn. Hierin is wel enige achterstand opgelopen, die momenteel wordt ingehaald (zie ook de toelichting bij het standlijnen overzicht). Van 46 E-learning modules is tijdens de projectvergaderingen besproken of deze wel of geen stempel dienen te krijgen. Hiervan hebben: 29 E-learning modules daadwerkelijk een stempel gekregen, 5 E-learing modules definitief géén stempel gekregen omdat de inhoud niet voldeed of omdat het niveau te summier was voor post-academisch onderwijs, 13 E-learning modules voorlopig nog geen stempel gekregen. Deze modules krijgen wel een stempel wanneer zij inhoudelijk zijn aangepast. Het verlenen van het stempel wordt uitgesteld tot de aanpassingen zijn gedaan. Fase 5 Integratie beoordelingen in MedischOnderwijs.nl In de vorige projectperiode was de database van MedischOnderwijs.nl al aangepast om de data van de beoordelingen op te kunnen slaan. In deze projectperiode is het mogelijk gemaakt om de database te vullen met data van de beoordelingen en deze aan eindgebruikers te tonen

6 Gegevens beoordelingen invoeren De invoerkant in MedischOnderwijs.nl, waarmee beheerders van MedischOnderwijs.nl de beoordelingen in de database kunnen invoeren is geïmplementeerd. Er is voor gekozen per E- learning module het invoeren van meerdere beoordelingen mogelijk te maken. Hierbij wordt de beoordeling op datum opgeslagen, zodat aan eindgebruikers altijd de nieuwste beoordeling getoond kan worden. De lijst in het midden (zie afbeelding) toont alle aspecten waarop beoordeeld wordt. De lijst rechtsboven toont steeds de standaard antwoorden waaruit bij een specifiek aspect gekozen kan worden. Wanneer er geen standaard antwoorden voor een aspect beschikbaar zijn, kan de beoordeling met vrije tekst worden gegeven. Afbeelding: Administrator interface voor het invoeren van de stempel gegevens Vervolgens zijn de beoordelingen van 25 E-learning modules ingevoerd, waarvan de beoordeling is afgerond en die zijn besproken in de projectvergaderingen. Hierbij bleken de gegevens uit het stempelformulier, zoals verwacht, 1 op 1 in MedischOnderwijs ingevoerd te kunnen worden. Stempel Nadat de beoordelingen waren ingevoerd is gestart met het implementeren van het stempel aan de eindgebruikers kant van MedischOnderwijs.nl. De beoordeling wordt beschikbaar gesteld als een afbeelding waar op geklikt kan worden om de beoordeling te lezen. Er is qua afbeelding voor een neutraal plaatje gekozen (geen PASTEL gebruikt in de naamgeving). Het stempel wordt getoond aan de eindgebruikers in: het resultaat van een willekeurige zoekopdracht, ook wanneer de gebruiker niet is ingelogd, de lijst met E-learning modules op een vakgebied of over een medische tractus, de studiecoach, waarin gebruikers terug kunnen zien welke E-learning modules eerder door hen zijn opgestart, - 6 -

7 een groep met E-learning modules, zoals deze worden aangeboden vanuit een Electronische Leeromgeving. Afbeelding: Toegang tot de beoordeling via de stempel afbeelding in het zoekresultaat De inhoud van de beoordeling wordt aan de eindgebruikers getoond wanneer deze op de afbeelding van het stempel klikken

8 Afbeelding: Inhoud van een beoordeling zoals deze aan eindgebruikers wordt getoond Fase 6 Inzet en evaluatie Inzet Zoals in de vorige rapportage gemeld, is de selectie van te beoordelen E-learning modules zodanig aangepast dat hierin meer modules zijn opgenomen die speciaal voor het post-academisch onderwijs ontwikkeld zijn. Inmiddels is een aantal van deze modules beoordeeld en hebben inderdaad een stempel gekregen. Bij alledrie de PAOG s wordt momenteel veel aandacht besteed aan het onder de aandacht brengen van de beoordeelde E-learning modules bij de cursuscommissies, met als doel de inzet van deze E- learning modules in het cursusprogramma. Evaluatie Aan de enquetes die na afloop van een cursus worden afgenomen zal een aantal vragen worden toegevoegd over het E-learning gedeelte van de cursus, om evaluatie in het kader van het PASTEL project mogelijk te maken. Deze vragen zijn opgenomen als Bijlage 1 bij deze rapportage

9 Naast evaluatie van het gebruik van E-learning in de nascholingscursussen kan ook de beoordelingsmethode die binnen het PASTEL project is ontwikkeld geëvalueerd worden. In de projectvergaderingen is het hiertoe uitvoeren van een validiteitsonderzoek besproken. Een gedeelte van dit onderzoek kan en zal binnen het PASTEL project uitgevoerd worden. Een gedeelte is niet direct relevant voor het PASTEL project zelf, maar alleen wanneer de PASTEL beoordelingsmethode eventueel overgenomen wordt door de beroepsverenigingen als accreditatie instrument. Het verdient dan aanbeveling deze organisatie dit onderzoek te laten uitvoeren. Hieronder een korte aanzet voor het validiteitsonderzoek Formatieve evaluatie: Doet de methode wat die moet doen? Zijn de formulieren goed in te vullen? Zijn de gegeven antwoorden goed te interpreteren? Zijn de beoordelingen van verschillende beoordelaars te combineren? Summatieve evaluatie bestaande uit: Interne validatie: Werkt de methode? Is er eenheid in evaluatie? Wat is het beeld van de resultaten? Bestaat er discrepantie tussen beoordelaars? Is er behoefte aan bijstelling van de methode? Externe validatie: Levert de methode herkenbare resultaten? Hebben gebruikers wat aan de beoordeling (worden gestempelde cursussen meer opgestart dan ongestempelde)? Klopt de beoordeling door cursisten met het oordeel onder het stempel? Hebben andere beoordelaars vertrouwen in de methode? Produceren anderen dezelfde beoordelingen? Continuering Stuurgroep De stuurgroep is in de afgelopen periode 1 maal bij de projectvergadering aanwezig geweest. Hierbij was ook het nieuwe hoofd van de sectie bij- en naschoing, directoraat Onderwijs en Opleidingen, Eldrid Bringmann aanwezig. Zij zal gedurende de laatste 6 maanden van het project de stuurgroep vanuit Boerhaave versterken. Positie MedischOnderwijs.nl Recent is uitspraak gedaan door de Onderwijs Commissie Geneeskunde-Disciplineoverlegorgaan Medische Wetenschappen (OCG-DMW) over de onderlinge uitwisseling van E-learing tussen de UMC s en de postitie van MedischOnderwijs.nl hierin. Samengevat komt de visie erop neer dat: - alle 8 UMC s het standpunt innemen dat al het E-learning materiaal gepubliceerd dient te worden op MedischOnderwijs.nl, - dat uitwisseling van E-learning met gesloten beurs dient te gebeuren, - gezamenlijke ontwikkeling van E-learning gestimuleerd dient te worden. Deze uitspraak heeft geen directe gevolgen voor het PASTEL project, maar versterkt wel de positie van MedischOnderwijs.nl binnen Nederland. Kennis disseminatie College voor Accreditering Huisartsen Via de stuurgroep is het PASTEL project onder de aandacht gebracht van de KNMG met behulp van een filmpje ( waarin het project wordt toegelicht. Dit heeft inmiddels een uitnodiging opgeleverd om met een aantal project vertegenwoordigers bij een audit over E-learning aanwezig te zijn. Deze audit wordt georganiseerd door het College voor Accreditering - 9 -

10 Huisartsen. Het thema van deze middag is Wat is goede E-learning?, met als 1 van de sub-thema s Aan de hand van welke criteria dient E-learning te worden beoordeeld?. AMEE congres 2008 Het abstract over het PASTEL project voor het AMEE ('Association for Medical Education in Europe') congres dat van 30 augustus tot en met 3 september gehouden zal worden in Praag is geaccepteerd. NVMO congres 2008 Voor het NVMO ( Nederlandse Vereniging voor Medisch Onderwijs ) congres dat in november 2008 wordt gehouden is een abstract ingediend over de inzet van E-learing voor post-academische doelgroepen. Het abstract is geaccepteerd voor een korte presentatie. Symposium MedischOnderwijs.nl Op 16 april 2008 werd door de werkgroep E-learning van de NVMO het Symposium MedischOnderwijs.nl georganiseerd. Een aantal van de PASTEL projectgroep leden was bij de organisatie betrokken en hebben tijdens het symposium aandacht gevraagd voor het project en de mogelijkheden van de inzet van E-learning voor post-academische doelgroepen. Aan dit symposium namen ruim 250 mensen deel vanuit alle lagen van de medische opleidingen. Alle presentaties en demonstraties, evenals een foto rapportage zijn gepubliceerd op de speciale symposium website ( Knelpunten Inzet van E-learning Alhoewel de koppeling tussen de Heyendael website en MedischOnderwijs.nl technisch gerealiseerd is, heeft het inwerken van een nieuwe medewerker voor het beheer van de Heyendael website tot vertraging geleid van het doorvoeren van een feitelijke link naar E-learning modules in Medischonderwijs.nl. Door het al langer geleden geprogrammeerd zijn van de Heyendael nascholing van dit najaar, is het de vraag of inpassing van E-learning nog wel realistisch is. Beoordeling De achterstand bij het beoordelen van de E-learning modules die in de eerdere rapportage als knelpunt werd benoemd, begint inmiddels af te nemen

11 Kostenoverzicht 16 April Begroting Gerealiseerde kosten In rapportage periode t/m rapportage periode Totaal Materiële kosten 42, , , , Gefaseerd personeel Fase 1 en 2 50, , , Fase 3 en 4 146, , , , , Fase 5 73, , , , , Fase 6 89, , , , , Projectoverstijgend personeel Projectleiding/Accountantscontrole 33, , , , , Kennisdisseminatie/Financieel beheer 25, , , , , Personeel inc.overhead 418, , , , , Subsidie Maximaal 247, Restant tot rapportage periode 101, Opgevraagd -t/m voorgaande periode 146, in rapportage periode 10, t/m rapportage periode 156, Restant op te vragen 90,

12 17 May Begroting Gerealiseerde kosten In rapportage periode t/m rapportage periode Totaal Materiële kosten 42, , , , , Gefaseerd personeel Fase 1 en 2 50, , , Fase 3 en 4 146, , , , , Fase 5 73, , , , , Fase 6 89, , , , , Projectoverstijgend personeel Projectleiding/Accountantscontrole 33, , , , , Kennisdisseminatie/Financieel beheer 25, , , , , Personeel inc.overhead 418, , , , , Subsidie Maximaal 247, Restant tot rapportage periode 90, Opgevraagd -t/m voorgaande periode 156, in rapportage periode 10, t/m rapportage periode 166, Restant op te vragen 80,

13 18 June Begroting Gerealiseerde kosten In rapportage periode t/m rapportage periode Totaal Materiële kosten 42, , , , Gefaseerd personeel Fase 1 en 2 50, , , Fase 3 en 4 146, , , , , Fase 5 73, , , , , Fase 6 89, , , , , Projectoverstijgend personeel Projectleiding/Accountantscontrole 33, , , , , Kennisdisseminatie/Financieel beheer 25, , , , , Personeel inc.overhead 418, , , , , Subsidie Maximaal 247, Restant tot rapportage periode 80, Opgevraagd -t/m voorgaande periode 166, in rapportage periode 10, t/m rapportage periode 176, Restant op te vragen 70, Declaratie De totale baten voor PASTEL voor deze projectperiode bedragen 30, en kunnen worden overgemaakt op rekeningnummer t.n.v. Academisch Ziekenhuis Leiden/LUMC te Leiden onder vermelding van Projectnummer 40265/

14 Bijlagen Bijlage 1 Vragenlijst voor te leggen aan (nascholings)cursisten 1. De behandeling van het onderwerp in de E-learning module vind ik goed. 2. Er is een goede balans tussen de tijdsinvestering en de opbrengst van de E-learning module. 3. Door de E-learning module heb ik nieuwe kennis opgedaan over de state-of-the-art thema s in mijn beroepspraktijk. 4. De E-learning module heeft bijgedragen aan een goede voorbereiding op de cursusdag zelf. 5. De E-learning module heeft bijgedragen aan mijn betrokkenheid bij de cursus. 6. De E-learning module geeft voldoende feedback op mijn kennis en vaardigheden. 7. Het instrument van E-learning heeft een rol gespeeld bij mijn overwegingen om mij voor deze cursus in te schrijven. 8. De E-laerning module heeft mij bruikbare adviezen/informatie voor mijn praktijksituatie gegeven. 9. Welke toegevoegde waarde verwacht u een volgende keer van een E-learning module bij een nascholingscursus?