Soa Aids Nederland. Evaluatierapport Digitale Leerweek 2012

Transcriptie

1 Soa Aids Nederland Evaluatierapport Digitale Leerweek

2 Inhoud 1. Achtergrond en gemaakte keuzes Pedagogisch uitgangspunt Keuze voor een Elektronische Leer Omgeving 2 2. Aanpak Samenwerking met de doelgroep professionals Samenwerking inhoudelijke experts Samenwerking onderwijskundige en technische experts Betrekken sleutelfiguren en PR 5 3. Resultaten De Digitale Leerweek Inschrijvingen en deelnemers Evaluatie workshops Evaluatie Digitale Leerweek 8 4. Geleerde lessen 9 5. Digitaal leren in de toekomst 12 Geraadpleegde bronnen 12 Financiële ondersteuning 12 1

3 1. Achtergrond en gemaakte keuzes Iedere twee jaar organiseert Soa Aids Nederland samen met de V&VN (beroepsvereniging Verpleegkundigen en Verzorgenden Nederland) een verpleegkundig symposium. Dit symposium is gericht op deskundigheidsbevordering voor verpleegkundigen werkzaam binnen de seksuele gezondheid en zij die zijdelings betrokken zijn bij de soaen hiv-bestrijding. Ook heeft dit symposium een netwerkfunctie. Vanwege het huidige klimaat van bezuinigingen, nam het aantal bezoekers aan het verpleegkundige symposium langzaam af. De vraag was: kunnen we kwalitatief goede deskundigheidsbevordering aanbieden op een alternatieve manier waarbij een groot aantal deelnemers kan worden bereikt? Het idee om een Digitale Leerweek te organiseren was daar: online leren gedurende één week. 1.1 Pedagogisch uitgangspunt Het uitgangspunt bij de ontwikkeling van e-learning is dat technologie het leren ondersteunt. De keuze voor het soort digitale kennisbronnen en communicatietools is onder andere afhankelijk van het pedagogisch raamwerk. Een kennisbron is bijvoorbeeld een (online verkrijgbare) artikel of video beschikbaar via Vimeo en YouTube. Voorbeelden van communicatietools zijn een forum, chat of . In het pedagogisch raamwerk gaat het om het verbinden van de workshopinhoud met de deelnemers, ondersteund door technologie, op een manier dat er optimaal geleerd kan worden. Het Pedagogy framework for mapping tools in use (Conole, 2008) en het Open Source programma CompendiumLD boden ondersteuning om de verbinding tussen inhoud, deelnemers en de keuze voor technologie te maken per workshop. Binnen de verschillende workshops is er in meer of mindere mate sprake van individueel of samen leren, passief of actief leren en leren door kennisoverdracht of leren van ervaringen. Op basis van de gewenste leerdoelen, de beschikbare tijd/middelen en technologische mogelijkheden van de potentiele groep deelnemers zijn we gekomen tot een workshopaanbod waarin een variatie aan kennisbronnen en communicatietools wordt ontwikkeld en gebruikt. 1.2 Keuze voor een Elektronische Leer Omgeving De Elektronische Leer Omgeving (ELO) is eigenlijk de virtuele school waar het onderwijsprogramma zich bevindt én waarin de deelnemers aan het werk zijn. Het ontwerpen, uitvoeren en managen van de formele leerprocessen behoort tot de kerntaken van een ELO (de Leeuwe, 2010). Er is een ruim aanbod van zowel gratis als commerciële ELO s. De keus is gevallen op een Open Source ELO genaamd Moodle. Open Source wil zeggen dat het raamwerk van de leeromgeving vrij toegankelijk via internet te verkrijgen is. De belangrijkste redenen om voor dit systeem te kiezen waren: 1. De ruime internationale gebruikerservaring en betrouwbaarheid. 2. De mogelijkheid om in eigen beheer in de toekomst de ELO aan te passen aan toekomstige wensen en behoeften. 2

4 3. Door het onderwijskundig uitgangspunt van Moodle is het mogelijk om tools (forum en chat) in te zetten die uitwisseling mogelijk maken tussen deelnemers en/of experts of die een online samenwerking tussen deelnemers en/of experts ondersteunt. 4. Moodle is een beheerssysteem waarin allerlei opties verweven zijn rondom administratie en punten toekenning, toekenning van rollen, het afnemen van evaluaties en certificaten kan uitreiken. 5. Er is een grote internationale gemeenschap van onderwijs ontwerpers, docenten en technisch ontwerpers die elkaar en anderen kunnen ondersteunen in het gebruik van Moodle De ontwikkeling van de ELO liep gelijktijdig met het ontwikkelen van de digitale workshops. 3

5 2. Aanpak 2.1 Samenwerking met de doelgroep professionals Het uiterlijk van de ELO en de inhoud van de Digitale Leerweek is ontwikkeld in nauwe samenwerking met de verpleegkundige beroepsgroepen sociaal-verpleegkundigen seksuele gezondheid en verpleegkundig consulenten hiv/aids. De gedachte is dat zij hun beroepsgenoten het best kennen en weten waar de behoeften voor deskundigheidbevordering liggen. Daarnaast is er een niet te onderschatten hoeveelheid en variatie aan vakinhoudelijke expertise binnen de beroepsgroepen. De professionals, waaronder potentiele deelnemers aan de Digitale Leerweek, zijn op de volgende manieren betrokken bij de ontwikkeling van de digitale leerweek: Januari 2012 Tijdens een brainstorm met eindgebruikers werden per doelgroep (sociaal verpleegkundige, hiv-consulent, overig) een aantal mogelijke workshopthema s geïdentificeerd. Jan nov 2012 Er is een projectgroep samengesteld met vertegenwoordigers van de afdelingen verpleegkundig consulenten hiv/aids en sociaal-verpleegkundigen seksuele gezondheid van de beroepsvereniging V&VN (Verpleegkundigen en Verzorgenden Nederland). In de projectgroep waren ook applicatiebeheerders (SANL) en inhoudelijk medewerkers vertegenwoordigd, de projectgroep overlegde elke 4 weken. Per workshop waren een inhoudelijk medewerker en een (of meerdere) vertegenwoordiger (s) van de beroepsgroep samen verantwoordelijk voor ontwerpen van de workshop inhoud. Daarnaast hebben verschillende verpleegkundigen de inhoud van de workshops mede vormgegeven door bijvoorbeeld interviews af te nemen of te geven, presentaties te maken etc. Er was een hiv-consulent vertegenwoordigd in de werkgroep PR en communicatie van het project digitaal leren. Maart 2012 Uitvoering van een needs-assessment middels een digitale vragenlijst onder 200 potentiële gebruikers (42 reacties) om de leerbehoeftes in kaart te brengen (inhouds survey). Per doelgroep werden 11 mogelijke workshopthema s voorgelegd. Deze workshopthema s kwamen voort uit de brainstorm in januari. De belangrijkste vragen in deze survey waren welke thema s spreken je het meest aan? en wat zou je willen weten/ kunnen na aan het eind van deze workshop?. De 42 reacties vormden de basis voor het workshop aanbod. Maart 2012 Er vond een enquête onder 200 andere potentiële gebruikers plaats (46 reacties) gehouden om de technische mogelijkheden, vaardigheden en barrières ten aanzien van online leren in kaart te brengen (techniek survey). Juni en september Ook deden potentiële deelnemers, afkomstig uit deze beroepsgroepen, mee aan de 2 belangrijkste testen. In juni is de eerste versie van de leeromgeving getest door de 6 verpleegkundigen. In deze test werd gekeken of het inloggen en aanmelden goed werkte en 1 dummyworkshop werd getest. Begin september was de opzet van de Digitale leeromgeving en de workshops gereed en kon met finetunen worden begonnen. In een tweede testmoment plaats, dat begin september plaatsvond, hebben 20 potentiële deelnemers de leeromgeving getest. Alle conceptworkshops zijn op die manier door ten minste 3 eindgebruikers gevolgd, ook de algemene (niet workshopspecifieke) onderdelen van de leeromgeving werden getest. 2.2 Samenwerking inhoudelijke experts Tweeëntwintig vak inhoudelijke experts en professionals uit binnen- en buitenland hebben input gegeven in de vorm van video s, presentaties, interviews, artikelen en andere documenten om de workshops inhoud te geven. 4

6 2.3 Samenwerking onderwijskundige en technische experts Gedurende het ontwikkelproces zijn verschillende deskundigen geraadpleegd. Zo is bijvoorbeeld het eerste ontwerp van de leeromgeving voorgelegd aan een panel van e-learning experts van onder andere de Technische Universiteit Twente, de Open Universiteit Nederland en een onderwijskundig ontwerpbureau. Ook tijdens het vervolgtraject zijn deze experts regelmatig geconsulteerd. 2.4 Betrekken sleutelfiguren en PR Een werkgroep PR heeft uitgebreid aandacht gegeven aan de komst van de Digitale Leerweek. Er is gekozen om een LinkedIn groep Digitale Leerweek aan te maken. Verpleegkundigen en andere geïnteresseerden die een Linkten profiel hebben konden lid worden van deze groep. In deze groep is nieuws over online leren gedeeld en discussie gevoerd op het forum. Daarnaast zijn verpleegkundigen en managers benaderd, via mailing en contactmomenten, om mogelijke barrières voor deelname weg te nemen. Zo zijn managers benaderd om te vragen of er tijd, ruimte en technische faciliteiten geboden kon worden aan verpleegkundigen om deel te kunnen nemen aan de Digitale Leerweek. 5

7 3. Resultaten 3.1 De Digitale Leerweek Op 31 oktober 2012 is de Digitale Leerweek van start gegaan. De leerweek, die in eerste instantie tot 7 november zou duren, is op verzoek van deelnemers toegankelijk gebleven tot 12 november. We zagen dat ook s avonds en het weekend veel online geleerd werd. Op de oorspronkelijk laatste dag van de Digitale Leerweek (7 november) was het nog erg druk. Van 30 oktober tot 12 november konden sociaalverpleegkundigen seksuele gezondheid, verpleegkundig consulenten hiv/aids en verpleegkundigen die zijdelings met soaen hiv-bestrijding in aanraking komen, online workshops volgen. Er zijn in nauwe samenwerking met sociaalverpleegkundigen en verpleegkundig consulenten hiv/aids 12 themaworkshops ontwikkeld en een introductieworkshop. Voor 10 workshops is accreditatie verleend door het kwaliteitsregister van de verpleegkundige beroepsgroepen V&VN en de NVVS. In totaal hebben 990 potentiële deelnemers een flyer ontvangen waarin de Digitale Leerweek werd aangekondigd (zowel digitaal als twee keer per gewone post). 3.2 Inschrijvingen en deelnemers Voor deze Digitale Leerweek hebben zich 342 deelnemers aangemeld, twaalf inschrijvingen kwamen uit het buitenland. 39 procent was sociaal-verpleegkundige (75% van de totale beroepsgroep), 13 procent hiv-consulent (61% van de totale beroepsgroep), 13 procent justitieel verpleegkundige en 36 procent 'overige verpleegkundige', beleidsmedewerker, arts of doktersassistente. Gemiddeld waren er 82 inschrijvingen per workshop. Per deelnemer werd gemiddeld 3,7 workshops bezocht, het gemiddeld aantal volledig gevolgde en geaccrediteerde workshops per deelnemer is 2,4. In totaal werd 645 keer een workshop volledig gevolgd (inclusief het downloaden van een bewijs van deelname). Voor alle dertien workshops registreerden we het aantal inschrijvingen (aantal specifieke aanmeldingen voor een workshop), het aantal actieve deelnemers (aantal bezoekers, die tijdens de leerweek daadwerkelijk en workshop bezochten en meededen) en het aantal gedownloade certificaten (het aantal mensen dat de workshop van het begin tot aan het einde gevolgd hebben). In tabel 1 worden alle aantallen per workshop gegeven. De workshops werden totaal 998 keer uniek bezocht. Dit komt neer op gemiddeld 77 bezoekers tijdens de leerweek per workshop. Workshop titel Inschrijvingen Actieve deelnemers Certificaat gedownload Demo (is je computer Digitale Leerweek proof?) n.v.t. 150 n.v.t. 1.Introductiesessie thema Vernieuwing Stigma en ethische dilemma's binnen preventie- en zorgverlening voor mensen met hiv 3. HPV anuscarcinoom bij MSM met hiv

8 4. Motiverende gespreksvoering; verbeter je gespreksstijl 5. Meldcode huiselijk geweld en kindermishandeling; ook binnen de seksuele gezondheidszorg (geen accreditatie) 6. Resistentie bij soa Slim bespreken van seksuele problemen in kort sense consult 8. Cliënt met risico op soa? En nu? Basiskennis soa en hiv Correct en consequent condoomgebruik n.v.t. 11. Hiv, anticonceptie en overgang Kwaliteitseisen digitale hulpverlening in het kader van e-health Sense 13. Hepatitiden (geen accreditatie) Totaal Tabel 1 Inschrijvingen en bezoekers per workshop 3.3 Evaluatie workshops Aan het eind van een workshop werd deelnemers gevraagd om een vragenlijst in te vullen. Hierbij werd gevraagd naar de behaalde leerdoelen, studiebelasting, aansluiting kennisniveau, duidelijkheid van instructies in de workshop, ondervonden technische problemen. Ook waren we geïnteresseerd in hoeverre deelnemers de (live) interactie zouden missen die tijdens een reguliere workshop plaats zou vinden. Leerdoelen. Deelnemers gaven aan dat zij de meeste tot alle leerdoelen hebben behaald. Bij workshop 3 is dat zelfs 100% van de deelnemers. Over het algemeen geeft slechts een klein percentage van de deelnemers aan de leerdoelen niet te hebben behaald. Studiebelasting. Bij aanvang van elke workshop is aangegeven wat de studiebelasting in minuten is. Bij 3 van de 10 workshops geven de deelnemers aan dat de aangegeven studiebelasting enigszins overeen komt met de daadwerkelijke tijdsinvestering. Dit zijn de workshops 2, 8 en 11. Bij de workshops 1, 3, 4,9 en 12 was de tijdsinvestering van de deelnemers hoger dan de aangegeven studiebelasting. Voor de workshops 6 en 7 geven de deelnemers aan dat de tijdsinvestering lager was dan de aangegeven studiebelasting. Workshop niveau en interactie. De workshopinhoud sloot voldoende tot helemaal aan bij het kennis- en ervaringsniveau van deelnemers. Dit geldt in iets mindere mate voor de workshops 7 en 12 waar deelnemers vaker aangaven dat de inhoud onvoldoende aansloot. De deelnemers zijn over het algemeen tevreden met de hoeveelheid interactie in de workshops. Bij de workshops 2, 7 en 12 geeft een relatief hoger percentage van de deelnemers aan dat er meer behoefte was aan interactie. Opvallend is dat bij de twee laatst genoemde workshops het ging om het aanleren van met name vaardigheden (in mindere mate leren van kennis). In de toekomst zou extra aandacht moeten worden besteed aan het passend maken van leermethode en het gebruik van communicatietools bij de leerdoelen. Instructies. De deelnemers geven aan dat de instructies bij de verschillende workshops duidelijk zijn gegeven. 7

9 Technische problemen. Een ruime meerderheid van de deelnemers heeft geen technische problemen ondervonden tijdens workshopdeelname. Technische problemen speelden over het algemeen geen grote rol tijdens workshopdeelname, maar werden wel vaak door deelnemers genoemd. Vooral bij de workshops 1 en 4 deden zich vaker technische problemen voor. Tijdens de Digitale Leerweek is door sommige deelnemers samen achter een pc geleerd. Daarnaast geeft een aanzienlijk deel van de verpleegkundigen aan verworven kennis te hebben gedeeld met anderen. Het delen van kennis en de persoonlijke interactie geven aan dat er veel activiteit is geweest door verpleegkundigen rondom de Leerweek. 3.4 Evaluatie Digitale Leerweek Van de respondenten gaf 89,3% aan daadwerkelijk te hebben deelgenomen aan de Digitale Leerweek (N=176). De deelnemers (N=176) aan de Digitale Leerweek die de overall evaluatie hebben ingevuld, zijn erg positief over de Digitale Leerweek. Gemiddeld geven zij de leerweek het cijfer 7,6 en zou 90,1% een volgende keer weer deelnemen aan de Digitale Leerweek. De leerweek wordt als leuk, leerzaam, informatief, gemakkelijk en werkzaam beschouwd. Ook vinden de deelnemers digitaal leren een goede manier van leren, ook door de mogelijkheid van directe beloning door middel van de mogelijkheid tot het downloaden van het certificaat van deelname. De Digitale Leerweek wordt beschouwd als een goede start en een prima initiatief. Hiermee is voldaan aan de twee meest genoemde redenen waarom men aan de Digitale Leerweek heeft deelgenomen: om iets te leren en omdat de onderwerpen aanspraken. Het totale bereik was veel groter dan bij het traditionele Verpleegkundig Symposium (een dag, 175 bezoekers) waarvoor de Digitale Leerweek in de plaats is gekomen. 8

10 4. Geleerde lessen De digitale Leerweek was een groot succes. De planmatige aanpak en het tijdig betrekken van externe deskundigen heeft gezorgd voor een resultaat om trots op te zijn. Hoewel de Digitale leerweek een succes was zijn er een aantal zaken, die een volgende keer beter kunnen. We hebben feedback verzameld van deelnemers, niet deelnemers en projectgroepleden. De feedback is middels de volgende manieren verkregen: 1) een vragenlijst aan het einde van de workshops, 2) een vragenlijst aan deelnemers en niet deelnemer na afloop van de digitale leerweek, 3) een logboek tijdens de leerweek, 4) een procesevaluatie met de interne betrokkenen, 5) een evaluatiebijeenkomst met professionals uit de projectgroep. De 'lessons learned' zijn in te delen in een aantal thema's. Communicatie over de leerweek - Het bleek nodig om een herinnering te sturen aan alle ingeschrevenen aan start leerweek. We kregen melding dat mensen niet doorhadden dat de leerweek was gestart. Een volgende keer zouden we een reminder vlak sturen voor en aan het begin van de Digitale Leerweek aan iedereen die zich heeft ingeschreven. - Bij de FAQ stond beschreven hoe het leren kon worden ingepland in de dagelijkse werkzaamheden, bij de workshops stond genoemd wat de verwachte studieduur was en op welke momenten er online activiteit verwacht werd. Toch was het niet voor iedereen duidelijk dat er bij een aantal workshops op meerdere momenten online activiteiten verwacht werden. In de toekomst zullen we hier meer aandacht aan moeten besteden. - Voor de PR van een volgende leerweek nog duidelijker noemen wat het voordeel is van deze lichte investering in veel werknemers tegenover een zwaardere investering in een of twee werknemers. In plaats van 2 mensen uit een team die de hele dag weg zijn voor congresbezoek kan nu bij wijze van spreken en heel team deelnemen aan 1 workshop. Dus het brede team kan worden geschoold zonder dat er een poli dicht hoeft. - Plaatsing van de PR boodschappen op de algemene website van de V&VN bleek lastig. Dit zal een volgende keer krachtiger door de afdelingen van de beroepsverenigingen moeten worden ingezet. Communicatie over workshops - In de toekomst beter uitleggen dat het nodig is om een certificaat te downloaden voordat de punten worden bijgeschreven. - We kregen reacties van mensen die verontwaardigd waren dat workshops zijn gesloten. Dit in verband met het verdelen van deelnemers in studiegroepen. Een volgende keer zullen we aangeven wanneer de inschrijving stopt of, automatisch groepen laten maken zodat de workshop niet gesloten hoeft te worden. Techniek bij gebruikers De demo module 'kijk of je pc leerweek proof is' is tijdens de leerweek aangepast met een Vimeofilm omdat we meldingen kregen van GGD-en waar het bekijken van Vimeofilms geblokkeerd was. De technische problemen die gemeld waren hadden vrijwel allemaal te maken met de eigenschappen van de computer waar de deelnemer de workshop volgde (traagheid, geen geluid etc.). Met andere woorden, de workshops zaten technisch goed in elkaar. Wel is het belangrijk dat de demo module een realistisch beeld geeft van wat er van een pc verwacht wordt. Alle gebruikte invoegtoepassingen moeten in de demomodule te testen zijn. Daarnaast moeten we misschien belang testpagina nog meer benadrukken. 9

11 Accreditatie Er was onduidelijkheid over accreditatie voor verpleegkundig specialismen; in scholingslijst op waren de workshops niet opgenomen. Ook is het niet duidelijk of (en voor hoeveel punten) er accreditatie voor seksuologen is verleend. De V&VN heeft voor verschillende workshops accreditatie verleend. Het aantal punten dat aan ons is doorgegeven door de V&VN gaf een vertekend beeld van de werkelijke toekenning. Het aantal aan ons doorgeven punten (en door ons op de leeromgeving vermelde punten) betrof het totaal van punten voor verschillende deskundigheidgebieden. In de toekomst moeten we vermelden voor welke deskundigheidsgebieden accreditatiepunten zijn verleend en noemen hoeveel punten er exact (aan welke gebieden) worden toegekend. Moodle systeem - Op het gebied van Moodle techniek is veel geleerd. Het voert te ver om hier de suggesties voor het gebruik van specifieke Moodletechniek te behandelen. Overige zaken - Het schrijven van algemene leeromgeving teksten (dus niet workshop teksten) kost veel tijd, naast de tijd die nodig is voor het schrijven van didactisch gezonde workshops. We adviseren om een communicatiedeskundige verantwoordelijk te maken voor het schrijven van algemene instructies, mededelingen etc. - De teksten op de site moeten meerdere keren (dus vaker dan nu het geval was) nagekeken worden, zowel op schrijfwijze, opbouw als inhoudelijk. - Beter aan de planning houden; De deadlines voor het aanleveren van definitieve workshop content is niet gehaald. Dit zorgde dat er met name in de laatste fase een grote urenbelasting was voor de webmasters. Als de definitieve inhoud eerder in het traject af is, is er tijd is voor het gedegen en rustig testen en finetunen. 10

12 Tot slot zijn er verbeteringen mogelijk die niet direct voortkomen uit eerdere ervaringen. Gebruik van meer visuele middelen belangrijk om de site spannender en levendiger te maken. De teksten kunnen nog actiever, duidelijker geschreven worden. De site kan visueel aantrekkelijker: Lettertype is huisstijl en er is niets mis mee, wel kan er meer gevarieerd worden met grootte. Streven naar eenheid in het gebruik van bijvoorbeeld kopjes, cursief vet H1, H2, H3. Dat maakt de site ook aantrekkelijker. - Gebruik voor een toekomst ambassadeurs. Verpleegkundigen die niet in de projectgroep zitten maar wel enthousiast zijn kunnen als ambassadeur optreden. Zij zouden bijvoorbeeld kunnen helpen met inloggen en zorgen voor een startactiviteit (zodat mensen herinnerd worden aan de start). - Oud-deelnemers zouden kunnen worden aangeschreven of ze willen meewerken een volgende keer. - In kalenders laten zetten eind 2013 bij V&VN - Uitbreiden inzet social media: Volg ons op Twitter, Linked-in en Facebook. 11

13 5. Digitaal leren in de toekomst Belangrijkste verbeterpunten De deelnemers waren over het algemeen tevreden. De meeste klachten kwamen voort uit de gebrekkige communicatie over de workshopsluiting. Dit is dan ook een erg belangrijk punt om mee te nemen naar een volgende keer. Hergebruik en aanpassen workshops In 2013 zullen een 9 van de 13 workshops opnieuw worden aangeboden. Waar nodig zullen verbeteringen worden gedaan op basis van de reacties van deelnemers in De leerdoelen zullen hierbij niet veranderen. Betalingmodule introduceren Voor het volgen van 6 van de 9 workshops zal een kleine vergoeding worden gevraagd tussen 10 en 20. ( 10,- per verwachte studieduur). Nieuwe workshops ontwikkelen Eind 2013 zullen er 2 nieuw ontwikkelde modules online gaan, waarvan 1 over het thema partnerwaarschuwing en 1 over het thema Motiverende Gespreksvoering. Digitale leermaand in 2014 Het verpleegkundig symposium wat in 2012 door de Digitale Leerweek vervangen is, vond tweejaarlijks plaats. Ook de Digitale Leerweek zullen we 2 jaar na de vorige laten plaatsvinden in het najaar van Op advies van deelnemers zullen we de Digitale Leerweek langer openstellen. Als ideale periode werd 2,5 week genoemd. Geraadpleegde bronnen (allen opvraagbaar) Procesevaluatie Projectgroepevaluatie Workshop evaluaties + vragenlijst + evaluaties per workshop Excel Resultaten overall vragenlijst + vragenlijst Database gegevens Logboek leerweek Financiële ondersteuning Financieel mede mogelijk gemaakt door: Soa Aids Nederland uit eigen middelen Instellingssubsidie VWS/RIVM Unrestricted grant Gilead Sciences 12