Veelgestelde Vragen. Achtergrond en algemene informatie

Transcriptie

1 Veelgestelde Vragen Achtergrond en algemene informatie Hoe is de Effectenmonitor tot stand gekomen? De monitor is in nauwe afstemming met het bibliotheekveld ontwikkeld. Op verschillende momenten en manieren is input verzameld voor de ontwikkelingen van de vragenlijsten en de infrastructuur: Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor. Een landelijke werkgroep van vertegenwoordigers uit POI s heeft meegedacht over de opzet en inrichting van de Effectenmonitor. Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten. Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback. Wat is het voordeel van een landelijk instrument? Met een landelijk ontwikkeld instrument wordt bibliotheken veel werk uit handen genomen bij het uitvoeren van een effectmeting. Het verzamelen en rapporteren van de onderzoeksgegevens met behulp van standaard vragenlijsten gebeurt geautomatiseerd, waardoor de bibliotheek niet zelf aan de slag hoeft met het maken en analyseren van vragenlijsten. Doordat gegevens via een centrale infrastructuur worden verzameld, is het tevens mogelijk om op landelijk niveau uitspraken te doen over de effectiviteit en impact van bibliotheekprogramma s binnen het domein van de basisvaardigheden. Hoe sluiten gestandaardiseerde instrumenten aan op mijn lokale situatie? De Effectenmonitor is in eerste instantie bedoeld om bibliotheken lokaal te voorzien van waardevolle informatie over hun educatieve en maatschappelijke dienstverlening. De vragenlijsten in de Effectenmonitor zijn dan ook zodanig opgesteld dat deze voor de meeste lokale bibliotheekprogramma s op de betreffende thema s goed in te zetten zijn. Hoewel doelgroep en invulling van een programma kunnen verschillen, zijn veel elementen en effecten van programma s van vergelijkbare aard. Dit blijkt ook uit de landelijke BOPonderzoeken die jaarlijks worden uitgevoerd om de dienstverlening van bibliotheken te monitoren (zie en voor de inzichten uit deze onderzoeken). Bijkomend voordeel van het werken met standaard vragenlijsten en een landelijke portal, is dat resultaten op geaggregeerd niveau kunnen worden verzameld en geanalyseerd. De mogelijkheid om hierbij verschillende programma s en verschillende werkwijzen te vergelijken, geeft inzicht in wat werkt en wat niet. Dit is ook de reden dat deelnemende bibliotheken voor het analyseren van de landelijke data wordt gevraagd om de belangrijke kenmerken van de programma s die zijn gemeten door te geven in een korte vragenlijst. Wat gebeurt er met de oude monitors? De Effectenmonitor vervangt verschillende onderzoeken die in het verleden los werden aangeboden. Specifiek zijn dit de Monitor digitale Basisvaardigheden (voorheen aangeboden door Next Value, in opdracht van de KB) en het Evaluatieonderzoek Digisterker (aangeboden door Digisterker). Beide monitors zijn enkele jaren veel gebruikt, maar komen nu te vervallen. Binnen de Effectenmonitor vallen de verschillende effectonderzoeken nu op uniforme wijze onder één paraplu (één plek, werkwijze en onderzoeksbureau), waardoor bibliotheken eenvoudig overzicht kunnen houden.

2 Wat voor programma s kan ik meten met de Effectenmonitor? De Effectenmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veel voorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf! Maar ook andere cursussen op deze gebieden kunnen met de Effectenmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. U kunt daarnaast ook zelf cursussen toevoegen, die niet in de lijst staan. In een later stadium zullen aan de Effectenmonitor ook modules worden toegevoegd die de opbrengsten meetbaar maken van bibliotheekprogramma s gericht op andere aandachtgebieden en beleidsdomeinen. Kunnen we deze Effectenmonitor ook inzetten voor kortere activiteiten, bijvoorbeeld workshops of inloopspreekuren? De monitor is ontwikkeld om cursussen en trainingen met meerdere bijeenkomsten te meten. Vanwege het langduriger karakter van deze cursussen is hierbij naar verwachting een beter waarneembaar effect te meten dan bijvoorbeeld een (eenmalig) bezoek aan een bijeenkomst, informatiebalie of spreekuur. Binnen het onderzoeksprogramma IMPACT zullen we het komende jaar onderzoeken wat de mogelijkheden zijn om ook meetinstrumenten aan de Effectenmonitor toe te voegen waarmee meer kortdurende activiteiten zoals lezingen en inloopspreekuren - kunnen worden gemeten. Daarbij valt te denken aan een korte vragenlijst die alleen achteraf wordt ingevuld om een indicatie te krijgen van het effect van de activiteit. Inhoud en ontwikkeling van de vragenlijsten Wat voor effecten meet de Effectenmonitor? De Effectenmonitor is primair gericht op het zichtbaar maken van de opbrengsten van cursussen binnen de genoemde domeinen. Ook wordt gevraagd naar de motivatie van cursisten (nulmeting) en hun oordeel (nameting) over de cursus in de bibliotheek. De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus: Niveau van kennis & vaardigheden: wat weet en kan men al op een bepaald gebied? Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven? Attitude: hoe kijkt men tegen een bepaald onderwerp aan? Daarnaast wordt respondenten (in de nameting) middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven. Hoe zijn de vragenlijsten opgebouwd? Elke onderzoeksmodule heeft dezelfde opbouw. In de nulmeting wordt gevraagd naar de motivatie van deelnemers om de cursus te volgen en het beginniveau op basis van zelfinschatting en de attitude ten aanzien van het onderwerp dat centraal staat (bijv. de digitale overheid). In de nameting wordt de cursist opnieuw gevraagd naar het niveau van vaardigheden, de attitude en de opbrengsten die men van de cursus merkt in het eigen dagelijks leven. Tot slot wordt gevraagd naar de tevredenheid over de cursus (het materiaal en de cursusleider). Om eventuele verschillen tussen groepen deelnemers te kunnen identificeren, wordt tevens gevraagd naar een aantal sociaal demografische kenmerken van de respondenten (geslacht, leeftijd, hoogst afgeronde opleiding, betaald werk ja/nee, moedertaal).

3 Zijn vragenlijsten niet te moeilijk voor de doelgroep? De Effectenmonitor maakt gebruik van vragenlijsten om de effecten van en tevredenheid over programma s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld, dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken. Een nadeel bij deze wijze van onderzoeken, is dat juist voor de betreffende doelgroep namelijk mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden het invullen van een vragenlijst moeilijk kan zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen: Vragenlijsten kunnen zowel digitaal als schriftelijk afgenomen worden (meer informatie over afname van de vragenlijsten is te vinden in de handleiding. Vragenlijsten zijn zo kort mogelijk gehouden Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC. Desalniettemin blijft een bepaald niveau aan vaardigheden noodzakelijk om de vragenlijsten in te kunnen vullen. We adviseren dan ook om het invullen van de vragenlijsten (zeker de voormeting) te integreren in de cursusbijeenkomsten, zodat de cursusleider eventueel ondersteuning kan aanbieden aan mensen die moeite hebben met het invullen van de lijsten. Hoe motiveer ik deelnemers om mee te doen? Ervaringen uit het verleden leren dat de integratie van een monitor in het cursusprogramma als positief wordt ervaren door zowel respondenten als cursusleiders. Het onderzoek is dan een vanzelfsprekend onderdeel van de cursus. De voormeting kan hierbij worden aangeboden als een eerste oefening of kennismaking en de nameting kan gecombineerd worden met een feestelijk moment waarop de afronding van de cursus en het behalen van een eventueel certificaat wordt gevierd. Verwerking van de onderzoeksgegevens Hoe is de privacy van de respondenten gewaarborgd? De Effectenmonitor wordt uitgevoerd door een onafhankelijk onderzoeksbureau: DESAN Research Solutions. DESAN is zowel ISO (kwaliteit onderzoek) als ISO (databeveiliging) gecertificeerd. DESAN hanteert de richtlijnen van MOA en ESOMAR. Er worden bij de monitor geen gegevens op persoonsniveau gerapporteerd. Wat gebeurt er met de gegevens van mijn bibliotheek? De Effectenmonitor dient primair voor de uitvoering van effectmeting voor individuele bibliotheken. De onderzoeksgegevens zullen daarnaast ook centraal worden verzameld en geanalyseerd. Jaarlijks wordt een landelijke rapportage uitgebracht met de landelijke stand van zaken op basis van de gegevens van alle deelnemende bibliotheken. De gegevens worden zorgvuldig beheerd onder verantwoordelijkheid van de KB. In de landelijke rapportage zullen geen uitspraken worden gedaan over individuele bibliotheken, maar worden - waar relevant vergelijkingen gemaakt tussen bijvoorbeeld groepen bibliotheken van verschillende omvang, verschillende regio s en/of op basis van de invulling van de cursus die wordt gemeten.

4 Deelnemen Wat kost deelname aan de Effectenmonitor? In 2019 kunt u via de Effectenmonitor gratis deelnemen aan twee onderzoeksmodulen, waarvan de module E- overheid vast onderdeel uitmaakt. Hiermee blijft de evaluatie als vast onderdeel van het programma Digisterker gewaarborgd. Hier bovenop kunt u een of twee extra onderzoeksmodulen inzetten. Voor extra modulen betaalt de bibliotheek een eigen bijdrage: één extra onderzoeksmodule: 224,-* per jaar twee extra onderzoeksmodulen: 448,-* per jaar * Afhankelijk van het aantal deelnemende bibliotheken kan dit bedrag lager worden. Eind april, na sluiting van de inschrijving, maken wij het definitieve bedrag bekend. De genoemde bedragen zijn maxima. De KB streeft ernaar om de Effectenmonitor ook in 2020 kosteloos aan te bieden vanuit de landelijke programmagelden. Hierover zal in de loop van 2019 meer duidelijkheid komen. Vanwege de schaalgrootte van de Effectenmonitor mag u verwachten dat wij deze tegen een laag tarief kunnen aanbieden. Welke taken moet de bibliotheek zelf uitvoeren? Voor deelname aan de monitor onderscheiden we taken en rollen op drie niveaus: Strategisch Deelname aan de Effectenmonitor wordt in het ideale geval ingezet, dan wel ondersteund door de directie en/of het management van de bibliotheek. Deze zien wij als de opdrachtgever voor de monitor. De monitor moet hem of haar belangrijke informatie opleveren over het functioneren van de organisatie en de mate waarin organisatiedoelen worden behaald. Die informatie kan dienen als input voor beleid en ter ondersteuning van het gesprek met bijv. de gemeente. De directeur en/of manager draagt het belang van monitoring en effectmeting uit naar de rest van de organisatie. Hij / zij wordt vervolgens op vaste momenten door de monitorcoördinator op de hoogte gehouden van de voortgang en de uitkomsten van het onderzoek. Tactisch We adviseren elke organisatie om een monitorcoördinator te benoemen die zorgt dat de Effectenmonitor onderdeel wordt van een systematisch en cyclisch proces van meten en evalueren. We zien deze persoon als de belangrijkste eigenaar van het vraagstuk rondom monitoring en effectmeting. In de praktijk zal dit vaak een educatief specialist, coördinator, of programmaleider zijn. Het is de persoon die strategische organisatiedoelen vertaalt in concrete programma s en activiteiten en die het cursusprogramma op het niveau van de basisbibliotheek overziet en coördineert. De monitorcoördinator begeleidt de organisatie in het aanmelden voor en uitzetten van onderzoek, draait de rapportages uit en vertaalt onderzoeksresultaten naar het beleid en de werkpraktijk van de bibliotheek. Hij of zij zorgt ook voor de terugkoppeling van resultaten naar de directie / het management en naar de medewerkers of vrijwilligers die de cursussen verzorgen. De monitorcoördinator kan toegang tot de portal verstrekken aan betrokken personen. Deze gebruikers kunnen worden toegevoegd binnen de portal. Operationeel De uitvoering van de monitor zal voor een groot deel worden verzorgd door de monitoruitvoerder. Deze persoon vaak een bibliotheekmedewerker of vrijwilliger begeleidt de cursussen en zorgt ervoor dat de vragenlijsten door cursisten bij aanvang en na afronding van de cursussen worden ingevuld. Dit doet hij/zij door de vragenlijsten digitaal of schriftelijk aan alle cursisten voor te leggen en hen eventueel te begeleiden bij (en motiveren tot) het invullen. Voor het verspreiden van vragenlijsten via de online portal werkt hij of zij nauw samen met de monitorcoördinator die het gebruik van en toegang tot de online portal coördineert. In samenspraak met de monitorcoördinator zorgt de monitoruitvoerder voor de interpretatie van de onderzoeksinzichten in relatie tot het cursusprogramma en de eigen ervaringen in de werkpraktijk.

5 * N.B. Welke mensen er precies betrokken worden bij de uitvoering van de Effectenmonitor en hoe verschillende rollen worden ingevuld, zal afhangen van lokale omstandigheden, behoeften en beschikbare mensen en faciliteiten. De hierboven genoemde rollen en taken zijn dan ook een advies en kunnen door bibliotheken naar eigen inzicht worden ingevuld. Wat moet ik doen om deel te nemen aan de Effectenmonitor? Alle bibliotheken kunnen deelnemen aan de Effectenmonitor. Wij adviseren om hiervoor, zoals hierboven beschreven, één monitorcoördinator te benoemen die zich namens de bibliotheek inschrijft en de verzameling en rapportage van onderzoeksgegevens coördineert. Deze persoon kan ook collega s of vrijwilligers instrueren bij het invoeren van gegevens en het uitzetten van vragenlijsten. Registreren voor de Effectenmonitor kan via: U krijgt dan een ter bevestiging van uw inschrijving en kunt vervolgens een inlog aanmaken. Vanaf april is de monitor open voor gebruik. De monitorcoördinator kan dan inloggen en in de digitale beheeromgeving van zijn of haar bibliotheek starten met het uitsturen van de vragenlijsten en het uitdraaien van onderzoeksresultaten. Instappen kan tot 31 mei Een handleiding met informatie over de werkwijzen voor aanmelden en inloggen, alsmede een beschrijving van de te doorlopen stappen bij het uitzetten van een onderzoek vindt u binnenkort op de website Kan ik ook later in het jaar (na april) instappen bij de Effectenmonitor? In principe is instappen altijd mogelijk. I.v.m. restricties in het beschikbare budget kunnen we echter niet garanderen dat bibliotheken die later instappen hun deelname krijgen vergoed. Wilt u zeker weten dat het onderzoek (tot een maximum van twee modules) wordt vergoed? Zorg dan dat uw bibliotheek voor 19 mei is ingeschreven. In mei zullen we alle inschrijvers die nog niet gestart zijn met onderzoek per mail benaderen. U kunt dan aangeven dat u later wilt starten met het uitzetten van vragenlijsten. Waar kan ik ondersteuning krijgen bij het werken met de monitor? Voor vragen rondom aanmelden, inloggen en het uitzetten van de onderzoeken in uw bibliotheek kunt u contact opnemen met de helpdesk. Voor inhoudelijke vragen over de Effectenmonitor kunt u mailen naar bibliotheekstelsel@kb.nl. Registreren voor de Effectenmonitor Hoe kan ik mijn bibliotheek registreren voor deelname aan de Effectenmonitor? Registreren voor de Effectenmonitor kan via: U krijgt dan een ter bevestiging van uw inschrijving en kunt vervolgens een inlog aanmaken. Vanaf april is de monitor open voor gebruik. De monitorcoördinator kan dan inloggen en in de digitale beheeromgeving van zijn of haar bibliotheek starten met het uitsturen van de vragenlijsten en het uitdraaien van onderzoeksresultaten. Kan ik mij als monitorcoördinator aanmelden voor meerdere basisbibliotheken? Uw adres en wachtwoord vormen de toegang tot de beheerportal en rapportage-omgeving van de specifieke bibliotheek. Het is niet mogelijk om met eenzelfde mailadres meerdere bibliotheken in de Effectenmonitor te beheren. Wilt u als monitorcoördinator deelnemen voor meerdere bibliotheken, dan kunt u contact opnemen met de helpdesk. Kan ik met meerdere mensen binnen mijn organisatie de deelname aan de Effectenmonitor beheren? Ja dit kan. Wij adviseren echter om binnen de organisatie één persoon aan te wijzen die het belangrijkste aanspreekpunt vormt en die de deelname namens de bibliotheek overziet en coördineert. Deze persoon de Monitorcoördinator kan in de beheeromgeving (tabblad Gebruikers onder Account ) andere gebruikers

6 invoeren. Wanneer een extra gebruiker is toegevoegd, krijgt deze een persoonlijke waarin hij of zij de deelname kan bevestigen en een eigen inlog kan aanmaken. Modules kiezen Welke modules moet ik kiezen? Om deelname aan de monitor te starten, moet u eerst aangeven welke module(s) u wilt gaan inzetten. Welke module(s) u kiest, hangt af van de cursussen die u met de Effectenmonitor gaat meten. Richt de cursus zich op taalvaardigheden? Dan kiest u de module taal. Biedt u een (of meerdere) cursussen op het gebied van digitale vaardigheden? Dan kunt u kijken of de vragenlijsten Computer en Internet of Social Media het beste tegemoet komt aan de inhoud van de cursus. Om een goede keuze te maken over de in te zetten module, adviseren wij om vooraf even goed naar de vragenlijsten te kijken die staan op U krijgt dan een beter beeld van wat er binnen de specifieke modules precies wordt gemeten. Let op: in 2019 wordt de deelname aan twee modulen gratis door de KB aangeboden. Bij deelname aan een derde of vierde module worden kosten in rekening gebracht. Zie ook de vragen over kosten onder het kopje Deelnemen. Waarom kan ik de module die ik heb aangevinkt niet meer verwijderen? Wanneer er voor een module reeds vragenlijsten zijn uitgestuurd, beschouwen we het onderzoek binnen die module als gestart. De module kan dan niet zomaar worden verwijderd, omdat dit zou betekenen dat de onderzoeksgegevens ook verwijderd worden. Wilt u een module toch verwijderen, ook al is het onderzoek gestart, dan kunt u contact opnemen met de helpdesk. Kan ik later in het jaar het aantal modules waaraan ik deelneem uitbreiden? Ja dit kan. U kunt op elke gewenst moment nieuwe modules kiezen en daarbinnen starten met onderzoek. Houd er wel rekening mee dat er voor extra modules kosten in rekening gebracht kunnen worden. Zie ook de vragen over kosten onder het kopje Deelnemen. Cursussen kiezen Welke cursussen kan ik met de Effectenmonitor meten? De Effectenmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veel voorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf! Maar ook andere cursussen op deze gebieden kunnen met de Effectenmonitor worden gemeten. Een overzicht van cursussen waarvoor de verschillende modules kunnen worden ingezet, is te vinden in de handleiding. Wanneer u in de beheerportal een module heeft gekozen, vindt u de lijst met cursussen voor die betreffende module onder het tabblad Cursussen. Let op: gebruikt u een cursus uit de lijst, maar heeft u die in de bibliotheek een andere naam gegeven? Ga dan uit van de naam die herkenbaar is voor de respondent, zodat deze bij het ontvangen van de mail en invullen van de vragenlijst goed snapt waar het over gaat. Voeg de naam van deze cursus in het beheerportal in dit geval handmatig toe aan de lijst. Klik altijd op opslaan om uw keuze te bevestigen. Wat moet ik doen als mijn cursus niet in het overzicht van cursussen staat? Staat uw cursus niet in de lijst, bijvoorbeeld omdat het een maatwerkcursus betreft die de bibliotheek zelf heeft ontwikkeld? Dan kunt u de cursus zelf handmatig toevoegen. Let wel op dat u de cursus een korte en

7 duidelijke titel meegeeft die ook herkenbaar is voor de cursist. De naam van de cursus wordt gebruikt in de uitnodigingsmail en vragenlijst, dus het is belangrijk dat respondenten snappen waar het precies over gaat. Wat moet ik doen als mijn bibliotheek een combinatie van cursussen binnen één traject aanbiedt? Het kan zijn dat cursisten tijdens een cursus in uw bibliotheek onderdelen uit verschillende cursusprogramma s aangeboden krijgen (bijvoorbeeld Klik & Tik en Digisterker). De samenstelling van het programma wordt bijvoorbeeld bepaald op basis van de wensen of het instapniveau van de individuele cursist, of er wordt een standaard selectie gemaakt uit verschillende trainingspakketten. In dit geval vragen wij u om de cursussen die in het traject worden gecombineerd niet aan te vinken in de standaardlijst, maar om contact op te nemen met de helpdesk. Zijn bespreken graag met u hoe u uw cursus het beste kunt registeren in de portal. Op die manier kunnen we waarborgen dat er eenduidige manier van registreren wordt gehanteerd, zodat we ook voor de rapportage goed weten waar resultaten betrekking op hebben. Waarom zie ik geen cursussen staan op de pagina Cursussen? Om in het beheerportal een of meerdere cursus(sen) te kiezen waarvoor u effecten wilt gaan meten, is het belangrijk dat u eerst heeft aangegeven aan welke module(s) u gaat deelnemen. Kiest u bijvoorbeeld de module Computer en Internet en klikt u op opslaan dan ziet u vervolgens op de pagina cursussen een lijst van cursussen waaruit u kunt kiezen. Staat uw cursus niet in de lijst, bijvoorbeeld omdat het een maatwerkcursus betreft die de bibliotheek zelf heeft ontwikkeld? Dan kunt u de cursus zelf handmatig toevoegen. Let wel op dat u de cursus een korte en duidelijke titel meegeeft, want de naam van de cursus wordt gebruikt in de uitnodigingsmail en vragenlijst die naar respondenten gaat. Klik altijd op opslaan om uw keuze te bevestigen. Hoeveel cursussen kan ik met de Effectenmonitor meten? Het aantal cursussen dat u binnen een module kunt meten is in principe onbeperkt. Wanneer u bijvoorbeeld kiest voor de module Computer en internet en over dit onderwerp verschillende cursussen aanbiedt (bijvoorbeeld Klik&Tik. De basis. en Seniorweb), dan kunt u elk van die cursussen meten met behulp van dezelfde voor- en nameting. De onderzoeksgegevens over deze verschillende cursussen worden bij elkaar opgeteld en samengenomen bij de rapportage over de betreffende module. Kan ik ook later in het jaar nieuwe cursussen toevoegen? Het toevoegen van cursussen en starten met onderzoek voor die cursussen kan in principe het hele jaar door, mits die cursussen betrekking hebben op de modules waaraan u al deelneemt. Start u een nieuwe cursus waarvoor u een nieuwe module moet kiezen? Houdt u er dan rekening mee dat hieraan mogelijk kosten zijn verbonden. Zie ook de vragen onder Modules kiezen. Over welke periode kan ik effecten meten? De periode waarover u effecten meet, bestrijkt over het algemeen een jaar. Dit betekent dat u het hele jaar door vragenlijsten kunt laten invullen. Het totaal aan gegevens wordt gerapporteerd in het rapportageomgeving. Omdat de monitor in 2019 in mei van start is gegaan, zullen de resultaten over 2019 alleen betrekking hebben op het tweede, derde en vierde kwartaal.

8 Waarom kan ik de cursus die ik heb aangevinkt niet meer verwijderen? U kunt een cursus alleen verwijderen als hiervoor nog geen vragenlijsten zijn ingevuld. Is er al gestart met onderzoek, maar wilt u de cursus toch verwijderen? Neem dan contact op met de helpdesk. Houd er wel rekening mee dat dit gevolgen heeft voor de opslag en rapportage van onderzoeksgegevens voor deze cursus. Cursisten registreren ( uploaden ) Hoe moet ik cursisten registreren voor deelname aan het onderzoek? U kunt cursisten op twee manier toevoegen aan de beheerportal: als groep in een bestand of handmatig. In het eerste geval kunt u op de pagina upload bestand een excelbestand met de naam, het telefoonnummer en het adres van de cursisten toevoegen. Gebruik hiervoor het format dat in de beheerportal wordt aangeboden. Als de upload is gelukt, vindt u de contactgegevens van de cursisten op de pagina Uitnodigen. Hier kunt u ook (extra) individuele cursisten handmatig toevoegen en de gegevens van cursisten wijzigen door op bewerken te klikken. Waarom moet ik een adres of telefoonnummer van de cursist opgeven? Vragenlijsten verspreiden kan op verschillende manieren: per mail, schriftelijk en online via een weblink. De uitgangssituatie is dat cursisten een link naar de vragenlijst per ontvangen en vervolgens digitaal in kunnen vullen. Hiervoor is het nodig dat het adres van de cursisten in het systeem wordt ingevoerd. Is de vragenlijst een bepaalde periode na het versturen nog niet ingevuld, dan ontvangt de cursist automatisch een herinneringsmail. Heeft de cursist geen adres of wilt u het onderzoek klassikaal laten invullen, dan maakt u gebruik van de pdf. De cursist kan de vragenlijst dan schriftelijk invullen of via de weblink die op de pdf geprint is (let op: elke cursist dient zijn eigen vragenlijst met persoonlijke code te krijgen!). Het is in beide gevallen wel slim om het telefoonnummer van de cursist in te vullen, zodat deze per sms een herinneringsbericht kan ontvangen wanneer de vragenlijst na een bepaalde periode nog niet is ingevuld. Ook dit gebeurt automatisch. Wat gebeurt er met persoonsgegevens in het kader van de Algemene verordening gegevensbescherming (AVG)? DESAN hanteert de richtlijnen van MOA en ESOMAR en zal contactgegevens van cursisten een jaar na afronding van het meetjaar verwijderen. De vragenlijsten worden anoniem verwerkt. Ik wil een Excel-bestand uploaden, maar ik kan geen cursus selecteren. Wanneer in het drop down menu geen cursussen staan om uit te kiezen, heeft u waarschijnlijk nog geen modules en/of cursussen geselecteerd. Het kan ook zijn dat u de modules en/of cursussen nog niet (succesvol) heeft opgeslagen. Ga naar de pagina Modules en Cursussen in het tabblad Details deelname. Kijk of hier modules en cursussen zijn aangevinkt. Cursisten uitnodigen om de vragenlijst in te vullen Waarom heeft elke respondent een eigen inlogcode? De inlogcode is bedoeld om elke respondent een uniek (doch anoniem) kenmerk mee te geven, zodat we de voor- en nameting van deze respondent aan elkaar kunnen koppelen. Alleen bij een juiste koppeling kunnen we goede uitspraken doen over de vorderingen die een cursist tijdens het cursustraject heeft gemaakt. Het is daarom erg belangrijk dat iedere cursist de juiste vragenlijst met de juiste inlogcode voorgelegd krijgt. Bij het per mail versturen van de vragenlijst wordt de persoonlijke code automatisch voor ingevuld. Bij de pdf voor schriftelijk of online invullen, staat de inlogcode op de vragenlijst gedrukt.

9 Hoe kan ik de vragenlijsten klassikaal in laten vullen? U kunt de vragenlijsten klassikaal schriftelijk of online (bijvoorbeeld op computers van de bibliotheek) laten invullen. Een combinatie is ook mogelijk. Om schriftelijk te laten invullen, klikt u op pdf om de vragenlijst per cursist te downloaden en printen. De cursist kan de vragenlijst in de bibliotheek invullen of mee naar huis nemen. Vergeet in dat geval niet om een antwoordenvelop mee te geven, zodat de cursist de vragenlijst zelf op de post kan doen. Online in laten vullen kan op twee manieren: 1. U verstuurt de vragenlijst naar het adres van de respondent die de vragenlijst van hieruit kan openen en invullen. 2. U print per cursist het pdf en laat hem of haar de vragenlijst benaderen via de weblink die hierop staat afgedrukt. De persoonlijke code waarmee de respondent de vragenlijst kan openen staat eveneens op de pdf. Let erop dat elke respondent de juiste vragenlijst met de juiste inlogcode krijgt, zodat de voor- en nameting van de cursisten aan elkaar gekoppeld kunnen worden t.b.v. de rapportage! Wij adviseren u om bij het klassikaal verspreiden van de vragenlijsten ter check altijd even een overzichtje te printen van de naam en inlogcode van alle respondenten, om er zeker van te zijn dat ieder zijn of haar juiste inlogcode krijgt. Wat moet ik doen met de ingevulde papieren vragenlijsten? De papieren vragenlijsten kunt u (of kan de cursist zelf) na afronding opsturen naar: DESAN Research Solutions Antwoordnummer WE Amsterdam U heeft hiervoor antwoordenveloppen ontvangen. Heeft u geen antwoordenveloppen meer neem dan contact op met onze helpdesk. Moet de cursist perse een voor- en een nameting invullen? Om de progressie van cursisten te meten als gevolg van deelname aan de cursus, is het belangrijk dat cursisten deelnemen aan zowel de voor- als de nameting. Soms kan het echter zijn dat het invullen van een voormeting niet is gebeurd, bijvoorbeeld omdat de cursus al gestart is of als de cursist de voormeting is vergeten in te vullen. In dat geval volstaat de deelname aan uitsluitend de nameting. In de nameting worden immers ook enkele vragen gesteld over de ervaringen en het oordeel van de cursist n.a.v. de cursus. Het kan ook zijn dat een cursist wel deelneemt aan de voormeting, maar niet aan de eindmeting. Ook in dat geval worden de resultaten uit de voormeting aan de totale gegevensset toegevoegd. Belangrijke gegevens over het instapniveau en de motivatie van de cursisten worden op die manier gewoon meegenomen in de analyse. Het gevolg is wel dat de data van deze cursist in de rapportage niet zal worden meegenomen als er een vergelijking tussen de voor- en nameting wordt gemaakt. Waarom kleurt de naam van een cursist rood in de lijst? De contactgegevens van deze persoon zijn onjuist of niet compleet. Corrigeer de contactgegevens van deze cursist met de knop bewerken.

10 Rapportage Wat is het resultaat uit de monitor? Via de beheerportal hebben bibliotheken toegang tot een rapportageomgeving waar zij op elk gewenst moment de resultaten uit hun eigen metingen (basisbibliotheek of vestiging) kunnen uitdraaien. Resultaten van de eigen bibliotheek kunnen hier ook vergeleken worden met het landelijk gemiddelde van alle deelnemende bibliotheken of data uit voorafgaande jaren. De resultaten worden weergegeven in grafieken en tabellen, waarbij verschillende selecties of filtermogelijkheden worden aangeboden. Een toelichting op onderzoeksbevindingen vindt u in de landelijke rapportage die aan het eind van het onderzoeksjaar wordt opgemaakt en gepubliceerd. Wanneer en hoe kan ik een rapportage uitdraaien? De bibliotheek kan op elk gewenst moment rapportages uitdraaien. Dit kan door via het beheerportal naar het tabblad Rapportage te gaan. U komt dan in een omgeving waar u onder andere kunt selecteren van welke module u de resultaten wilt zien. Let op: we adviseren om goed te kijken naar het totale aantal cursisten dat op het moment van rapporteren aan het onderzoek heeft meegedaan (de N). Wanneer een onderzoek net start en er minder dan 10 vragenlijsten zijn ingevuld (N< 10), dan gelden voor de resultaten grote toevalligheidsmarges. Bij een totaal aantal respondenten dat kleiner is dan 50, is het aan te raden percentages altijd met de nodige voorzichtigheid te interpreteren. Indien de uitkomst betrekking heeft op minder dan 3 respondenten, worden in verband met de anonimiteit van respondenten de resultaten (nog) niet getoond. Op welk niveau worden resultaten gerapporteerd? Deelname aan de Effectenmonitor gebeurt op het niveau van basisbibliotheek, dus de rapportage heeft eveneens betrekking op dat niveau. In de rapportageomgeving is het wel mogelijk om de resultaten van de basisbibliotheek uit te splitsen naar locatie (of vestiging) waar de cursussen zijn gegeven. Een uitsplitsing naar gemeente is helaas nog niet mogelijk, omdat er geen actueel, volledig en betrouwbaar overzicht is van het postcodedoelgebied per bibliotheeklocatie. Deze informatie is vooralsnog alleen beschikbaar op het niveau van basisbibliotheek. Hierdoor kunnen aan de bibliotheekvestigingen geen gemeente(n) toebedeeld worden. We onderzoeken nog op welke termijn dit probleem opgelost kan worden, maar het betekent in ieder geval dat deelnemende bibliotheken deze gegevens actueel zullen moeten bijhouden. Hoe kan ik onderzoeksresultaten gebruiken in mijn eigen stukken, zoals een jaarverslag? Als u een grafiek uit de rapportageomgeving wilt exporteren, klikt u rechts onderin op pdf. U kunt de grafiek dan als een los document printen en/of opslaan.