Veelgestelde Vragen. Achtergrond

Transcriptie

1 Veelgestelde Vragen Achtergrond Hoe is de Effectenmonitor tot stand gekomen? De monitor is in nauwe afstemming met het bibliotheekveld ontwikkeld. Op verschillende momenten en manieren is input verzameld voor de ontwikkelingen van de vragenlijsten en de infrastructuur: Tijdens verschillende workshops zijn de behoeften en ervaringen van bibliotheken op het gebied van effectmeting opgehaald. Deze vormden het startpunt van de ontwikkeling van de monitor. Een landelijke werkgroep van vertegenwoordigers uit POI s heeft meegedacht over de opzet en inrichting van de Effectenmonitor. Middels kwalitatief onderzoek (interviews en groepsgesprekken) zijn ervaringen van bibliotheekbezoekers en cursusdeelnemers opgehaald die input boden bij de ontwikkeling van de vragenlijsten. Een klankbordgroep bestaande uit lokale bibliotheken heeft de vragenlijsten getest en voorzien van feedback. Wat is het voordeel van een landelijk instrument? Met een landelijk ontwikkeld instrument wordt bibliotheken veel werk uit handen genomen bij het uitvoeren van een effectmeting. Het verzamelen en rapporteren van de onderzoeksgegevens met behulp van standaard vragenlijsten gebeurt geautomatiseerd, waardoor de bibliotheek niet zelf aan de slag hoeft met het maken en analyseren van vragenlijsten. Doordat gegevens via een centrale infrastructuur worden verzameld, is het tevens mogelijk om op landelijk niveau uitspraken te doen over de effectiviteit en impact van bibliotheekprogramma s binnen het domein van de basisvaardigheden. Hoe sluiten gestandaardiseerde instrumenten aan op mijn lokale situatie? De effectenmonitor is in eerste instantie bedoeld om bibliotheken lokaal te voorzien van waardevolle informatie over hun educatieve en maatschappelijke dienstverlening. De vragenlijsten in de Effectenmonitor zijn dan ook zodanig opgesteld dat deze voor de meeste lokale bibliotheekprogramma s op de betreffende thema s goed in te zetten zijn. Hoewel doelgroep en invulling van een programma kunnen verschillen, zijn veel elementen en effecten van vergelijkbare aard. Dit blijkt ook uit de landelijke BOP-onderzoeken die jaarlijks worden uitgevoerd om de dienstverlening van bibliotheken te monitoren (zie en voor de inzichten uit deze onderzoeken). Bijkomend voordeel van het werken met standaard vragenlijsten en een landelijke portal, is dat resultaten op geaggregeerd niveau kunnen worden verzameld en geanalyseerd. De mogelijkheid om hierbij verschillende programma s en verschillende werkwijzen te vergelijken, geeft inzicht in wat werkt en wat niet. Dit is ook de reden dat deelnemende bibliotheken bij aanvang van een cursus- of programmajaar wordt gevraagd om een korte vragenlijst in te vullen over de manier waarop zij hun programma inrichten (bijv. aantal cursusbijeenkomsten, lengte, programma waarmee wordt gewerkt, etc.). Wat gebeurt er met de oude monitors? De Effectenmonitor vervangt verschillende onderzoeken die in het verleden los werden aangeboden. Specifiek zijn dit de Monitor digitale Basisvaardigheden (voorheen aangeboden door Next Value, in opdracht van de KB) en het Evaluatieonderzoek Digisterker (aangeboden door Digisterker). Beide monitors zijn enkele jaren veel gebruikt, maar komen nu te vervallen. Binnen de Effectenmonitor vallen de verschillende effectonderzoeken nu op uniforme wijze onder één paraplu (één plek, werkwijze en onderzoeksbureau), waardoor bibliotheken eenvoudig overzicht kunnenhouden.

2 Vragenlijsten Wat voor programma s kan ik meten met de effectenmonitor? De Effectenmonitor meet de vorderingen die deelnemers aan cursussen maken in de bibliotheek. Dit zijn cursussen op het gebied van: (1) computer & internet; (2) social media; (3) e-overheid; en (4) de Nederlandse taal. Veel voorkomende cursussen zijn bijvoorbeeld de cursussen van Klik & Tik, Digisterker en Lees en Schrijf! Maar ook andere cursussen op deze gebieden kunnen met de Effectenmonitor worden gemeten. De monitor is ontwikkeld om cursussen (en trainingen) met meerdere bijeenkomsten te meten. Vanwege het langduriger karakter van deze cursussen is hierbij naar verwachting een beter waarneembaar effect te meten dan bijvoorbeeld een (eenmalig) bezoek aan een bijeenkomst, informatiebalie of spreekuur. In een later stadium zullen aan de effectenmonitor ook modules worden toegevoegd die de opbrengsten van bibliotheekprogramma s gericht op andere aandachtgebieden en beleidsdomeinen meetbaar maken. Wat voor effecten meet de Effectenmonitor? De Effectenmonitor is primair gericht op het zichtbaar maken van de opbrengsten van cursussen binnen de genoemde domeinen. Ook wordt gevraagd naar de motivatie van cursisten (nulmeting) en hun oordeel (nameting) over de cursus in de bibliotheek. De effecten die worden gemeten, zijn onder te brengen in drie typen, waarbij wordt gekeken naar de verandering die optreedt tussen de start en afronding van de cursus: Niveau van kennis & vaardigheden: wat weet en kan men al op een bepaald gebied? Gedrag: in hoeverre is men actief op dit gebied in het dagelijks leven? Attitude: hoe kijkt men tegen een bepaald onderwerp aan? Daarnaast wordt respondenten (in de nameting) middels stellingen gevraagd naar de mate waarin men positieve opbrengsten van de cursus ervaart in het dagelijks leven. Hoe zijn de vragenlijsten opgebouwd? Elke onderzoeksmodule heeft dezelfde opbouw. In de nulmeting wordt gevraagd naar de motivatie van deelnemers om de cursus te volgen en het beginniveau op basis van zelfinschatting en de attitude ten aanzien van het onderwerp dat centraal staat (bijv. de digitale overheid). In de nameting wordt de cursist opnieuw gevraagd naar het niveau van vaardigheden, de attitude en de opbrengsten die men van de cursus merkt in het eigen dagelijks leven. Tot slot wordt gevraagd naar de tevredenheid over de de cursus (het materiaal en de cursusleider). Om eventuele verschillen tussen groepen deelnemers te kunnen identificeren, wordt tevens gevraagd naar een aantal sociaal demografische kenmerken van de respondenten (geslacht, leeftijd, hoogst afgeronde opleiding, betaald werk ja/nee, moedertaal). Zijn vragenlijsten niet te moeilijk voor de doelgroep? De Effectenmonitor maakt gebruik van vragenlijsten om de effecten van en tevredenheid over programma s meetbaar te maken. Het voordeel van vragenlijsten is dat gegevens gedurende het hele cursusjaar op eenvoudige en efficiënte wijze bij een grote hoeveelheid cursisten kunnen worden verzameld. Hierdoor kan op meer systematische wijze een grotere hoeveelheid informatie over een cursusprogramma worden verzameld, dan bijvoorbeeld bij het afnemen van interviews of groepsgesprekken. Ook het analyseren van gegevens is op deze wijze eenvoudiger dan bij het verzamelen van gegevens op basis van gesprekken. Een nadeel bij deze wijze van onderzoeken, is dat juist voor de betreffende doelgroep namelijk mensen die willen worden bijgespijkerd in hun taal- en digitale vaardigheden het invullen van een vragenlijst moeilijk kan

3 zijn. Om deelname aan onderzoek ook voor deze groep zo eenvoudig mogelijk te maken, zijn de volgende maatregelen genomen: Vragenlijsten kunnen zowel digitaal als schriftelijk afgenomen worden (meer informatie over afname van de vragenlijsten is te vinden in de handleiding. Vragenlijsten zijn zo kort mogelijk gehouden Vragenlijsten zijn geformuleerd in zo eenvoudig mogelijk Nederlands In een validatieronde zijn de vragenlijsten niet alleen voorgelegd aan onderzoekers en bibliotheekprofessionals, maar ook aan een testpanel met Taalambassadeurs van Stichting ABC. Desalniettemin blijft een bepaald niveau aan vaardigheden noodzakelijk om de vragenlijsten in te kunnen vullen. We adviseren dan ook om het invullen van de vragenlijsten (zeker de voormeting) te integreren in de cursusbijeenkomsten, zodat de cursusleider eventuele ondersteuning kan aanbieden aan mensen die moeite hebben met het invullen van de lijsten. Hoe motiveer ik deelnemers om mee te doen? Ervaringen uit het verleden leren dat de integratie van een monitor in het cursusprogramma als positief wordt ervaren door zowel respondenten als cursusleiders. Het onderzoek is dan een vanzelfsprekend onderdeel van de cursus. De voormeting kan hierbij worden aangeboden als een eerste oefening of kennismaking en de nameting kan gecombineerd worden met een feestelijk moment waarop de afronding van de cursus en het behalen van een eventueel certificaat wordt gevierd. Verwerking van de onderzoeksgegevens (analyse / rapportage) Wat is het resultaat uit de monitor? Het verwerken van de onderzoeksgegevens gebeurt anoniem. Onderzoeksgegevens kunnen het hele jaar door, dus bij verschillende cursusrondes, worden verzameld. Via de portal hebben bibliotheken toegang tot een dashboard waar zij op elk gewenst moment de resultaten uit hun eigen metingen (basisbibliotheek of vestiging) kunnen uitdraaien en vergelijken met het landelijk gemiddelde van alle deelnemende bibliotheken of data uit voorafgaande jaren. De resultaten worden weergegeven in grafieken en tabellen, waarbij verschillende selecties of filtermogelijkheden worden aangeboden. Toelichting op onderzoeksbevindingen worden alleen gedaan in de landelijke rapportage die aan het eind van het onderzoeksjaar wordt opgemaakt. Wanneer en hoe kan ik een rapportage uitdraaien? De bibliotheek kan op elk gewenst moment rapportages uitdraaien. Het is daarbij belangrijk je bewust te zijn van wat het totaal aantal respondenten is dat de betreffende vragenlijst heeft ingevuld. Wanneer een onderzoek net start en er minder dan 10 vragenlijsten zijn ingevuld (n< 10), dan gelden voor de resultaten grote toevalligheidsmarges. Bij een totaal aantal respondenten dat kleiner is dan 50, is het aan te raden percentages altijd met de nodige voorzichtigheid te interpreteren. Indien de uitkomst betrekking heeft op minder dan 3 respondenten, wordt in verband met de anonimiteit de uitkomst niet getoond. Hoe is de privacy van de respondenten gewaarborgd? De effectenmonitor wordt uitgevoerd door een onafhankelijk onderzoeksbureau DESAN Research Solutions. DESAN is zowel ISO (kwaliteit onderzoek) als ISO (databeveiliging) gecertificeerd. DESAN hanteert de richtlijnen van MOA en ESOMAR. Er worden bij de monitor geen gegevens op persoonsniveau gerapporteerd. Wat gebeurt er met de gegevens van mijn bibliotheek? De Effectenmonitor dient primair voor de uitvoering van effectmeting voor individuele bibliotheken. De onderzoeksgegevens zullen daarnaast ook centraal worden verzameld en geanalyseerd. Jaarlijks wordt een

4 landelijke rapportage uitgebracht met de landelijke stand van zaken op basis van de gegevens van alle deelnemende bibliotheken. De gegevens worden zorgvuldig beheerd onder verantwoordelijkheid van de KB. In de landelijke rapportage zullen geen uitspraken worden gedaan over individuele bibliotheken, maar worden - waar relevant vergelijkingen gemaakt tussen bijvoorbeeld groepen bibliotheken van verschillende omvang, verschillende regio s en/of op basis van de invulling van de cursus die wordt gemeten. Deelnemen Wat kost deelname aan de Effectenmonitor? In 2019 kunt u via de Effectenmonitor gratis deelnemen aan twee onderzoeksmodulen, waarvan de module E- overheid vast onderdeel uitmaakt. Hiermee blijft de evaluatie als vast onderdeel van het programma Digisterker gewaarborgd. Hier bovenop kunt u een of twee extra onderzoeksmodulen inzetten. Voor extra modulen betaalt de bibliotheek een eigen bijdrage: één extra onderzoeksmodule: 224,-* per jaar twee extra onderzoeksmodulen: 448,-* per jaar * Afhankelijk van het aantal deelnemende bibliotheken kan dit bedrag lager worden. Eind april, na sluiting van de inschrijving, maken wij het definitieve bedrag bekend. De genoemde bedragen zijn maxima. De KB streeft ernaar om de Effectenmonitor ook in 2020 kosteloos aan te bieden vanuit de landelijke programmagelden. Hierover zal in de loop van 2019 meer duidelijkheid komen. Vanwege de schaalgrootte van de Effectenmonitor mag u verwachten dat wij deze tegen een laag tarief kunnen aanbieden. Welke taken moet de bibliotheek zelf uitvoeren? Voor deelname aan de monitor onderscheiden we taken en rollen op drie niveaus: Strategisch Deelname aan de Effectenmonitor wordt in het ideale geval ingezet, dan wel ondersteund door de directie en/of het management van de bibliotheek. Deze zien wij als de opdrachtgever voor de monitor. De monitor moet hem of haar belangrijke informatie opleveren over het functioneren van de organisatie en de mate waarin organisatiedoelen worden behaald. Die informatie kan dienen als input voor beleid en ter ondersteuning van het gesprek met bijv. de gemeente. De directeur en/of manager draagt het belang van monitoring en effectmeting uit naar de rest van de organisatie. Hij / zij wordt vervolgens op vaste momenten door de monitorcoördinator op de hoogte gehouden van de voortgang en de uitkomsten van het onderzoek. Tactisch We adviseren elke organisatie om een monitorcoördinator te benoemen die zorgt dat de Effectenmonitor onderdeel wordt van een systematisch en cyclisch proces van meten en evalueren. We zien deze persoon als de belangrijkste eigenaar van het vraagstuk rondom monitoring en effectmeting. In de praktijk zal dit vaak een educatief specialist, coördinator, of programmaleider zijn. Het is de persoon die strategische organisatiedoelen vertaalt in concrete programma s en activiteiten en die het cursusprogramma op het niveau van de basisbibliotheek overziet en coördineert. De monitorcoördinator begeleidt de organisatie in het aanmelden voor en uitzetten van onderzoek, draait de rapportages uit en vertaalt onderzoeksresultaten naar het beleid en de werkpraktijk van de bibliotheek. Hij of zij zorgt ook voor de terugkoppeling van resultaten naar de directie / het management en naar de medewerkers of vrijwilligers die de cursussen verzorgen. De monitorcoördinator kan toegang tot de portal verstrekken aan betrokken personen. Deze gebruikers kunnen worden toegevoegd binnen de portal.

5 Operationeel De uitvoering van de monitor zal voor een groot deel worden verzorgd door de monitoruitvoerder. Deze persoon vaak een bibliotheekmedewerker of vrijwilliger begeleidt de cursussen en zorgt ervoor dat de vragenlijsten door cursisten bij aanvang en na afronding van de cursussen worden ingevuld. Dit doet hij/zij door de vragenlijsten digitaal of schriftelijk aan alle cursisten voor te leggen en hen eventueel te begeleiden bij (en motiveren tot) het invullen. Voor het verspreiden van vragenlijsten via de online portal werkt hij of zij nauw samen met de monitorcoördinator die het gebruik van en toegang tot de online portal coördineert. In samenspraak met de monitorcoördinator zorgt de monitoruitvoerder voor de interpretatie van de onderzoeksinzichten in relatie tot het cursusprogramma en de eigen ervaringen in de werkpraktijk. * N.B. Welke mensen er precies betrokken worden bij de uitvoering van de Effectenmonitor en hoe verschillende rollen worden ingevuld, zal afhangen van lokale omstandigheden, behoeften en beschikbare mensen en faciliteiten. De hierboven genoemde rollen en taken zijn dan ook een advies en kunnen door bibliotheken naar eigen inzicht worden ingevuld. Wat moet ik doen om deel te nemen aan de Effectenmonitor? Alle bibliotheken kunnen deelnemen aan de Effectenmonitor. Wij adviseren om hiervoor, zoals hierboven beschreven, één monitorcoördinator te benoemen die zich namens de bibliotheek inschrijft en de verzameling en rapportage van onderzoeksgegevens coördineert. Deze persoon kan ook collega s of vrijwilligers instrueren bij het invoeren van gegevens en het uitzetten van vragenlijsten. Inschrijven voor de Effectenmonitor kan via: Begin april gaat de monitor open voor gebruik. Alle voorinschrijvers ontvangen dan een mail met een link naar de portal waar de monitorcoördinator aan de slag kan. De inlog leidt naar een persoonlijke digitale bibliotheekomgeving van waaruit men de vragenlijsten kan uitsturen en onderzoeksresultaten kan uitdraaien. Instappen kan tot 30 april Een handleiding met informatie over de werkwijzen voor aanmelden en inloggen, alsmede een beschrijving van de te doorlopen stappen bij het uitzetten van een onderzoek vindt u hier. Waar kan ik ondersteuning krijgen bij het werken met de monitor? Voor vragen rondom aanmelden, inloggen en het uitzetten van de onderzoeken in uw bibliotheek kunt u contact opnemen met de Helpdesk [helpdesk@effectenmonitorkb.nl]. Voor inhoudelijke vragen over de Effectenmonitor kunt u mailen naar stelseltaken@kb.nl.