Evaluatie tweede certificeringsronde openbare bibliotheken

Transcriptie

1 Evaluatie tweede certificeringsronde openbare bibliotheken Deel 4: Eindrapport Tweede Certificeringsronde Tilburg, oktober 2014 Martien van Tits Hans Mariën

2 II Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport Uitgever: IVAdata Universiteit van Tilburg Postbus LE Tilburg 2014 IVAdata Niets uit deze uitgave mag worden verveelvoudigd en/of worden openbaar gemaakt door middel van druk, fotokopie, microfilm, of op welke andere wijze dan ook, zonder voorafgaande schriftelijke toestemming van IVAdata. Het gebruik van cijfers en/of tekst als toelichting of ondersteuning bij artikelen, boeken en scripties is toegestaan, mits de bron duidelijk wordt vermeld.

3 IVAdata III Inhoudsopgave 1 Samenvatting en aanbevelingen Samenvatting Aanbevelingen en suggesties voor verbeteringen Inleiding Opzet en aanpak van het onderzoek Respons en algemene gegevens Respons Algemene gegevens Het auditproces De audit Eigenschappen van de auditor Deskundigheid van de auditor Suggesties en opmerkingen van de respondenten Bijlage 1: Vragenlijst webenquête Bijlage 2: Uitnodigingsmail Bijlage 3: Herinneringsmail... 49

4 IV Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport

5 IVAdata 1 1 Samenvatting en aanbevelingen 1.1 Samenvatting De openbare bibliotheken in Nederland zijn in de jaren bezocht door negen onafhankelijke auditoren in het kader van de tweede certificeringsronde van de Stichting Certificering Openbare Bibliotheken. Deze kwaliteitscertificering is uitgevoerd op basis van de norm 2010 en is een belangrijk middel om de bijdrage aan de ontwikkeling van het bibliotheek(net)werk aantoonbaar te maken. De evaluatie geeft inzicht in de ervaring van de openbare bibliotheken met de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. Van de 156 bibliotheken die voor de certificering in aanmerking komen (153 openbare bibliotheken en 3 organisaties ten behoeve van mensen met een leesbeperking) hebben 6 bibliotheken deelname geweigerd. Van de resterende 150 bibliotheken hebben er 146 deelgenomen aan de evaluatie, ofwel een respons van 97,3 procent. Deze uitzonderlijk hoge respons kan gedeeltelijk verklaard worden uit de gehanteerde aanpak (kort tijdsbestek tussen certificering en enquêtering en reminders per mail en per telefoon); de belangrijkste reden is inzicht in het belang van kwaliteitscertificering voor de bibliotheek. De hoge mate van betrokkenheid komt ook tot uiting in de circa 300 suggesties en opmerkingen die door de respondenten zijn aangegeven in de 7 vragen met open antwoorden. Het resultaat van de certificeringsaudit is dat 143 bibliotheken zijn gecertificeerd en 3 bibliotheken onder voorbehoud zijn gecertificeerd, ofwel een certificeringsgraad van 97,9 procent van de deelgenomen bibliotheken. De kwaliteitsaudits zijn uitgevoerd door 9 onafhankelijke auditoren. Circa een derde deel van de respondenten werkt langer dan 20 jaar in de bibliotheek waar de audit heeft plaatsgevonden, een derde deel 6 tot 10 jaar en een kwart 1 tot 5 jaar. Een arbeidsverleden van 11 tot 20 jaar heeft 14 procent en 1 procent van de respondenten werkt korter dan 1 jaar in de desbetreffende bibliotheek. Aan het evaluatieonderzoek hebben voornamelijk directeuren deelgenomen (81 procent). De overige respondenten zijn kwaliteitsmanager of hebben een andere managementachtergrond, al dan niet als MT-lid. De hoogte van de gekwalificeerde functies is een goede indicatie van het belang dat het management hecht aan de certificering. De respondenten zijn bijzonder tevreden over het auditproces. Op een schaal van 1 tot 5 [1] scoort het informeren over de voortgang met 4,23 het laagst, gevolgd door de informatieverstrekking over de verschillende onderdelen van de audit 4,26, de geschiktheid van het auditprogramma 4,31, de bereikbaarheid van de auditor en het certificeringsbureau 4,40 en het behalen van de vooraf afgesproken planning scoort met 4,41 het hoogst. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65. De tevredenheid over het auditproces is ook gemeten aan de mate waarin de respondenten het eens of helemaal eens zijn met een goede uitvoering van een procesonderdeel. De tevredenheid is hier 85,6 procent met betrekking tot het informeren over de voortgang van het auditproces, 1 De vijfpuntsschaal loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. De categorie 0 = weet niet/nvt is toegevoegd.

6 2 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport 91,1 procent over het auditprogramma, 91,7 procent over de planning, 92,5 procent over de informatieverstrekking en 96,5 procent over de bereikbaarheid van de auditor en het certificeringsbureau tijdens het auditproces. Een punt van aandacht is dat het certificeringsbureau en/of de auditor de bibliotheek(medewerkers) goed op de hoogte dienen te houden van de voortgang van het auditproces. De tevredenheid over verschillende onderdelen van de audit is lager. Op een schaal van 1 tot 5 scoort vaker dan één maal per vier jaar toetsen aan de normen 2,97 en de afstemming van de verschillende facetten van het certificeringsproces scoort 3,70. De score op de stelling de certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken, bedraagt 3,83. De tevredenheid van de respondenten over de auditonderdelen is ook gemeten aan de mate waarin de respondenten het (helemaal) eens zijn met de stellingen. Van de respondenten is slechts 36 procent het er (helemaal) mee eens dat de normen waarop getoetst wordt vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Er kan geconcludeerd worden dat de normen niet vaker dan éénmaal per vier jaar geëvalueerd hoeven te worden. Van de respondenten is 72 procent van mening dat de verschillende facetten van het certificeringsproces goed op elkaar afgestemd zijn. Aan de onderlinge afstemming van die verschillende certificeringsonderdelen kan in de volgende certificeringsronde wat meer aandacht worden besteed. Circa 77 procent vindt dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. Geconcludeerd kan worden dat niet iedereen er helemaal van overtuigd is dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. De meeste onderdelen van het certificeringsproces scoren tussen ruim voldoende en goed. Op een schaal van 1 tot 4 [2] scoort de communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces met 3,15 het laagst. Daarna volgen respectievelijk de informatie op de website (3,40), de aanbevelingen die gedaan worden in de rapportage (3,43), de vooraf verstrekte informatie (3,46), de vormgeving van de rapportage (3,49), de lengte van de auditdag (3,55) en de inhoud van de rapportage (3,56). De hoogste scores zijn voor de opbouw van de auditdag (3,60) en het programma voor de auditdag (3,61). De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces, wordt beoordeeld met een gemiddelde van 3,15 ofwel met een kleine voldoende. Het verdient aanbeveling dat het certificeringsbureau in de volgende ronde meer aandacht besteedt aan de communicatie met de bibliotheken in de verschillende stappen van het certificeringsproces. Met het uiteindelijke advies dat naar aanleiding van de audit is afgegeven op basis van de beoordeling van de verschillende auditonderdelen, is 88 procent het eens, 10 procent is het hiermee oneens en 2 procent heeft geen mening. Het gedrag en de houding van de auditoren wordt in hoge mate gewaardeerd. Op een schaal van 1 tot 5 scoort de mate waarin de auditor voldoende ruimte geeft aan de auditees c.q. de bibliotheek voor interpretatie van de certificeringsnormen 4,17, stringente toetsing aan de certificeringsnormen 4,23, duidelijkheid 4,36, open voor vragen en suggesties vanuit de bibliotheek 4,39, houden aan gemaakte afspraken 4,45, zelfverzekerdheid 4,47, representativiteit 4,48 en vriendelijkheid 4,57. 2 De vierpuntsschaal loopt van 1 = slecht, 2 = matig, 3 = voldoende tot 4 = goed. De categorie 0 = weet niet/nvt is toegevoegd.

7 IVAdata 3 De tevredenheid over de algemene eigenschappen van de auditoren is ook gemeten aan de hand van de mate waarin de respondent het eens en helemaal eens is met een eigenschap van de individuele auditor. Ook deze is hoog tot zeer hoog en loopt van 84 tot 98 procent. De ruimte die de auditor geeft voor interpretatie van de normen scoort 84 procent tevredenheid, stringente toetsing 87 procent, de mate waarin de auditor open staat voor vragen en suggesties vanuit de bibliotheek 92 procent, evenals de duidelijkheid van de auditor en de mate waarin deze zich houdt aan gemaakte afspraken. Het hoogst scoort representativiteit (94 procent), zelfverzekerdheid (94,5 procent) en vriendelijkheid (98 procent) van de auditor. Mogelijke verbeteringen van gedrag- en houdingsaspecten van de auditoren kunnen gevonden worden bij het geven van voldoende ruimte voor interpretatie van de normen en bij het uitvoeren van stringente toetsing aan de certificeringsnormen. De waardering van de deskundigheid van de auditoren is zeer hoog. Op de gehanteerde schaal van 1 tot 5 scoort de mate waarin de auditor vooraf goed geïnformeerd is over de relevante aspecten van de bibliotheek 4,30, de deskundigheid over de vooraf toegestuurde beleidsdocumenten 4,33, de deskundigheid over het omzetten van de bevindingen in de auditrapportage 4,36, een goede voorbereiding op de audit 4,41, de deskundigheid met betrekking tot het auditprogramma 4,47, de deskundigheid over de certificeringsnorm 4,55, de terugkoppeling en de uitleg over het verdere verloop van het auditproces 4,56 en het verloop van de auditgesprekken in een prettige sfeer 4,58. De tevredenheid over de deskundigheid van de auditoren wordt ook gemeten aan de hand van de mate waarin de respondenten het eens en helemaal eens zijn met een deskundigheidseigenschap van de individuele auditor. Die tevredenheid is zeer hoog en loopt van 92 tot 98 procent. De mate waarin de auditor vooraf goed geïnformeerd is over de relevante aspecten van de bibliotheek scoort 92 procent, de mate waarin de auditor zich goed heeft voorbereid op de audit, de opgedane kennis uit de vooraf toegestuurde beleidsdocumenten en het omzetten van de bevindingen in de auditrapportage scoort 93 procent, het verloop van de auditgesprekken in een prettige sfeer, de terugkoppeling en de uitleg over het verdere verloop van het auditproces en de deskundigheid met betrekking tot het auditprogramma scoort 97 procent en de hoogste score bedraagt 98 procent en die is voor de deskundigheid van de auditoren over de certificeringsnorm. Deze uitkomsten geven geen aanleiding tot specifieke aandachtspunten voor deskundigheidseigenschappen; het is goed dat dit hoge niveau wordt vastgehouden door de auditoren in de volgende certificeringsronde. Echter het gaat om gemiddelden en de individuele uitkomsten per auditor kunnen wel aanleiding zijn tot extra inspanningen om de deskundigheid te bevorderen. De beoordeling in rapportcijfers is erg hoog: de algemene eigenschappen van de auditoren, zoals gedrag en houding krijgt het cijfer 7,93, de deskundigheid van de auditoren 8,01 en het samenvattende oordeel over de auditoren met betrekking tot de algemene indruk en het functioneren in het gehele proces 7,94. Op het niveau van de auditoren kan worden gesteld dat het goed is dit vast te houden in de volgende certificeringsronde. Op het individuele niveau van de auditor kan het wel aanleiding geven tot extra inspanningen op het gebied van gedrag, houding en deskundigheid. Het meest voorkomende cijfer voor elk onderdeel is een acht (47 procent), gevolgd door een negen (27 procent), daarna een zeven (17 procent) en een zes (4 procent). Er zijn 12 onvoldoendes gegeven: 2 keer een drie, 3 keer een vier en 7 keer een vijf. Dit betekent dat 3 procent van de cijfers een onvoldoende is. Aan de bovenkant komen we 7 keer (2 procent) het cijfer tien tegen, ofwel de beoordeling uitstekend.

8 4 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport 1.2 Aanbevelingen en suggesties voor verbeteringen De respondenten zijn over het algemeen tevreden tot zeer tevreden over de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. De metingen in de evaluatie tonen resultaten met hoge tot zeer hoge gemiddelde scores. Dit neemt niet weg dat er ook redelijk veel positief kritische geluiden te horen zijn. Deze zijn met name tot uiting gekomen in de vragen met open antwoordcategorieën. De meeste respondenten hebben suggesties aangedragen voor verbeteringen. Drie respondenten hebben overigens expliciet aangegeven dat wat hen betreft de certificering volledig kan worden afgeschaft. In deze paragraaf worden twee typen aanbevelingen gegeven. Op de eerste plaats enkele algemene aanbevelingen die gebaseerd zijn op de mening van de geënquêteerde 146 respondenten in de evaluatie en die in de voorafgaande paragraaf al aan de orde zijn geweest. Op de tweede plaats komt een bloemlezing van aanbevelingen en suggesties voor verbeteringen die gedestilleerd is uit de circa 300 antwoorden van de individuele respondenten op de 7 open vragen en waarvan een groot gedeelte meerdere malen genoemd is. De meeste opmerkingen hebben betrekking op informeren en communiceren en ze zijn in deze paragraaf in grote lijnen gerangschikt naar de fases van het certificeringsproces en naar de auditoren. Deze aanbevelingen en suggesties kunnen worden gebruikt door het certificeringsbureau en de auditoren als handvat om het proces van certificering in de derde ronde te verbeteren. 1. Algemene aanbevelingen, gebaseerd op de enquête onder 146 respondenten Het certificeringsbureau en/of de auditor dient de bibliotheek(medewerkers) beter op de hoogte houden van de voortgang van het auditproces. De normen dienen niet vaker dan éénmaal per vier jaar getoetst te worden. Aan de onderlinge afstemming van die verschillende certificeringsonderdelen kan in de volgende certificeringsronde wat meer aandacht worden besteed. Het certificeringsbureau dient in de volgende auditronde meer aandacht te besteden aan de communicatie met de bibliotheken in de verschillende stappen van het certificeringsproces. Auditoren kunnen in de volgende auditronde wat meer aandacht schenken aan de ruimte die zij geven aan de auditees voor interpretatie van de normen. Auditoren kunnen de toetsing aan de certificeringsnormen wat stringenter uitvoeren. De tevredenheid over de deskundigheid van de auditor is zeer hoog. Het is goed is dat dit hoge niveau wordt vastgehouden in de volgende certificeringsronde. Omdat het gaat om gemiddelden kunnen de individuele uitkomsten per auditor wel aanleiding zijn tot extra inspanningen om de deskundigheid te bevorderen.

9 IVAdata 5 De rapportcijfers voor gedrag, houding, deskundigheid en indruk over het functioneren in het auditproces zijn zeer hoog en geven geen aanleiding tot specifieke aandachtspunten. Op individueel niveau kan een auditor gevraagd worden extra inspanningen te leveren. 2. Suggesties van individuele respondenten 2.1 Auditproces Voorafgaand aan de audit dient de achterliggende bedoeling per auditonderdeel beschreven te worden, zodat het belang voor de ontwikkeling van de kwaliteitszorg voor de bibliotheekorganisatie duidelijker wordt. Verbetering van de bereikbaarheid van het certificeringsbureau, zowel telefonisch als per mail; mails dienen sneller beantwoord worden. Het certificeringsbureau dient meer informatie te verstrekken over het auditproces en de procedures, zodat er meer duidelijkheid komt over de criteria voor de extra onderdelen c.q. kernfuncties. Meer helderheid over het systeem van beoordelen; vooraf dient bekend te zijn hoe de beoordeling van de verschillende onderdelen leidt tot het finale oordeel. Het aanleveren van de stukken dient volledig digitaal te geschieden. De informatie over de speerpunten en de checklists met betrekking tot de Richtlijn Drempelvrij en Cultural Governance kunnen wat uitgebreider; ze zijn nu te summier. De auditor dient vooraf duidelijk aan te geven welke vestigingen worden bezocht. Indien bibliotheken samenwerken in een netwerk, is het beter informatiestromen aan het netwerk te richten in plaats van aan de individuele bibliotheken. Voorkomen moet worden dat er onduidelijkheid bestaat over het aantal dagen dat de audit in beslag neemt. De interne voorbereiding van de audit door de bibliotheek kan verbeterd worden als het eerste contact met de interne auditor eerder geschiedt, dan nu het geval is. Er komt dan wat meer tijd voor het opstellen van de auditagenda en de afspraak welke documenten dienen te worden toegestuurd. De communicatie over wijzigingen van afgesproken auditdata dient verbeterd te worden. Aan de afgesproken planning op de auditdag dient te worden vastgehouden, zodat audits niet uitlopen in de tijd. Indien er te weinig tijd is om een gesprek goed te voeren, dient daarvoor meer tijd vrijgemaakt te worden en is het bijvoorbeeld beter om een gesprek minder te voeren. In de planning dient er meer rekening mee gehouden te worden dat de verschillende vestigingen van een bibliotheek bezocht kunnen worden. Auditrapportages en uitslagen dienen op tijd te worden opgestuurd, zoals is afgesproken.

10 6 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport Bibliotheken dienen wat meer invloed te kunnen uitoefenen op de keuze van de periode waarin de audit plaatsvindt. De uitreiking van het certificaat zou wat sneller kunnen plaatsvinden na de bekendmaking van de uitslag. 2.2 Audit De normen dienen te worden aangepast: eenvoudiger en meer flexibel, waardoor rekening wordt gehouden met creativiteit en lokale en regionale verschillen. De normen dienen ook meer te groeien in de richting van het lokale opdrachtgeverschap van de gemeente; nu verschilt dit te veel. De frequentie van éénmaal per vier jaar de normen aanpassen en een audit uitvoeren, behoeft niet te worden gewijzigd. In de norm dienen aspecten als zelfevaluatie, zelfmanagement en (zelf)kritische gesprekken te worden ondergebracht. De audit dient te worden aangepast; nu is die te veel intern- en procesgericht, te gedetailleerd, te bureaucratisch en te veel gericht op de bedrijfsvoering. Het tijdsbeslag van de bibliotheekmedewerkers voor de voorbereiding en de uitvoering van de audit is nu te groot; vermindering van het aantal procedures en processen biedt een oplossing. De auditprocedures dienen nauwer te stroken met zaken waarmee de bibliotheken nu bezig zijn, zoals kwaliteit van de dienstverlening, overlevingsstrategieën, veranderingen in de maatschappij, verdergaande digitalisering, innovatie en samenwerking binnen en buiten de branche. Meer aandacht voor de positie van de vrijwilligers en de uitbreiding van deze groep. Het aanleveren van documenten dient digitaal te geschieden en beperkt te worden tot de echt belangrijke documenten, als meerjarenbeleidsplan, collectiebeleid en jaarverslag. Bibliotheeknetwerken kunnen veel beter als één geheel worden gecertificeerd en niet iedere bibliotheek apart. Het gezamenlijke gedeelte van de audit bestaat dan uit het auditen van de collectie, ICT, website en HRM-beleid; de overige onderdelen kunnen dan op individueel bibliotheekniveau worden uitgevoerd. 2.3 Rapportage en beoordeling De auditoren en het certificeringsbureau dienen aan te geven waarom gevraagde suggesties niet of slechts gedeeltelijk worden doorgevoerd. Aanbevelingen in de rapportage dienen meer concreet te worden geformuleerd. Als er geen concrete suggesties zijn, dient er niet gezocht te worden om toch maar iets te kunnen melden; een audit zonder aanbevelingen kan ook bestaan! De beoordeling van de audit dient meer consequent te geschieden op drie niveaus: in vergelijking met de vorige audit, in vergelijking met de audit in een andere bibliotheek (zelfde netwerk) en in de relatie tussen uitspraken tijdens de audit en de beoordeling achteraf.

11 IVAdata Gedrag en houding van de auditor De volgende reacties van de respondenten bestaan grotendeels uit losstaande opmerkingen over het gedrag en de houding van de auditor, die niet kunnen worden vertaald in algemeen geldende suggesties voor alle auditoren; hier geldt het adagium: wie de schoen past,.. : De bibliotheek niet te stringent aan de regels houden. Tijd vrijmaken voor het interpreteren van de normen en de terugkoppeling naar het MT. Probeer niet te langdradig te zijn. Wees helder in je bedoelingen en je communicatie Geef aandacht aan je sociale vaardigheden. Bereid de audit goed voor. Als twee auditoren gezamenlijk een audit uitvoeren, probeer dan de interpretatie en beoordeling op elkaar af te stemmen. Probeer je wat meer in te leven in de soms moeilijke situatie waarin een bibliotheek zich bevindt. 2.5 Deskundigheid van de auditor Hier zijn de volgende losstaande opmerkingen over de deskundigheid van de auditor aangereikt: Probeer soms ook wat minder op hoofdlijnen de auditten en wat meer op de lokale situatie. Het ongevraagd overgaan op een rollenspel wordt niet door iedereen gewaardeerd. Een goede voorbereiding op een audit, inclusief het doornemen van de toegestuurde stukken, wordt op prijs gesteld door de auditees. Probeer de auditees voldoende ruimte voor reflectie te bieden. Probeer in een rapport niet te veel letterlijke teksten uit de documenten van de bibliotheek over te nemen. 2.6 Afrondende suggesties Aan de respondenten is gevraagd wat zij zouden veranderen aan de audit, indien zij daartoe in staat zouden worden gesteld [3]. De belangrijkste suggesties: De audit niet op één maar op twee dagen uitvoeren, omdat het nu te veel druk op die ene dag legt, zowel voor de auditees als de auditor. De audit standaard door twee auditoren laten uitvoeren, zodat er niet te veel getoetst wordt vanuit de eigen expertise en deskundigheid van die ene auditor. 3 De meeste suggesties hebben inmiddels een aanwijsbare plek kregen in de nieuwe certificeringsronde.

12 8 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport Informatie verzamelen op basis van een te ontwikkelen digitaal format waar de documenten kunnen worden ingevoerd. De lijst waarin is vermeld welke documenten moeten worden verzamelen is niet heel duidelijk; omschrijvingen wat meer in Jip en Janneke taal. Gebruik een gestandaardiseerde checklist tijdens de audit, zodat de auditoren hetzelfde oordeel hebben. Die lijst ondersteunt ook de bibliotheek om alles zelf goed op orde te hebben en te houden. Maak een lijstje met voorbeelden van benodigde informatie c.q. documenten die als "bewijs" (aantoonbaar gemaakt met:...) kunnen dienen. Benodigde informatie verzamelen door visitatie in combinatie met het tonen van een beperkt aantal actuele basisdocumenten. Informatie verzamelen op basis van gesprekken en zelfevaluatie Maak gebruik van peergroepen van collega-directeuren. Zet mystery guests in voor een praktijkproef. Auditoren zouden meer aandacht dienen te schenken aan het proces van terugkoppeling en commentaar leveren. Auditoren dienen meer te doen aan het onderling afstemmen van criteria en de interpretatie hiervan. Meer maatwerk met betrekking tot de grootte van de organisatie: een lightversie voor kleine organisaties. In de systematiek van de beoordeling dient NCV (Niet Conform de norm, wel Voldoende) heringevoerd te worden. De afronding van de audit dient te geschieden door een gesprek met het management na afloop. Het certificeringsbureau wordt verzocht het jaartal te vermelden op het certificeringsbord.

13 IVAdata 9 2 Inleiding De Stichting Certificering Openbare Bibliotheken (SCOB) is in 2006 gestart met de certificering van de openbare bibliotheken in Nederland. Daartoe is in de jaren 2006 tot 2009 op basis van de 2005-norm de eerste certificeringsronde geïnitieerd, waaraan de meeste openbare bibliotheken hebben deelgenomen (74,4 procent). Een evaluatie aan het einde van die eerste ronde heeft geleid tot een rapportage in 2009 [4]. Een nieuwe kwaliteitsnorm is in 2010 opgesteld en deze ligt ten grondslag aan de huidige certificeringsronde voor de jaren De programmamanager Certificering en Aangepast Lezen van het Sectorinstituut Openbare Bibliotheken (SIOB) heeft voorgesteld de evaluatie van deze certificering gefaseerd in de tijd uit te voeren (en niet aan het einde van de tweede ronde) om actuele informatie te kunnen verzamelen. Recente audits en auditorbeoordelingen leiden niet alleen tot meer betrouwbare informatie vanwege de actualiteit, maar ze kunnen ook gebruikt worden in het kader van functioneringsgesprekken en/of beoordelingsgesprekken met de auditoren, waardoor tussentijds verbetertrajecten mogelijk worden. Als daartoe aanleiding is, kan ook het auditproces tussentijds bijgesteld worden. In de eerste fase van deze tweede ronde is er aandacht besteed aan de periode september 2010 tot eind 2011 [5] en in de tweede en derde fase zijn respectievelijk de jaren 2012 [6] en 2013 [7] aan bod gekomen. De onderhavige rapportage sluit de cyclus van de certificering van de tweede ronde af met een samenvattend eindrapport. Deze aanpak past binnen de opstelling van de bibliotheekbranche, waar de kwaliteitscertificering wordt genoemd als het beste mechanisme voor openbare bibliotheekorganisaties om hun actieve bijdrage aan de ontwikkeling van het bibliotheek(net)werk aantoonbaar te maken. Het bezoek aan de bibliotheken voor de certificering omvat een kwaliteitsaudit van één dag, die meestal wordt uitgevoerd door één van de negen onafhankelijke auditoren. Bij grote bibliotheken met verschillende filialen worden soms meerdere auditoren ingezet. Het belangrijkste doel van het onderzoek is het verkrijgen van een goed beeld van de ervaring van de openbare bibliotheken met de audit, het auditproces en de werkwijze en het functioneren van auditoren en het certificeringsbureau. In 2013 is er een enquête onder directeuren en kwaliteitsmedewerkers van openbare bibliotheken gehouden over de nieuwe bibliotheeknorm 2014 [8] en inmiddels heeft de algemene ledenvergadering van de Vereniging Openbare Bibliotheken (VOB) ingestemd met de derde ronde van certificering voor de jaren en is het normenpakket 2014 [9] vastgesteld onder het statement: bibliotheken met het bibliotheekcertificaat bieden een constante kwaliteit van producten en dienstverlening aan hun klanten; het maakt zichtbaar dat de bibliotheek aan de landelijke normen voldoet. 4 Evaluatie certificering openbare bibliotheken; Benchmark bibliotheekauditoren. IVA Tilburg, juli Evaluatie certificering openbare bibliotheken ; deel 1: IVA Tilburg, maart Evaluatie certificering openbare bibliotheken ; deel 2: IVAdata Tilburg, juni Evaluatie certificering openbare bibliotheken ; deel 3: IVAdata Tilburg, juni De nieuwe bibliotheeknorm IVAdata Tilburg, maart Zichtbare waarde , Den Haag, Werkgroep Herziening Norm Openbare Bibliotheken, juni 2014

14 10 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport

15 IVAdata 11 3 Opzet en aanpak van het onderzoek In samenwerking met de Stichting Certificering Openbare Bibliotheken is een vragenlijst (bijlage 1) ontwikkeld, die is aangeboden in de vorm van een webenquête. De belangrijkste onderdelen zijn het proces en de organisatie van de audit en de werkwijze en de deskundigheid van de auditor. De vragenlijst bestaat uit veertig gesloten en zeven open vragen, waardoor de respondent maximaal gelegenheid geboden wordt om haar/zijn visie op de verschillende aspecten van het proces, de werkwijze en de evaluatie weer te geven en om eventuele suggesties aan te reiken voor verbeteringen. Alle bibliotheken die hebben deelgenomen aan het proces van certificering zijn bezocht door een van de negen onafhankelijke auditoren tussen september 2010 en eind 2013 voor de certificering. De vertegenwoordiger van een bibliotheek, meestal de directeur, krijgt ongeveer een week na afloop van de audit de uitslag per brief medegedeeld door de stichting certificering openbare bibliotheken. In deze brief wordt ook aangekondigd dat er een evaluatieonderzoek plaatsvindt. Een kopie van deze brief wordt vervolgens naar IVA gestuurd, waardoor de uitslag en de datum van audit bekend is bij de onderzoekers. Een week daarna stuurt IVA de vertegenwoordiger van die bibliotheek per mail een uitnodiging (bijlage 2) om aan het onderzoek deel te nemen. Hierin wordt het evaluatieonderzoek kort beschreven en is er een link met een inlogcode opgenomen waarmee de respondent de digitale vragenlijst direct kan openen en invullen. Op de eerste pagina van de digitale enquête staat een korte invulinstructie en een naam en telefoonnummer van de IVA-onderzoeker waarbij men met vragen terecht kan. Het ingevulde formulier wordt automatisch naar IVA verzonden en ook de mailing geschiedt vanuit IVA om de onafhankelijkheid te kunnen waarborgen. Indien er na twee weken geen respons is, wordt een herinneringsmail verstuurd (bijlage 3). Mocht er twee weken daarna nog geen reactie ontvangen zijn, dan wordt er telefonisch contact gelegd door IVA met de betrokken vertegenwoordiger van de bibliotheek. Daarbij wordt nogmaals gevraagd of de respondent de vragenlijst wil invullen. Indien de respondent aangeeft dit niet te doen, wordt gevraagd naar de belangrijkste reden van de non-respons.

16 12 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport

17 IVAdata 13 4 Respons en algemene gegevens 4.1 Respons In de periode zijn er in Nederland in totaal 156 bibliotheken die voor de certificering in aanmerking komen. Dat aantal kan worden onderverdeeld in 153 openbare bibliotheken en 3 organisaties ten behoeve van mensen met een leesbeperking. Niet alle 156 bibliotheken hebben deelgenomen aan het proces van certificering; het management van 6 bibliotheken heeft deelname geweigerd. Dit betekent dat 150 bibliotheken bezocht zijn door de auditoren en ook daadwerkelijk het certificeringstraject zijn ingegaan. Het management van de 150 bibliotheken is door de onderzoekers van IVA na afloop van het certificeringstraject per mail benaderd om deel te nemen aan de webenquête voor de evaluatie. Na twee weken zijn 59 bibliotheken (39,3 procent) benaderd met een herinneringsmail, omdat er niet gereageerd is. Twee weken daarna was het noodzakelijk om een tweede herinneringsmail te versturen naar 31 bibliotheken (20,7 procent) en tenslotte is er enkele weken later nog (verschillende malen) telefonisch contact gezocht met 23 bibliotheken (15,3 procent). Deze acties resulteren in een dataset van 146 ingevulde vragenlijsten [10], ofwel een respons van 97,3 procent. Gemiddeld genomen is er 11 minuten besteed aan het invullen van de digitale vragenlijst. Uiteindelijk is er geen reactie ontvangen van vier respondenten. Ook de nonrespons redenen zijn telefonisch achterhaald en betreffen tijdsgebrek en (langdurige) ziekte. Deze uitzonderlijk hoge respons kan ten dele verklaard worden door de gehanteerde aanpak. Er zit namelijk een kort tijdsbestek tussen het moment van de uitslag van de certificering en het moment van het benaderen van de respondenten voor de enquête. Bovendien zijn er reminders verstuurd en is er in voorkomende gevallen ook telefonisch contact gelegd met de mensen die de vragenlijst nog niet ingevuld hadden. Maar de uiteindelijk belangrijkste reden is dat de respondenten het belang inzien van de kwaliteitscertificering voor hun bibliotheek. Dit blijkt niet alleen uit de positieve resultaten die de webenquête heeft opgeleverd, maar ook uit de redenen die werden opgegeven nadat respondenten werden benaderd via de tweede herinneringsmail en/of via het telefonisch overleg: vooral drukte (bezuinigingen en toename overleg met en samenwerking in netwerken) heeft ertoe geleid dat de vragenlijsten met enige vertraging zijn ingevuld. Een andere indicatie voor de hoge mate van betrokkenheid komt tot uiting in de circa 300 suggesties en opmerkingen die de respondenten aangeven in de 7 vragen met open antwoorden. 4.2 Algemene gegevens Het resultaat van de certificeringsaudit van de 146 bibliotheken is voor 143 gecertificeerd en 3 bibliotheken zijn onder voorbehoud gecertificeerd. Dit betekent een certificeringsgraad van 97,9 procent van de deelgenomen bibliotheken. 10 Dit aantal is hoger dan de som van de aantallen uit de drie afzonderlijke voorafgaande rapporten (respectievelijk 52, 51 en 36 respondenten in de rapportages 1, 2 en 3), omdat deel 3 geschreven is op het moment dat 7 bibliotheken zich nog in de fase van certificering en/of enquêtering bevonden.

18 14 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport De 9 onafhankelijke auditoren hebben tezamen in totaal 150 bibliotheken bezocht en 4 bibliotheken hebben niet meegedaan aan het evaluatieonderzoek. De 146 bibliotheken die wel meegedaan hebben kunnen worden onderverdeeld in 142 die door één auditor bezocht zijn en 4 bibliotheken waar de audit door twee auditoren is uitgevoerd. Dit betekent dat de 9 auditoren tezamen 150 bezoeken hebben gebracht aan 146 bibliotheken voor een audit. In tabel 4.1 is het overzicht te vinden van de aantallen audits. Tabel 4.1 Aantal uitgevoerde audits naar auditor Auditor (nr.) Totaal Totaal aantal audits per auditor Audits, uitgevoerd door 2 auditoren Totaal aantal audits met respons Het aantal jaren dat de respondenten werkzaam zijn in de bibliotheek waar de audit heeft plaatsgevonden is redelijk goed gespreid over de verschillende categorieën (tabel 4.2 en figuur 4.3). Het grootste gedeelte van de respondenten (32 procent) werkt al langer dan 20 jaar in die bibliotheek, 28 procent werkt er 6 tot 10 jaar en 25 procent 1 tot 5 jaar. In de midden categorie bevindt zich 14 procent met een arbeidsverleden van 11 tot 20 jaar. Van de jongere garde qua arbeidsverleden werkt 1 procent korter dan 1 jaar in de desbetreffende bibliotheek. Tabel 4.2 Aantal jaren dat de respondent werkzaam is in de desbetreffende bibliotheek Jaren Aantal Percentage korter dan 1 jaar 2 1% 1 tot 5 jaar 36 25% 6 tot 10 jaar 41 28% 11 tot 20 jaar 21 14% langer dan 20 jaar 46 32% Totaal % Figuur 4.3 Respondenten naar werkzame jaren in de bibliotheek korter dan 1 jaar; 2 langer dan 20 jaar; 46 1 tot 5 jaar; tot 20 jaar; 21 6 tot 10 jaar; 41

19 IVAdata 15 Van de respondenten is 81 procent directeur van de bibliotheek (n=118) en 5 procent is medewerker kwaliteitszorg (n=7), zo blijkt uit de gegevens van tabel 4.5. De vragenlijst is ook ingevuld door 8 MT-leden met uiteenlopende managementfuncties en door 10 respondenten die geen MT-lid zijn, maar wel een managementachtergrond hebben. De hoogte van de functies is een goede indicatie van het belang dat het management hecht aan de kwaliteitscertificering voor hun bibliotheek. Tabel 4.5 Functie van de respondent Functie Aantal Percentage Directeur % Medewerker kwaliteitszorg 7 5% MT-lid, namelijk: 11 8% Adjunct directeur 1 Beleidsmedewerker 1 Directiesecretaris 1 Hoofd algemene zaken/ financiële zaken 1 Hoofd bibliotheek 1 Manager 2 2 Manager backoffice 1 Manager Marketing & Communicatie 1 Manager Publieksdiensten 1 Teammanager Projecten 1 Anders, namelijk 10 7% Beleidsmedewerker 2 Ex-directeur 1 Hoofd bibliotheek 2 Manager Innovatie & Ontwikkeling 1 Medewerker Algemene Zaken 1 Medewerker Management & Beleidsondersteuning 1 Projectleider Certificering 1 Staffunctionaris Planning & Control 1 Totaal %

20 16 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport

21 IVAdata 17 5 Het auditproces Over het auditproces zijn vijf stellingen voorgelegd aan de respondenten. Bij het beantwoorden van de vraag in welke mate men het eens is met een stelling, is een vijfpuntsschaal gebruikt. Deze loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. Daarnaast is ook de mogelijkheid weet niet/n.v.t. opgenomen (zie de vragenlijst in bijlage 1). De respondenten blijken in zeer hoge mate tevreden te zijn over de verschillende aspecten van het auditproces, zo blijkt uit tabel 5.1 en figuur 5.2. De score wordt geopend met 4,23 en heeft betrekking op de mate waarin de respondenten goed op de hoogte gehouden zijn van de voortgang van het auditproces. Iets hoger (4,26) is de score over de mate waarin er, voorafgaande aan de audit, voldoende informatie verstrekt is door het certificeringsbureau over de verschillende onderdelen van de audit. De geschiktheid van het auditprogramma op de dag dat het bezoek plaatsvond om een duidelijk beeld van de organisatie te geven, scoort 4,31. De respondenten geven de hoogste scores aan de mate waarin de auditor en het certificeringsbureau tijdens het gehele auditproces in voldoende mate bereikbaar zijn geweest voor vragen en de mate waarin de vooraf afgesproken planning van het gehele certificeringsproces ook daadwerkelijk gehaald is. De beoordelingen zijn gemiddeld respectievelijk 4,40 en 4,41. Op de schaal van 1 tot 5 ontlopen de hoge waarderingen voor de verschillende aspecten van het auditproces elkaar nauwelijks; de scores liggen zeer dicht bijeen en variëren van 4,23 tot 4,41 met een gemiddelde van 4,32. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65.

22 18 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport Tabel 5.1 Meningen over het auditproces Stellingen over het auditproces Gemiddelde score(*) Tevredenheid U bent goed op de hoogte gehouden van de voortgang van het auditproces Er was voorafgaand aan de audit voldoende informatie verstrekt over de verschillende onderdelen van de audit door het certificeringsbureau Het auditprogramma op de dag dat het bezoek plaatsvond was geschikt om een duidelijk beeld van de organisatie te geven De auditor c.q. het certificeringsbureau was tijdens het gehele auditproces in voldoende mate bereikbaar voor vragen De vooraf afgesproken planning van het gehele certificeringsproces is ook daadwerkelijk gehaald 4,23 85,6% 4,26 92,5% 4,31 91,1% 4,40 96,5% 4,41 91,7% Gemiddelde score op de vijf onderdelen 4,32 91,5% Gemiddeld rapportcijfer voor het auditproces 7,65 (*) 1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt 5,00 Figuur 5.2 Mening over het auditproces(*) 4,23 4,26 4,31 4,40 4,41 4,32 4,00 3,00 2,00 1,00 voortgang informatie programma bereikbaarheid planning gemiddeld (*) 1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt

23 IVAdata 19 Daarnaast kan de tevredenheid van de respondenten over de organisatie en uitvoering van het auditproces ook gemeten worden door de mate waarin men het eens en helemaal eens is met de stellingen (score 4 en 5). Zie tabel 5.1 en figuur 5.3 voor de percentages en de grafische weergave. De volgorde van de verschillende aspecten verschilt enigszins met die van de mening over het auditproces in figuur 5.2. Ook uit deze analyse blijkt dat de respondenten in zeer hoge mate tevreden zijn over de verschillende aspecten van het auditproces. Van de respondenten is 85,6 procent het (helemaal) eens met de stelling dat men goed op de hoogte is gehouden is met de voortgang van het auditproces. Met de stelling dat het auditprogramma geschikt is om een duidelijk beeld van de organisatie te geven, is 91,1 procent het (helemaal) eens. Deze mening is toegedaan door 91,7 procent over de stelling dat de vooraf afgesproken planning van het gehele certificeringsproces ook daadwerkelijk is gehaald en 92,5 procent vindt dat er voorafgaand aan de audit voldoende informatie verstrekt is over de verschillende onderdelen van de audit door het certificeringsbureau. Maar liefst 96,5 procent van de respondenten is tevreden over de bereikbaarheid van de auditor en het certificeringsbureau tijdens het auditproces. Bij vier van de vijf aspecten ligt de tevredenheid boven de 90 procent; het gemiddelde bedraagt 91,5 procent. Het enige punt van aandacht: de bibliotheek(medewerkers) goed op de hoogte houden van de voortgang van het auditproces. Figuur 5.3 Tevredenheid over het auditproces 100,0% 91,1% 91,7% 92,5% 85,6% 96,5% 91,5% 80,0% 60,0% 40,0% 20,0% 0,0% voortgang programma planning informatie bereikbaarheid gemiddeld

24 20 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport De rapportcijfers die de respondenten hebben gegeven voor het auditproces staan in figuur 5.4 vermeld. Het meest voorkomende cijfer is een acht en die beoordeling is 69 keer toegekend. Verder is er 45 keer een zeven, 20 keer een negen en 8 keer een zes gegeven. De vier uitersten zijn één drie, één vier, één vijf en één tien. Het gemiddelde rapportcijfer voor het auditproces bedraagt 7,65 (zie ook tabel 5.1). 80 Figuur 5.4 Rapportcijfers Auditproces Alle respondenten zijn in de gelegenheid gesteld suggesties voor verbeteringen van het auditproces aan te dragen en in totaal is hier 53 keer gebruik van gemaakt. De opmerkingen hebben betrekking op de vooraf verstrekte informatie, de voorbereiding, de planning en de uitvoering van de audit. De vooraf verstrekte informatie. De volle breedte en diepte van de audit en het belang voor de ontwikkeling van de kwaliteitszorg voor de bibliotheekorganisatie worden aanzienlijk duidelijker, indien vooraf de achterliggende bedoeling per onderdeel wordt beschreven. Wellicht kan dit opgepakt worden in netwerkverband: alle bibliotheken komen in een bepaalde periode aan bod in een regio/provincie. Er dient ook meer informatie vanuit het bureau te komen over het proces en de procedure (de criteria over de extra onderdelen c.q. kernfuncties zijn onduidelijk) en hiervoor kan de website uitstekend gebruikt worden; die voorziet hierin nu niet voldoende. De informatie over de speerpunten en de checklists met betrekking tot de Richtlijn Drempelvrij en Cultural Governance zijn te summier. Er dient duidelijker aangeven te worden of de auditor de stukken digitaal wil hebben of op schrift en ook dient vooraf doorgeven te worden welke vestigingen worden bezocht. Het digitaal aanleveren van de stukken heeft de voorkeur. De voorbereiding van de audit. Op de website van Stichting Certificering Openbare Bibliotheken was één van de te downloaden documenten ten behoeve van de voorbereiding niet voorhanden in de lijst van benodigde documenten. Vooraf is per brief aangekondigd dat de audit één dag zou beslaan en dit is later omgezet naar twee dagen; agenda technisch is het heel erg moeilijk dit op korte termijn te realiseren. Indien een netwerk wordt geaudit dient de procedure hieromtrent van tevoren beter te worden vastgelegd. Het proces dient beter gestroomlijnd te worden

25 IVAdata 21 door de bibliotheekorganisaties te verplichten de basisdocumenten 6 maanden voor de auditdag aan te leveren; dan worden tijdig de voorbereidingen gestart. Er is voorafgaand aan de audit te weinig input van het certificeringsbureau geleverd aan de bibliotheek en het eerste contact in de voorbereidingsfase met de interne auditor zou eerder dienen te geschieden, waardoor de interne voorbereiding bevorderd wordt, er meer tijd is voor het afstemmen van de agenda voor de auditdag en het ook duidelijk wordt welke documenten voorafgaand aan de audit dienen te worden toegestuurd. De planning van de audit. Er is onbegrip over het feit dat er niet of slecht wordt gecommuniceerd over vertragingen (er is bijvoorbeeld niet doorgegeven dat afgesproken data zijn komen te vervallen). Er dient strakker aan de afgesproken planning te worden vastgehouden, zodat audits in tijd niet uitlopen en auditrapportages en uitslagen dienen op tijd te worden opgestuurd, zoals is afgesproken met de auditoren en het certificeringsbureau. Verder dienen er meer eigen keuzemogelijkheden te komen in de periode van de audit. De uitvoering van de audit. Afspraken dienen helder gemaakt en vastgelegd te worden; bijvoorbeeld of de audit 1 of 2 dagen in beslag neemt. Betere toegankelijkheid van de site van het certificeringsbureau; de nieuwe certificeringsnormen zijn moeilijk te vinden. Betere communicatie met betrekking tot reacties op rapportages; verstuurde op- en aanmerkingen via de mail naar het secretariaat zijn niet verwerkt of ontvangen. Eenduidigheid van documenten; auditor en auditee beschikken over verschillende checklijsten. Er dient meer tijd vrijgemaakt te worden voor een gesprek en ook om de verschillende vestigingen van een bibliotheek te bezoeken). Verbetering van de bereikbaarheid van het certificeringsbureau; mails kunnen sneller beantwoord worden. Helderheid over het systeem van beoordelen; vooraf dient bekend te zijn hoe de beoordeling van de verschillende onderdelen leidt tot het finale oordeel. De certificaatuitreiking kan sneller plaatsvinden na de bekendmaking van de uitslag.

26 22 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport

27 IVAdata 23 6 De audit Er zijn drie stellingen voorgelegd aan de respondenten over de audit en hen is gevraagd naar de mate waarmee men het eens is met de inhoud van de desbetreffende stelling. Ook hier is de vijfpuntsschaal gebruikt die loopt van 1 = helemaal oneens, 2 = oneens, 3 = niet eens en niet oneens, 4 = eens tot 5 = helemaal eens. En de toegevoegde categorie 0=weet niet/nvt. De score op de stelling, de normen waarop getoetst wordt dienen vaker dan één maal per vier jaar te worden geëvalueerd, bedraagt 2,97. Gemiddeld genomen is de score neutraal in die zin dat de respondenten het er niet mee eens en niet mee oneens zijn. De stelling, de verschillende facetten van het certificeringsproces zijn goed op elkaar afgestemd, scoort 3,70. Dit gemiddelde ligt tussen een neutrale mening en eens met de stelling. De score op de stelling de certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken, is 3,83. Ook hier betekent dit dat gemiddeld genomen de mening van de respondent ligt tussen neutraal en eens met de stelling. In tabel 6.1 en figuur 6.2 zijn de scores te vinden. Tabel 6.1 Meningen(*) over de audit Stelling Totaal Tevredenheid De normen waarop getoetst wordt dienen vaker dan één maal per vier jaar worden geëvalueerd De verschillende facetten van het certificeringsproces zijn goed op elkaar afgestemd De certificeringsaudit draagt bij aan het waarborgen van de kwaliteit van openbare bibliotheken 2,97 36% 3,70 72% 3,83 77% (*) 1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt Figuur 6.2 Mening over de audit(*) 5,00 4,00 3,70 3,83 3,00 2,97 2,00 1,00 normen vaker evalueren afstemming facetten proces audit waarborgt kwaliteit OB (*) 1=helemaal mee oneens, 2=oneens, 3=niet eens en niet oneens, 4=eens, 5=helemaal mee eens, 0=weet niet/nvt

28 24 Evaluatie certificering openbare bibliotheken ; deel 4: Eindrapport De tevredenheid van de respondenten over de audit kan ook gemeten worden door de mate waarin men het eens en helemaal eens is met de stellingen (score 4 en 5). Zie tabel 6.1 en figuur 6.3 voor de gegevens. Van de respondenten is 36 procent het (helemaal) eens met de stelling dat de normen waarop getoetst wordt vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Geconcludeerd mag worden dat de normen niet vaker dan éénmaal per vier jaar geëvalueerd dienen te worden. Een meerderheid van 72 procent van de respondenten is van mening dat de verschillende facetten van het certificeringsproces goed op elkaar afgestemd zijn. Dit betekent dat er aan de afstemming van die verschillende certificeringsonderdelen op elkaar, in de volgende certificeringsronde wat meer aandacht dient te worden geschonken. Van de ondervraagden is tenslotte 77 procent van mening dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. Geconcludeerd kan worden dat niet iedereen er helemaal van overtuigd is dat de certificeringsaudit bijdraagt aan het waarborgen van de kwaliteit van openbare bibliotheken. 100% Figuur 6.3 Tevredenheid over de audit 80% 72% 77% 60% 40% 36% 20% 0% normen vaker evalueren afstemming facetten proces audit waarborgt kwaliteit OB Aan de respondenten is gevraagd of zij suggesties hebben voor een verbetering van de audit. In totaal hebben 59 respondenten een reactie gegeven. De opmerkingen gaan deels over de norm en verder zijn ze vooral inhoudelijk en organisatorisch van aard. De normen [11] dienen minder hard, eenvoudiger en meer flexibel te zijn en niet nutteloos, zoals bijvoorbeeld de norm over openingstijden (kleine vestigingen met openingstijden van minder dan 15 uur per week, worden als onvoldoende gekwalificeerd). De norm dient veel meer in te springen op lokale en regionale verschillen en creativiteit. Aspecten als werkprocessen die in de audit aan bod komen, worden niet meer als van deze tijd ervaren. De gehanteerde IMWR-cirkel (Inspireren, Mobiliseren, Waarderen en Reflecteren) wordt te vaag voor een audit gevonden en 11 De enquête voor deze evaluatie heeft zich uitgestrekt over de jaren 2010 tot begin In 2013 is er een raadpleging over de nieuwe norm geweest onder de directeuren en kwaliteitsmedewerkers en in 2014 is de Zichtbare waarde verschenen van de Werkgroep Herziening Norm Openbare Bibliotheken. Dit betekent dat sommige uitspraken, met name die over de norm, gedateerd en achterhaald zijn.

29 IVAdata 25 de focus zou minder moeten liggen op documenten. Het lokale opdrachtgeverschap van de gemeente(n) en de kwaliteitsnorm van de branche verschillen soms enorm, zo wordt gesteld. Het behalen van de norm is zeer belangrijk voor een bibliotheek en daarom wordt er wel alles aan gedaan om die te halen. Eenmaal per vier jaar de normen aanpassen en vervolgens een audit uitvoeren wordt in het algemeen voldoende frequent gevonden. De certificeringsaudit waarborgt weliswaar een vrij basaal kwaliteitsniveau, maar soms vraagt men zich af of de norm ook wel daadwerkelijk borgt; zelfevaluatie en zelfmanagement is een goed alternatief voor toetsingsinstrumenten. Het afvinken van de normen kan worden vervangen door (zelf)kritische gesprekken. Inhoudelijke aspecten. De audit dient veel minder intern- en procesgericht te zijn; nu is die te uitgebreid, te gedetailleerd, te bureaucratisch en te veel gericht op de bedrijfsvoering. Omdat bibliotheken in de huidige tijd vooral bezig zijn met overlevingsstrategieën en zich dienen aan te passen aan een veranderende maatschappij, kost een uitgebreide voorbereiding en uitvoering met veel notities en plannen te veel tijd; de eisen passen niet meer bij de huidige snelle veranderingen van bibliotheken. Zo is bijvoorbeeld de eis van vervanging van 10 procent van de collectie volledig achterhaald in een situatie waarbij de uitleenfunctie van bibliotheken door verdergaande digitalisering onder druk staat. De focus dient veel meer te liggen op innovatieve kracht, visie van de organisatie en samenwerkingsbereidheid binnen de branche. Er dient veel meer nadruk te worden gelegd op de kwaliteit van de dienstverlening en op het schenken van aandacht aan actuele maatschappelijk vereisten en veel minder op de bedrijfsvoering, waardoor een bibliotheek veel meer een eigen kleur en identiteit krijgt. Ook dient er te worden gewerkt aan verbetering van de rol van de vrijwilliger en aan uitbreiding van deze groep. Organisatorische aspecten. De omvang van het werk dat verzet dient te worden voor de audit is te omvangrijk, mede in relatie tot de grootte van de bibliotheek; dit gaat te veel ten koste van de reguliere werkzaamheden. Vermindering van het aantal procedures en processen is wenselijk en het aanleveren van documenten dient digitaal te geschieden en beperkt te worden tot de echt belangrijke documenten, als meerjarenbeleidsplan, collectiebeleid en jaarverslag. Een netwerk van bibliotheken dient als één geheel te worden gecertificeerd en niet iedere bibliotheek apart; daarbij kan het gezamenlijke gedeelte van de audit bestaan uit het auditen van de collectie, ICT, website en HRM-beleid en een klein gedeelte van de audit kan dan op individueel bibliotheekniveau worden uitgevoerd. Naast de stellingen en de open vraag is er ook aandacht besteed aan een aantal concrete aspecten van de audit. Per aspect is een oordeel gevraagd aan de respondent, waarbij de gehanteerde antwoordcategorieën bestaan uit een vierpuntsschaal die loopt van 1 = slecht, 2 = matig, 3 = voldoende tot 4 = goed. Bovendien is er een toegevoegde categorie weet niet/n.v.t.. In tabel 6.4 en figuur 6.5 staan alle gegevens vermeld en de verschillende onderdelen zijn geordend van een lage naar een hoge beoordeling. Het aspect De communicatie vanuit het certificeringsbureau gedurende de verschillende stappen van het auditproces, wordt beoordeeld met een gemiddelde van 3,15 ofwel met een kleine voldoende. Het verdient aanbeveling dat het certificeringsbureau hier in de toekomst actie op gaat voeren. De gemiddelde scores op de andere onderdelen liggen relatief dicht bijeen: tussen 3,40 en 3,61. Dit betekent dat de respondenten de verschillende aspecten van de audit beoordelen als ruim voldoende tot goed.