Pantela. Kwaliteit representativiteitsgegevens AVV. Rapportage Stand van zaken Research to Progress

Transcriptie

1 Pantela Research to Progress Research voor Seteid ElM I NEA 00 I Straws I PM I.,) *1 Ii I Kwaliteit representativiteitsgegevens AVV Rapportage Stand van zaken

2 Zoetermeer oktober 2017 De verantwoordeli]kheid voor de inhoud berust hi] Panteia. Het gebtuik van ci]fers en/of teksten als toelichting of ondersteuning in artikelen, scripties en boeken is toegestaan mits de bron duidelijk wordt vermeld. Vermenigvuldigen en/of openbaarmaking in welke vorm ook, aismede opslag in een retrieval system, is uitsluitend toegestaan na schriftelijke toestemming van Panteia. Panteia aanvaardt geen aansprakelijkheid voor drukfouten en/of andere onvolkomenheden. The responsibility for the contents of this report lies with Panteia. Quoting numbers or text in papers, essays and books is permitted only when the source is clearly mentioned. No part of this publication may be copied and/or published in any form or by any means, or stored in a retrieval system, without the prior written permission of Panteia. Panteia does not accept responsibility for printing errors and/or other imperfections.

3 Management samenvatting Inleiding (zie ook hoofdstuk 1) Dit rapport beschrijft de kwaliteit van de representativiteitsgegevens die zijn aangeleverd voor de algemeen verbindend verkiaring van cao s in de jaren 2013, 2014, 2015 en Waar mogelijk maken we een vergelijking met de uitkomsten van de periode Het onderzoek biedt van in totaal 117 (30 in 2013, 30 in 2014, 28 in 2015 en 29 in 2016) door het ministerie geselecteerde AVV-verzoeken inzicht in de vraag of de sociale partners adequate cijfers aanleveren over de mate waarin zij de sector vertegenwoordigen. Het onderzoek draagt op die manier bi] aan de volgende doe/en van SZW: Het leveren van informatie voor een (eventuele her)beoordeling van de representativiteitsopgave van de AVV-verzoeken. Het bewust maken van cao-partijen van het belang van een deugdelijke representativiteitsopgave. Op basis van de doelstellingen zijn de volgende onderzoeksvragen geformuleerd: 1. Voldoen de representativiteitsgegevens van de afzonderlijke AVV-verzoeken aan de eisen van: Reproduceerbaarheid Validiteit Interne consistentie Onderzoekstechnische kwaliteit Actualiteit 2. Welke algemene conclusies en aanbevelingen zijn af te leiden uit de beoordeling van de afzonderlijke representativiteitsopgave van de AVV-verzoeken? De in onderzoeksvraag 1 genoemde criteria betreffen de vijf toetsingscriteria waarop de representativiteitsopgave van de AVV-verzoeken worden beoordeeld. Dit Ieidt tot vier eindoordelen zijnde voldoende (1), in beginsel voldoende (2), onvoldoende reproduceerbaar (3) en onvoldoende zorgvuldig berekend (4). Uitkomsten (zie ook hoofdstuk 2) Tabel A presenteert de beoordeling van de representatfviteitsopgave van de AVV verzoeken in ten opzichte van de beoordeling in de eerdere periode, 2004 De tabel Iaat zien dat het percentage voldoende is gestegen van 67% naar 74%. Tabel A Overzicht van de oordelen van de verschillende edities van het onderzoek. Oordeel Totaal Toteal Voldoet aan de eisen Voldoet in beginsel aen de eisen Onvoldoende reproduceerbaar Onvoldoende zorgvuldige be re ken in gsw ij ze Totaal % Voldoende 67% 74%

4 Tabel B Overzicht van de oordelen van de verschillende edities van het onderzoek. Oordeel Totaal Totaal Reproduceerbaarheid 83% 90% Validiteit 82% 89% Interne consistentie 770/0 97% Onderzoekstechnische kwaliteit 77% 87% Actual;teit 83% 99% Ook wanneer we naar de oordelen op de verschillende criteria kijken zien we dat et sprake is van een verbetering op alle criteria in de huidige periode ten opzichte van de periode Met name op interne consistentie (20%) en op actualiteit (16%) zijn enorme verbeteringen geconstateerd. Aanbevelingen (zie ook hoofdstuk 3) De aanbevelingen die in voorgaande edities van het onderzoek zijn geformuleerd ter verbetering van de kwaliteit en zorgvuldigheid van de representativiteitsopgaven zijn inmiddels uitgevoerd. In de communicatie naar cao-partijen is veel informatie te vinden op cao.szw.ni. Enkele aanbevelingen voor cao partijen blijven van belang om ondet de aandacht te brengen en deze hebben te maken met de reproduceerbaarheid (bewaren van de bestanden en ook omschrijven hoe de bestanden zijn gebruikt), validiteit (controle op definities, komen deze in de gebruikte bronnen overeen met de definities in de cao en zo nee, hoe is gecorrigeerd) en onderzoekstechnische kwaliteit (centraal bestand, tips voor goede steekproef). Daarnaast is het van belang om te vermelden dat een goede representativiteitsopgave niet alleen een beschrijving van de methode zeif bevat, maar ook een toelichting op de toepasselijkheid van die methoden. In het onderstrepen van het belang van de onderbouwing van redeneringen, met name aannames daarin, Iigt nog een mogelijkheid tot verbetering. Dok zijn er aanbevelingen voot SZW geformuleerd. De belangrijkste aanbeveling is om het wat makkelljker te maken voor pãrtijen omdat het soms voor partijen best ingewikkeld is. Zo zou het voorlichtingsmateriaal anders opgebouwd kunnen worden door niet de volgorde van de representativiteitsopgave te volgen maar de stappen die cao partijen moeten nemen om te komen tot een juiste representativiteitsopgave. Een andere mogelijkheid is om te achterhalen hoe de informatie van het ministerie wordt gebtuikt door de indienende partijen en welke vragen men heeft c.q. welke informatie ontbreekt. Hietop zou ingespeeld kunnen worden door het delen van deze informatie via webinars of video s. Ook het geven van informatie op maat middels een adaptief en interactief webformulier is een mogelijke manier am het makkelijker te maken voor indienende partijen. 4 C 11652

5 Inhoudsopgave 1 Achtergrond van het onderzoek Ontwikkeling van het AVV-verzoek Doel en onderzoeksvragen Methodologie en toetsingscriteria 10 2 Beoordelingen Overzicht van de oordelen Oordelen op onderdelen en totaaloverzicht 16 3 Aanbevelingen Inlelding Aanbevelingen voor CAO partijen Aanbevelingen voor SZW 28 Bijlage 1 Oordeel op criteria

6 6 C 11652

7 1 Achtergrond van het onderzoek Dit rapport beschrijft de kwaliteit van de representativiteitsgegevens die zijn aangeleverd voor de algemeen verbindend verkiaring van cao s in de jaren 2013, 2014, 2015 en Eerst geven we, in hoofdstuk 1 een korte inleiding en schetsen we de achtetgrond van het onderzoek. Hoofdstuk 2 geeft de bevindingen en in hoofdstuk 3 presenteren we de aanbevelingen. 1.1 Ontwikkeling van het AVV-verzoek AVV en het meerderheidsvereiste Werkgevers- en werknemersorganisaties hebben de mogelijkheid in collectieve arbeidsovereenkomsten (cao s) afspraken te maken over een breed scala aan arbeidsvoorwaardelijke onderwerpen. In het geval van een bedrijfstak-cao kunnen zij de minister van Sociale Zaken en Werkgelegenheid verzoeken om een algemeen verbindendverklaring (AVV). De cao geldt dan niet alleen voor de aangesloten werkgevers en hun werknemers, maar voor alle werkgevets en werknemers, die werkzaam zijn in die sector. Collectieve afspraken bevorderen evenwichtige arbeidsverhoudingen en arbeidsrust. Overheidsregulering kan daardoor beperkt of achterwege blijven. Algemeen verbindendverklaring heeft tot doel de verantwoordelijkheid van de sociale partners te ondersteunen en te beschermen. Een belangrijke voorwaarde die de Wet AVV stelt is het meerderheidsvereiste. Dit vereiste is in het Toetsingskader AVV cao-bepalingen nader uitgewerkt: De cao bepalingen waarop het verzoek tot AVV betrekking heeft moeten reeds gelden voor een naar het oordeel van de minister belangrijke meerderheid van de in de bedrijfstak werkzame personen.1 De mate van representativiteit wordt als volgt berekend: Het aantal werknemers in dienst van werkgevers gebonden door de cao, die naar aard van hun functie respectievelijk werkzaamheden binnen de werkingssfeer van de cao vallen Totaal aantal werknemers, dat binnen de werkingssfeer van de cao zou vallen, indien deze algemeen verbindend zou worden verklaard x 100% Een belangrijke meerderheid wordt geacht in ieder geval aanwezig te zijn bij een aandeel van 60% of meer. Indien dit percentage tussen de 55 h en 60% ligt, wordt nader gekeken naar de verdeling van de werknemers en de positie van de cao in de bedrijfstak. Beneden de 55% vindt AVV niet plaats, tenzij er naar het oordeel van de minister sprake is van bijzondere omstandigheden. De betrokken sociale partners leveren bij een verzoek om AVV zeif cijfers aan om de verlangde meerderheid aan te tonen. 2 Ontwikkeling van bet Toetsingskader AVV Het algemeen verbindend verklaren van cao s is sinds de invoering in 1937 een belangrijk onderdeel van de Nederlandse arbeidsverhoudingen. Het instrument heeft ingrijpende financiële en sociale implicaties voor de werkgevers en werknemers, die 1 De term werkzame personen betreft zowel werknemers met een arbeidsovereenkomst, als personen die werkzaam zijn op basis van een overeenkomst van opdracht, voor zover die onder de werkingssfeer van de cao zijn gebracht (art. 1 lid 2 wet op de ceo). In dit onderzoek wordt verder alleen de term werknemer gebruikt. 2 Art. 2, lid i, wet Avv.

8 onder de werkingssfeer vallen. Werkgevers die niet zijn georganiseerd of bij andere organisaties zijn aangesloten, dienen zich na AVV eveneens te houden aan arbeidsvoorwaardelijke afspraken, waarop zi] zeif geen invloed hebben kunnen uitoefenen. Het is dus van belang dat de cf]fers die de sociale partners aanleveren om de verlangde meerderheid aan te tonen kwalitatief hoogwaardig zijn. Om grip te krijgen op de kwaliteit van de representativiteitscijfers heeft het ministerie verschillende onderzoeken laten uitvoeren. In 2000 is een eerste onderzoek uitgevoerd naar de databronnen die gebruikt kunnen worden bij het opstellen van een representativiteitsopgave bi] het indienen van een AVV-verzoek.3 Het rapport mondde uit in de aanbeveling om in het Toetsingskader uitgewerkte eisen op te nemen over de verantwoording van de methode van gegevensverzameling door sociale partners. Medio 2002 is het Toetsingskader gewijzigd. In het Besluit aanmelding cao s en het aanvragen van AVV (Art. 2:2 lid d) staat sindsdien dat een AVV-verzoek vergezeld moet worden van: Een toelichting op de wijze van de verzameling van de representativiteitsgegevens, die in ieder geval het volgende bevat: 1. een opgave van de gebruikte bronnen voor de aantallen werkgevers en werknemers 2. een opgave van de gehanteerde onderzoeksmethode 3. een opgave van de wijze van meting 4. een opgave van de peildatum of de periode waarop de cijfers betrekking hebben 5. een toelichting waaruit blijkt dat de grenzen van het domein waarover de gegevens zijn verzameld gerelateerd zijn aan de werkingssfeer van de CAO. Daarbij dient ook duidelijk te zijn dat in de werkingssfeer van de CAO uitgesloten categorieen werknemers in de tellingen buiten beschouwing zijn gelaten. In het Toetsingskader staat verder dat het ministerie periodiek steekproefsgewijs de kwaliteit van de cijfers controleert. De eerste serie van onderzoeken in dat kader hadden betrekking op de stand van zaken in 2004, 2005, 20066, 2007 en en werden elk een jaar later openbaar In 2013 is een nieuwe serie van onderzoeken gestart. In deze serie onderzoeken is niet meer elk jaar een rapport verschenen, maar verschijnt nu dit rapport dat de resultaten van de onderzoeken in 2013, 2014, 2015 en 2016 beschrijft. Naar aanleiding van de stand van zaken 2005 is het bewaren van brongegevens verplicht gesteld. Door deze bewaarplicht kan zorgvuldiger warden getoetst of de cao partners, die een aanvraag van AVV indienen, inderdaad voldoen aan het meerderheids-vereiste. Ook is naar aanleiding van de stand van zaken van 2005 een praktische handleiding opgesteld met aandachtspunten voor het aanleveren van de representativiteitsgegevens en een beschrijving van veel voorkomende fouten. C. Bakker en C. van Ri] (2000), Van de teller en de noemer. Onderzoek naar databronnen voor de representativiteitstoets van AVV-verzoeken. SZW-werkdocument van der Veen en M.W.H. Engelen (2005), Kwaliteit representativiteitsgegevens bj AW-verzoeken. Research voor 8eleid, Leiden. DR. Kemper en M.W.H. Engelen (2006), Kwaliteit representativiteitsgegevens bj AVV-verzoeken. Stand van zaken Research voor Beleid, Leiden. 6 D.R. Kemper en M.W.H. Engelen (2007), Kwaliteit representativiteitsgegevens b AW-verzoeken, Stand van zaken Research voor Beleid, Leiden. D.R. Kemper, MM. de Kleijn en M.W.H. Engelen (2008), Kwaliteitrepresentativiteitsgegevens buavv verzoeken, Stand van zaken Research voor Beleid, Zoetermeer. D.R. Kemper (2009), Kwaliteit representativitejtsgegevens bij AVV-verzoeken, Stand van zaken Research voor Beleid, Zoetermeer. 8 C 11652

9 In januari 2007 is het Toetsingskader wederom gewijzigd. In het nieuwe Toetsingskader is opgenomen dat bij het AVV-verzoek actuele gegevens moeten woruen overlegd. Dit betekent dat de representativiteitsgegevens in beginsel niet oudet mogen zijn dan één jaar, te rekenen vanaf de ingangsdatum van de CAO. Omdat uit de onderzoeken bleek dat de reproduceerbaarheid van de representativiteitsopgave vaak te wensen overliet, is in 2010 een nieuwe tekst van het Toetsingskader vastgesteld Ook zijn er formulieren ontwikkeld die partijen ondersteunen een goede representativiteitsopgave te maken. Om de administratieve lasten voor cao-partijen te beperken, is de verplichting om in alle gevallen, waatbij sprake was beargumenteerde bedenkingen tegen de representativiteit, of een representativiteitspercentage van minder dan 60%, een accountantsverklaring te overleggen, komen te vervallen. In deze gevallen geldt nu dat gebruik van het formulier representativiteit verplicht is en dat alleen in bijzondere gevallen nog zal worden verzocht om een assuranceverkiaring van een accountant 1.2 Doel en onderzoeksvragen Doel van het onderzoek Het onderzoek biedt van in totaal 117 (30 in 2013, 30 in 2014, 28 in 2015 en 29 in 2016) door het ministerie geselecteerde AVV-verzoeken inzicht in de vraag of de sociale partners adequate cijfers aanleveren over de mate waarin zi] de sector vertegenwoordigen. Het onderzoek draagt op die manier bij aan de volgende doelen van SZW: Het leveren van informatie voor een (eventuele her)beoordeling van de representativiteitsopgave van de AVV-verzoeken. Het bewust maken van cao-partijen van het belang van een deugdelijke rep res en tat iv i te its op gave. Naast individuele beoordeling van de representativiteitsopgave van de AVV-verzoeken kan het onderzoek ook worden aangewend om algemene tendensen te benoemen. Daarmee krijgt het de functie van een monitor. Naarmate het aantal beoordeelde representativiteitsgegevens toeneemt, kunnen betere uitspraken en aanbevelingen worden gedaan, die het niveau van afzonderlijke representativiteitsopgave van de AVV-verzoeken overstijgen. Met de in 2004 ontwikkelde toetsingscriteria (zie paragraaf 1.3) is het daarnaast mogelijk de ontwikkeling van de kwaliteit van representativiteitsgegevens in de tijd te schetsen. Onderzoeksvragen Dit onderzoek moet vaststellen of de aangeleverde gegevens afkomstig zijn uit betrouwbare bronnen, en of ze op een adequate en betrouwbare manier zijn gebruikt om de representativiteitscijfers te berekenen. Op basis van de doelstellingen zijn de volgende onderzoeksvragen geformuleerd: 1. Voldoen de representativiteitsgegevens van de afzonderlijke AVV-verzoeken aan de eisen van: Reproduceerbaarheid Validiteit Interne consistentie Onderzoekstechnische kwaliteit Actualiteit

10 2. Welke algemene conclusies en aanbevelingen zijn af te leiden uit de beoordeling van de afzonderlijke representativiteitsopgave van de AVV-verzoeken? 1.3 Methodologie en toetsingscriteria Selectie van de AVV-verzoeken Het ministerie van Sociale Zaken en Werkgelegenheid heeft in totaal 117 (30 in 2013, 30 in 2014, 28 in 2015 en 29 in 2016) te beoordelen AVV-verzoeken geselecteerd. De steekproef van sectoren is niet representatief voor alle cao s in Nederland. Dit hangt samen met het doel van het onderzoek. Het onderzoek beoogt nadrukkelijk niet een representatief algemeen beeld te geven van de nauwkeurigheid van representativiteitsgegevens. De doelstelling is de beoordeling van de geselecteerde specifieke verzoeken en bewustmaking van het belang van juiste gegevensaanlevering in het veld. Bi] de selectie van de bedrijfstakken is beoogd om (nagenoeg) de gehele populatie van sectoren minimaal een keer in de steekproef op te nemen en daarnaast om de sectoren die een onvoldoende hebben gescoord voor een tweede maal in de periode in het onderzoek te betrekken. De betrokken partijen zijn in eerste instantie schriftelijk benaderd door het ministerie van Sociale Zaken en Werkgelegenheid. De partijen hebben de gegevens aan het ministerie gestuurd, waarna ze zijn doorgezonden naar Panteia. Alle partijen hebben bun medewerking verleend aan het onderzoek. Panteia heeft vervolgens de beoordeling van de representativiteitscijfers uitgevoerd. De toetsingscriteria Om te kunnen toetsen of representativiteitsopgaven correct en zorgvuldig zijn opgesteld, zijn in 2004 toetsingscriteria ontwikkeld. Hiertoe zijn gesprekken gevoerd met de opdrachtgever en sociale partners. De gesprekken hebben geleid tot gedetailleerde kennis over de wijze waarop representativiteitsgegevens tot stand komen en praktische moeilijkheden waar men tegenaan loopt. Onderstaande lust bevat de toetsingscriteria die uiteindelijk zijn gebruikt bij het beoordelen van de cijfers. De representativiteitsopgave van de AVV-verzoeken zijn beoordeeld op basis van de volgende vijf toetsingscriteria: 1. Reproduceerbaarheid en volledigheid. Een minimaal vereiste voor de beoordeling van de representativiteitsopgaven is dat ze reproduceerbaar moeten zijn. Het is onmogelijk om de kwaliteit van de opgaven te beoordelen, indien de brongegevens, die aan de opgave ten grondsiag liggen, niet meer te achterhalen zijn. Als criterium geldt dat alle brongegevens en de berekeningswijzen beschikbaar moeten zujn. Toetssteen is dat het representativiteitscijfer, zoals de cao-partijen dat hebben berekend, door een derde (ic. het onderzoeksteam) zelfstandfg is te reproduceren. 2. Validiteit. Het begrip validiteit heeft betrekking op de vraag of daadwerkelijk datgene wordt gemeten wat beoogd was. Zijn de juiste begrippen gemeten? Daarbij zijn twee aspecten van belang. De eerste is de operationalisering: hebben cao partijen (de termen boven en onder de streep van) het representativiteitscijfer voor hun sector of branche gedefinieerd in overeenstemming met hetgeen bedoeld is in 10 C 11652

11 het Toetsingskader? Het tweede aspect is de meting als zodanig: is er vervolgens ook conform de operationele definities gemeten? Een voorbeeld ter illustratie. Sommige cao s gelden alleen voor het deel van het personeel dat werkzaam is in de productie en niet voor ondersteunend personeel. Indien de Iaatste categorie werknemers toch is meegenomen in de berekening van het representativiteitscijfer, kiopt de validiteit van de operationalisering niet. Indien hiervoor wotdt gecorrigeerd door een schatting te maken van het aandeel productiemedewerkers in het personeelsbestand, dan staat de validiteit van de meting ter discussie. 3. Interne consistentie. Hier gaat het erom dat de eenheid die wordt gebruikt om de teller weer te geven overeenstemt met de eenheid om de noemer in uit te drukken. Het betreft de volgende zaken: gebruikte meeteenheden peildatum van de gegevens 4. Onderzoekstechnische kwaliteit. Een beoordeling van de kwaliteit van de gebruikte onderzoeksmethoden is de volgende stap. Hierbij is het van belang of deze voldoen aan de minimale zorgvuldigheidseisen wat betreft: de toepasselijkheid van de methode omvang van de steekproef tepresentativiteit en/of weging analyses en/of berekeningen kwaliteit van registratie 5. Actualiteit. In hat Toetsingskader is opgenomen dat cao-partijen per 1 januari 2007 actuele gegevens moeten overleggen bij een AVV-verzoek. Dit betekent dat de representativiteitsgegevens in beginsel niet ouder mogen zijn dan één jaar, te rekenen vanaf de ingangsdatum van de cao. In eerdere onderzoeken is een andere marge aangehouden: Gegevens werden beschouwd als actueel indien ze betrekking hebben op de situatie van maximaal twee jaar voor het AVV-verzoek. Het beoordelingsproces Bij lang niet alle representativiteitsopgaven is meteen goed reproduceerbaar hoe het representativiteitscijfer tot stand is gekomen. Uit de representativiteitsopgaven is niet altijd goed op te maken of de oorspronkelijke gegevens nog beschikbaar zijn, hoe een bepaalde berekening is uitgevoerd of waarom voor een bepaalde methode of berekening is gekozen. Dergelijke informatie is voor een juiste beoordeling van de gegevens noodzakelijk. Indien onvoldoende gegevens zijn opgestuurd, of onvoldoende duidelijk onderbouwde gegevens, heeft Panteia de betreffende cao-partijen een brief gestuurd met aanvullende vragen. Na beantwoording van aanvullende vragen is per AVV-verzoek een factsheet opgesteld ten aanzien van de representativiteitsopgave. Een factsheet begint met een beschtijving van de gegevens: welke methode is gebruikt, van welke datum zijn de gegevens, welke definities zijn gehanteerd etc. De beschrijving leidt tot een reconstructie van de wijze waarop daze partijen hat representativiteitscijfer hebben berekend. Behalve een beschrijving van de gegevens bevat de factsheet een waardeoordeel op elk van de vijf verschillende aspecten (reproduceerbaarheid, validiteit, actualiteit, consistentie en technische kwaliteit). Er zijn per aspect drie mogelijke oordelen: voldoende, twijfel en onvoldoende. 11

12 De beoordeling op deze aspecten is gebruikt om per representativiteitsopgave een gemotiveerde eindbeoordeling op te stellen. Uitgangspunt is, dat alle aspecten afzonderlijk in acht moeten zijn genomen om tot een juiste berekening van het representativiteitscijfer te komen. Indien één van deelaspecten als onvoldoende is beoordeeld, betekent dit dat de opgave in zijn geheel wordt beoordeeld als voldoet niet aan de eisen. In de praktijk is het mogelijk dat een onzorgvuldigheid ten aanzien van een deelaspect slechts een kleine vertekening van het representativiteitscijfer tot gevoig heeft. Vanwege de geringe consequenties van de onvolkomenheid is in dat geval afgezien van een onvoldoende beoordeling van de opgave als geheel. Het betreffende deelaspect is gescoord met het oordeel twijfel. De opgave als geheel is beoordeeld als voldoet in beginsel aan de eisen Het onderstaande overzicht maakt duidelijk welke eindoordelen gegeven zijn. Het eindoordeel kan vier vormen aannemen. Waar nodig zijn aan het einde van elke factsheet aanbevelingen gedaan. De vier eindoordelen: Voldoende. Een opgave is als voldoende beoordeeld wanneer de opgave op awe vijf de deelaspecten voldoende scoort. In beginsel voidoende. Een opgave is als in beginsel voldoende beoordeeld wanneet één van de deelaspecten het oordeel twfjfel krijgt. Een deelaspect krijgt het oordeel twijfel wanneer sprake is van een onzorgvuldigheid die slechts een kleine vertekening van het representativiteitscijfer tot gevoig heeft. Onvoldoende reproduceerbaar. Een opgave is als onvoldoende reproduceerbaar beoordeeld wanneet het deelaspect reproduceerbaarheid als onvoldoende is beoordeeld. Van onvoldoende reproduceerbaarheid is sprake als dusdanig veel informatie ontbreekt (over methode, beschrijving, bestanden, enquftes, aanvullende schattingen etc.), dat niet meer is na te gaan hoe het cijfer tot stand is gekomen. Het oordeel onvoldoende reproduceerbaar betekent niet dat het in de opgave vermelde representativiteitscijfer per definitie onjuist is. Het oordeel betekent dat het representativiteitscijfer niet meer te achterhalen is. Onvoldoende zorgvuldig berekend. Een opgave is beoordeeld als onvoldoende zorgvuldig beoordeeld wanneer één van de deelaspecten validiteit, interne consistentie, onderzoekstechnische kwalfteit of actualiteit als onvoldoende is beoordeeld. Wanneer sprake is van een onzorgvuldige berekening zijn de meeste gegevens wel voorhanden, maar is de manier waarop aan de hand van deze gegevens het representativiteitscijfer is afgeleid, niet zorgvuldig. Er wordt uitsluitend beoordeeld of een bepaalde methode, bron of procedure de minimale toets der zorgvuldigheid kan doorstaan. Met andere woorden, het gaat er niet om of de best mogelijke methode is gebruikt, maar alleen of het resultaat acceptabel is. De achtergrond van deze keuze is dat er veel discussie mogelijk is over wat de beste methode is, maar dat we ervan uitgaan dat er brede overeenstemming is over wet minimaal vereist is. Qok moet rekening worden gehouden met de uitvoerbaarheid: 12 C11652

13 bepaalde methoden kunnen op zichzelf beter zijn maar voor betrokken partijen veel extra werk en kosten met zich meebrengen. Een beoordeling uitsluitend op aanvaardbaarheid zal dus meer draagvlak opleveren en wellicht vervelende methodologische discussies voorkomen. Hiermee wordt tevens de zeggingskracht van het onderzoek vergroot. Wanneer een gehanteerde methode op zichzelf acceptabel, maar niet de best denkbare is, Ieidt dit dus in principe niet tot een negatieve beoordeling. Wel wordt uiteraard een aantekening gemaakt van de betere methode, zodat deze eventueel bij volgende metingen door de sociale partners is toe te passen. Indien de representativiteitsopgave negatief is beoordeeld, zijn de betrokken partijen in de gelegenheid gesteld inhoudelijk op de beoordeling te reageren. De reactie is verwerkt in de factsheets. 13

14

15 2 Beoordelingen 2.1 Overzicht van de oordelen Het ministerie van Sociale Zaken en Werkgelegenheid heeft 117 (30 in 2013, 30 in 2014, 28 in 2015 en 29 in 2016) AVV-verzoeken geselecteerd die in het onderzoek zijn opgenomen. Alle betrokken cao-partijen hebben gehoor gegeven aan de oproep om de brongegevens die ten grondsiag liggen aan de desbetreffende representativiteitsopgave bij het AVV-verzoek beschikbaar te stellen. Panteia heeft deze gegevens vervolgens getoetst aan de hand van de toetsingscriteria. In vrijwel awe gevallen was de aangeleverde informatie niet volledig of niet (volledig) duidelijk. Wanneer de aangeleverde informatie niet volledig of niet (volledig) duidelijk was, zijn aan sociale partners schriftelijk specifieke aanvullende vragen gesteld. In alle gevallen hebben de sociale partners de aanvullende vragen beantwoord. Anders dan in de eerdere edities van dit onderzoek waren schriftelijke of telefonische rappels slechts in een beperkt aantal gevallen nodig. In de meeste gevallen is binnen de gestelde termi]n gereageerd. Na het verzamelen van alle benodigde informatie zijn de representativiteitsgegevens beoordeeld. In de tabel hieronder is weergeven wat het resultaat van de beoordelingen in 2013, 2014, 2015 en 2016 is geweest. Tabel 2.1 Overzicht van de oordelen. Oordeel Totaal Voldoet san de eisen Voldoet in beginsel aan de eisen Onvoldoende reproduceerbaar Onvoldoende zorgvuldige berekeningswijze Totaal 30 3Q % voldoende 83 h 60% 82% 69% 74% Van de 117 verzoeken voldoen er 50 zonder meet aan de eisen. Zesendertig verzoeken voldoen in beginsel aan de elsen. Een opgave voldoet in beginsel aan de eisen wan neer een deelaspect het oordeel twijfel heeft gekregen. Een deelaspect krijgt het oordeel twijfel indien een onzorgvuldigheid is gemaakt die slechts een kleine vertekening van het tepresentativiteitscijfet tot gevoig heeft. In 31 gevallen is geconcludeerd dat de wijze van totstandkoming van het representativiteitscijfet niet aan de eisen voldoet. Van onvoldoende reproduceerbaarheid is sprake wanneet dusdanig veel informatie ontbreekt (over methode, beschrijving, bestanden, enquftes, aanvullende schattingen etc.), dat niet meer is na te gaan hoe het cijfet tot stand is gekomen. In dat geval wotdt het deelaspect reproduceerbaarheid als onvoldoende beoordeeld. Veel opgaven waten in eerste instantie niet voldoende reproduceerbaar. In aanvullende vragen aan cao partijen is expliciet gevraagd naar de ontbrekende redeneringen en berekeningen. Na het stellen van aanvullende vragen bleek de reproduceerbaarheid van de Eén AVV-verzoek heeft zowel het oordeel Onvoldoende reproduceerbaar als het oordeel Onvoldoende zorgvuldige berekeningswijze gekregen. Er is voor gekozen om hier alleen het belangrijkste oordeel te vermelden. C

16 berekeningswijze representativiteitsopgave bi] twaalf AVV-verzoeken nog altijd onvoldoende. Het deelaspect reproduceerbaarheid Is in deze opgaven met een onvoldoende beoordeeld. In 19 gevallen is geconcludeerd dat er sprake is van een onzorgvuldige berekeningswijze. Een onzorgvuldige berekeningswijze wit zeggen dat de meeste gegevens wel voorhanden zijn, maar de manier waarop aan de hand van deze gegevens het representativiteitscijfer is afgeleid, niet zorgvuldig is. In dat geval scoort één van de deelaspecten validiteit, interne consistentie, onderzoekstechnische kwaliteit of actualiteit onvoldoende. Vergelijking met eerder onderzoek Onderstaande tabel geeft een overzicht van de oordelen van het huidige onderzoek en de oordelen van het onderzoek dat tussen 2004 en 2008 heeft plaatsgevonden. Tabel 2.2 Overzicht van de oordelen van de verschillende edities van het onderzoek. Oordeel Totaal Totaal Voldoet aan de eisen Voldoet in beginsel aan de eisen Onvoldoende reproduceerbear Onvoldoende zorgvuldige Totaai % Voldoende 67w/n 74% De cijfers zijn niet representatief voor de representativiteitsopgaven op enig jear in de tijd. Het is ook geen doelstelling van dit onderzoek de resultaten in de bovenstaande tabel te generaliseren naar alle representativiteitsopgaven van de AVV-verzoeken. De reden daarvan is de geringe omvang van de steekproef. Wel is het zo dat uiteindelijk nagenoeg alle sectoren in zowel één van de representativiteitsonderzoeken uit de periode als in een van de onderzoeksronden in de periode zijn betrokken. 2.2 Oordelen op onderdelen en totaaloverzicht De representativiteitsopgaven zijn beoordeeld op reproduceerbaarheid, validiteit, interne consistentie, onderzoekstechnische kwaliteit en de actualiteit van de brongegevens. Deze paragraaf gaat in op de specifieke onderdelen van het beoordelingsmodel. Pet onderdeel komt aan de orde welke overeenkomsten er zijn tussen de representativiteitsopgaven en welke zaken opvallen. Ove rzi cht Voordat we elk van de specifieke onderdelen nader toelichten, presenteren we de overzichtstabel met het oordeel op de verschillende criteria, waarbij de periode wordt vergeleken met de periode Voor de achterliggende tabel voor 2013 verwijzen wij naar bijlage 1. De onderstaande tabel bevat een overzicht van de scores op de verschillende onderdelen. Wanneer alle subcriteria van een onderdeel als voldoende zijn gemarkeerd of slechts één van de subonderdelen wordt beoordeeld als twijfel dan wordt het onderdeel genoteerd als zijnde het voldoet aan de eisen. Dit in verband met de vergelijkbaarheid met de eerdere rapportages. Sommige opgaven kregen meer 16 C 11652

17 dan één keer het oordeel onvoldoende en/of meer dan één keet het oordeel twijfel. Gekozen is om de opgave slechts één keer mee te tellen. Net totaal van de oordelen op de verschillende criteria komt daardoor overeen met het totaal van de oordelen van de opgaven zoals genoemd in tabel 2.1 en 2.2. Tabel 2.3 Oordeel op verschillende criteria ( versus ) Percentage Percentage Aental Aantal voldoet voldoet niet voldoet voidoet Jaartal Criterium aan eisen aan eisen aan eisen niet aen eisen Reproduceerbaarheid % 12 Validiteit % 13 11% Totaal Interne consistentie % 3 3 h Onderzoekstechnische 2016 kwaliteit h 15 13% Actualiteit % 1 1% Totaal Reproduceerbaarheid 93 83% 19 17% Validiteit 92 82% 20 18% Totaal Interne consistentie 23% % 2008 Onderzoekstechnische kwaliteit 86 77% 26 23% Actuaflteit 93 83% 19 l7% Totaal In bovenstaande tabel is te zien dat in de periode de representativiteitsopgave van de AVV-verzoeken op alle criteria beter worden beoordeeld dan in de periode Zoals aangegeven volgt hieronder de toelichting naar de specifieke onderdelen. Reproduceerbaarheid Een minimaal vereiste voor de beoordeling van de representativiteitsopgaven is dat ze reproduceerbaar moeten zijn. Dit betekent dat de brongegevens beschikbaar moeten zijn. Bi] het beoordelen van de reproduceerbaarheid van de representativiteitsopgave is Panteia van de veronderstelling uitgegaan dat de aangeleverde informatie in overeenstemming is met de achterliggende brongegevens, en dat deze brongegevens op zichzelf juist zijn. Panteia is er ook van uitgegaan dat de aangesloten werkgevers volgens de ledenhijst ook daadwerkelijk lid zijn en dat het door de werkgever opgegeven aantal werknemers kiopt. Getuige het feit dat naar aanleiding van veel representativiteitsopgaven (soms meer dan eens) aanvullende vragen zijn gesteld, blijkt dat het kunnen reproduceren van het representativiteitscijfer niet altijd vanzelfsprekend is. Niet in alle gevallen heeft de reactie op de vragen de benodigde gegevens opgeleverd. In éénentwintig gevallen is een aantal werknemers berekend op basis van de uitkomsten van een enqufte. Dit is op zichzelf legitiem. Wel is het in dat geval van belang te vermelden hoe deze enquëte is uitgevoerd en op welke wijze de ontbrekende gegevens zijn aangevuld. Net reproduceren van de werkwijze is op grond van de in eerste instantie opgeleverde gegevens niet altijd goed mogelijk geweest. De databestanden zeif, in de vorm van een spreadsheet in Excel, zijn ook niet altijd bijgevoegd. Ook wordt de grootte van de steekproef en de respons niet altijd vermeld. C

18 8ff een opgave is er gebruik gemaakt van een enqufte. A/s brongegeven werd een bestand met daarin alleen totalen aangeleverd. 8ff navraag bleek onduidehjk op welke wifie, telefonisch of schriftelijk de uftvraag had plaatsgevonden. Qok was onduidelfjk hoeveel bedrifven men daadwerkelifk gesproken had en was de uragenhifst niet bewaard gebleven. Daarnaast waren ook de bestanden met daarin de NAW gegevens van de benaderde bedrifven niet meer aan te leveren. Om een representativiteitsopgave te kunnen reproduceren is het dus van belang dat de vragenhijst, maar ook de bestan den aan de hand waarvan de organ isaties benaderd worden bewaard blijven. Negen opgaven kregen het oordeel twijfel. Soms hangt dit oordeel samen met de eard en het aantal gebruikte bronnen. Voor deze opgaven is gebruik gemaakt van veel verschillende bronnen die door hun aard niet met elkaar te integreren zijn. Dit maakt het lastig (maar niet onmogelijk) om de opgave te reproduceren. In andere opgaven is het representativiteitscijfer op twee manieren te berekenen en Ieidt dit tot twee verschillende uitkomsten. Eén van deze uitkomsten komt dan wel overeen met de uftkomsten genoemd in de opgave. Net als in het onderzoek over de jaren hebben deze negen opgaven het uiteindelijke oordeel voldoet aan de eisen op reproduceerbaarheid gekregen. In vijftien gevallen leidde het reproduceren van de opgave tot iets andere aantallen dan vermeld in de opgave. Deze verschillen konden worden herleid tot een slordigheidsfout. Een aantal werkgevers is dubbel geteld of een voor de cao gedispenseerde werkgever (een werkgever met een ondernemings-cao) is wel meegeteld. Hier is coulant mee omgegaan. De reproduceerbaarheid is, mits er geen sprake was van andere onvolkomenheden, als voldoende beoordeeld. De aantallen in de factsheets, die zijn teruggelegd aan de sociale partners, zijn gecorrigeetd. Twaalf opgaven werden als onvoldoende reproduceerbaar beoordeeld. In alle gevallen had dit te maken met het niet kunnen aanleveren van de juiste bronbestanden. In de periode werd 83% van de opgaven beoordeeld met een voldoende op reproduceerbaarheid. In de huidige meting is dit aandeel 900/0. Hieronder volgen twee voorbeelden van verbeteringen op het gebied van reproduceerbaarheid en volledigheid, die het gevoig zijn van eerdere aanbevelingen. 18 C 11652

19 Voorbeeld 1 Aanlevering bestand In één opgave waren de bestanden waarop de berekeningen zijn gebaseerd slechts deels aangeleverd. De bestanden van het bedrijfstakpensioenfonds ontbraken. Hierdoor waren de aantallen die ult dit bestand ontleend waren derhalve niet te reproduceren. Qok bij navraag bij sociale partners was bedrijfstakpensioenfonds niet bereid om de bestanden te verstrekken. Verbetering: in de nieuwe opgave zijn de bestanden waarop de berekeningen zijn gebaseerd we! a!iemaal aangeleverd, ook dat van het bedrijfstakpensioenfonds. Aan de hand van deze bestanden zijn de aantallen uit de representa tiviteitsopga ye een vo udig te rep roduceren. Voorbeeld 2 Koppeling bestanden In een andere opgave was er wel een bestand aangeleverd. Dit bestand was alleen niet gebruikt voor het berekenen van het representativiteitscijfer genoemd in het AVV-verzoek. Het gebruikte bestand was nog niet beschikbaar. De cijfers genoemd in de representaviteitsopgave waten daarom geschat op basis van het vorige verzoek/bestand met behuip van extrapolatie. De extrapolatie werd echter later niet goed uitgevoerd. Verbetering: bif de nieuwe opgave is er een gekoppeld bestand aangeleverd waarin een Iedenlijst is gekoppeld aan een bestand aangeleverd door het pensioenfonds met daarin aantallen werknemers. Het aantal werknemers is daarmee met het actuele bestand te reproduceren waardoor een extrapolatie ook niet nodig was. Validiteit Het begrip validiteit heeft betrekking op de vraag of daadwerkelijk datgene wordt gemeten wat beoogd was. Problemen met de validiteit ontstaan voornamelijk wanneer de werkingssfeer van de cao niet volledig overeenkomt met de populatie waarop het gebruikte bronbestand betrekking heeft. In de meeste gevallen zijn bronbestanden gebruikt die geënt zijn op verplichtingen die voortkomen ult de cao. Overwegend zijn de volgende bronnen gebruikt: Sociaal fonds: Sociale fondsen dragen zorg voor de uitvoering van cao regelingen en worden als zodanig vaak gebruikt als bron voor het bepalen van het totaal aantal werknemers onder de werkingssfeer van de cao. Bedrijfstakpensioenfonds: Doordat veel (maar niet alle!) pensioenregelingen dezelfde werkingssfeer kennen als de cao, zijn vaak bestanden van bedrijfstakpensioenfondsen gebruikt als bron. Extern branche- of sectoronderzoek: Voor sommige branches verschijnen regelmatig publicaties waarin iets wordt vermeld over het aantal werknemers in de branche. Voorbeelden hiervan zijn publicaties van het CBS, maar ook jaarboeken, monitoren en sectorrappoften van specifieke sectoren. Verschillen tussen de werkingssfeer van de cao en de populatie waarop het gebruikte bronbestand betrekking hebben, worden in de meeste gevallen gecorrigeerd. Dit C

20 betekent dat de vrijwillige aansluitingen bij het bedrijfstakpensioenfonds niet worden meegeteld bi] het berekenen van het representativiteitscijfer. Bedrijven die zijn vrijgesteld van het bedrijfstakpensioenfonds, maar die wel onder de cao vallen, worden juist toegevoegd aan het bestand. Het is in dit verband van belang dat de sociale partners in de opgave een duidelijke omschrijving geven van de groepen waarvoor gecorrigeerd moet warden en op welke wijze deze correctie is uitgevoerd. Deze omschrijving was in veel opgaven in eerste instantie onvolledig. Hierover zijn veel aanvullende vragen gesteld aan de sociale partners. Een enkele keer komt het voor dat niet wordt gecorrigeerd. Het is in dergelijke gevallen aan cao-partijen cm aan te tonen dat door het gebruik van deze gegevens geen vertekening ontstaat. Dit kunnen zij doen door aannemelijk te maken dat ofwel de groep erg klein is, ofwel dat leden en niet-leden van de werkgeversvereniging naar verhouding even veel werknemers in de bewuste groep in dienst hebben. Er zijn dertien opgaven waarvan de validiteit beoordeeld is met onvoldoende. Het gaat vaak om het niet voldoende overeenkomen van de definitie van een werknemer zoals die in de cao gebruikt wordt en de definitie van dezelfde werknemer zoals die gebruikt wordt voor de berekening van het representativiteitscijfer (in bronnen als bijvoorbeeld een bedrijfstakregeling of een deelnemersbestand van een fonds). Oak worden soms bepaalde bedrijfstakken niet meegenomen bij de berekening van het totaal aantal we rk n em e rs. BIJ één opgave werd bijvoorbeeld gebruik gemaakt van gegevens van het bedrijfstakpensioen fends om de aan ta/len werknemers voor de representativiteitsopgave te bepalen. De cao-partijen zagen over het hoofd dat in het bestand van het bedrijfstakpensioenfonds werknemers pas vanaf 21 jaar worden geregistreerd terwiji onder de cao ook werknemers Jon get dan 21 jaar va/len. In de periode scoorden 82% van de opgaven een voldoende op bet onderdeel validiteit. In de huidige meting is dit 89%. Hieronder volgen twee voorbeelden van verbeteringen op het gebied van validiteit. 20 S S

21 Voorbeeid.i.Wer eme personen consistent in teller en noemer In één van cte opgaven was voor het berekenen van de teller gekeken naar het aantadftedat.bjnerde werkingssfeer van de cao vail Dit was niet omgerekend naaraental personen, terwijl in het door het ministene opgestelde toetsingskadetwordt geteld dat teller en noemer uitgedrukt moeten worden in aantailen werkzaine persnen Verbetering in de nieuwe opgave is voor het berekenen.vandetel/er en noemer we! naar het aantal werkzame personen gekeken Voorbeeld-2::t, ming werkingssfeer met gebruikte bronnen In een andere opgave kwam de werkingssfeer van de cao bij een algemeen verbindend verkiaring niet helemaal overeen met de gebruikte bronnen. Er waren bijvoorbeeld de volgende uitzonderingen: Werknemers onder de 21 jaat zijn niet opgenomen in het deelnemersbestand van het bedrijfstakpensioenfonds maar vallen wel onder de werkingssfeer van de cao. Hier is niet voor gecorrigeerd of een verklaring opgenomen, Het bedrijfstakpensioenfonds kent ook vrijwillige aansluitingen. Hier is ook niet voor gecorrigeerd. Verbejering: in de n/euwe opgave kwam de werk!ngssfeer van de gebruikte bronnen we! overeen met de werkingssfeer van de cao. Verder zijn ook correcties uitgevoerd voor vrifwi!iig aa ngeslotenen. Interne consistentie Het begrip interne consisten tie heeft betrekk!ng op de vraag of er in de teller en noemer hetze!fde wordt gemeten. De interne consistentie heeft tot weinig problemen geleid. Waar in eerder onderzochte opgaven tussen 2004 en 2008 vaak verschillende bestanden zijn gebruikt voor teller en noemer, is dat in het huidige onderzoek slechts 3 maal het geval. De representativiteit is in de meeste opgaven berekend aan de hand van één databestand dat is opgebouwd ult twee bronbestanden: een sectorbestand dat voor elk bedrijf in de sector informatie bevat over het aantal werknemers een ledenbestand van de betrokken werkgeversvereniging(en), zonder aantallen werknemers Door beide bestanden te koppelen is de representativiteit vast te stellen. Deze koppeling bestaat uit het opzoeken van de leden van de werkgeversverenigingen(en) in het sectorbestand. Vervolgens kan het aantal werknemers van leden van de werkgeversvereniging(en) en het totale aantal werknemers in de sector bepaald worden. Daarna kunnen deze aantailen tegen elkaar afgezet worden. In kielnere sectoren is deze koppeling eenvoudig handmatig tot stand te brengen. In grotere sectoren is die mogelijkheid in de praktijk heel veel werk. Voor het matchen van grote gegevensbestanden zijn daarom geautomatiseerde toepassingen ontwikkeld. In verschiilende opgaven is op die manier een automatische bestandskoppeling gemaakt. Het maken van een koppeling heeft als groot voordeel dat in teller en noemer de aantallen werknemers gebaseerd zijn op hetzelfde bestand. De definities, wijze van C11652 S 21

22 dataverzameling, werkingssfeer en de datum waarop de gegevens betrekking hebben, zijn daarom voor teller en noemer gelijk. Dit geldt doorgaans ook voor eventuele vertekeningen, waardoor de interne consistentie zelden problematisch f 1O Het koppelen van gegevensbestanden wordt vergemakkelijkt door de wijze van registratie in de gebruikte bestanden op elkaar af te stemmen, Dit maakt een geautomatiseerde bestandskoppeling mogel/jk en maakt het handmatig koppelen van bestanden overbodig. In dit kader wordt vaak gebruik gemaakt van een uniek aansluitnummer voor elke werkgever, dat/n beide bestanden wordt opgenomen. Op basis hiervan kan op efficiente en nauwkeurige w/jze een vol/ed/ge match gemaakt wo rden. Wanneer een dergelijke man/er van registratie ontbreekt of onvolledig is, verdient het aanbeve//ng de bestanden te koppelen in meerdere rondes. H/erbij wordt in verschillende achtereenvolgende rondes getracht een match te maken op basis van steeds verschillende bedrijfsgegevens, zoals postcode, adres en bedrijfsnaam. Het aantal matches neemt op deze man/er met elke ronde toe, net zolang tot een (vrtjwel) vol/ed/ge match ontstaat. Indien de gegevens niet zijn terug te voeren op één bestand, ontstaan sneller problemen met de intetne consistentie van de berekening. Dit is bijvoorbeeld het geval als sectoronderzoek naar het aantal werknemers niet tegelijkertijd heeft plaatsgevonden met een peiling van de werkgeversvereniging onder haar eden. Als er in de tussenliggende periode sterke vetschuivingen hebben plaatsgevonden binnen de sector, heeft dat consequenties voor de representativiteit. Een mogelijkheid om deze onzekerheid (gedeeltelijk) weg te nemen is het uitvoeren van extrapolaties: het doortrekken van een ontwikkeling in de tijd. Het is dan wel zaak expliciet te vermelden waarop deze extrapolatie is gebaseerd en hoe deze is uitgevoerd. Wat is extrapoleren? Extra po/eren is het uitgaande van bekende waarden in een reeks, daarbuiten gelegen waarden berekenen. Het in de context van AVV meest gebruikte voorbeeld is het doortrekken van een lijn in de bjd. Extrap0/a tie is dus een vorm van voorspelling, met een bijhorende onzekerheidsmarge. Stel dat er een branche op 1 januari bedrijven telt, precies een jaar later en op 1 januari Bij gebrek aan meetgegevens over 1 januari 2015 is de beste schatting in dat geval Er zijn diverse wiskundige technieken om zo n schatting ult te voeren md/en de getallenreeks minder mooi of niet l/neair is (zoals bij snel groeiende of snel krimpende bedrijfstakken). Computerprogramma s a/s SPSS kunnen hierbij ondersteunen, bijvoorbee/d door een regressleanalyse uit te voeren. Het pro gramma berekent in dat geva/ zeif de meest voor de hand /iggende verband tussen (in dit geva/) bjd en aantal bedrijven. In het algemeen is de extra polatie nauwkeur/ger: naarmate er meer waarnemingen zi]n gedaan naarmate de bekende waarden zelf nauwkeuriger zijn gemeten (doordat ze betrekking hebben op de hele populatie en niet op een steekproef) naarmate er beter een vloeiende lijn door een grafiek met de bekende waarden is te trekken,naarmateeen duidelijker trende cijfers is te ontdekken 10 Een probleem kan wel ontstaan bi] atgeleide bronnen, zoals bij het gebruik van FTC in plaats van (zoals het Toetsingskader voorschrijtt) aantallen werknemers. Als bij leden van de werkgeversvereniging relatief veel fuiltimers werken, is de vertekening ongelijk voor teller en noemer en is het representativiteitscijfer te hoog. 22 C11652

23 n çr tftvoorspejlemarde dichter bij de bekende waarden ligt (een schatting tfesjit 1990 t/m 2000 Is onnauwkeuriger dan een schatting op bsisvajwdeeks2d00vm 2010) nearmateerm1nder(vergaee) aannames zijn gebruikt (indien een meting op 1 juni is uitgevoerd n de. overje metingen op 1 januari zit daann de aanname dat er geen sezoensinvioeden jri) De interne consistentie heeft drie keer een onvoldoende gekregen. In deze gevallen is meestal gewerkt met verschillende bestanden. Net is gebleken dat in deze bestanden verschillende aantallen werknemers genoteerd staan voor dezelfde werkgevers. Dit kan tot vertekening van het representativiteitscijfer leiden. Net verdient daarom de voorkeur om bij het bepalen van de aantallen werknemers in teller en noemer ult te gaan van hetzelfde bestand. In de periode werd 77% van de opgaven beoordeeld met een voldoende Op interne consistentie. In de huidige meting is dit aandeel 97%. -Va qrbejd-van een representativiteitsopgave waarin de interne consistentie als onvdidende is beoordeeld is een op gave waarin gebruik is gemaakt van verschillende bronnen die van andere 581 coderingen uitgingen en die bovendien peildata hadden die meet dan een jaat uit elkaar lagen. Hieronder volgt een voorbeeld van een verbetering op het gebied van interne consistentie. VoLorbeetd:Juiste meeteenheid in teller en noemer Indeze opgve voldeed de operationalisering van de begrippen niet aan het toesiiigska4er. Bij het bepalen van de teller is bijvoorbeeld gekeken naar de aantmlen werkgevers en werknemers die gebonden zijn aan de cao indien de çao;algemeen verbindend wordt verklaard i.p.v. naat het aantal werkgevers en werknerne.rsdat direct gebonden is aan de cao. Bi] het bepalen van de noemer is keken naar de aantallen werkgevers en werknemers die deelnemen aan De definitie van de werkingssfeer van het bedrijfspensioenfonds is echter ruimer dan de definitie van de cao Hier had jtist gekeken moeten word aar de aantallen werkgevers en werknemers die gebond.en zijn an *de,cao inden de cao algemeen verbindend wordt verklaard Vfirbeterlna in d&-iveqwe, eibeterde opgave zijn in het vervoig de juiste mehden in detel1er eqnoemer opgenomen Dat wil zeggen in de teller ht aantal werkgeversien we,*nemers dat ditect gebonden is aan de cao en in de noerpt Met itaiaerkârs en wetknemers dat voldoet aan de wetkingssfeet vpn de co Onderzoekstechnische kwaliteit Bij de beoordeling van de onderzoekstechnische kwaliteit is gekeken naar de onderzoeksmethoden en of de methoden voldoen aan de minimale zorg vu/digheidseisen. C

24 De kwaliteit van berekeningen, schattingen en extrapolaties levert weinig problemen op. De reden is dat er in de meeste gevallen een sectotbestand, dat voor elk bedrijf in de sector informatie bevat over bet aantal werknemers, beschikbaar is. Hierdoor wordt gewerkt met één bestand wat de kans op het maken van fouten klein maakt. Ook is het wanneer een dergelijk bestand voor handen is niet nodig om een steekproef te trekken of de uitkomsten van de steekproef te generaliseren. De onderzoekstechnische kwaliteit is in vijftien opgaven als onvoldoende beoordeeld. In één van de opgaven is bif het berekenen van het totaal aantal werknemers dat werkzaam is bif werkgevers vallende onder de werkingssfeer van de cao, ten onrechte niet het aantal werknemers meegenomen dat werkzaam is bif werkgevers die direct aan de cao gebon den zijn. Hierdoor kwam het werkelijke representativiteitscijfer een stuk lager te liggen dan hetgeen ward opgegeven in de representativiteitsopga Va. Wanneer er geen sectorbestand voor handen is, wordt met regelmaat gebruik gemaakt van enquftes. Om te kunnen bepalen of de enqufte heeft geleid tot een betrouwbare schatting van het aantal werknemers, zijn verschillende zaken van belang. Is de hele populatie benaderd, of alleen een steekproef van werkgevers? In dat Iaatste geval is het van belang te weten of alle werkgevers even veel kans hebben in het onderzoek betrokken te raken. In de steekproef komen éënentwintig opgaven voor waarbij een enquëte is uitgezet onder een steekproef van werkgevers. Wanneer gebruik is gemaakt van een enquëte is deze altijd onder de volledige populatie uitgezet. Daarmee heeft dus elk bedrijf evenveel kans om betrokken te worden in het onderzoek. In de tweede plaats is de non-respons van belang. Het maakt voor de zeggingskracht van hat onderzoek nogal wat uit of de meeste werkgevers meewerken aan het onderzoek, of een minderheid. Bij een kielne respons dringt de vraag zich op in hoeverre de benaderde groep nog een afspiegeling is van de populatie. Er zijn dan aanvullende schattingen nodig, die een zekere onbetrouwbaarheid met zich meebrengen. Er zijn opgaven waarvan de onderzoekstechnische kwaliteit als onvoldoende is beoordeeld vanwege een te age respons op de enqufte. Om te kunnen bepalen hoe hoog de respons op een enquëte moet zijn om een betrouwbaar beeld van de populatie te kunnen geven gaat men meestal uit van een betrouwbaarheid van 95% en een nauwkeurigheid van 5%. Op internet zijn verschillende tools beschikbaar11 die berekenen hoe groot de respons bij een bepaalde populatie en betrouwbaarheid en nauwkeurigheid moet zijn om tot een betrouwbaar resultaat te komen. Het is moeilijk hier in algemene zin iets over te zeggen. Bij een populatie van meet dan bedrijven is een respons van bedrijven voldoende. Bij een populatie van bedtijven laat de steekproefcalculatot zien dat de benodigde respons rond de 275 netto is. Bij een populatie van 100 bedrijven, zou je er eigenlijk 80 moeten bevragen voor voldoende betrouwbare uitkomsten. Overigens is niet alleen de grootte van de respons van belang maar ook de selectiviteit. Beter georganiseerde organisaties reageren vaak sneller op een enqufte dan minder goed georganiseerde organisaties, zeket bij schriftelijke enquftes. Het werken met 2 of 3 herinneringen aan de enqufte maakt niet alleen de respons hoget, maar zorgt ook dat verschillende typen organisaties reageren. Het beste werkt een korte telefonische enqufte, waarbij binnen 1-2 minuten de belangrijkste vragen worden gesteld. htt: // C11652

25 Oak zijn et opgaven die vanwege onvoldoende zorgvuldige berekeningen, of het aanleveren van foutieve ci]fers hetoordeel onvoldoende hebben gekregen. In de periode werd 77% van de opgaven beoordeeld met een voldoende Op onderzoekstechnische kwaliteit. In de huidige meting is 87% beoordeeld met een voldoende op dit criterium. Hieronder volgt een voorbeeld van een verbetering op het gebied van de onderzoekstechnische kwaliteit. Voorbeeld: Check op extrapolatie In een opgave waren de analyses/berekeningen op het enquêtebestand niet zorgvuldig uitgevoerd. Er was bijvoorbeeld een rekenfout gemaakt bij het extrapoleren van de uitkomsten van de enquëte. We hebben toen oak aanbevolen am de berekeningen door een tweede persoon te laten controleren. Verbetering: in de n/eu we opgave is ons advies opgevolgd. Er zaten geen slordige rekenfouten in de berekening van de representativiteitsopgave. Actualiteit De representativiteitscijfers mogen in beginsel niet ouder zijn dan één jaar, te rekenen vanaf de ingangsdatum van de cao. Als uitgangspunt voor dit onderzoek is de bepaling over actualiteit in het Toetsingskader gebruikt. In het Toetsingskader is opgenomen dat bij een AVV-verzoek per 1 januari 2007 actuele gegevens moeten warden overlegd. Dit betekent dat de representativiteitsgegevens in beginsel niet ouder mogen zijn dan één jaar, te rekenen vanaf de ingangsdatum van de cao. In de meting was er slechts één opgave die niet volledig voldeed aan de eisen van actualiteit. In dit geval was in de opgave niet duidelijk wat precies de peildatum van de gegevens was. Pas bij navraag bleek dat het bestand dat gebruikt werd om een bepaalde categorie werknemers bij te schatten een peildatum had die meer dan 3 jaar voor de ingangsdatum van de cao lag. In de periode werd 83% van de opgaven beoordeeld met een voldoende op actualiteit. In de huidige meting is dit aandeel 99%. C

26 26 ½

27 3 Aanbevelingen 3.1 Inleiding In voorgaande edities van het onderzoek zijn steeds aanbevelingen gedean om de kwaliteit en zorgvuldigheid van representativiteitsopgaven te verbeteren. Alle aanbevelingen (van het aanscherpen van bet Toetsingskader tot het opstellen van een praktische handleiding) zijn inmiddels uitgevoerd. Ook in de communicatie naar cao partijen heeft SZW er het nodige aan gedaan om bet belang van goede representativiteitsgegevens te onderstrepen. Zo is er op cao.szw.nl heel veel informatie te vinden over het indienen van een verzoek tot AVV en het maken van een juiste representativiteitsopgave. De kern van de voorlichting bestaat uit: Praktische handreiking voor het osteilen van een reoresentativfteftopoave Checklist reoresentativiteitsecievens Hieronder gaan we in op aanbevelingen voor CAO partijen om de representativiteitsopgave verder te verbeteren en aanbevelingen voor SZW om de representativiteitsopgaven van partijen verder te verbeteren. 3.2 Aanbevelingen voor CAO partijen De aard van de ontbrekende informatie is sinus eerdere onderzoeken grotendeels ongewijzigd, het betreft voornamelijk: het ontbreken van bet gehele oorspronkelijke databestand, en/of de in eerste instantie onvolledige omschrijving van de onderzoeksmethodiek en/of het niet duidelijk of volledig ingaan op de redelijkheid van aannames bij schattingen en extrapolaties. Een deel van de onvolkomenheden keert steeds terug. Ook in de periode hebben we in veel gevallen door moeten vragen om extra informatie omdat de representatfviteitsopgave niet voldoende reproduceerbaar was. Uiteindelijk konden we in 12 van de 117 opgaven de representativiteitsopgave niet reproduceren. Onderstaande aanbevelingen hebben we eerder gegeven in Ondanks dat de opgaven verbeterd zijn in vergelijking met de periode blijft bet van belang om een aantal zaken te benadrukken: 1. Onderzoekers moeten op basis van de representativiteitsopgave, de toelichting en de bronbestanden de opgave kunnen reproduceren. Dit betekent dat naast het bewaren van de bestanden ook beschreven moet worden hoe bestanden zijn gebruikt. en verwijzing naar een bran, zonder verdere toelichting is niet voldoende. Zorg ervoor dat duidelijk is welke cijfers zijn gebruikt, hoe die zijn verzameld en op welke groep werknemers de cijfers betrekking hebben. 2. Validiteit: in vrijwel alle opgaven is de impliciete aanname dat de gegevens in de gebruikte bron exact overeenkomen met de werkingssfeet van de cao. Dat is niet in altijd bet geval. Partijen moeten altijd controleren of de definities in de gebruikte bronnen overeenkomen met de definities in de cao. In de toelichting moet worden uitgelegd dat deze controle is uitgevoerd en wat de uitkomst is van deze controle. Wanneer blijkt dat de bestanden en de definities in de cao niet overeenkomen, moet worden vermeld hoe hiervoor is gecorrigeerd of hoe groot de invloed op het representativiteitscijfer is. C

28 uitspraken Onderzoekstechnische kwaliteit: de kwaliteit van berekeningen, schattingen en extrapolaties is beter dan in het verleden het geval was. De reden hiervan is dat er in de meeste gevallen een centraal bestand beschikbaar is. Het uitvoeren van een enqufte en het generaliseren van uitkomsten van enquftes gaat niet altijd goed. Het gaat daarbij niet zozeer am de berekening zelf, maar am de keuze van de berekening. Men wil bijvoorbeeld op grond van een klein aantal waarnemingen en dus een te lage respons - doen over de hele branche. Op internet zijn verschillende tools beschikbaar12 die berekenen hoe groot de respons bij een bepaalde populatie en betrouwbaarheid en nauwkeurigheid moet zijn om tot een betrouwbaar resultaat te komen. Het is moeilijk hier in algemene zin lets over te zeggen. Bi] een populatie van meer dan bedrijven is een respons van bedrijven voldoende. Bi] een populatie van bedrijven laat de steekproefcalculator zien dat de benodigde respons rond de 275 netto is. Bij een populatie van 100 bedrijven, zou je er eigenlijk 80 moeten bevragen voor voldoende betrouwbare uitkomsten. Overigens is niet alleen de grootte van de respons van belang maar ook de selectiviteit. Beter georganiseerde organisaties reageren vaak sneller op een enqufte dan minder goed georganiseerde organisaties, zeker bij schriftelijke enquëtes. Het werken met 2 of 3 herinneringen aan de enquëte maakt niet alleen de respons hoger, maar zorgt oak dat verschillende typen organisaties reageren. Het beste werkt een korte telefonische enquëte, waarbij binnen 1-2 minuten de belangrijkste vragen warden gesteld. De gemene deler in al deze lacunes is dat impliciete aannames vaak niet of onvoldoende zijn onderbouwd. Indieners van representativiteitsopgave van de AVV verzoeken volstaan met een omschrijving van de werkwijze, het bijvoegen van de bronnen en de constatering dat de bronnen een goede weergave vormen van de werkelijke situatie. Waarom dat zo is, blijft vaak onvermeld. Veel aanvullende vragen hadden ook de afgelopen jaren betrekking op het expliciet maken van die redeneringen: Waarom zegt de bron lets over de werkingssfeer? Waarom zijn de verschillende bronnen vergelijkbaar? Waarom is het redelijk te veronderstellen dat de ontbrekende werkgevers weinig personeel in dienst hebben? Een goede representativiteitsopgave bevat niet alleen een beschrijving van de methode zeif, maar ook een toelichting op de toepasselijkheid van die methode. In het ondersttepen van het belang van onderbouwing van redeneringen, met name aannames daarin, ligt nog een mogelijkheid tot verbetering. 3.3 Aanbevelingen voor SZW Naast het benadrukken van bovenstaande tips door het ministerie richting de indieners van representativiteitsopgave van de AVV-verzoeken is er een aantal andere opties. We open ze hieronder langs. 1. Een optie om het voorlichtingsmateriaal te verbeteren is de toelichting jets anders op te bouwen en niet de volgorde van de representativiteitsopgave voor ogen te houden, maar de stappen die cao partijen moeten nemen am te komen tot een juiste representativiteitsopgave. Een mogelijke opzet zou de volgende kunnen zijn: Algemene uitleg over representativiteitscijfer De werkingssfeer van de cao Het selecteren van een bran die het meeste overeenkomsten vertoont met de werkingssfeer van de cao Geef in het bronbestand aan op welke punten het bestand afwijkt van de werkingssfeer van de cao 12 htto:// https;//nl.checkmarket.com/steekproefcalculator/ 28 C11652

29 Indien geen bron voor handen is zet dan een vragenlijstonderzoek ult. Trek een steekpraef van voldoende omvang Corrigeer voor nan-respons Het berekenen van het representativiteitscijfer Het apstellen van een representativiteitsopgave Het kan dan goed werken om per onderdeel een nadere toelichting te geven. Op deze wijze worden sociale partners meer door het proces van het apstellen van een representativiteitsopgave heen geleid. 2. Een andere aptie is het beter toegankelijk maken van het voorlichtingsmateriaal. Er is heel veel informatie beschikbaar en oak goed te vinden op de website van het ministerie. De vraag is echter dit voorlichtingsmateriaal de indienende partijen voldoende bereikt en of de informatie voldoende wordt begrepen. De infarmatie is immers behoarlijk juridisch en onderzoekstechnisch van aard. We weten eigenhijk niet of de informatie voldoende duidelijk is voor partijen. Dit zou nagevraagd kunnen warden bij indieners van de representativiteitsopgave bij het AVV-verzoek. Oak kan het een optie zijn am te werken met persoonlijke voorlichting (eventueel in groepen) en eerst te onderzoeken hoe men te werk gaat bij het opstellen van de representativiteitsapgave en te achterhalen welke informatie van het ministerie op welke wijze gebruikt wordt. Zo kan duidelijk warden welke vragen indieners van een AVV-verzoek hebben. De informatie die ontbreekt kan dan via webinars of video s op de site van het ministerie warden gedeeld. Uiteraard is het een aptie hierbij samen te werken met de landelijke sociale partners. 3. Een derde methode am de kwaliteit van de representativiteitsapgaven te verbeteren is het geven van informatie op maat. Dit kan door te werken met een adaptief webformulier vaar de opgave van representativiteitsgegevens waar partijen hun apgave kunnen invullen in plaats van met het huidige formulier. Het webformulier geeft informatie wanneer men bepaalde keuzes maakt. Bijvoorbeeld: na het antwoord dat er gebruik wordt gemaakt van meer dan één bran volgt informatie aver de problemen die het gebruik van meer dan één bron met zich mee kan brengen. Wanneer er gewerkt wordt met een enquëte volgt informatie aver de graatte van de steekpraef, het belang van respans, de mogelijke vertekeningen door nan-respans en hoe deze prablemen op te lassen etc. Korte teksten met lees meet knoppen kunnen helpen am de informatie taegankelijk te hauden. Op deze wijze is te voorkomen dat partijen door het waud van infarmatie de juiste bomen niet meer zien en daardaar fouten maken of belangrijke dingen averslaan. Kaftom, maak het makkehjket vaar de gebruiker. 4. Tat slat is een Iaatste aanbeveling am ervoar te zorgen dat de kwaliteit van de representativiteitsapgaven verbetert door de toetsing te verzwaren. Dit zau betekenen dat de diepgaande controle op de kwaliteit van de opgave plaatsvindt voordat de beslissing om een cao algemeen verbindend te verklaren wardt genomen en niet achteraf. Een nadeel hiervan is dat de doarlooptijd van de AVV beslissing hiermee waarschijnlijk anger wordt dan acht weken. C

30

31 Bijlage 1 Oordeel op criteria Qordeel op verschillende criteria Jeertal Criterium Aantal voldoet Aantal voldoet aan elsen niet aan eisen Reproduceerbaarheid 26 4 Validiteit 30 0 Interne consistentie 30 0 Onderzoekstechnische kwaliteit 28 2 Actualiteit 30 0 I I 6 Reproduceerbaarheid 25 5 Validiteit 24 6 Interne consistentie 29 1 Dnderzoekstechnische kwaliteit 24 6 Actualiteit 30 0 I I 18 Reproduceerbaarheid 25 3 Validiteit 25 3 Interne consistentie 27 1 Onderzoekstechnische kwaliteit 26 2 Actualiteit 27 1 I I 10 Reproduceerbaarheid 29 0 Validiteit 25 4 Totaal totaal totaal Interne consistentie 28 1 Onderzoekstechnische kwaliteit 24 5 Actualiteit 29 0 I totaal 135 C