MEMO: Second opinion datakwaliteit personeelsdata DUO

Transcriptie

1 MEMO: Second opinion datakwaliteit personeelsdata DUO aan OCW versie Inleiding OCW heeft CentERdata verzocht een second opinion te geven met betrekking tot de kwaliteit van de door DUO verzamelde personeelsdata po, vo en mbo. Onder kwaliteit verstaan we daarbij: a) zijn alle personeelsleden vertegenwoordigd in de data b) zijn alle variabelen gevuld c) hebben de variabelen de juiste waarde In deze second opinion gaan we uitsluitend in op het proces na aanlevering van gegevens door besturen. Indien besturen onjuiste informatie verstrekken is dat niet eenvoudig te achterhalen. In het onderstaande starten we met een korte omschrijving van de gevolgde aanpak in hoofdstuk 2, waarna we de bevindingen presenteren in hoofdstuk 3. In hoofdstuk 4 sluiten we af met een aantal conclusies. 2 Aanpak Ten behoeve van de second opinion zijn gesprekken gevoerd met een aantal medewerkers van OCW/DUO. Voorafgaand aan de gesprekken zijn door OCW/DUO spreadsheets opgeleverd met: a) aantallen personen en fte op (sub)sector*functieniveau voor po, vo en mbo; b) (niet opgehoogde) uitkomsten op brinniveau voor het po. Voorafgaand aan het gesprek met DUO is DUO verzocht om documentatie met betrekking tot de data en gevolgde procedures/processen, alsmede een microbestand van de verzamelde gegevens die koppelbaar zijn op persoonsniveau over de jaren. Tijdens het gesprek is een toelichting gegeven door DUO en is een aantal procesdocumenten overhandigd aan CentERdata. Opleveren door DUO van gekoppelde microbestanden (zoals dat voor de arbeidsmarktramingen gebeurt) zou van DUO nog een aantal weken aanvullende werkzaamheden vergen. Daarmee zou de deadline van deze second opinion overschreden worden (gegeven dat de gegevens ook nog geanalyseerd moeten worden). Er zijn dus geen bestandsanalyses gepleegd. Omdat CentERdata ruime ervaring heeft met het analyseren van deze bestanden over eerdere jaren putten we ten behoeve van deze second opinion ook uit onze eerdere ervaringen wat dat betreft. Na afloop van de gesprekken zijn door OCW nog detailcijfers omtrent de GGL opgeleverd. percentage masters en percentage eerstegraadsbevoegd 1/6

2 3 Bevindingen Op grond van het onderhavige onderzoek en onze eerdere ervaringen zijn onze bevindingen: 1. Bij het vergelijken van gegevens over de tijd is sprake van een trendbreuk tussen de periode tot en met 2012 en de periode ; 2. Volledigheid is niet 100% gegarandeerd; 3. De geleverde variabelen die relevant zijn voor uitbetalingen van salarissen, zoals inschaling, zijn waarschijnlijk behoorlijk betrouwbaar; 4. Variabelen die niet relevant zijn voor uitbetaling van salarissen zoals geslacht en functie zijn waarschijnlijk minder betrouwbaar; 5. De huidige betrouwbaarheid van koppeling van personen over de jaren kon nog niet gevalideerd worden; 6. Er worden aanpassingen in de feitelijke betrekkingsomvang gepleegd die tot afwijkingen met de GGL leiden; 7. Onduidelijkheid blijft bestaan of het gehele proces 100% correct verloopt. 8. Controles worden wel uitgevoerd, maar een systematisch overzicht daarvan ontbreekt. We lichten deze punten in het onderstaande nader toe: Ad 1 trendbreuk RAET heeft wijzigingen doorgevoerd in de aanleveringen van 2013 en 2014 aan DUO om (onder meer) een coderingsfout te herstellen. Dit betekent dat 2013 en 2014 consistent zijn met elkaar wat betreft het herstel van deze coderingsfout. De jaren daarvoor ( ) zijn waarschijnlijk ook consistent met elkaar op dit punt. De twee periodes zijn echter niet onderling consistent met elkaar. Het effect daarvan lijkt bijvoorbeeld naar voren te komen als we de ontwikkeling van de gemiddelde betrekkingsomvang van onderwijzend personeel bekijken. Deze staat weergegeven in onderstaande figuur, die berekend is op basis van de in hoofdstuk 2 genoemde door OCW/DUO aangeleverde spreadsheet. In de figuur zien we dat de betrekkingsomvang afneemt tot en met 2012, daarna een jaar toeneemt en vervolgens (uitgezonderd voor het bve) weer afneemt. We vermoeden dat de stijging tussen 2012 en 2013 veroorzaakt wordt door een trendbreuk in de data (veroorzaakt door de hersteloperatie met beperkte terugwerkende kracht 1 ). Dit betekent bijvoorbeeld dat de verhouding tussen leerkrachten en leerlingen tussen 2012 en 2013 een trendbreuk zal laten zien. Cijfers daarvoor en daarna zijn niet goed vergelijkbaar. 1 Het verbeteren van eerdere jaren zou problematisch kunnen worden doordat gegevens bij het wisselen van salarisverwerker, wat de laatste jaren steeds vaker voorkomt, hoogstwaarschijnlijk vernietigd zijn. Second opinion datakwaliteit personeelsdata DUO 2/6

3 fte Betrekkingsomvang onderwijzend personeel bao sbao vso vo bve De uitzondering in het bovenstaande is het bve. Als de data correct zijn, is hier inderdaad sprake van een stijgende betrekkingsomvang van 2013 op In de data van 2015 zal moeten blijken of deze trend zich doorzet. Naar verwachting zijn de recente data van hogere kwaliteit en zal mede door de geautomatiseerde verwerking van de aangeleverde personeelsgegevens (project KIP) de kwaliteit steeds verder verbeteren. Ad 2 volledigheid Er is geen 100% garantie op volledigheid. Voor sommige scholen wordt geen personeel opgeleverd aan DUO of kan dit om technische redenen niet verwerkt worden en derhalve hoogt DUO de data op voor ontbrekende scholen. We zouden verwachten dat dit niet nodig zou moeten zijn omdat scholen verplicht zijn de benodigde gegevens aan te leveren. De gegevens voor de GGL worden wel volledig aangeleverd, aangezien de bekostiging van scholen hier zeer sterk van afhangt. Deze gegevens zijn echter alleen voor het po beschikbaar en verschillen daarnaast van definitie waardoor een vergelijking van de cijfers lastig is. Het gaat bij het ontbreken van de personeelsgegevens echter wel om zeer kleine aantallen 2. Het zou ook zo kunnen zijn dat een salarisadministrateur niet de gegevens van alle personeel of van het verkeerde personeel aanlevert. Dit is in het verleden voorgekomen, zie daarvoor verder punt 6. Ad 3 betrouwbare variabelen Variabelen die relevant zijn voor salarisbetalingen hebben gevolgen voor de school en voor de persoon die het betreft. Dat betekent dat er een (sterk) ingebouwd mechanisme is om deze variabelen te corrigeren. Daarom hebben we een vrij hoog vertrouwen in de kwaliteit van de gegevens met betrekking tot inschaling (schaal en periodiek). Hieronder zou normaliter ook betrekkingsomvang vallen, maar er moet worden opgemerkt dat DUO betrekkingsomvangen groter dan 1,21 fte naar beneden afrondt tot 1,21 fte omdat een persoon op grond van de cao niet meer dan 1,21 fte kan werken. Dit betekent dat de data met betrekking tot de betrekkingsomvang in die gevallen niet goed zijn of dat ten onrechte wordt afgerond. Verder wordt door besturen een aanpassing in de betrekkingsomvang 2 DUO heeft laten weten dat po en vo tegenwoordig voor 98% tot 99% compleet zijn en bve voor 100%. Second opinion datakwaliteit personeelsdata DUO 3/6

4 gepleegd indien men slechts een deel van de maand oktober in dienst is (dit is vastgelegd in de programma s van eisen), waarvan wij denken dat dat beter zou kunnen worden opgelost, zie punt 6. Ad 4 Minder betrouwbare variabelen De variabelen die niet of minder direct van invloed zijn op salarisbetalingen zijn naar onze mening duidelijk minder betrouwbaar. De geboortedatum ontbreekt in sporadische gevallen en ook hebben we in het verleden meer veranderingen van geslacht in de data geconstateerd dan geloofwaardig zou zijn. Functie is daarbij een geval apart. Na invoering van de functiemix is met terugwerkende kracht de functie van veel personen aangepast op basis van herleveringen door scholen. Functie lijkt daarmee verbeterd, maar het onderscheid oop/obp en directie is daarmee nog niet noodzakelijkerwijs goed. Met betrekking tot functie kan ook worden opgemerkt dat DUO meerdere aanstellingen van dezelfde persoon samenvoegt tot één baan, waarbij de functie van de grootste baan wordt genomen. Wij raden af om dit te doen, want het is niet in overeenstemming met de feitelijke situatie. Onderzoekers kunnen desgewenst zelf functies samenvoegen. Bovendien leidt het tot afwijkingen met de GGL. Ad 5 Koppeling van personen In het verleden zijn herhaald problemen geconstateerd met koppeling van personen over de jaren heen. Dit werd veelal veroorzaakt door wijziging van salarisadministrateur van een school. De invoering van het gebruik van het bsn zou daarin verbetering hebben moeten brengen, maar dat is voor de data met peildatum oktober 2013 zeker nog niet merkbaar geweest. Omdat we nog niet beschikken over de meest recente data (2014), kunnen we daarover geen uitspraken doen. Koppeling is overigens voornamelijk relevant indien het gaat om stromen. Indien alleen naar standgegevens in fte wordt gekeken is dit niet relevant, al kan koppeling wel extra inzicht geven in de kwaliteit van de data. Ad 6 Aanpassing van de betrekkingsomvang Uit de peildatumbestanden worden personen die in dienst zijn op 1 oktober geselecteerd. Als een persoon maar een halve maand in dienst is in oktober wordt op grond van de programma s van eisen door de besturen de halve betrekkingsomvang aangeleverd. Daarmee wordt het aantal werkzame fte op de peildatum onderschat. Bovendien lijken daardoor wijzigingen in de betrekkingsomvang van een persoon te ontstaan van jaar 1 op jaar 2 die niet in werkelijkheid voorkomen. Deze procedure wordt gevolgd om de betrekkingsomvang in lijn te brengen met het uitbetaalde salaris. Het salaris is echter een periodegegeven, werkzame fte op 1 oktober een standgegeven. Het is onmogelijk deze in lijn te brengen. Schaal en periodiek zijn bijvoorbeeld wel standgegevens. Een optie zou desgewenst zijn om een extra variabele op te nemen met daarin het deel van de maand oktober dat men in dienst is zodat de reden van de afwijking tussen stand- en periodegegeven helder is. We schatten overigens in dat de afwijking die hierdoor in het aantal fte ontstaat gering is. 3 Ad 7 Het dataverwerkingsproces In het gehele proces van doorleveringen kunnen fouten geïntroduceerd worden. Een school levert aan de salarisadministrateur, de salarisadministrateur aan DUO Groningen, DUO Groningen aan DUO Zoetermeer. Elk van de partijen doet ook nog bewerkingen op de data. Recent is gebleken dat RAET onder andere verkeerde selecties gepleegd heeft. Het is onduidelijk of sprake is van nog meer van dit soort fouten. Ons advies is dat DUO Zoetermeer een fictieve school creëert, voor deze school een personeelsbestand aanlevert aan elke betrokken salarisadministrateur en dat deze data het gehele proces doorlopen. De salarisadministrateur levert dit dus op aan Groningen etc. Aan het einde van het proces dienen de juiste data voor deze fictieve school uit het proces in Zoetermeer te komen, waarbij dan ook daadwerkelijk geverifieerd kan en moet worden of in- en output met elkaar 3 Zeker kleiner dan 0,5% gegeven de maandelijkse uitstroom. Second opinion datakwaliteit personeelsdata DUO 4/6

5 overeenkomen. Afwijkingen kunnen dan met de betrokken partijen, waaronder salarisadministrateurs besproken worden. Het verwerkingsproces kan verder wellicht verbeterd worden door ook scholen (meer) terugkoppeling te geven van de data die uiteindelijk resulteren. Zo kan gedacht worden aan een overzicht van fte s per functie. Een school heeft doorgaans een goed beeld van de bezetting en zal dit bij constatering van afwijkingen vermoedelijk rapporteren als bekend is dat de data voor vele doeleinden gebruikt worden. Op deze manier kunnen eventuele structurele problemen in de gehele keten mogelijk ook boven water komen. Dit proces is in feite doorlopen met de variabele functie ten gevolge van de invoering van de functiemix (via de functiemix website), zie ook punt 4. Ad 8 Controles Hierboven is al geschetst dat het nooit 100% zeker is of alle data binnengekomen zijn. Op de inhoud zijn echter wel controles mogelijk. Het verdient aanbeveling om met relevante partijen de huidige controles door te lopen en waar nodig aan te vullen om in een vroeg stadium in ieder geval bekende problemen of risico s te kunnen detecteren. Het is uiteraard lastig te beoordelen of bijvoorbeeld een groei van 30% in de leerling-leraarratio een probleem met data betreft of veroorzaakt wordt door een specifieke situatie van een school. Hierbij zou terugkoppeling aan scholen ook een bijdrage kunnen leveren (zie voorgaand punt). 4 Conclusies Op grond van het bovenstaande concluderen we er recent veel gebeurd is om de kwaliteit te verbeteren (project KIP, beschikbaarheid bsn, uitzoeken recente problemen), maar dat daarbij geen 100% zekerheid gegarandeerd is, mede omdat de kwaliteit ook afhangt van hetgeen besturen aanleveren. Er is daarbij wel sprake van een trendbreuk van 2013 en 2014 enerzijds en eerdere jaren anderzijds, waarbij, gezien de recente activiteiten om de data van 2013 en 2014 te verbeteren, het redelijk is aan te nemen dat deze jaren beter aansluiten bij de werkelijkheid dan eerdere jaren en 2014 lijken in zoverre op elkaar dat vergelijkbare controles en correcties hebben plaatsgevonden. Het corrigeren van eerdere jaren wordt lastiger naarmate men verder terug in de tijd wil gaan. Verder zien we geen reden 4 waarom het proces niet zo zou kunnen worden ingericht dat de aantallen fte op grond van de peildatumbestanden niet meer zouden afwijken van die op grond van de GGL data: Meerdere functies van een persoon zouden niet samengevoegd hoeven te worden tot de grootste functie; De betrekkingsomvang zou niet aangepast hoeven te worden tot 1,21 fte; De betrekkingsomvang zou niet verlaagd moeten worden als men een deel van de maand werkt. Voorts lijkt het ons verstandig uitgebreidere controles in te voeren. Dit kan bijvoorbeeld via de geschetste weg van de dataleveringen door DUO aan salarisverwerkers met fictieve scholen, maar er zijn ook andere wegen denkbaar. Ook lijkt een systematische controle tijdens het proces wenselijk. Hier gebeurt zeker het nodige, maar het kan naar onze mening geen kwaad om dit nog eens systematisch in kaart te brengen en aan te vullen. Deze acties vereisen echter nog de nodige doorlooptijd. We zien geen acties die op korte termijn van positieve invloed op de kwaliteit van de data zouden kunnen zijn. 4 Mogelijk zouden hiervoor wel de programma s van eisen moeten worden aangepast. Second opinion datakwaliteit personeelsdata DUO 5/6

6 Tot besluit proberen we een indicatie te geven van de bruikbaarheid van de data voor externe publicatie, het maken van ramingen en het voeren van beleid. We willen daarbij onderscheid maken naar standgegevens, stroomgegevens en trendanalyses. Gegeven dat we niet exact weten hoe nauwkeurig de data zijn onderscheiden we drie regimes van nauwkeurigheid: Regime 1: Afwijkingen van 0,1% Regime 2: Afwijkingen van 1% Regime 3: Afwijkingen van 10% standgegevens Voor standgegevens achten we regime 1 zeer betrouwbaar, regime 2 bruikbaar en regime 3 onbruikbaar, tenzij de oorzaak van de afwijking bekend is en aanpassingen gepleegd kunnen worden. In dat geval kan ook regime 3 bruikbaar zijn. We schatten in dat de standgegevens in regime 2: bruikbaar vallen. stroomgegevens Voor stroomgegevens geldt dat kleine afwijkingen in standen kunnen leiden tot grote afwijkingen in stromen. Als 1% van de formatie niet juist geïdentificeerd is, kunnen relatief veel grotere afwijkingen in stromen ontstaan (in de orde van regime 3, 10%). Hier geldt echter dat indien de oorzaak van het identificatieprobleem van personen bekend is (bijvoorbeeld omdat het personeel van een bepaalde school niet te koppelen is over jaren) dat dit hersteld kan worden. In dit voorbeeld kan dat door deze school uit de analyses weg te laten en een correctiefactor op de gevonden stromen toe te passen. In dat geval kan de nauwkeurigheid van stromen ook tot regime 2 (bruikbaar) worden teruggebracht. Dat is de werkwijze die in de arbeidsmarktramingen wordt toegepast. Ook worden combinaties van jaren waarin een trendbreuk voorkomt niet meegenomen in de schattingen voor de arbeidsmarktjaren. Om die reden achten we de data ook bruikbaar voor de arbeidsmarktramingen. trendanalyses Met betrekking tot trendanalyses geldt dat regime 2 ook onbruikbaar kan zijn indien men inzicht wenst in kleine veranderingen. De gesignaleerde trendbreuk tussen 2012 en 2013 is wat dat betreft problematisch. Er geldt echter ook dat veel fouten in de data (bijvoorbeeld als een enkele school in alle jaren ontbreekt) van geringe invloed zijn op trends. Met betrekking tot trendanalyses achten we de data dan ook voldoende betrouwbaar (met uitzondering van de overgang ), waarbij sommige verschillen over jaren zelfs ook deels ook in regime 1 (0,1%) zullen kunnen vallen, al is dit niet met zekerheid vast te stellen. Second opinion datakwaliteit personeelsdata DUO 6/6