Statistiek in pensioen- en levenadministraties

Transcriptie

1 Quinto-P 3.0 Statistiek in pensioen- en levenadministraties Copyright 2016 ir. B. van der Burg QuaRatio bv Oktober 2016 In 2011 heeft de DNB de pensioenfondsen gevraagd een onderzoek uit te voeren naar de kwaliteit van de rechten en aanspraken van deelnemers in de administratie, het zogenaamde Quinto-P onderzoek. Doel van Quinto P is.. inzicht te krijgen in de kwaliteit (juistheid en volledigheid) van de in de pensioenadministratie geregistreerde pensioenrechten en -aanspraken op deelnemersniveau (bron: presentatie Quinto P, Jean Paul Vosse, september 2012). In een Quinto-P onderzoek wordt aanbevolen om de kwaliteit van de pensioenadministratie te toetsen middels een steekproef van 30 trekkingen, 15 aselect en 15 select gekozen deelnemers. In deze paper wil ik aantonen dat een dergelijk onderzoek (bij lange na) niet voldoende is. Met statistisch inzicht is eenvoudig aan te tonen dat een dergelijk onderzoek niet voldoende is. Ook wil ik alternatieven bespreken, alternatieven die niet duurder of zelfs goedkoper kunnen uitpakken dat de voorgeschreven methode van 30 trekkingen. Deze alternatieve methoden, die statistisch gezien wel verantwoord zijn, noem ik Quinto-P 3.0. Gemiddeld ruim meer dan 30 mutaties en/of uitzonderingen Een gemiddelde administratie heeft ruim meer dan 30 mutaties en/of uitzonderingen. Administraties met honderden (200+) verschillende mutatiesoorten zijn eerder regel dan uitzondering. Daarnaast zijn in administratiesystemen vaak vele andere soorten uitzonderingen aanwezig. Met 15 select gekozen deelnemers raak je dan 15 mutaties en/of uitzonderingen. Met de andere 15 aselect gekozen deelnemers worden maximaal nog een keer 15 andere mutaties/uitzonderingen geraakt. Realistischer is echter dat met deze aselect gekozen deelnemers überhaupt geen andere mutaties/uitzonderingen geraakt worden, en dat het dus Copyright 2016 QuaRatio BV (0) p. 1

2 bij de select gekozen 15 mutaties/uitzonderingen blijft. Als er 200+ mutatiesoorten en/of uitzonderingen in een administratie aanwezig zijn, mis je met een steekproef van 15 aselect en 15 select gekozen deelnemers grote groepen deelnemers. Boundary tests We kunnen ook op een andere manier achterhalen wat de interessante deelnemers zijn, door te kijken wat interessante waarden zijn van de gegevens waardoor een recht of aanspraak zou kunnen veranderen. Dit wordt een zogenaamde Boundary test -aanpak, in goed Nederlands een Grenswaardentest, genoemd. Een voorbeeld, we willen een man / vrouw, een aspirant / opbouwer / slaper / uitkerende, met deeltijd / vervroegd / verlaat / hoog-laag pensioen, met alle combinaties van PP, WzP, VUT en VP, en nog meer details, doorrekenen. Dan zijn er waarschijnlijk uit de regeling nog een aantal belangrijke conversiemomenten te halen. Al deze mogelijke waarden leiden tot een veelvoud aan te testen deelnemers. Volgens de boundary test methode is het aantal deelnemers dat getest moet worden gelijk aan het product van alle mogelijke, interessante (grens)waarden. Dit veelvoud is vaak veel groter dan 30 trekkingen en zeker groter dan de 15 select gekozen deelnemers. Een betere orde van grootte van het aantal te testen deelnemers bij de Boundary test aanpak, gaat meer richting tien- of honderdduizenden door te rekenen deelnemers. Impliciete aanname Bij bovenstaande benaderingen, en ook bij de benadering die voorgesteld wordt door de DNB, is het impliciete uitgangspunt dat we vooraf weten waar de mogelijke fouten in de administratie zitten. Immers, voor die situaties ga je selectief deelnemers kiezen. Echter, in de meeste gevallen zijn de fouten in de administratie niet bekend. In dat geval zouden de fouten op moeten duiken door de 15 aselect gekozen deelnemers. Maar is dat wel voldoende? Om dit te kunnen beantwoorden gaan we de vraag omdraaien: hoeveel deelnemers moeten doorgerekend worden, om alle fouten in de administratie te vinden? De laatste 2% De meeste fouten in administraties kun je achterhalen door middel van de Boundary Testaanpak. Maar er is een groep fouten die onvoorspelbaar is, waarvan je niet eens weet dat ze er zijn. Hierdoor is de aanpak van 15 select gekozen deelnemers bij voorbaat al onmogelijk. Bijvoorbeeld: voor een klein groepje deelnemers was het vroeger onmogelijk om verkeerd ingevulde geboortedata te wijzigen. Om dit probleem op te lossen zijn ergens in het verleden deze geboortedata in de administratie overschreven waarbij de oude waarden verloren zijn Copyright 2016 QuaRatio BV (0) p. 2

3 gegaan. Daardoor kan een stuk historie van dit kleine groepje niet nagerekend worden. Dit soort fouten raakt gemiddeld zo n 0,2% van de deelnemers en er zijn ongeveer 10 van dit soort fouten. Dit is de laatste 2% van de administratie: een groep van plukjes deelnemers met zeer diverse, verschillende en (vooraf) onbekende fouten. Quinto P 3.0 Hoeveel (aselect) gekozen deelnemers moet je doorrekenen om ook deze onbekende fouten te ontdekken? Stel we hebben een administratie van deelnemers, hoeveel deelnemers moet je aselect kiezen zodat er ook een van deze 0,2% bij zit? Om gemiddeld één zo n deelnemer te verkrijgen uit een aselecte steekproef moet je *0,2% = 200 deelnemers selecteren. Maar, omgedraaid: als ik een steekproef neem van 200 aselect gekozen deelnemers, wat is dan de kans dat er ook daadwerkelijk één of meer van deze groep bij zit? Die kans is gelijk aan 1 de kans dat hij er niet bij zit. De wiskunde hierachter voert wat ver, maar de kans dat er in een trekking van 200 aselect gekozen deelnemers geen foutieve deelnemer bij zit, is 67%. Bij een aselecte trekking van 1496 deelnemers is de kans 95% dat er een foutieve deelnemer geselecteerd is. Is de kleinste pluk foutieve deelnemers 0,05% (50 op de ), dan zal je 5990 deelnemers aselect moeten kiezen om 95% kans te hebben dat één van deze foutieve deelnemers geselecteerd is. Als de kleinste pluk foutieve deelnemers 0,02% is (20 op de deelnemers), moeten al deelnemers (15% van de populatie) worden doorgerekend. In een grafiek: Copyright 2016 QuaRatio BV (0) p. 3

4 Conclusies 30 (a)select gekozen deelnemers (zoals aanbevolen door de DNB) is volstrekt onvoldoende om iets zinnigs te kunnen zeggen over de kwaliteit van een pensioenadministratie. De 'Boundary-test' aanpak is een goede methode om tot een gedegen kwaliteitstest te komen, maar kan tot zeer grote aantallen door te rekenen deelnemers leiden. Het aantal benodigde trekkingen is afhankelijk van de kleinste pluk foutieve deelnemers. Een steekproef van 15% van de populatie is al een stuk realistischer om met 95% zekerheid alle fouten in een administratie op te sporen. De Quinto P 3.0 aanpak is statistisch verantwoord en geeft een goed beeld weer van de kwaliteit van een administratie. Literatuur presentatie Quinto P, Jean Paul Vosse, september 2012, ds.pdf. Nieuwsbericht Pensioenadministraties bij pensioenfondsen voor verbetering vatbaar, DNB, 12 april 2012, Copyright 2016 QuaRatio BV (0) p. 4

5 Contact Een keer koffie drinken en sparren, ideeën uitwisselen? Wij komen graag met u in contact. Een goed gesprek is goud waard. QuaRatio BV (0) Bezoekadres: Transpolispark Siriusdreef WT, Hoofddorp Copyright 2016 QuaRatio BV (0) p. 5

6 Samenvatting / BLOG In 2011 heeft de DNB de pensioenfondsen gevraagd een onderzoek uit te voeren naar de kwaliteit van de rechten en aanspraken van deelnemers in de administratie, het zogenaamde Quinto-P onderzoek. In een Quinto-P onderzoek wordt aanbevolen om de kwaliteit van de pensioenadministratie te toetsen middels een steekproef van 30 trekkingen, 15 aselect en 15 select gekozen deelnemers. Statistisch is eenvoudig aan te tonen dat een dergelijk onderzoek niet voldoende is. Een gemiddelde administratie heeft ruim meer dan 30 mutaties en/of uitzonderingen. Administraties met honderden (200+) verschillende mutatiesoorten zijn meer regel dan uitzondering. Daarnaast zijn in administratiesystemen vele andere soorten, vooraf onbekende, uitzonderingen aanwezig. Doordat sommige uitzonderingen of fouten in de administratie vooraf onbekend zijn, wordt een puur statistische benadering aanbevolen. Het aantal benodigde trekkingen wordt voornamelijk bepaald door het aantal polissen dat een bepaalde fout bevat. Uit praktijkervaring is de kleinste pluk foutieve deelnemers 0,2% (200 op de ). Dan zal je 1496 deelnemers aselect moeten kiezen om 95% kans te hebben dat één van deze foutieve deelnemers geselecteerd is. In een grafiek: Conclusies: 30 (a)select gekozen deelnemers is volstrekt onvoldoende om iets zinnigs te kunnen zeggen over de kwaliteit van een pensioenadministratie. Een steekproef van 15% van de populatie is al een stuk realistischer om met 95% zekerheid alle fouten in een pensioenadministratie op te sporen. Copyright 2016 QuaRatio BV (0) p. 6

7 Vragen of ideeën? Reageer op deze blog. Hier vindt u een white paper met meer achtergrond en een uitgebreidere beschrijving. Of neem contact op. Een goed gesprek is goud waard. Copyright 2016 QuaRatio BV (0) p. 7