DATPROF Gebruikersdag

Transcriptie

1 DATPROF Gebruikersdag 24 mei 2018 Mario van Os Jan van Leeuwen Testdata Management - Anonimiseren Test Data Draagt elkanders lasten 1937 Solidariteit en laagdrempeligheid Ieder lid was verzekerd van een waardige begrafenis, ongeacht parochie, stand of inkomen. Geen hoge drempels meer, ieder werd lid voor een laag maandelijks bedrag DELA 1

2 Waar komen we vandaan? Groei van de coöperatie 1942: van vereniging naar coöperatie zonder winstoogmerk 1947: grootste begrafenisvereniging van Nederland 1971: één miljoen leden 1989: uitbreiding naar België 1997: twee miljoen verzekerden 2017: Ruim 3 miljoen leden en 3,7 miljoen verzekerden Bijna medewerkers 170 locaties, circa uitvaarten per jaar Gemiddeld 9,1 tevredenheid onder nabestaanden Achtergrond Probleemstelling Per 25 mei 2018 gaat de Europese wet- en regelgeving AVG (Algemene verordening gegevensbescherming ) van kracht. Deze privacy wetgeving dwingt af dat organisaties niet (meer) testen met die persoonsgegevens van natuurlijke personen waarnaar iemand herleidbaar is. Vrij vertaald: persoons-testdata dient geanonimiseerd te zijn. Doelen die gerealiseerd worden: Voldoen aan wet- en regelgeving (AVG) Behoefte aan statische testdata Opdracht Het project Test Data Management - Anonimiseren Testdata heeft als doel om alle testomgevingen binnen Dela te depersonaliseren zodat voldaan wordt aan deze wetgeving. In de fase implementatie wordt de tooling verder ingericht, waarbij onder andere de anonimisatie templates worden ontwikkeld. Ook het inrichten van beheer valt onder deze fase. Tenslotte raakt de invoering van testdatamanagement ook de manier van testen en zal het anonimisatie proces wordt ingepast in de bestaande testprocedures (DTM). Scope De scope van het project betreft: Systemen waarin natuurlijke personen voorkomen en die een testomgeving hebben. Onze focus: Anonimiseren Testomgevingen Omgevingen binnen DELA Keten gedreven Consistent over de gehele keten DELA 2

3 Anonimiseringsproces Huidige situatie Ook bij DELA geldt deze situatie Speciale aandacht op de Bug omgeving: Noodzakelijk omdat sommige fouten data specifiek zijn. Noodzakelijk omdat dit direct betrekking heeft op beheer van de polissen Anonimiseringsproces Toekomstige situatie Het anonimiseringsblok fungeert als Chinese muur. Anonimisatie gebeurt op basis van echte productiedata. Dit moet dan ook in een gesloten proces worden uitgevoerd. DELA 3

4 Aandachtspunten Non-SQL omgevingen, zoals MongoDB Niet direct ondersteund - Sybase Verschillende versies van MsSQL in omgevingen Architectuur richtlijnen Impact op de huidige testproces (o.a. Tosca testscripts) Implementatie scenario - Ketengericht DELA 4

5 Algemene proces anonimisering Testdata Quest Een Quest is een (cluster) userstories waarbij de afdeling wordt uitgedaagd een oplossing te geven voor een probleem of vraag. Opdracht: De data mag niet terug te herleiden zijn naar personen Consistentie/Ketenafhankelijkheid Doel: Bewustwording AVG Impact op eigen werk Wat is data DELA 5

6 Wat is data (1) Wat is data (2) DELA 6

7 Business keys en Technical keys Business keys zijn persoon-identificerend Technical keys zijn onbekend bij de natuurlijk persoon Mogelijkheden Technical keys gebruiken in consistentie Noodzaak Business keys los maken van personen In ons geval door shuffle Vertaal tabellen Alleen noodzakelijk voor business keys Voor overige tabellen Technical key gebruiken in combinatie met nieuwe gegevens In een volgende template de technical key van systeem A koppelen aan de technical key van systeem B In de volgende template lookups gebruiken op basis van keys DELA 7

8 Wat mooi had geweest Alleen technische sleutels husselen Problemen: Redundantie Noodzaak tot normalisatie Gebruik VIEWS i.p.v. directe tabel-toegang Documentatie Voor oude pakketten zit veel kennis in hoofden In het heetst van de strijd zijn korte klappen gemaakt, die de rest van de levenscyclus van data zeer negatief beïnvloedt Bijzondere belevenissen Consistentie: Data, applicaties, Databaseservers MSSQL 2012 / MSSQL 2014 Sybase Kennis in business sleutels: Ranges t.b.v. bepaald product Business rules, specifiek uitvaart: Begraven in de regio Nederland, Duitsland, Zweden, en min of meer de rest van de wereld DELA 8

9 DATPROF Privacy inzet Anonimisatie business sleutels Anonimisatie n.a.w. gegevens Analyse waar de anonimisatie (toch maar) plaats moet vinden Dependency De volgorde van anonimisatie regels Consistentie bewaking Query s uitvoeren daar waar DATPROF Dank voor uw aandacht Mario van Os Tel: [email protected] / [email protected] Jan van Leeuwen Tel: [email protected] / [email protected] DELA 9