Encountered problems in standardising: a case story by the City of Ghent. Erik Evrard, Digipolis Ghent erik.evrard@gent.be

Transcriptie

1 Encountered problems in standardising: a case story by the City of Ghent Erik Evrard, Digipolis Ghent erik.evrard@gent.be 1 1

2 Ghent a stunning ancient and also very modern city 2 2

3 Ghent by day 3 3

4 4 4

5 5 5

6 6 6

7 7 7

8 Ghent by night 8 8

9 If you haven t been there yet, pay us a visit! 9 9

10 Ghent is a very service-minded city to its citizens 10 10

11 237,000 inhabitants require a lot of IT services 11 11

12 Digipolis is the ICT Supplier for the cities and centres of social Antwerp welfare of and Ghent 12 12

13 SAP R/3 SAP CRM 3.0 Microsoft SQL Server.NET applications SAP CRM 5.0, but also Proprietary applications (internal/external) 13 13

14 XML? Web Service? Network? GUI? 14 14

15 15 15

16 Custom applications as data sources 16 16

17 Finance DB CRM (citizens help desk, complaints) Real Estate DB Who Is Who DB GIS DB Crossroads bank DB for enterprises (federal) HR DB IT infrastructure DB Enriched crossroads bank DB for enterprises (flemish) Population DB (federal) Population DB (city) Data planning & monitoring Child care Social security DB Media relations, complex Internet & info DB Analysis 2007: data flows 17 17

18 Risk: two masters 18 18

19 Master Data since 2006 in Ghent 19 19

20 Master data is data that is shared across systems (such as lists or hierarchies of customers, suppliers, accounts, or organisational units) and is used to classify and define transactional data. [IDC] 20 20

21 Master Data Existing Application Existing Application Master Data Existing Application Master Data Master Data Management System New Applications Historical / Analytical Systems 21 21

22 Decouples master information from individual applications 22 22

23 Becomes a central, application independent resource 23 23

24 Simplifies ongoing integration tasks and new appliction development 24 24

25 Ensure consistent master information across transactional and analytical systems 25 25

26 Addresses key issues such a data quality and consistency proactively rather than after the fact in the data warehouse 26 26

27 Attention! 27 27

28 Never assume 1-1 consistency in other sources, even official ones 28 28

29 Don t wait for higher authorities / vendors to provide easily accessible webservices Grab the data from conventional sources 29 29

30 Dutch federal model 30 30

31 9050 Ledeberg 9050 Gentbrugge Belgian postal codes have their quirks... other countries, too 31 31

32 Official street registry: Brusselsesteenweg (Gentbrugge) Brusselsesteenweg (Ledeberg) (and 11 others) Need to know house number boundaries Impossible to enter a street code without knowing the house number, even if you know postal code! 32 32

33 Don t trust authentic sources to be 100% correct 33 33

34 Since 2003 Belgium has a central registry of companies quality fairly high, but old data has been imported from older (>100 yrs) sources, errors are inevitable 34 34

35 Sometimes there are legal / practical barriers that prevent data QA companies are required to register their HQ but not their branch offices costs 70 euros, not online and not enforced. They may even be taxed for a branch office 35 35

36 Never forget to encode all required diacritical characters 36 36

37 Daniël Clarençon Hunkemöller Björn Željko Michaił Yıldırım (not i!) 37 37

38 Beware of omitted or wrong transcodings when importing / exporting / searching / sorting 38 38

39 Will these companies be properly in an A Z sorted list? Åland Travel AS t Schuurke BVBA Þuríður (Icelandic name) 39 39

40 Sorting rules different for every language Ä (Swedish after Z ) Ä (German after A ) 40 40

41 Transcription 41 41

42 محمود احمدینژاد 42 42

43 Mahmoud Ahmadinejad 43 43

44 Mahmood Ahmadinejad 44 44

45 Mahmud Ahmadinejad 45 45

46 Mahmoed Ahmadinejad 46 46

47 Mahmoud Ahmadinejad 47 47

48 Mahmoud Ahmadinedjad 48 48

49 Горбачёв 49 49

50 Gorbatsjov 50 50

51 Gorbachov 51 51

52 Gorbatschow 52 52

53 Gorbachow 53 53

54 Gorbachev 54 54

55 Gorbachew 55 55

56 Gorbatchev 56 56

57 Gorbachov Gorbachev Birth certificate Passport 57 57

58 Phonetic comparison is language dependent 58 58

59 Beware of nicknames or wrong/ inconsistent (name) spellings even for local names in your own local records 59 59

60 Active Directory: Jo Dujardin 60 60

61 HR System: George Dujardin (no stored) 61 61

62 Elisabeth 62 62

63 Liesbeth 63 63

64 Lies 64 64

65 Beware of people with 100% identical names and inconsistent spellings 65 65

66 No

67 No

68 No

69

70

71 Many identical names Martine De Coninck Martine De Coninck Martine De Coninck Martine Mortier Martine Mortier Martine Mortier (left service) Martine Mortier (left service) 71 71

72 Beware of smart numbers as unique identifiers! 72 72

73 Belgian citizens (and foreigners registered in Belgium) are identified by a unique personal number ( Rijksregisternumber ) 73 73

74 Birth date Sequential nr. male = odd female = even Checksum YYMMDD abc xy 74 74

75 Birth date not always known when registering, can change later! 75 75

76 Gender can change over time 76 76

77 At times of large numbers of immigrants 3 digits were not sufficient 77 77

78 What about non-registered foreigners? What is their unique ID? 78 78

79 is unique (but changes) Mobile number is unique (but changes, less frequently) 79 79

80 During data import frequent real time data modifications/ verifications/corrections (sometimes involving querying other databases) may be required 80 80

81 Multiple entries of the same entity (need to detect/ confirm this!), splitting or recombining fields, translation, enriching data, etc

82 Data normalisation is very important e.g. addresses (CRAB in Flanders repository of all address points) 82 82

83 Information integration EAI: Enterprise Application Integration ETL: Extract Transform Load 83 83

84 Types of data services 84 84

85 MDM is complex stuff requires outstanding analytic work and wellthought architecture 85 85

86 Many MDM vendor solutions Kalido (daughter company of Shell) IBM Microsoft SAP Oracle Cordys MDM Entreon Corporation Hyperion MDM Server ObjectRiver Inc. Orchestra Networks Strateture Inc. Etc. Amalto Technologies Data Foundations Inc

87 Sometimes an MDM solution is excessive given the problem you re trying to solve 87 87

88 A lightweight step towards MDM in Ghent Central Address Platform 88 88

89 Questioned >95% of all departments/services (80 people) Approx. 210 databases 89 89

90 Analysis (1)Heterogeneous applications MS Access, MS Excel, MS Word, Filemaker Pro, (Outlook) Some larger systems (CRM, ERP), either custom/generic (2)Various purposes Mailing lists (post, ) General contact data Very specific purposes (permissions, applications, memberships, benefits, duties,...) 90 90

91 Lots of typical problems:not multi-user, database duplication (different versions, independent evolution), difficult to support & to improve, lack of sharing options, inconsistency, data pollution, lack of reporting, no integration with authentic sources, even lack of some basic functionalities errors, wasted time & money 91 91

92 A lot of common types of data Personal data Analysis Organisation data (companies, associations, public authorities) Relationship between person-organisation: role/function Addressdata, phone, fax, , URL Largest Common Denominator 92 92

93 Analysis Shared databases Protocol List (VIPs) Approved associations (youth, sports, environment) Schools, day care Governments Ghent, other cities and towns, provincial, regional, federal Also historic data 93 93

94 Analysis Requirements / Expectations Efficiency (speed) Accuracy (up-to-date) Accessibility (flexibily) Security Completeness Very conservative, very approximative estimation: reduction of wasted time potential 36,000+ hrs/year 94 94

95 Technical solution No standard solution, so custom development Well-known architecture (.NET, SQL Server) Web-based Well-defined business connectors (XML web services) Integration with major authentic sources (no complicated data translation / re-mapping required) 95 95

96 Technical solution Data model 90% defined, wire frames / GUI 60% defined Two phased development (Roll out CAP 1.0 in 2009, CAP 2.0 in 2010) 20 pilot databases to be migrated in CAP databases in CAP

97 Technical solution Data model Heart of the solution Person Organisation Object Relationship Person Organisation: role/function Address (linked with Person, Organisation, Person- Organisation) All N-N relationships 97 97

98 Security Dogma Every database has a well defined owner (departmentservice) Only owner has read/write permissions Only owner can grant access (read or read/write) to other department-service Some fields protected at user level (privacy legislation or governance, like mobile phone numbers)

99 Centraal Adressenplatform Dashboard Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst <geen> Dashboard Bestanden Bestandclusters Aantal eigen bestanden: 3 Aantal extern toegankelijke bestanden: 4 Groepen Mailings Zoeken Instellingen 99

100 Centraal Adressenplatform Dashboard > Bestanden > Selecteer Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst <geen> Dashboard Bestanden Selecteer inhoud Zoek Nieuw Wijzig Verwijder Bestandclusters Groepen Mailings Eigen bestanden: Cafébestand Gent Lijst verkopers kadastrale percelen Notarissen die een bodemattest aanvroegen Externe gedeelde bestanden: Scholenbestad Protocollijst Derdenbestand (crediteurs en debiteurs) Jeugdverenigingen Indien op een hoofdmenu wordt geklikt, worden de desbetreffende ondermenu's uitgeklapt. Eventuele andere uitgeklapte ondermenu's worden weer dichtgeklapt, zodat het geheel overzichtelijk blijft Korte omschrijving: een lijst van alle café's in Gent, met daarin de uitbater en de eigenaar, inclusief hun contactgegevens, en een koppeling met eventuele PV's voor geluidsoverlast. Wanneer met de muis langs de velden in het pop-up menu wordt gegaan, worden er details getoond Zoeken Instellingen 100

101 Centraal Adressenplatform Dashboard > Inhoud Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst Cafébestand Filter: vul tekst in Dashboard Bestanden Selecteer inhoud Zoek Nieuw Wijzig Verwijder Bestandclusters Groepen Mailings ID 1 Naam café De Pint 2 De Bierfles Mr. B. De Wit 3 Het Halflege Glas Mevr. F. Detremmerie 4 Het Halfvolle Glas Mr. Langhe 5 De Droge Lever Mr. F. Devisch De Droge Lever (OrgID 11234), Sint-Denijslaan 55, 9000 Gent, Tel , Fax , URL Uitbater Mr. A. De Groote Eigenaar Mr. Frans Devisch (PersoonID 44394), Bloemhofstraat 12, 9031 Drongen, Tel , GSM , fdevisch@telenet.be BVBA Inbev BVBA Naxos Mr. A. Derijke Mr. A. Derijke Mr. F. Devisch PV's Aantal 1 Aantal: 4 Door met de muis over een veld te bewegen, worden er details getoond PV's: 04/2332, 05/3343, 05/3370, 06/0323 Zoeken Instellingen Nieuwe record toevoegen Exporteer lijst Toon 1-5 van 5 Pagina 1 101

102 Centraal Adressenplatform Dashboard > Inhoud Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst Cafébestand Dashboard Bestanden Selecteer inhoud Zoek Nieuw Wijzig Verwijder Bestandclusters Record toevoegen Naam café tekst invullen Voornaam tekst invullen Achternaam Uitbater tekst invullen Eigenaar Door middel van tabs wordt ofwel de uitbater of de eigenaar geselecteerd Persoon Organisatie Adres Extra Velden Door middel van tabs kunnen meerdere onderdelen van een record ingegeven worden Groepen Mailings Zoeken Geslacht man vrouw onbekend Rijksregisternummer Sommige velden zijn verboden voor deze gebruiker (onzichtbaar, niet in te vullen) Instellingen Voeg record toe Alles wissen 102

103 Centraal Adressenplatform Dashboard > Inhoud Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst Cafébestand Dashboard Bestanden Selecteer inhoud Zoek Nieuw Wijzig Verwijder Bestandclusters Groepen Record toevoegen Waarschuwing! Persoon "Jan Desmedt" komt misschien reeds voor in het CAP. Gaat het misschien om dezelfde persoon? Jan Desmedt, Snepkaai 1, 9000 Gent, Tel Jan Desmed, Korenmarkt 1, 9000 Gent J. Desmit, Bellevue 1, 9050 Gent <Weet niet zeker> <Het is een andere persoon dan deze in de lijst> Bij toevoeging van een nieuwe persoon of een organisatie zal steeds gekeken worden of deze persoon reeds voorkomt in het CAP door middel van een slimme "matching" op basis van fonetische spelling van de naam en bijbehorende gegevens die zeer persoonsgebonden zijn (zoals adres, telefoonnummer, adres) Mailings Zoeken Deze matching zal enkel worden gehanteerd voor gedeelde bestanden. Gegevens uit bestanden die eigen zijn aan de dienst zullen nooit worden weergegeven! Indien een uniek gegeven bekend is (rijksregisternummer of ondernemingsnummer) dan wordt dit altijd als een goede match gebruikt. Het RRID is echter aan beperkingen onderhevig! Instellingen 103

104 Centraal Adressenplatform Dashboard > Bestanden > Wijzig Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Dashboard Bestanden Selecteer Inhoud Zoek Nieuw Wijzig Verwijder Groepen Extra velden: Veldnaam Bijnaam café PV GIS-identificatie Categorie Nieuw veld toevoegen: Soort variabele string string string vul naam van het nieuwe veld in Milieu, Groen, Gezondheid Milieudienst Cafébestand lijst (gewoon, studentencafé, danscafé, eetcafé) Meervoudig string (tekstveld) integer (gehele getallen) lijst De velden van het cafébestand zijn door Digipolis gemodelleerd en kunnen door de dienst niet worden gewijzigd. De dienst die eigenaar is van het bestand kan echter ook extra velden toevoegen Meervoudig Indiend aangevinkt, kan er meer dan één realisatie van het veld worden toegekend aan de bestandsrecord. Mailings Zoeken Nieuw veld toevoegen Lijstwaarden vul hier toegelaten waarden van een lijst in, één per regel Instellingen 104

105 Centraal Adressenplatform Dashboard > Mailings > Genereer Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Milieu, Groen, Gezondheid Milieudienst Bestandcluster: gegadigden nieuwsjaarsreceptie Dashboard Bestanden Bestandclusters Groepen Mailings Genereer Instellingen Historiek Zoeken Instellingen vul in Mailing per post selecteer alleen adressen die een bestelbaar postadres hebben Standaard enveloppen "A" Grote enveloppen "B" Labels formaat "C" Mailing per selecteer alleen adressen die een bestelbaar adres hebben Onderwerp: Inhoud: B i u enter text HTML-opmaak mogelijk Preview lijst geadresseerden Exporteer lijst geadresseerden Selecteer bijlage(n)... Bijlagen: Wanneer er een mailing gegenereerd wordt, worden er ofwel adressen afgedrukt (rechtstreeks op de enveloppen of op zelfklevende labels), ofwel een ing gestart (eventueel op een later tijdtip). Beide kan ook. Nieuwsbrief_nov2008.doc Verzenddatum en -uur: dd/mm/jjjj Uitnodiging_nieuwjaarsreceptie_2008.doc Genereer de mailing Genereer aanwezigheidslijst hh:mm Een preview is mogelijk, en daarin kunnen nog namen van geadresseerden weg worden gelaten. 105

106 Centraal Adressenplatform Dashboard > Mailings > Historiek Welkom, Peter Peeters Uitloggen Departement: Dienst: Huidig geselecteerd bestand (of cluster of groep): Cultuur Wereld van KINA <geen> Dashboard Bestanden Groepen Uitnodiging evenement "X" 12 nov 2007, 12:05 Nieuwsbrief "Y" dec nov 2007, 08:00 Uitnodiging nieuwjaarsreceptie 5 dec 2007, 17:00 Nieuwsbrief "Y" jan dec 2007, 23:00 Uitnodiging evenement "Z" 15 jan 2008, 09:30 Post Post + Post Bestand bezoekers "X" Clusterbestand nieuwsbrief "Y" Clusterbestand: iedereen departement Cultuur Clusterbestand nieuwsbrief "Y" Bestand geïnteresseerden "Z" Mailings Genereer Instellingen Historiek Voor iedere mailing wordt een log bijgehouden. Door hierop te klikken, verschijnt een lijst met toenmalig geadresseerden. Zoeken Instellingen 106

107 CAP becomes combined view on persons, organisations, objects, addresses (normalised) high-quality, easily accessible

108 A interesting case in Kortrijk POGO Persons and OrGanisations Online

109 Exchange of people and organisations data via web or intranet (between application and front-end)

110 Already used by several organisations and for several applications European project EVoice

111 Solution Functionalities Single sign-on Authentication Authorisation Contact management Entitlement management Delegated management

112 Solution Basic principles (1) Unique keys to applications are available Application keys are linked with an role attribute Triggers are maintained, which can link applications at the right time (trigger = service connector) Only very limited sets of data are stored in the POGOmodel Privacy-sensitive data are physically stored separately from other application data

113 Solution Basic principles (2) A distributed POGO system is possible and useful when large amounts of data are used somewhere All that is required to connect a POGO system with an application, is an adapter

114 A POGO realisation in MyPage Kortrijk only a single login based an electronic ID card (every Belgian >12 has one)

115 A POGO realisation in MyPage Kortrijk only a single login based an electronic ID card (every Belgian >12 has one)

116 Access multiple applications library sport camp subscription contacts database Fields are, if possible, pre-filled

117 Exciting new applications are being implemented that bring MDM into practice and that realise tangible efficiency improvements

118 Exciting new applications are being implemented that bring MDM into practice and that realise tangible efficiency improvements

119 Thank you!