Monitoring & logging bij DUO

Maat: px

Weergave met pagina beginnen:

Download "Monitoring & logging bij DUO"

Adriana Lemmens
5 jaren geleden
Aantal bezoeken:

1 Monitoring & logging bij DUO Frits Bouma Architect bij CIO-Office DUO

2 Monitoring & logging bij DUO Korte presentatie: Waarom monitoring & logging? Veranderende mogelijkheden Veranderende eisen Veranderende wensen Keuzes Toekomst Tijd voor vragen

3 Waarom monitoring? Verstoring van systemen (IT, processen, omgeving) opmerken Signaleren van poging tot inbraak Biedt mogelijkheid om in te grijpen / bij te sturen 3

4 Waarom logging? Monitoring levert slechts een momentopname Voor rapportage en verantwoording moeten monitoringgegevens bewaard blijven Historische gegevens leveren een baseline voor normaal gedrag van systemen Nodig om afwijkingen te kunnen constateren Nodig om effecten van bepaalde keuzes te kunnen meten (leren van ervaringen) Nodig om effectiviteit van genomen maatregelen te toetsen Prognoses kunnen maken (trendanalyses, extrapolatie) Biedt geheugen dat foutherstelling (rollback) mogelijk maakt Onweerlegbaarheid aantonen (auditeerbaarheid) 4 Kennismaken met Rijksbreed 18 april 2008

Uitwisseling met ketenpartners op tape per koerier LAN -> gesloten Heden: Multi channel:

5 Verandering maatschappij Begin jaren 80: Single channel: post + data entry afdeling Verwerking s nachts met batch-systemen Beschikkingen en informatie per uitgaande post Uitwisseling met ketenpartners op tape per koerier LAN -> gesloten Heden: Multi channel: interactief portaal, app, webservices (M2Mverkeer), (digitale) post; 24/7 real-time verwerking; WAN -> open 5

6 Historie bij DUO: platformen Begin jaren 80 klassiek ontwerp & realisatie informatiesystemen: Mutatielogging bij data entry was vanzelfsprekend onderdeel van ontwerp; Een mutatie is een nieuw databaserecord, geen update; Mutatielogging werd gebruikt voor selectieprocessen in batchverwerking; Op batchprocessen veelal geen mutatielogging, maar verwerkingsverslagen en backup/rollback-mogelijkheden. Eind jaren 80: inzet 4GL en AS400 Kenmerk: OS & DBMS waren geïntegreerd Transactielogging is onderdeel van AS400 Transactielogging geschikt voor rollback, maar ook uitleesbaar Medio jaren 00: Java i.c.m. DBMS op iseries Automatische transactielogging; Expliciete aandacht voor mutatielogging in ontwerp: auditcontext (wie, wanneer, waarmee) bij iedere mutatie; Meldingenadministratie (kanaalonafhankelijk)

7 Pushen van logging naar standaardformaat Non intrusive Enige jaren geleden: keuzes maken - schets SOLL Scheiding oplossingen voor infra- en procesmonitoring

8 Complexiteit, volume & gebruik neemt toe Naast mutatielogging: Netwerk monitoring Intrusion detection Applicatiemonitoring Procesmonitoring eventlogging Performance monitoring Website monitoring Data mining & analyse User experience performance monitoring Customer journey mining Privacy / anonimisering.

In onderzoek: huidige verkeersstromen Externe data Informatiemanagament Applicaties en registers Afgeleide en samengestelde gegevens Business intelligence beleidsinformatie ETL:?

9 In onderzoek: huidige verkeersstromen Externe data Informatiemanagament Applicaties en registers Afgeleide en samengestelde gegevens Business intelligence beleidsinformatie ETL:??? DWH: MsSQL procesinformatie bedrijfsinformatie ETL: Powercenter Business Analytics Dataanalytics CJM Applicatielogs procesgegevens Applicatiegegevens Datamining fraudebestrijding Data store: NOSQL: RDBMS:?????? Scheiding oplossingen voor infra- en procesmonitoring Cassandra DB2 Oracle Dataanalytics PostgreSQL forensisch MsSQL beveiligingslogs beveiligingslogs Operational intelligence proces monitoring Applicatie monitoring Logs Logs Systemen Systeemlogs Logdata Systeem management Operational intelligenceinfra Monitoren perfromance beveiligingslogs Splunk Non Transactional database: Elastic Monitoren infrastructuur Monitorenbeveiliging

10 Kanaalonafhankelijke meldingenadministratie: onweerlegbaar bewijs Melden Aanvrager Aanvragen Beweren Auditcontext als metadata Belanghebbende Bundelmelding Verzoeken Authentieke bron Ketenpartner Aandragen feiten Trigger voor verwerking. Gegevensregistratie Track&trace-id M2M Portaal Post Terug naar by design

11 In de toekomst: melding als golden record toepassing CQRS-principe Vastlegging van bewering is niets anders dan transformatie van melding voor een gebruiksdoel. Registreer melding schrijf Meldingen Propagate & transform NAW Inschrijving gebruik CRM Beslissen

12 12

Vergelijkbare documenten

Big Data en DUO. We swim in a sea of data and the sea level is rising rapidly. G. Brink Programmamanager Ir. J.W. van Veen Enterprise Architect

Big Data en DUO. We swim in a sea of data and the sea level is rising rapidly. G. Brink Programmamanager Ir. J.W. van Veen Enterprise Architect Big Data en DUO We swim in a sea of data and the sea level is rising rapidly. G. Brink Programmamanager Ir. J.W. van Veen Enterprise Architect Agenda Wat doet DUO Big Data theorie Big Data - architectuur