Statistische analyse CMDB

Transcriptie

1 UvA IC, IMP overleg, 16 november 2010 Statistische analyse CMDB B. Kleijn, KdV Instituut, UvA in samenwerking met C. Klaassen (KdVI, UvA) R. Knijn (IC, UvA)

2 Statistische vraag Analyse en enquete Analyse CMDB Specifieke statistische vragen Wat is de correcte omvang van de CMDB? Wordt het 97% criterium gehaald? Statistische opzet Steekproef, tellen en schatten Bereken nauwkeurigheid en betrouwbaarheid Methode van onderzoek Enquetering binnen en buiten de CMDB Omvang van de steekproeven? 0

3 CMDB en DHCP databases Twee populaties Is de omvang van de CMDB correct? Tweeledige vraag 1. Welke computers buiten de CMDB zouden erin moeten staan? 2. Is de registratie van alle computers in CMDB correct? Onmiddelijk praktisch probleem ad 1. Hoe vinden we een lijst van computers die niet reregistreerd staan? Gebruik netwerk informatie afkomstig van DHCP service 1

4 CMDB en DHCP databases Verdacht en niet verdacht Samenstelling popula/es V A Blauw = overeenkomstig, Rood = verdacht, Geel = steekproef Twee steekproeven 1. Steekproef uit de DHCP registraties (populatie A ter grootte N A ) 2. Steekproef uit de CMDB registraties (populatie V ter grootte N V ) 2

5 CMDB en DHCP databases Methodologie Twee steekproeven 1. Tel fouten in steekproef n A (resultaat X A fouten) Schat het aantal fouten in DHCP met N A (X A /n A ) 2. Tel fouten in steekproef n V (resultaat X V fouten) Schat het aantal fouten in CMDB met N V (X V /n V ) 3. Geschatte omvang correcte CMDB Ŵ = W + X A n A N A X V n V N V 3

6 Enquete Betrouwbaarheid en nauwkeurigheid Doel W ligt niet meer dan... van Ŵ met zekerheid... Statistische uitspraak, gebaseerd op steekproef (grootte n) Betrouwbaarheid zekerheid van uitspraak (a = %) Nauwkeurigheid precisie van uitspraak (d = %) P n( (1 d)ŵ n W (1 + d)ŵ n ) = 1 a Twee intuitieve waarheden uit de statistiek Grotere n betere betrouwbaarheid en nauwkeurigheid Gelijke n balans betrouwbaarheid en nauwkeurigheid 4

7 Enquete Betrouwbaarheid en nauwkeurigheid % Betrouwbaarheid bij verschillende d % 80.00% 60.00% a 40.00% 20.00% 0.00% Betrouwbaarheid a als functie van nauwkeurigheid d (bij n A = 239, n V = 132) 5

8 Enquete Resultaten MA = MV NA = NV = (relevante populatie in DHCP (uit records)) (relevante populatie in CMDB (alle records)) 1739 (omvang populatie A, verdacht in relevant deel DHCP) 2147 (omvang populatie V, verdacht in relevant deel CMDB) na = 239 (omvang sample uit populatie A) nv = 132 (omvang sample uit populatie V) XA = 46 (gevonden aantal fout in sample A) XV = 31 (gevonden aantal fout in sample V) pa = (kans op fout in sample A) (geschatte kans op fout in verdacht deel DHCP) pv = (kans op fout in sample V) (geschatte kans op fout in verdacht deel CMDB) YA = YV = W = sdw = 335 (geschat aantal fouten in verdacht deel DHCP) 504 (geschat aantal fouten in verdacht deel CMDB) (geschatte correcte omvang CMDB) 91 (std-deviatie in schatting W (met geschatte pa, pv)) Resultaten enquete, numeriek 6

9 Statistische conclusies Omvang CMDB ruimschoots binnen 97% tolerantie Het 97% nauwkeurigheidscriterium wordt gehaald (zekerheid 99,96%) W ligt niet verder dan 1,75% ( ±187) van Ŵ = (zekerheid > 95%) Aantal fouten in CMDB overschrijdt 97% tolerantie Geschat aantal foute registraties in DHCP is 335 Geschat aantal foute registraties in CMDB is 504 Geschat aantal foute registraties is 839 ( 7, 8%) Billing qua omvang in orde, in detail niet Totale kosten 98,25% correct (met > 96% betrouwbaarheid)... maar deels ( 8%) voor verkeerd geregistreerde computers 7

10 Aanbevelingen IC Monitor continu de verschillen tussen DHCP en CMDB Communiceer conflicten met betreffende faculteit/dienst Faculteiten en Diensten Breng uw computer administratie intern op orde Communiceer permutaties met IC tijdig en correct Afstemming en uitvoering Ontwikkel fail-safe, eenvoudig protocol voor registraties Test uitvoerig en voer gefaseerd in 8

11 Grafisch beeld enquete, per afdeling Resultaten steekproef, grafisch, per afdeling 9

12 Tabel enquete, per afdeling Afdeling DHCP Incorrect Correct CMDB Incorrect Correct n A X A n A X A n V X V n V X V FEB BnB FC FdR FGw FMG FNWI IC UB blauw Redelijk betrouwbaar beeld zwart Beeld niet betrouwbaar grijs Onbetrouwbaar beeld 10