Betrouwbaarheid. Betrouwbaarheidsinterval

Transcriptie

1 Betrouwbaarheid Ee simulatie beoogt éé of i.h.a. twee of meerdere sceario s te evaluere e te vergelijke, bij Mote Carlo (MC) simulatie voor ee groot aatal istelwaarde, voor éé of meerdere parameters. Hierbij stelt elke istellig va waarde éé sceario voor. Logistieke Simulaties op basis va discrete evet (DE) simulatie voor ee relatief klei aatal, bijvoorbeeld slechts twee, sceario s zoals met verschillede irichtige of volgordelijkhede va werkzaamhede of capaciteite. I beide gevalle (MC of DE) levert simulatie i pricipe voor éé sceario éé getal op voor elk gekoze prestatiemaat, bijvoorbeeld ee doorlooptijd of de koste. Dus alsof me voor dat sceario éé keer met ee dobbelstee heeft gegooid. Maar wat zegt dit, ee 1, 2, 3, 4, 5, of 6 als uitkomst? De voor de had liggede aapak is derhalve, deze dobbelstee (dit sceario) opieuw te gooie (te simulere) e a ee redelijk groot aatal herhalige de uitkomst te middele. Het hieruit bepaalde getal, bijvoorbeeld 3.71 a 30 keer dobbele, ka me da terecht wel als redelijk represetatieve uitkomst zie. Bij simulatie va ee sceario wordt ee dergelijke uitkomst door middelig i de regel als dé uitkomst voor het gesimuleerde sceario gezie. Hierbij moet me verschillede sceario s zie als verschillede ietidetieke dobbelstee, zeg gekleurde dobbelstee met verschillede kase. Maar wat is redelijk? Hoeveel waarde mag me aa éé zo getal hechte? Of preciezer: hoeveel betrouwbaarheid mag me hieraa toekee? Dit is bij simulatie studies i de praktijk ee veelal vergete e obeatwoorde vraag, alvores me daadwerkelijk ee simulatie e ee vergelijk va sceario s als represetatief e betrouwbaar mag zie. Betrouwbaarheidsiterval Stadaard statistiek lijkt hierop ee passed atwoord te geve. De wijze waarop wordt hieroder eerst bekopt uiteegezet. Laat de kasvariabele (stochastische groothede) 1,..., ee tal óafhakelijke waaremige (herhalige) voorstelle va éé e dezelfde kasvariabele (bijvoorbeeld het aatal oge va ee dobbelstee) met verwachtigswaarde µ e stadaarddeviatie σ. Voor voldoede groot, praktisch i de orde va 50, geldt da dat het zogeaamde steekproefgemiddelde = + K+ 1 bij redelijke beaderig ormaal verdeeld is met eveees verwachtig µ maar met stadaarddeviatie σ /. (Dit berust op de zogeaamde cetrale limietstellig.) Op grod hierva geldt dat bij daadwerkelijke idividuele waaremige (realisaties): de gemiddelde waarde met kas (1α) 100% bevat is i het iterval: 1 = x1, 2 = x2,, = x ( K ) x = x + + x 1 /

2 σ σ µ z(1 α/ 2), µ + z(1 α/ 2). Hierbij is z (1α/2) het welbekede zput zodaig dat voor de stadaard ormale verdelig Z geldt (zie plaatje voor α=.67 e α=.95) ( α < < α ) = ( α ) P z(1 / 2) Z z(1 / 2) 1. Voor (1α) 100% = 95% bijvoorbeeld geldt z (1α/2) = Waeer σ iet beked is ka me deze schatte e vervage door de waarde 1 s = x1 x + + x 1 ( )... ( x) 2 2 e diet het zput vervage te worde door het correspoderede t 1,(1α/2) put voor ee zogeaamde Studet verdelig met (1) vrijheidsgrade (feitelijk gebaseerd op ee oderliggede aaame va ormaliteit). Voor redelijk groot, zeg 50, e (1α)100% = 95% is het gerechtvaardigd het z of tput simpelweg af te schatte met de waarde 2. Oftewel, bij ee geschatte waarde S = s geldt dat met 95% betrouwbaarheid: s s x µ 2, µ + 2. Dus i woorde, dat met 95% betrouwbaarheid: s x iet meer da 2 af ligt va µ, oftwel, puur taalkudig vertaald, dat met 95% betrouwbaarheid: µ iet meer da 2 s af ligt va Dus, waeer µ obeked is ka op basis va ee voudige steekproef (of simulatie) met waaremige x 1,..., x ee 95%betrouwbaarheidsiterval opgesteld worde als: s s µ x 2, x + 2. Let op (Iterpretatie) Dit is echter ee gevaarlijke, zo iet feitelijk ojuiste uitspraak e moet zorgvuldig geïterpreteerd worde. Deze formulerig suggereert amelijk alsof de verwachtigswaarde µ (zoals 3.5 voor ee zuivere dobbelstee) aa ozekerheid oderhevig is. Dit is geeszis het geval. Itegedeel, µ represeteert ee vast, zij het obeked, getal waarvoor me o.b.v. de steekproef (of simulatie) ee schattig wil geve. x. (1)

3 De juiste iterpretatie va (1) behoort te zij: het aldus opgestelde (betrouwbaarheids) iterval i (1) o.b.v. het steekproefgemiddelde x (e de steekproef stadaarddeviatie s) zal i 95% va de gevalle de échte verwachtigswaarde µ bevatte. Aders gesteld: bij herhaalde uitvoerig va ee dergelijke steekproef, elk met waaremige, bevat i 95 % va de gevalle het bij die steekproef behorede betrouwbaarheidsiterval zoals bove opgesteld, de echte waarde µ (zie oderstaad figuur). [ [ Experimet 1 * µ ] ] Experimet %BI B 1 95%BI B 2 Odaks deze oeigelijke (mis)iterpretatie wordt i.h.a. toch simpelweg gesproke va ee betrouwbaarheidsiterval voor µ. Ook wel kortweg aageduid met: 95%BI. Door voldoede groot te kieze (waarbij vooraf ee pilot experimet ka worde uitgevoerd om ee eerste idicatie va zowel x als s te verkrijge) ka aldus ee geweste scherpte voor het betrouwbaarheidsiterval worde verkrege. Op basis va deze (95 %) betrouwbaarheidsitervalle ka u ook aa simulatieresultate ee mate va betrouwbaarheid worde toegeked. Daarbij diet ee belagrijk oderscheid gemaakt te worde tusse MCsimulatie Logistieke (DE) Simulatie

4 I Mote Carlo simulatie I dit geval is toepassig va bovestaade betrouwbaarheidsiterval direct e 100% gerechtvaardigd. Voor elk sceario, zeg va i totaal N sceario s, va istelwaarde, voert me keer éé simulatie uit (telkes door het opieuw trekke uit de diverse beodigde verdelige). Op basis hierva stelt me voor dit sceario ee 95%BI op voor de geweste prestatie (bijvoorbeeld opbregst). Omdat de trekkige zowel bie elk va de sceario s als voor de verschillede sceario s oderlig oafhakelijk diee te worde geome, is aa de oderliggede aaame va oafhakelijkheid voldaa e zij de BI gerechtvaardigd. I oderstaad figuur is dit geschetst i het geval va éé istelwaarde, waarbij B 1, B 2,, B de 95%BI voorstelle. B 2 B 1 B N 1 2 N Istelwaarde II Logistieke (Discrete Evet) Simulatie Voor dit aamerkelijk vaker voorkomede type va computer simulatie ligt het toepasse va de stadaard statistisch gerechtvaardigde betrouwbaarheidsitervalle gecompliceerder. Er is amelijk bij ee i de tijd doorlopede simulatie gee sprake va duidelijk óafhakelijke waaremige. Als bijvoorbeeld i ee wachtrij simulatie de wachttijd va klatummer 943 groot is, mag me dit ook verwachte voor klatummer 942 of 944. Voor het opstelle va ee BI echter is de oafhakelijkheid va waaremige wezelijk. Ee specifiekere opzet voor rechtvaardigig va óafhakelijke waaremige is dus vereist. Verschillede methode zij hiertoe voor hade. Deze worde hieroder kort uiteegezet aa de had va ee wachtrij simulatie. I de eevoudigste situatie kome klate bie e sluite aa bij de rij voor het loket (of gaa direct aar het loket als deze vrij is). We zij geïteresseerd i de verwachte verblijftijd va ee klat die op ee willekeurig momet biekomt. Bij het verlate wordt daartoe de verblijftijd va de klat gemete. Duidelijk is dat de verblijftijd va ee klat sterk gecorreleerd is met zij voorgager(s) e de klate die a hem kome. De hierbove beschreve methode ka dus iet worde gebruikt. 1. Replicatie methode Bij de replicatie methode wordt ee simulatie gestart e ee vast aatal waardes va de grootheid waari we zij geïteresseerd geregistreerd. Hierva wordt het gemiddelde bepaald. Bijvoorbeeld voor ee wachtrij simulatie wordt de gemiddelde wachttijd va klate bereked. Dit levert os de eerste waaremig x 1 op. Dit proces met klate wordt keer herhaald wat leidt waaremige x 1,, x. Als u elke simulatie ru (va klate) met dezelfde startsituatie begit da zij deze waaremige oafhakelijk va elkaar e idetiek verdeeld. Het eevoudigste is het om de

5 simulatie te starte met ee leeg systeem, oftewel de eerste klat hoeft ooit te wachte. Dit heeft bovedie ee positieve ivloed op de verblijftijd va de volgede klate. De waaremige x 1,, x worde dus beïvloed door de gekoze startsituatie. Dit wordt de iitial bias geoemd. Om dit effect te vermijde worde de waarde tijdes het eerste gedeelte va de simulatieru uitgeslote i de berekeige. Dit gedeelte diet slechts ter opwarmig va de simulatie. Bijvoorbeeld i de wachtrij simulatie wordt de gemiddelde verblijftijd bepaald aaa de had va de verblijftijde va de klate 1001 tot e met De toestad waari de 1001 ste klat het systeem aatreft zal voor iedere simulatieru aders zij. Op deze maier worde waaremige x 1,, x verkrege welke oafhakelijk e represetatief zij voor het lagetermij gedrag va het simuleerde systeem. Met (1) ka aldus ee 95%BI bepaald worde voor bijvoorbeeld de verwachte verblijftijd voor het voorbeeld. 2. Batch Meas methode Bij de Batch Meas methode wordt gebruikt gemaakt va éé, maar daaretege wel lage, simulatie ru. De simulatie wordt opgedeeld i itervalle of subrus. Per iterval wordt ee gemiddelde bepaald. Voor bovestaad voorbeeld zou x 1 de gemiddelde verblijftijd va de eerste klate zij, x 2 de gemiddelde verblijftijd va klat t/m 20000, etc. Op deze wijze worde waaremige x 1,, x verkrege die ageoeg gee last hebbe va het iitial bias effect, echter de waaremige zij wel afhakelijk. Als bijvoorbeeld klat ee heel druk systeem achterlaat, zulle de eerste klate i het tweede iterval ook lage verblijftijde hebbe. Dit effect wordt uitgemiddeld als de itervalle of subrus voldoede lag zij. Met (1) wordt vervolges het 95%BI bepaald. 3. Radom Replicatie methode De Radom Replicatie methode (RRM) werkt ageoeg hetzelfde als de Replicatie methode, echter het stopmomet va elke ru is iedere keer aders. I plaats va om de klate ee ieuwe gemiddelde waaremig te bepale, stopt de simulatie a bijvoorbeeld 1 dag, 8 uur of 1 week. De gemiddelde waaremige x 1,, x zij dus telkes gebaseerd op het aatal klate dat i die periode aawezig is geweest. Dit heeft als gevolg dat de gemiddelde waaremige iet meer idetiek verdeeld zij e dus ook (1) feitelijk iet meer gebruikt mag worde, althas iet voor de gemiddelde wachttijd per klat. Het volgede getallevoorbeeld illustreert dit probleem va wissellede aatalle. Stel dat op de eerste dag 250 klate biekome e gemiddeld 6 miute moete wachte; op de tweede dag 150 klate die gemiddeld 4 miute wachte. Met de RRM zou dit ee gemiddelde wachttijd oplevere va 5 miute. De klate hebbe echter gemiddeld (240 x x 4) / 400 = 5.25 miute gewacht. M.a.w. drukke dage worde eve zwaar meegeome als rustige dage. Als de periode die i éé simulatieru wordt gesimuleerd voldoede lag is (e de gemiddelde gebaseerd zij op grote aatalle klate), da zal het effect va de wissellede aatalle miimaal zij. I dat geval zou me met (1) ee 95%BI kue bepale, maar statistisch gezie is dit iet 100% gerechtvaardigd.