Overzicht. Random nummer generatie. Waarom? Waarom? VU Numeriek Programmeren 2.5

Transcriptie

1 Overzicht Random nummer generatie VU Numeriek Programmeren 2. Charles Bos Vrije Universiteit Amsterdam A4 Waarom? U[, ]: LCG Test verdeling Transformeer naar andere verdelingen 23 april 22 /3 2/3 Waarom? Waarom? Figuur : Niet de juiste benadering Simulation (physics, arrival sequence, congestion) Sampling (use subsample instead of full population) Numerical analysis (calculate integral) Programming (check GARCH program) Decision making (future evolution) Aesthetic (computer voice + noise sounds better) Recreation (computer poker) Source: Knuth (997) 3/3 4/3

2 Het begin: RNG Linear Congruential Generators Startpunt van willekeurigheid? Een computer is exact... dus kent GEEN random getallen... maar kan enkel psuedo- random getallen genereren Waarschuwing: Check de kwaliteit van de random nummer generator (RNG) (historisch gezien zijn er zeer belabberde generatoren in omloop geweest) X n+ = (ax n + c) mod m Combineer X : De seed ( X < m) a: De multiplier ( < a < m) c: De increment ( c < m) m: De modulus ( < m), preferably large /3 6/3 LCG: Vb Neem e.g. a = 7, c =, m = 3: LCG: Vb2 Neem e.g. a =, c =, m = 3: a= 7, c=, m= a=, c=, m= Is dit random (periode, gedrag)? Is dit random (periode, gedrag)? 7/3 /3

3 LCG: Periode vs modulus LCG: Regels voor keuze Met modulus m: < X n < m, maximaal m verschillende getallen mogelijk Zodra X n = X, herhaling van zetten: Periode is n m a = 7, c =, m = 3 : Periode= 2 a =, c =, m = 3 : Periode= 4... Zeer eenvoudig fout te kiezen... Maximale periode voor LCG indien: c relatief priem t.o.v. m (dus: GGD(c, m)= ) b mod p j =, met b = a, voor iedere p j als priemfactor van m (dus m = p ν pνq q ) Als m mod 4 =, dan ook b mod 4 = Bewijs: Knuth (997), zware nummertheorie... 9/3 /3 MLCG: Eenvoudiger? MLCG: Regels voor keuze Zie voorbeeld: c = X n+ = ax n mod m geeft Multiplicative Linear Congruential Generator. Ontsnap aan X n =? Als X n mod d = en m mod d =, dan ook X n+ mod d = Periode is maximaal m (skip ), en ook maximaal φ(m) = {aantal integers tussen en m die relatief priem zijn t.o.v. m}. Voor maximale periode, kies. X relatief priem t.o.v. m 2. a is een primitief element modulo n In simpeler taal (Lehmer 9): Kies m een priemgetal, en a ook een priemgetal, en hoop dan dat het goed zit... Oftewel: Test... (zie later) /3 2/3

4 LCG: Enkele keuzes LCG: RandU RandU: Standaard keuze op IBM mainframes in jaren 6. a c m 7 3 Vb 3 Vb2 639 = IBM RandU BAD 7 = Park and Miller (9) MacLaren/Marsaglia, Knuth (997, 3.3. Generator B) See note in LATEX. u(n+2) u(n+) u(n).7..9 Ziet er redelijk uit 3/3 4/3 u(n+2) LCG: RandU probleem.9. Intermezzo: N R [, ].7.6. u(n+) u(n).9 X n+ = ( )X n mod 2 3 X n+2 = ( ) 2 X n mod 2 3 = ( )X n mod 2 3 = ( )X n mod 2 3 = (6( ) 9)X n mod 2 3 = 6X n+ 9X n mod 2 3 Strikte, directe relatie tussen drie opeenvolgende punten... Of Huidige toch LCG s niet (view= samplen,32)? X n {,,..., m } Gezocht: U n [, ] Verschil? u n = m X n m X n m 2 (X n ) /3 6/3

5 Shuffling Tests Doorbreek de eventuele regelmaat van de LCG via. Initialiseer T j = U j (j =,..., 2) 2. Genereer U n, V n, en bereken j n = (2 3 V n 2 23 ) + (om de eerste bits van V n te gebruiken) 3. Retourneer X n = T jn 4. Vervangt T jn = U n Opmerking: Gebruik evt twee verschillende LCG s Of gebruik V n = U n, maar enkele rij random getallen nodig. Test of de RNG goed werkt: Correcte verdeling over gebieden, Pearson s χ 2 goodness-of-fit Correcte cumulatieve verdelingsfunctie, Kolmogorov-Smirnov toets Duur buiten regio, gap-toets 7/3 /3 Tests: Pearson s χ 2 Tests: Pearson s χ 2 II P( i d U < i d ) = d = p Z in = I i i+ Un< d d E(Z in ) = p i =,..., d Z i Z in n d (Z i np) 2 C (= (O i E i ) 2 ) a χ 2 d np E i i=.2 a= 639, c=, m= , s= Chi2 rejects.47, r=, s= /3 2/3

6 Tests: Kolmogorov-Smirnov { i D n = sup F n (y) F (y) = max y n F (Y (i)), F (Y (i) lim P(n 2 Dn t) = 2 ( ) j+ e 2t2 j 2 2π n t. j= (i ) n j= P( nd n.3) =.9 P( nd n.62) =.99 n /2 KS=.774 }, e (2j )2 π 2 t 2. Andere verdelingen. Inverse CDF 2. Accept/reject (zie simulatie-technieken) 3. DGP, construerende formule 4. Specifiek/statistisch /3 22/3 Ad : Inverse CDF Gegeven u U[, ], en CDF F (X ), gezocht een trekking X uit deze verdeling. X F (U) F (x) = P(X x) = P(F (U) x) = P(F (F (U)) F (x)) = P(U F (x)) = F (x) Vb, exponentiele verdeling X exp(λ): F (X ) = exp( λx ) = U Inverse CDF: voor/nadelen Voor: Conceptueel eenvoudig Na: Enkele te gebruiken als F (U) te herleiden is Risico van numerieke problemen is groot F (U) voor veel problemen erg (te) langzaam X = log( U) λ 23/3 24/3

7 Ad 2: Accept/reject Zie simulatie-technieken Gegeven: X G(x), gezocht Y F (x), en je weet dat βf (x) g(x). Dan:. Neem X G(x) (evt via inverse CDF) 2. Genereer U U[, ] 3. Bereken α = begin opnieuw. βf (x) g(x) ; als U < α, accepteer dan X, zo niet, Ad 4: Normaal, Box-Muller Normaal: Inverse CDF niet bekend, of te langzaam... Gebruik een specifiek/statistische methode Oftewel: (X, X 2 ) N (, ) R 2 = X 2 + X 2 2 χ 2 2 exp( 2 ) cos θ = X R sin θ = X 2 R. Genereer R 2 exp( 2 ) via U U(, ), R 2 = 2 log( U ) 2. Genereer θ U(, 2π) via U 2 U(, ), θ = 2πU 2 3. Construeer X = R cos θ, X 2 = R sin θ en je hebt twee trekkingen uit standaard normaal... 2/3 26/3 Ad 3: Student-t Student-t II Dus Z i N (, ) ν Sν 2 = χ 2 ν i= Z 2 i t = Z S 2 ν /ν t ν i =,,..., ν Genereer een stapel normalen via de Box-Muller methode Combineer ze tot de Student-t trekking Efficienter: Zi 2 + Zi+ 2 = S 2 2 = 2 log( U) exp( 2 ) ( uniform ipv 2 normalen) 27/3 Echter: Nog steeds niet slim genoeg, zeker als k groot. Beter: Zie Monahan (2). NB: Algemeen probleem, algoritmen die goed werken voor sommige keuzes van parameters... Kan geen ν = 4.2 aan, alleen integers (evt accept/reject?) 2/3

8 Discrete verdelingen Vak apart. In het algemeen: gebruik inverse bouw ze op uit Bernoulli s of breng ze anderszins terug tot simpeler verdelingen? 29/3 Terugblik Wat hebben we gedaan? U(, ): Veel detail, extreem belangrijk in de praktijk Tests: Veel RNGs zijn fout... Andere verdelingen Huiswerk & practicum: Bestudeer slides Bouw een LCG, voor de Vb en MacLaren/Marsaglia methode Gebruik deze voor het genereren van trekkingen uit de standaard normale verdeling (evt, als het soepel gaat:) Bereken de Pearson toets, bekijk of in de decielen van de normale verdeling (vq= range(, 9)/; vqq= quann(vq);) voldoende massa ontvangen. Volgende sessies: Woensdag 2/4 (prakticum), maandag 3/4 valt uit, woensdag 2/ slaan we over, maandag 9/ gaan we verder met optimalisatie. 3/3 Bibliography Knuth, D. E. (997). The Art of Computer Programming (2 ed.), Volume 2: Seminumerical Algorithms. Addison-Wesley. Lehmer, D. H. (9). Mathematical methods in large-scale computing units. Annals of the Computation Laboratory of Harvard University 26, Monahan, J. F. (2). Numerical Methods of Statistics. Cambridge series on statistical and probabilistic mathematics. Cambridge: Cambridge University Press. Park, S. K. and K. W. Miller (9). Random number generators: Good ones are hard to find. Communications of the ACM 3(), /3