Schattingsmethodieken

Transcriptie

1 1/38 Schattingsmethodieken VU Numeriek Programmeren 2.5 Charles Bos Vrije Universiteit Amsterdam 1A40 6 mei 2013

2 2/38 Overzicht W4: NR en co W4: Conditionering optimum, scaling Basis-intro maximum likelihood Precisie optimum Delta methode

3 3/38 Methoden voor optimalisatie II Startpunt k = 0, x (k). Kies telkens richting s en afstand u, en itereer: x (k+1) = x (k) + h h = us 1. Steepest Descent: s = g. Pro: Simpel, direct; Con: Langzaam, lokaal alleen eerste afgeleide 2. Newton Raphson: Hs = g s = H 1 g. Pro: Sneller, vorm H telt mee; Con: Tweede afgeleide nodig, H pos. def.? 3. Andere opties?

4 4/38 SD & Newton-Raphson h NR = -H -1 g h SD = -g Zie verschil. Zoek optimale u?

5 Alternatieven: Levenberg-Marquardt { (H + νi )s = g, s = (H + νi ) 1 snr ν 0 g = ν 1 ν h SD h NR = -H -1 g h LM (ν) h SD = -g Optimale u, ν? Lastige zoektocht (H + νi ) /38

6 6/38 Alternatieven: Powell h(ν, µ) = νµh SD + (1 ν)h NR h P (ν, µ) h P (ν=1, µ) h NR = -H -1 g= h P (ν=0, µ) -2.5 h SD = -g Optimale u, ν, µ?

7 7/38 Alternatieven: DFP/BFGS Bovenstaande algoritmen hebben H (k) = f (x (k) ) nodig. Problematisch: Afgeleide nemen niet stabiel Veel functie-evaluaties nodig H niet gegarandeerd positief definiet Probleem zit m in stap s = H 1 g Vervang H (k) 1 door M k, positief definiet per definitie?

8 BFGS/DFP II Broyden, Fletcher, Goldfarb en Shanno (BFGS, zet θ = 1), maar ook Davison, Fletcher en Powell (DFP, θ = 0) verzonnen truc: 1. Start met k = 0 en positief definiete M k, e.g. M = I 2. Bereken s k = M k g k, met g k = f (x (k) ) 3. Vind nieuwe x (k+1) = x (k) + h k, h k = us k 4. Bereken, met q k = g k+1 g k ( M k+1 = M k θ q k M ) kq k hk h k h k q k h k q 1 θ k q k M M k q k q k kq M k k θ ( h k q hk q k M k + M k q k h k) k Opm: Monahan (2011, 8.7) vindt update voor H, niet H 1. Secant-update, theorie niet behandeld. 8/38

9 BFGS/DFP III M k+1 = F(M k, x (k), x (k+1), f (x (k) ), f (x (k+1) ), θ) Resultaat van moeilijke formule: Geen Hessiaan meer nodig, alleen gradient Nog steeds goede convergentie (M k H (k) na veel stappen, vergelijkbaar gedrag) Geen problemen met niet positief-definiete matrices (Liefst natuurlijk analytische gradient, niet numeriek) MaxBFGS in Ox, vergelijkbare functies in Matlab. Waarschuwing: M k H (k) 1, maar gebruik NOOIT M k in plaats van H 1 voor berekening Σ... (ook al beweert Monahan (2011) het tegenovergestelde) 9/38

10 10/38 Conditionering Theorem (T8.6) Als f (x), f (x) en f (x) continu zijn op een gebied S, dan is er een t = αx + (1 α)y, 0 α 1, z.d.d. f (x) = f (y) + (x y) T f (y) (x y)f (t)(x y) Kies x = argmin x f (x), f (x ) = 0, en neem x = x + h = x + u d, d = 1, voor kleine u, dan geldt f (x + h) f (x ) 1 2 ht Hh H = f (x ) Wanneer is x minimum? Als f (x +h) f (x ) > h Hh > 0 H positief definiet

11 11/38 Hessiaan Blijkbaar bepaalt H of een stationair punt een minimum, maximum of zadelpunt is hoe duidelijk het optimum is (hoe groot is f (x + h) f (x ) voor kleine h?) En die duidelijkheid hangt af van de richting: 1 2 ht Hh = 1 2 u2 d T H d. H symmetrisch, is positief definiet als 1. x Hx > 0, x 0 2. Alle eigenwaarden van H positief 3. (Alle hoofdminoren van H positief) 4. Alle pivots bij Gauss-eliminatie (zonder rijverwisseling) zijn positief 5. H = CC, met C de Cholesky decompositie, en c ii > 0

12 12/38 Hessiaan: Rosenbrock f (x) = 100 (x 2 x1 2 ) 2 + (1 x 1 ) 2 ( f 400x1 (x (x) = 2 x1 2) 2(1 x ) 1) 200(x 2 x1 2 ( ) ) f 1200x 2 (x) = 1 400x x 1 400x ( ) f (x 1 ) = f = 0 1 ( ) f (x 0 ) = 0 ( ) f (x ) = c= f(x+h)-f(x)= 0.5 h T H h f (x + h) f (x) + h f (x) h f (x)h 1.5 f (x + h) f (x ) 1 2 h Hh eig(h) = {1001.6, } eig(h H) = { , } κ 2 (H) = λ n,h H λ n,h H 1 = λ n,h H / λ 1,H H =

13 13/38 Hessiaan en schaling Als H deficient (eigenwaarde=0), dan geen oplossing Als H bijna deficient, dan weinig precisie in de richting van de betreffende eigenvector Soms werkt herschalen: y = Cx = argmin f y (y) = C argmin f x (C 1 Cx), Hessiaan H y = C 1 H x C 1 Vaker werkt reparametriseren, y = g(x), optimaliseer y. E.g.: Bedenk of je σ of σ 2 optimaliseert. f (x) f (x + h) moet niet te dicht bij de machine-precisie komen. Zorg dat f (x) redelijk van niveau is (optimaliseer log L(x + h; θ) ipv log L(x + h; θ)).

14 14/38 Conditionering van optimum Startpunt: Algemene kwadratische functie f (x) = f (x ) + (x x ) f (x ) (x x ) 2 f (x )(x x ) of, zbda optimum x 0, f (x ) 0: f (x) = 1 2 x 2 f (x )x = 1 2 x Hx

15 Kwantificering convergentie (steilste afdaling) Stelling: 1. Voor f (x) een kwadratische functie, met uniek minimum x, convergeert de afdalingsmethode, onafhankelijk van het startpunt. 2. Er geldt: ( ) f (x (k+1) λ1 λ 2 n ) f (x (k) ), λ i = eigen λ 1 + λ i (H) n 3. De convergentiefactor ( x (k+1) x ρ = lim k x (k) x min 1, ( ) 1 λ1 λ n ( ) ) 2 λ 1 λ n λ 1 + λ n Merk op: Convergentie-factor conditie-getal! 15/38

16 16/38 SD, stelling 2 x = a i v i v i v i = 1 v i v j = 0 x (k+1) sd = x (k) u (k) f (x (k) ) Orthonormale e.v., H pos. def. f (x) Hx = x (k) u (k) Hx (k) = (I u (k) H)x (k) = a i (1 u (k) λ i )v i ( f (x (k+1) ) = f (I u (k) H)x (k)) f ((I uh) x (k) ) Dus ( ) f (x (k+1) ) f ai (1 uλ i )v i = 1 a i a j (1 uλ i )(1 uλ j )v i Hv j 2 i j

17 17/38 Merk op, wegens orthonormaliteit van v i, v j : Dus { v i Hv j = v i λi i = j λ j v j = 0 anders f (x (k+1) ) 1 ai 2 (1 uλ i ) 2 λ i, f (x (k) ) = 1 ai 2 λ i 2 2 i ( ) 2 Neem u = 2 λ 1 +λ n (1 uλ i ) 2 µ 2 = λ1 λ n λ 1 +λ n < 1, dan i ( ) f (x (k+1) λ1 λ 2 n ) f (x (k) ). λ 1 + λ n (= deel 2 van de stelling)

18 18/38 Terug naar praktijk Werkcollege/opgave: Gezocht: θ = argmax θ f (y; θ) waarbij Wat deden we hier? y = y 1,..., y n θ = (φ, ϑ, σ)

19 19/38 Data 15 y 1 ACF y Vergelijk e.g. maandelijkse inflatie Huidige maand heeft sterk te maken met vorige maand, er zit systeem in Hoe kunnen we dat systeem beschrijven? Model schatten

20 20/38 Functie GenrData GenrData ( const avy, const vp, const in, const iseed ) { decl dphi, dtheta, ds, ve, i; } GetPars (& dphi, &dtheta, &ds, vp ); ranseed ( iseed ); avy [0]= ve= ds* rann (1, in ); for (i= 1; i < in; ++i) avy [0][ i]= dphi * avy [0][i -1] + ve[i] + dtheta * ve[i -1]; return! ismissing (avy [0]); Wat staat hier? ɛ i N (0, σ 2 ), i = 0,..., n 1, y 0 = ɛ 0, y i = φy i 1 + ɛ i + ϑɛ i 1, i = 1,..., n 1 of: y ARMA(1, 1) met parameters θ = (φ, ϑ, σ).

21 21/38 Input/Output Input: y i, i = 0,..., n 1, 100 data punten/waarnemingen/inflatie-cijfers Model-specificatie: Wat zou de relatie kunnen zijn? y ARMA(1, 1)

22 21/38 Input/Output Input: y i, i = 0,..., n 1, 100 data punten/waarnemingen/inflatie-cijfers Model-specificatie: Wat zou de relatie kunnen zijn? Output: y ARMA(1, 1) Schatting van parameters θ = (φ, ϑ, σ), wat past het beste bij de data Onzekerheid van parameters Σ(θ) (e.g: Als n groot, meer duidelijkheid over parameters?) Andere test grootheden? (e.g: Past het veronderstelde model wel echt bij de data?)

23 21/38 Input/Output Input: y i, i = 0,..., n 1, 100 data punten/waarnemingen/inflatie-cijfers Model-specificatie: Wat zou de relatie kunnen zijn? Output: y ARMA(1, 1) Schatting van parameters θ = (φ, ϑ, σ), wat past het beste bij de data Onzekerheid van parameters Σ(θ) (e.g: Als n groot, meer duidelijkheid over parameters?) Andere test grootheden? (e.g: Past het veronderstelde model wel echt bij de data?) Econometrie!

24 22/38 Schatten: Methoden Basis-methoden voor schatten: 1. Maximum likelihood (Monahan 2011, Ch 9) 1.1 Full likelihood 1.2 Concentrated likelihood 1.3 Expectation-Maximization 1.4 (Generalized/simulated) method of moments 1.5 Simulated/Importance sampling Maximum Likelihood Bayesiaanse schattingsmethodiek via Markov chain Monte Carlo (Monahan 2011, Ch 13) 2.1 Gibbs sampling 2.2 Metropolis-Hastings

25 23/38 Schatten: Methoden (vandaag) Vandaag basis-elementen van: 1. Maximum likelihood (Monahan 2011, Ch 9) 1.1 Full likelihood 1.2 Concentrated likelihood 1.3 Expectation-Maximization 1.4 (Generalized/simulated) method of moments 1.5 Simulated/Importance sampling Maximum Likelihood Bayesiaanse schattingsmethodiek via Markov chain Monte Carlo (Monahan 2011, Ch 13) 2.1 Gibbs sampling (?) 2.2 Metropolis-Hastings

26 24/38 ML: Simpel model + notatie Model (specifiek): y N (µ, σ 2 ) ( ) 1 f (y θ) = exp (y µ)2 2πσ 2 2σ 2 DGP Dichtheid Notatie (algemeen): n L n (θ) = f (Y i θ) i=1 l n (θ) = log L n (θ) = log f (Y i θ) E θ log f (Y θ) l (θ) ˆθ n = argmax θ l n (θ) Likelihood Log-likelihood Verwachte loglikelihood ML schatter

27 25/38 ML: Waarom werkt dit? f log f log g Lemma (L9.1) E f (log g(y)) = (log g)f (y)dy (log f )f (y)dy = E f (log f (y)) (log f is hoog daar waar f (y) hoog, dus hoogste verwachting)

28 26/38 ML: Waarom II Gevolg lemma: l (θ) l (θ ) of: Willekeurige θ geeft nooit een betere loglikelihood dan echte parameters θ, naar verwachting Wet van de grote aantallen: 1 n l n(θ) LLN E θ (log f (Y θ)) l (θ) = log f (y θ)f (y θ )dy Dus: maximale waarde voor l n (θ) zou overeen moeten komen, voor grote n, met n l (θ ), dus ˆθ θ.

29 27/38 ML: Ex 9.1 Stel y N (µ, σ 2 ). 1. Wat is l (θ) = l (µ, σ 2 )? 2. Wanneer is l (θ) maximaal?

30 27/38 ML: Ex 9.1 Stel y N (µ, σ 2 ). 1. Wat is l (θ) = l (µ, σ 2 )? 2. Wanneer is l (θ) maximaal? Ad 1. Ad 2. l (θ) = E ( 12 log 2π 12 log σ2 ) (y µ)2 2σ 2 = 1 2 log 2π 1 2 log σ2 σ 2 + (µ µ ) 2 2σ 2 l (θ) = 0 θ = (µ, σ 2 )

31 28/38 ML: Condities (versimpeld...) A.0 Y i zijn onafhankelijk en gelijkverdeeld A.1 Y volgt een continue of discrete verdeling (geen mix) A.2 Θ R p is gesloten/begrensd (geen rare verdeling van het gebied met toegelaten parameterwaarden) A.3 θ is geidentificeerd (dwz, er moet een set waarnemingen kunnen zijn waarbij de likelihood verschilt tussen θ 1 en θ 2 ) A.4 E( log f (Y θ ) ) < en E((log f (Y θ) + ) <, verwachting van de (absolute, of positieve) loglikelihood bestaat. A.5 Likelihood is continu in θ: lim θj θ f (y θ j ) = f (y θ)

32 28/38 ML: Condities (versimpeld...) A.0 Y i zijn onafhankelijk en gelijkverdeeld A.1 Y volgt een continue of discrete verdeling (geen mix) A.2 Θ R p is gesloten/begrensd (geen rare verdeling van het gebied met toegelaten parameterwaarden) A.3 θ is geidentificeerd (dwz, er moet een set waarnemingen kunnen zijn waarbij de likelihood verschilt tussen θ 1 en θ 2 ) A.4 E( log f (Y θ ) ) < en E((log f (Y θ) + ) <, verwachting van de (absolute, of positieve) loglikelihood bestaat. A.5 Likelihood is continu in θ: lim θj θ f (y θ j ) = f (y θ) In enigszins normale situaties geen probleem...

33 29/38 ML: Verdeling Theorem (T9.2) Als aan A.1-A.5 voldaan wordt, dan geldt asymptotisch dat n(ˆθ n θ ) a N ( 0, J(θ ) 1) J(θ) = var θ ( log f (Y θ)) H n (θ) = 2 l n (θ) 1 n H n(θ) as H(θ) J(θ) Information matrix (Sample) Hessian Inf. matrix equality In de praktijk (sloppy notatie): ˆθ n a N ( θ, H n (ˆθ n ) 1)

34 30/38 ML: Wat kan er fout gaan? Afhankelijkheid tussen de Y i : Kijk naar conditionele likelihoods, f (y i y i 1, θ), die zijn vaak wel onafhankelijk Geen gladde afgeleides: Gebruik geen Newton-Raphson Compactheid van parameter-gebied: Vaak geen echt probleem, of transformeer. Schaling: Theorie gaat over l n (θ), H n (θ), en die kunnen groot/klein worden als n groot. Optimaliseer 1 n l n(θ), herschaal H n (θ) Andere pitfalls bij optimalisatie?

35 31/38 Precisie van optimum 0 LL, n=10 x σ 0 LL, n=100 x σ Precisie van optimum: Hangt niet af van gradient Hangt af van tweede afgeleide Hessiaan: H(θ) = d 2 log L(y; θ) dθ Welke waarde van H(θ) geeft exact optimum? (+/-, groot/klein?)

36 Precisie van optimum II (Enkel voor log-likelihood functie) H(θ) = d 2 log L(y; θ) dθ 2 Hessiaan I (θ) = H(θ) Informatie matrix Σ(θ) [I (θ)] 1 Covariantie matrix Log likelihood Hessiaan Informatie matrix cov. matrix 0 Gemiddelde LL x σ 0 LL, n=100 x σ (In praktijk: Optimaliseer f (θ) = 1 N log L(y; θ); maar bepaal H(θ) = d 2 log L(y; θ)/dθ 2 = Nd 2 f (θ)/dθ 2 ) 32/38

37 Precisie van optimum III Wat gebeurt er met een transformatie? Voordeel: γ = log σ exp(γ) = σ g(γ) < γ < 0 < σ < n log Likl(y; β, σ) = 1 2 log(2π) log σ (y i β) 2 2σ 2 log Likl(y; β, γ) = i=1 n i=1 1 2 log(2π) γ (y i β) 2 2 exp(2γ) Kunt rustig optimaliseren, geen grenzen aan gebied Soms meer parabolisch? Nadeel: Wat betekent Σ(γ)? 33/38

38 Precisie IV: Delta-methode Taylor-expansie: var(ˆθ ) ( NH f (ˆθ )) 1 = ( H ln (ˆθ )) 1 θ = g(θ ) g(θ 0 ) + g (θ 0 )(θ θ 0 ) = g(θ 0 ) + D(θ 0 )(θ θ 0 ) var(ˆθ) D(ˆθ ) var(ˆθ )D T (ˆθ ) In tekst: Bepaal variantie van θ, getransformeerde parameters Bepaal Jacobiaan D(θ ) van (terug!-)transformatie, D(ˆθ ) = g (ˆθ ) = g(θ ) (θ ) T θ =ˆθ Bepaal variantie van ˆθ, door var(ˆθ ) voor en na te vermenigvuldigen met J(ˆθ ) en J T (ˆθ ) 34/38

39 35/38 Precisie IV: Ex Delta-methode E.g. limiteer µ (0, 1), σ > 0, bij normale model: θ = ( ) µ (0, 1) (0, ) θ = σ ) θ = g(θ ) = D(θ ) = g (θ ) = ( exp(µ ) 1+exp(µ ) exp(σ ) ( exp(µ ) 0 (1+exp(µ )) 2 0 exp(σ ) Twee keuzes voor optimalisaties... ) ( ) ( µ log µ σ = 1 µ log σ ) R 2

40 36/38 Twee keuzes: Parameter θ θ Init θ 0 Optim ˆθ = argmaxθ f (θ) θ 0 = g 1 (θ 0 ) = argmax θ f (θ ) Restr θ (0, 1) (0, ) θ (, ) ( infty, ) Post-estim - ˆθ = g(ˆθ ) Σ(ˆθ) H 1 l (ˆθ) D(ˆθ ) [ H 1 l (ˆθ ) ] D T (ˆθ ) σ µ σ µ +

41 Terugblik Wat hebben we gedaan? W4: NR en co W4: Conditionering optimum, scaling Basis-intro maximum likelihood Precisie optimum Delta methode Huiswerk & practicum: Bouw een TransParBack(const avp, const vptr) en TransPar(const avptr, const vp) functie, om restricties van W4 te implementeren. Controleer de restricties. Optimaliseer met je eigen OptimNR de functie, nu ook met getransformeerde parameters. Lukt het? Bereken de covariantie-matrix van de parameters Σ(ˆθ). Denk na over BFGS: Kun je de BFGS update op gang krijgen? Werkt dit inderdaad beter? 37/38

42 38/38 Bibliography Monahan, J. F. (2011). Numerical Methods of Statistics (2 ed.). Cambridge series on statistical and probabilistic mathematics. Cambridge: Cambridge University Press.