Oriëntatie Econometrie Tijdreeksmodellen en Voorspellen. Marius Ooms. 23 April 2002, Amsterdam

Transcriptie

1 Oriëntatie Econometrie Tijdreeksmodellen en Voorspellen Marius Ooms 23 April 2002, Amsterdam Carlson and Thorne (1997) Multiple Regression Key Ideas: 15.1, 15.2, 15.10, 15.14, 15.17, 15.19, Ch : Regression Model development Ch : Time Series and Forecasting

2 * Vrije Universiteit Amsterdam, 2

3 Programma Motivatie Multipele Regressie in Vogelvlucht Doelen regressiemodel Model, toetsen totale model Conditionele toetsen voor afzonderlijke coëfficiënten Toepassingen Multipele Regressie Kwadratische functies en polynomen Dummy-variabelen en seizoensdummy s Analyse van de residuen Modelontwikkeling multipele regressie Voorspellen Tijdreeksgrafieken en spreidingdiagrammen Stabiele patronen en relaties Evaluatie voorspellingen 1

4 Niet-stochastische structurele Tijdreekscomponenten (Lineaire) Trends (polynoom van tijdvariabele X) (Sinusoïdale) Cycli Seizoencomponenten (Seizoendummy s) Stochastische componenten, statistische modellen (H 0 ) Witte ruis (irregulier zonder correlatie met verleden) Stochastische trend componenten) Stochastische Wandeling: Random Walk (veranderingen zonder correlatie met verleden) Random Walk + ruis (behorend bij Exponentiële Vereffeningsmethode) Stochastische Cycli : AutoRegressief model Stochastische Seizoencomponent: SeizoensAutoRegressief Model 2

5 Één-staps-vooruit-Voorspelrecepten Regressievoor- Niet-stochastische componenten: spellingen Witte ruis: onvoorspelbaar Random Walk (RW): veranderingen onvoorspelbaar Random Walk + ruis: Exponentiële vereffening (Seizoens-)Autoregressie: Regressievoorspellingen 3

6 Multipele Regressie in Vogelvlucht Doelen regressiemodel (Beste) Lineaire voorspelling afhankelijke variabele Y gegeven k onafhankelijke variabelen Bepalen van marginale bijdragen van iedere onafhankelijke variabele (partiële afgeleiden) Normaal Lineair Regressiemodel Y = β 0 + β 1 X 1 + β 2 X β k X k + ε X-en zijn niet-stochastisch, ε N(0, σ 2 ε), σ 2 ε constant, εs onafhankelijk van elkaar (en van X-en) 4

7 Algehele F -toets: 1. H 0 : β 1 =β 2 =... =β k = 0 in normaal lineair regressie model 2. H 1 : β j 0, voor minstens één j 3. Significantieniveau α (kans op ten onrechte verwerpen H 0 ) 4. Toetsstatistiek F = RSS/k ESS/(n k 1) 5. Verdeling F onder H 0 : F F k,n k 1, verdeling p-waarde van F onder H 0 : p F Uniform(0,1). (p F =1-@cfdist(F,k,n-k-1)) 6. Kritieke gebied F : Verwerp H 0 voor F > F c. Kritiek gebied p F : Verwerp H 0 voor p F < α 7. Conclusie verwerp H 0 : geen significante verklaring door X-en als RSS groot t.o.v. ESS, als F groot en als p F klein. 5

8 Conditionele toetsen voor afzonderlijke coëfficiënten 1. H 0 : β j = 0 β l 0, j l in normaal lineair regressie model 2. H 1 : β j 0 β l 0, j l 3. Significantieniveau α (kans op ten onrechte verwerpen H 0 ) 4. Toetsstatistiek t = β j S βj, of t 5. Verdeling t onder H 0 : t t n k 1, verdeling p- waarde van t onder H 0 : p t Uniform(0,1). (p t =2*(1-@ctdist(abs(t),n-k-1))) 6. Kritieke gebied t : Verwerp H 0 voor t > t c. Kritiek gebied p t : Verwerp H 0 voor p t < α 7. Conclusie verwerp H 0 : geen significante marginale bijdrage door X j als β 1 groot t.o.v. S βj, als t groot, als p t < α 6

9 Toepassingen Multipele Regressie Kwadratische functies en polynomen Y = β 0 + β 1 X 1 + β 2 X ε Dummy-variabelen: gecentreerde seizoendummy s kwartaaldata Y =γ 0 + γ 2 X 2 + γ 3 X 3 + γ 4 X 4 + ε K1 : γ 0 + γ 2 ( 1/4) + γ 3 ( 1/4) + γ 4 ( 1/4) K2 : γ 0 + γ 2 (3/4) + γ 3 ( 1/4) + γ 4 ( 1/4) K3 : γ 0 + γ 2 ( 1/4) + γ 3 (3/4) + γ 4 ( 1/4) K4 : γ 0 + γ 2 ( 1/4) + γ 3 ( 1/4) + γ 4 (3/4) Verschil met standaard-seizoendummy s: (K1+K2+K3+K4)/4 γ 0 : gemiddelde van Y over een jaar Analyse van de residuen Controleer op aan/afwezigheid systematiek (voorspelbaarheid), uitschieters 7

10 Stochastische componenten, statistische modellen (H 0 Witte ruis (onvoorspelbare component) ε t = u t, E(u t ) = 0, E(u 2 t) = σ 2 u, E(u t u t k ) = 0, k 0 Stochastische Wandeling: Random Walk ε t = t i=1 ε t ε t 1 = ε t =u t onvoorspelbaar, want ongecorreleerd met verleden. u i Random Walk + witte ruis t ε t = u i + v t i=1 u t en v t allebei witte ruis, onderling onafhankelijk. ε t =u t + v t v t 1 wel voorspelbaar, waarom? Stochastische Cycli of Seizoen: AutoRegressief model u t witte ruis ε t = β 1 ε t 1 + β 2 ε t 2 + u t 8

11 Één-staps-vooruit-Voorspelrecepten Niet-stochastische componenten: Regressie Witte ruis ê t+1,f = 0 Random Walk (RW): veranderingen onvoorspelbaar ê t+1,f ε t = 0, ê t+1,f = ε t Random Walk + ruis: Exponentiële vereffening ê t+1,f = αε t + (1 α)ê t,f Correctie van vorige voorspelling met voorspelfout als α > 0 ê t+1,f = ê t,f α(ê t,f ε t ) Verandering voorspelbaar als α < 1 ê t+1,f ε t = (α 1)(ε t ê t,f ) Exponentieel gewogen gemiddelde van verleden ε t ê t+1,f = αε t + (1 α)(αε t 1 + (1 α)ê t 1,F ) (Seizoens-)Autoregressie: Regressievoorspellingen ê t+1,f = β 1 ε t + β 2 ε t 1 9

12 Evaluatie Voorspellingen Wortel van gemiddelde kwadratische voorspelfout RMSE = ( T t=1 (Y t Ŷt) 2 T ) 1/2 Gemiddelde voorspelfout MD = T t=1 (Y t Ŷt) T 10