Overzicht. Eigenwaarden. Beurzen en afhankelijkheid. Eigenwaarden: Intro

Transcriptie

1 Overzicht Eigenwaarden VU Numeriek Programmeren. Charles Bos Vrije Universiteit Amsterdam A april Waarom? Voorbeelden Eigenwaarden/eigenvectoren Hoe vind ik ze? Polynoom Powermethode Andere methodes Terugblik & Huiswerk /3 /3 Eigenwaarden: Intro Beurzen en afhankelijkheid 7 FRCAC 3 Basis formule: A v = λv v R n \ A R n n Beschrijf A via z n eigenvectoren v eigenwaarden λ Maar eerst: Waarom? 9 9 AMSTEOE x FRCAC FTSE x FRCAC AMSTEOE FTSE x AMSTEOE FTSE LUXGENI x FRCAC LUXGENI x AMSTEOE LUXGENI x FTSE 8 LUXGENI / /3

2 Beurzen: Correlaties, eigenwaardes, eigenvectoren Waarom? PCA v x v v3 x v Eigenvectoren, geschaald naar eigenwaardes Correlatie Fr NL UK Lux FRCAC AMSTEOE FTSE LUXGENI Eigenwaarden λ λ λ 3 λ Eigenvectoren v v v 3 v Principale componenten analyse Bekijk in welke richting de meest belangrijke eigenvectoren van een variantie-covariantie matrix liggen. Hoeveel eigenvectoren beschrijven de matrix? Zijn er richtingen die nauwelijks van belang zijn? Herinner je de bivariaat normale verdeling: Genereer trekkingen Y uit Y = µ + C X N (µ, Σ), µ = Zie plaatje op volgende slide ( ), Σ = ( ).9.9 /3 /3 PCA: Bivariaat normaal y y Wat gebeurt er hier? ( ) ( ) Σ = ˆΣ = ( ) ( ) ( ) ( ) λ.9 ( ) C = = v v = λ PCA: Bivariaat normaal, minder correlatie y y Wat gebeurt er nu, met minder correlatie? ( ) ( ) Σ = ˆΣ =...73 ( ) ( ) ( ) ( ) λ. ( ) C = = v v = λ 7/3 8/3

3 Check eigenwaarde A v = λv Merk op: ( ).9 A = Σ =.9 (.9.9 λ =.9 v = ) ( ) = ( ) ( ).9 =.9.9 ( ) Eigenvector geeft richting aan; als v een eigenvector, dan ook αv Werkt alleen voor vierkante matrices A A hoeft niet symmetrisch te zijn Eigenwaarden en vectoren kunnen irreeel zijn Irreeele eigenwaarden # include <oxstd.h> main () { decl ma, ir, veigw, meigv ; } ma= <-,, -7, -; -, 8,, ;, -3, -3, -8; -,,, -8>; ir= eigen (ma, &veigw, & meigv ); print (" Eigenvalues : ", "%r", {" real ", " imag "}, veigw ); print (" Eigenvectors ( first real, then imag ): ", meigv ); Eigenvalues: real imag Eigenvectors (first real, then imag): /3 /3 Definities Definities II σ(a) = λ,..., λ n Spectrum E(λ) = v i λ i = λ Eigenruimte voor eigenwaarde λ m(λ) = dim(e(λ)) Meetkundige multipliciteit, dimensie eigenruimte Twee verschillende eigenwaardes twee verschillende eigenruimtes A = T A S Equivalent A = T A Rij-equivalent (S I) E.g. A = L U A en U rij-equivalent A = T A T Gelijkvormig (σ(a) = σ(a )) D = T A T Diagonaliseerbaar Eenvoudige structuur: A heeft n lineair onafhankelijke eigenvectoren Eenvoudige structuur Diagonaliseerbaar. Iedere reele symmetrische matrix heeft reele eigenwaarden, en onafhankelijke eigenvectoren. Als A X = λx en A regulier (ie inverteerbaar), dan ook A X = λ X, oftewel λ σ(a) λ σ(a ) 3. n Z : A X = λx A n X = λ n X en dus ook p(a)x = p(λ)x, met p(x) een polynoom. /3 /3

4 Berekening eigenwaarden A v = λv (A v λv) = (A λ I)v = Z v = det(z) = det(a λ I) = Polynoom in λ van orde n: Vind n oplossingen... #λ i = λ Algebraische meervoudigheid van λ Voorbeeld a a λ A = a A λ I = a λ a a λ det(a λi ) = (a λ) 3 = Oftewel λ = a is een (algebraisch drievoudige) oplossing. Welke eigenvectoren horen bij deze λ? (A λi )v = : x v = v = 3/3 Ergo: Ruimte van eigenvectoren is (meetkundig) enkelvoudig, eendimensionale ruimte. /3 Methoden. Polynoom oplossen (simpel als n =, niet leuk daarboven zonder computer). Power methode 3. Gelijkvormigheidstransformaties (niet behandeld). QR decompositie (niet behandeld). Verschuivingen Polynoom Het karakteristieke polynoom is p(λ) = det(a λ I) = a λ n a n λ + a n = n (λ λ i ) Dus om het karakteristieke polynoom te vinden:. Vind de eigenwaardes λ i, i =,.., n (ir= eigen(ma, &vl, &mv)). Bouw het polynoom en werk de haakjes weg va= polymake(vl); // Bouw polynoom obv wortels NB: Soms wordt polynoom in inverse wortels, x = λ, geschreven, p(λ) = a λ n a n λ + a n λ i= p (x) = p(λ)λ n = a a n x n + a n x n /3 /3

5 Power methode Stel dat Dan: Kies willekeurige x (). Construeer rij x (k) volgens Er geldt λ > λ λ 3 λ n. x (k+) = A x (k) / A x (k). (A x (k) ) j (x (k) ) j λ, en x (k) x = v. Dwz: De verhouding tussen een coordinaat j (j =,.., n) van x (k) en A x (k) gaat naar λ, terwijl x (k) naar v gaat. 7/3 Power methode II Stel dat v,, v n de hele ruimte opspannen. Dan A v i = λ i v i A v i = A λ i v i = λ i A v i = λ i v i x = ξ v + ξ i v i A k x = ξ A k v + = λ k ( ξ v + i= ξ i A k v i = ξ λ k v + i= i= ξ i λ k i v i i= ( ) ) k λi k ξ i v i λ k λ ξ v 8/3 Power methode III Check power methode voor financiele data: ma= <.,.8,.77,.3;.8,.,.77,.;.77,.77,.,.3;.3,.,.3,. >; Listing : np dhpower.ox. Start met een willekeurige x (), e.g. vx= rann(in, ), zet k =. Bereken x (k+) = Ax (k) 3. Schaal met (bijvoorbeeld) z n lengte, x (k+) = x (k+) / x (k+) (kies zelf een norm). Herhaal vanaf tot convergentie Powermethode IIIb Wat is convergentie? k = bijvoorbeeld... x (k+) x (k) < ɛ, voor een kleine ɛ λ (k+) λ (k) < ɛ Andere opties? 9/3 /3

6 Powermethode IV Verschuivingen Als σ(a) = λ,..., λ n, wat is dan σ(a s I)? Problemen rond nullen? Stabiliteit: Normering Wat als λ λ? Kleinste eigenwaarde? Gebruik A, die heeft eigenwaardes λ,.., λ n (LU-decompositie?) inverse powermethode = det(a λ I) = det(a s I λ I +s I) σ(a s I) = λ s,..., λ n s Stel dat je ongeveer weet wat λ k is, en je kiest s = ˆλ k. Dan geldt dat λ k s < λ i s, i k Gebruik inverse power methode! /3 /3 Terugblik Wat hebben we gedaan? Discussie eigenwaardes Algoritmes Huiswerk & practicum: Bestudeer DH restant Neem de correlatie-matrix uit het financiele voorbeeld en bereken met de power-methode. De grootste eigenwaarde. De kleinste eigenwaarde 3. De eigenwaarde die het dichtst bij de zit Neem een kleinere matrix, e.g. A =<,.9;.9, >, en bepaal het karakteristieke polynoom. Doe dit met de hand, en ook met de computer. Controleer je uitkomst, door je programma het polynoom p(λ) = n i= a iλ n i uit te laten rekenen. 3/3