Overzicht Eigenwaarden VU Numeriek Programmeren. Charles Bos Vrije Universiteit Amsterdam c.s.bos@vu.nl, A april Waarom? Voorbeelden Eigenwaarden/eigenvectoren Hoe vind ik ze? Polynoom Powermethode Andere methodes Terugblik & Huiswerk /3 /3 Eigenwaarden: Intro Beurzen en afhankelijkheid 7 FRCAC 3 Basis formule: A v = λv v R n \ A R n n Beschrijf A via z n eigenvectoren v eigenwaarden λ Maar eerst: Waarom? 9 9 AMSTEOE x FRCAC 8 - - - -8-8 - - - 8 FTSE x FRCAC - - - -8 - - - 8 8 AMSTEOE 7 3 9 9 FTSE x AMSTEOE - - - -8 - - - 8 7 FTSE 3 3 9 9 LUXGENI x FRCAC LUXGENI x AMSTEOE LUXGENI x FTSE 8 LUXGENI - - - 8 - - - 3/3 - -8 - - - 8 - -8 - - - 8 - - - - 9 /3
Beurzen: Correlaties, eigenwaardes, eigenvectoren Waarom? PCA....8... v x v -. -. -.....8.....8... v3 x v -. -. -.....8... Eigenvectoren, geschaald naar eigenwaardes Correlatie Fr NL UK Lux FRCAC..8.77.3 AMSTEOE.8..77. FTSE.77.77..3 LUXGENI.3..3. Eigenwaarden λ λ λ 3 λ.83.78.. Eigenvectoren v v v 3 v.9 -.38 -.77 -.3... -.39.9 -.3 -.8..3. -.3.7 Principale componenten analyse Bekijk in welke richting de meest belangrijke eigenvectoren van een variantie-covariantie matrix liggen. Hoeveel eigenvectoren beschrijven de matrix? Zijn er richtingen die nauwelijks van belang zijn? Herinner je de bivariaat normale verdeling: Genereer trekkingen Y uit Y = µ + C X N (µ, Σ), µ = Zie plaatje op volgende slide ( ), Σ = ( ).9.9 /3 /3 PCA: Bivariaat normaal 3 - - y -3 - - 3 7 y Wat gebeurt er hier? ( ) ( ).9.987.89 Σ = ˆΣ =.9.89.97 ( ) ( ) ( ) ( ) λ.9 ( ) C = = v v.9.389. = λ PCA: Bivariaat normaal, minder correlatie 3 - - y -3 - - 3 y Wat gebeurt er nu, met minder correlatie? ( ) ( )..987. Σ = ˆΣ =...73 ( ) ( ) ( ) ( ) λ. ( ) C = = v v..9999.9 = λ 7/3 8/3
Check eigenwaarde A v = λv Merk op: ( ).9 A = Σ =.9 (.9.9 λ =.9 v = ) ( ) = ( ) ( ).9 =.9.9 ( ) Eigenvector geeft richting aan; als v een eigenvector, dan ook αv Werkt alleen voor vierkante matrices A A hoeft niet symmetrisch te zijn Eigenwaarden en vectoren kunnen irreeel zijn Irreeele eigenwaarden # include <oxstd.h> main () { decl ma, ir, veigw, meigv ; } ma= <-,, -7, -; -, 8,, ;, -3, -3, -8; -,,, -8>; ir= eigen (ma, &veigw, & meigv ); print (" Eigenvalues : ", "%r", {" real ", " imag "}, veigw ); print (" Eigenvectors ( first real, then imag ): ", meigv ); Eigenvalues: real -9.8 -.38 -.38.3 imag. 8.83-8.83. Eigenvectors (first real, then imag):. -.87 -.87.7 -.3 -.33 -.33.... -..88.98.98.9..878 -.878...77 -.77.. -.... -.7.7. 9/3 /3 Definities Definities II σ(a) = λ,..., λ n Spectrum E(λ) = v i λ i = λ Eigenruimte voor eigenwaarde λ m(λ) = dim(e(λ)) Meetkundige multipliciteit, dimensie eigenruimte Twee verschillende eigenwaardes twee verschillende eigenruimtes A = T A S Equivalent A = T A Rij-equivalent (S I) E.g. A = L U A en U rij-equivalent A = T A T Gelijkvormig (σ(a) = σ(a )) D = T A T Diagonaliseerbaar Eenvoudige structuur: A heeft n lineair onafhankelijke eigenvectoren Eenvoudige structuur Diagonaliseerbaar. Iedere reele symmetrische matrix heeft reele eigenwaarden, en onafhankelijke eigenvectoren. Als A X = λx en A regulier (ie inverteerbaar), dan ook A X = λ X, oftewel λ σ(a) λ σ(a ) 3. n Z : A X = λx A n X = λ n X en dus ook p(a)x = p(λ)x, met p(x) een polynoom. /3 /3
Berekening eigenwaarden A v = λv (A v λv) = (A λ I)v = Z v = det(z) = det(a λ I) = Polynoom in λ van orde n: Vind n oplossingen... #λ i = λ Algebraische meervoudigheid van λ Voorbeeld a a λ A = a A λ I = a λ a a λ det(a λi ) = (a λ) 3 = Oftewel λ = a is een (algebraisch drievoudige) oplossing. Welke eigenvectoren horen bij deze λ? (A λi )v = : x v = v = 3/3 Ergo: Ruimte van eigenvectoren is (meetkundig) enkelvoudig, eendimensionale ruimte. /3 Methoden. Polynoom oplossen (simpel als n =, niet leuk daarboven zonder computer). Power methode 3. Gelijkvormigheidstransformaties (niet behandeld). QR decompositie (niet behandeld). Verschuivingen Polynoom Het karakteristieke polynoom is p(λ) = det(a λ I) = a λ n +.. + a n λ + a n = n (λ λ i ) Dus om het karakteristieke polynoom te vinden:. Vind de eigenwaardes λ i, i =,.., n (ir= eigen(ma, &vl, &mv)). Bouw het polynoom en werk de haakjes weg va= polymake(vl); // Bouw polynoom obv wortels NB: Soms wordt polynoom in inverse wortels, x = λ, geschreven, p(λ) = a λ n +.. + a n λ + a n λ i= p (x) = p(λ)λ n = a +.. + a n x n + a n x n /3 /3
Power methode Stel dat Dan: Kies willekeurige x (). Construeer rij x (k) volgens Er geldt λ > λ λ 3 λ n. x (k+) = A x (k) / A x (k). (A x (k) ) j (x (k) ) j λ, en x (k) x = v. Dwz: De verhouding tussen een coordinaat j (j =,.., n) van x (k) en A x (k) gaat naar λ, terwijl x (k) naar v gaat. 7/3 Power methode II Stel dat v,, v n de hele ruimte opspannen. Dan A v i = λ i v i A v i = A λ i v i = λ i A v i = λ i v i x = ξ v + ξ i v i A k x = ξ A k v + = λ k ( ξ v + i= ξ i A k v i = ξ λ k v + i= i= ξ i λ k i v i i= ( ) ) k λi k ξ i v i λ k λ ξ v 8/3 Power methode III Check power methode voor financiele data: ma= <.,.8,.77,.3;.8,.,.77,.;.77,.77,.,.3;.3,.,.3,. >; Listing : np dhpower.ox. Start met een willekeurige x (), e.g. vx= rann(in, ), zet k =. Bereken x (k+) = Ax (k) 3. Schaal met (bijvoorbeeld) z n lengte, x (k+) = x (k+) / x (k+) (kies zelf een norm). Herhaal vanaf tot convergentie Powermethode IIIb Wat is convergentie? k = bijvoorbeeld... x (k+) x (k) < ɛ, voor een kleine ɛ λ (k+) λ (k) < ɛ Andere opties? 9/3 /3
Powermethode IV Verschuivingen Als σ(a) = λ,..., λ n, wat is dan σ(a s I)? Problemen rond nullen? Stabiliteit: Normering Wat als λ λ? Kleinste eigenwaarde? Gebruik A, die heeft eigenwaardes λ,.., λ n (LU-decompositie?) inverse powermethode = det(a λ I) = det(a s I λ I +s I) σ(a s I) = λ s,..., λ n s Stel dat je ongeveer weet wat λ k is, en je kiest s = ˆλ k. Dan geldt dat λ k s < λ i s, i k Gebruik inverse power methode! /3 /3 Terugblik Wat hebben we gedaan? Discussie eigenwaardes Algoritmes Huiswerk & practicum: Bestudeer DH restant Neem de correlatie-matrix uit het financiele voorbeeld en bereken met de power-methode. De grootste eigenwaarde. De kleinste eigenwaarde 3. De eigenwaarde die het dichtst bij de zit Neem een kleinere matrix, e.g. A =<,.9;.9, >, en bepaal het karakteristieke polynoom. Doe dit met de hand, en ook met de computer. Controleer je uitkomst, door je programma het polynoom p(λ) = n i= a iλ n i uit te laten rekenen. 3/3