Hoofdstuk I. Lineire Algebr Les 4 Eigenwrden en eigenvectoren In het voorbeeld vn de verspreiding vn de Euro-munten hebben we gezien hoe we de mix vn munten n floop vn n jr uit de n-de mcht A n vn de overgngsmtrix kunnen flezen. Een voor de hnd liggende vrg is, of er uiteindelijk een stbiel evenwicht wordt bereikt dt niet meer verndert. Nou zijn we in het voorbeeld ervn uit gegn dt munten verdwijnen en deze munten ook verdwenen blijven. Dn is duidelijk dt uiteindelijk lle munten verdwijnen, en de toestnd wrin in elk lnd heleml geen munten meer zijn is ntuurlijk stbiel, mr ook fluw. Een betere npk is dt we de verdwenen munten door nieuw geslgen munten weer opvullen. In het voorbeeld krijgen we zo de nieuwe overgngsmtrix 0.90 0.0 A =. 0.0 0.99 Het totle ntl munten blijft ltijd hetzelfde omdt lle kolommen de som hebben. Als er een stbiele evenwichtstoestnd bereikt wordt, dn voldoet de vector v met de hoeveelheden munten in Nederlnd en het buitenlnd n A v = v. Anders gezegd is A v v = 0 ofwel v ligt in de kern vn A I (wrbij I de identiteitsmtrix is). Dt is een mkkelijk probleem, wnt we hoeve lleen mr een stelsel lineire vergelijkingen op te lossen. Dit stelsel heeft de mtrix 0.0 0.0 A I = 0.0 0.0 en de kern hiervn is t. Het evenwicht ziet er dus zo uit, dt tien keer 0 zo veel munten in het buitenlnd dn in Nederlnd zijn. Verder kunnen we ook beplen, hoe de mix uitziet, die zl nmelijk in Nederlnd en in het buitenlnd hetzelfde zijn. Wrom dt zo is zullen we lter in deze les zien. Als we hogere en hogere mchten vn A berekenen zullen die uiteindelijk nr / / A = 0/ 0/ convergeren. Merk op dt de kolommen vn A veelvouden vn de evenwichtsvector zijn die zo gescled zijn dt de som vn de componenten is. Om een evenwichtstoestnd te vinden hebben we een vector v gezocht wrvoor geldt dt A v = v is. Iets lgemener is het ltijd belngrijk vectoren te vinden die door een lineire fbeelding lleen mr met een fctor vermenigvuldigd worden, mr niet vn richting vernderen. Dit zijn dus vectoren die n de vergelijking A v = λv voldoen, wrbij λ een sclire fctor is. Een vector v die n de vergelijking A v = λv voldoet heet een eigenvector voor de eigenwrde λ (soms ook eigenvector met eigenwrde λ). 26
Hoofdstuk I. Lineire Algebr De evenwichtsvector vn boven is dus een eigenvector voor de eigenwrde. We hebben l eerder met eigenvectoren te mken gehd, zonder ze zo te noemen. Bijvoorbeeld zijn bij een spiegeling de vectoren op de spiegelingss eigenvectoren voor de eigenwrde en de vectoren op een lijn die loodrecht op de spiegelingss stn zijn eigenvectoren voor de eigenwrde. Vectoren die in de kern vn een lineire fbeelding liggen zijn ntuurlijk eigenvectoren voor de eigenwrde 0. Merk op: De 0-vector betekenen we niet ls een eigenvector, wnt hij is een eigenvector voor elke eigenwrde, en we willen grg dt een unieke eigenwrde bij een eigenvector bij hoort. Het is duidelijk dt voor een eigenvector v met eigenwrde λ ook lle veelvouden cv (met c 0) eigenvectoren met eigenwrde λ zijn, wnt uit A v = λv volgt wegens de lineriteit vn A meteen dt A (cv) = c(a v) = λ(cv). De vrg is nu ntuurlijk hoe we eigenwrden een eigenvectoren vn een lineire fbeelding kunnen vinden. Het belngrijke punt is, dt een eigenvector v met eigenwrde λ voldoet n A v = λv, ofwel (A λ I) v = 0. De vector v ligt dus in de kern vn de mtrix A λ I en dit kn lleen mr voor een vector v 0 gebeuren ls de mtrix A λ I niet inverteerbr is. Met ndere woorden: Een eigenwrde vn A is een getl λ zo dt de rijtrpvorm vn A λ I een vrije prmeter en dus een 0-rij heeft. 4. Determinnten Sommige hebben zeker eens vn de determinnt vn een mtrix gehoord. Dt is een getl, die we voor een n n-mtrix kunnen berekenen. De voor ons belngrijkste eigenschp vn de determinnt is: Een mtrix is dn en slechts dn inverteerbr ls zijn determinnt niet 0 is. Verder is er ook een meetkundige interprettie: De determinnt is het volume vn het prllellotoop dt door de kolommen vn de mtrix opgespnnen wordt. De smenhng vn inverteerbrheid en de determinnt vn een mtrix volgt meteen uit de mnier hoe we de determinnt kunnen berekenen. Hier is een methode, die misschien iets vn chter door de borst lijkt te zijn, mr in feite de mnier is, hoe in softwre pkketten ls Mple de determinnt wordt berekend. Het belngrijkste ingrediënt in deze methode is weer de rijtrpvorm. I.9 Krkteristie vn de determinnt Voor een mtrix in rijtrpvorm is de determinnt het product vn de elementen op de digonl. Als we twee rijen (of kolommen) vn een mtrix verwisselen, wordt de determinnt met vermenigvuldigd. Als we een rij (of kolom) met een getl c vermenigvuldigen, wordt ook de determinnt met c vermenigvuldigd. 27
Hoofdstuk I. Lineire Algebr Als we een veelvoud vn een rij (of kolom) op een ndere optellen, verndert de determinnt niet. Er is een stelling die zegt, dt de determinnt door deze krkteristie eenduidig bepld is, mr dit gn we hier gewoon ccepteren. De mnier, hoe we de determinnt vn een mtrix berekenen is dus heel eenvoudig: We brengen de mtrix op rijtrpvorm, wrbij we de vermenigvuldigingen met fctoren en de verwisselingen vn rijen in een product c verwerken, dn is de determinnt het product vn de digonlelementen gedeeld door c. Het is nu duidelijk dt een n n-mtrix dn en slechts dn inverteerbr is ls de determinnt niet 0 is: De mtrix is inverteerbr ls de rijtrpvorm n pivots heeft die niet 0 zijn, mr dn is ook de determinnt niet nul. Omgekeerd is een mtrix niet inverteerbr ls er in de rijtrpvorm een 0-rij is, en dn is ook de determinnt 0. Voor 2 2-mtrices kunnen we de determinnt heel lgemeen berekenen. De mtrix b A = c d heeft voor 0 de rijtrpvorm ( b ) 0 d c b en omdt we geen rijen hebben verwisseld en ook geen rij met een fctor hebben vermenigvuldigd is de determinnt det(a) = (d c b) = d bc. Dit klopt ( ook) voor = 0, wnt dn verwisselen we de rijen en hebben ls rijtrpvorm en omdt we een keer rijen hebben verwisseld is de determinnt c d 0 b bc. De determinnt vn een 2 2-mtrix is dus het product vn de digonlelementen min het product vn de dwrsdigonl-elementen. Ook voor 3 3-mtrices kunnen we nog een lgemene formule uit de rijtrpvorm berekenen. We nemen weer een lgemene mtrix b c A = d e f g h i en ignoreren voor het moment de gevllen wr een noemer 0 kn zijn. De stppen nr de rijtrpvorm zijn nu: b c b c b c d e f 0 e d b f d c = 0 g h i 0 h g b i g c (e bd) (f cd) 0 (h bg) (i cg) 28
Hoofdstuk I. Lineire Algebr b c 0 (e bd) (f cd) 0 0 (i cg) h gb e bd Als product vn de digonlelementen vinden we f cd det(a) = (e bd)(i cg) (h gb)(f cd) = (2 ei ceg bdi + bcdg 2 fh + cdh + bfg bcdg) = ei + bfg + cdh ceg fh bdi. Ook in dit gevl kunnen we ngn dt deze formule ook voor de exceptionele gevllen = 0 en e bd = 0 geldt. Een goede mnier om het berekenen vn de determinnt vn een 3 3-mtrix te onthouden is het volgende pltje: b c b d e f d e g h i g h Schrijf de eerste twee kolommen nog eens rechts nst de mtrix en teken dn de drie digonlen en de drie dwrsdigonlen. De determinnt is dn de som vn de producten op de digonlen min de producten op de dwrsdigonlen. 4.2 Het vinden vn eigenwrden en eigenvectoren Om eigenwrden en eigenvectoren te vinden hoeven nu lleen nog de resultten vn boven combineren. Een eigenvector voor de eigenwrde λ is een vector in de kern vn A λ I en de kern bevt dn en slechts dn ndere elementen dn de 0-vector ls de determinnt det(a λ I) = 0 is. Hierbij interpreteren we λ ls een onbekende, dn wordt de determinnt vn A λ I een veelterm in de onbekende λ. Deze veelterm heet het krkteristieke polynoom vn de mtrix A. b Voor een 2 2-mtrix is de determinnt vn A λ I de determinnt c d λ b vn en dus gelijk n ( λ)(d λ) bc = λ c d λ 2 (+d)λ+(d bc). Dit is een kwdrtische veelterm wrvn we met de p q-formule de nulpunten kunnen beplen. De mtrix in het voorbeeld vn de Euro-munten ws A = hiervoor hebben we. det(a λ I) = λ 2.89λ + 0.89 = (λ )(λ 0.89). 0.90 0.0 en 0.0 0.99 De eigenwrden zijn dus en 0.89 en we kunnen voor deze eigenwrden nu ook de eigenvectoren beplen. 29
Hoofdstuk I. Lineire Algebr De eigenvectoren ( voor ) de eigenwrde zijn de ( vectoren ) in de kern vn 0.0 0.0 A I = en die is gelijk n t (wt we l wisten). 0.0 0.0 0 De eigenvectoren ( voor ) de eigenwrde 0.89 zijn( de vectoren ) in de kern vn 0.0 0.0 A 0.89 I = en die is gelijk n t. 0.0 0.0 Als we de twee eigenvectoren ls bsis voor R 2 kiezen, wordt de overgngsmtrix met betrekking ( tot deze ) nieuwe bsis heel eenvoudig, nmelijk de digonlmtrix D =. We kennen ook de trnsformtiemtrix vn de 0 0 0.89 nieuwe bsis nr de stndrdbsis, wnt die is gewoon T =. We 0 weten dus dt D = T A T geldt. Wt we hiern hebben zullen we strks zien. 4.3 Limieten vn overgngsmtrices Bij processen die we door een overgngsmtrix A beschrijven zijn we vk geïnteresseerd in de ontwikkeling op lngere termijn. Hiervoor hebben we de mchten A m voor grotere wrden vn m nodig en soms zelfs een limiet voor m. Dit is ntuurlijk een lstig probleem, mr ls we de eigenwrden vn A kennen en een bsis uit eigenvectoren kunnen vinden, vlt het inderdd mee. Stel dt we voor een n n-mtrix A de eigenwrden hebben bepld en n lineir onfhnkelijke bsisvectoren hebben gevonden. Als (v,..., v n ) de eigenvectoren zijn en (λ,..., λ n ) de bijhorende eigenwrden, dn zij T de mtrix met v i ls i-de kolom. Dn is T de trnsformtiemtrix vn de bsis uit eigenvectoren nr de stndrdbsis. We weten dus dt D = T A T de overgngsmtrix met betrekking tot de bsis uit eigenvectoren is, en dus is D een digonlmtrix met de λ i op de digonl: λ 0... 0 0 λ 2... 0 D =.... 0 0... λ n Omgekeerd weten we dus dt A = T D T is. Het rdige is nu dt we de mchten A m vn A nu veel mkkelijker kunnen berekenen, wnt (T D T ) m = T D m T omdt (T D T ) (T D T )... (T D T ) = T D (T T ) D... (T T )DT = T D D... D T. 30
Hoofdstuk I. Lineire Algebr Mr de mchten vn D zijn gewoon λ m 0... 0 D m 0 λ m 2... 0 =... 0 0... λ m n en hiervoor kunnen we zelf voor m zeggen wt er gt gebeuren: Als λ i < dn gt λ m i nr 0, ls λ i > dn gt λ m i nr, en ls λ i = hngt het ervn f of λ i =, λ i = of λ i een complex getl is. Bij veel processen heeft de overgngsmtrix A de eigenschp dt de som vn lle kolommen gelijk is n. In dit gevl lt zich ntonen dt ltijd een eigenwrde is, dt de kern vn A I dimensie heeft (dus dt er op sclire n een unieke eigenvector met eigenwrde bestt) en dt lle ndere eigenwrden vn bsolute wrde < zijn. Als we voor zo n proces een bsis v 2 uit eigenvectoren zo kiezen dt de eerste bsisvector de eigenvector v. met eigenwrde is, volgt dt D m voor grote m nr de mtrix gt wrbij het (, )-element is en lle ndere elementen 0 zijn. Mr dn gt A m nr 0... 0 0 0... 0 A = T... T 0 0... 0 v 0... 0 s v s 2 v... s n v v 2 0... 0 =... T s v 2 s 2 v 2... s n v 2 =... v n 0... 0 s v n s 2 v n... s n v n wrbij (s,..., s n ) de elementen in de eerste rij vn T zijn. In dit gevl is dus A een mtrix wrin elke kolom een veelvoud vn de eigenvector v met eigenwrde is. In het voorbeeld vn de Euro-munten vinden we dt de eerste ( rij vn T ) 0.90 0.0 gelijk n (, ) is, dus gn de mchten Am voor de mtrix A = 0.0 0.99 ( ) nr A =. Dit zegt dt er uiteindelijk zowel in Nederlnd ls ook in 0 0 het buitenlnd reltief hetzelfde ndeel vn Nederlndse en vn buitenlndse munten terecht komt, mr dt er in het buitenlnd tien keer zo veel munten zullen zijn dn in Nederlnd (onfhnkelijk vn de hoeveelheden munten in het begin). v v n 3
Hoofdstuk I. Lineire Algebr In het voorbeeld vn opgve 4 is de overgngsmtrix 0 0 0.33 A = 0.8 0 0. 0 0.7 0.94 De eigenwrden hiervn zijn de wortels vn de veelterm λ 2 (λ 0.94) 0.04274. Deze zijn niet zo mkkelijk met de hnd te berekenen, mr bijvoorbeeld met een computerlgebr pkket ls Mple vinden we ls numerieke benderingen: λ = 0.9835927398, λ 2 = 0.0279636988 + 0.205984805i, λ 3 = 0.0279636988 0.205984805i. De eigenwrden λ 2 en λ 3 zijn complexe getllen met bsolute wrde 0.2070688348, dus zijn lle eigenwrden vn bsolute wrde <, en dus gn de mchten vn A tegen de nulmtrix. De vogels sterven dus uit, ls er niets vernderd! 4.4 Hoofdcomponenten nlyse Bij de sttistische evlutie kijken we vk nr het gemiddelde vn de metingen en nr de fwijkingen vn de metingen vn het gemiddelde. Als de metingen x,..., x n zijn, dn is de gemiddelde wrde (verwchtingswrde) µ = n n i= x i en de kwdrtische fwijkingen (vrintie) zijn dn σ 2 = n n i= (x i µ) 2. Als we nu een experiment hebben met verschillende prmeters, dn zijn de metingen vectoren vn een ntl componenten. Het gemiddelde vinden we weer door de metingen op te tellen en door het ntl vn metingen te delen, dit geeft voor drie prmeters bijvoorbeeld een vector µ = µ x µ y µ z. Het is nu niet meer vnzelfsprekend dt de grootste spreiding vn de metingen in een vn de richtingen vn de prmeters ligt, wnt misschien is er een combintie vn prmeters, die het grootste effect op het experiment heeft. We willen dus grg de richting beplen in die de spreiding mximl wordt. De fstnd vn het gemiddelde in de richting vn de vector v = b beplen we ls c ((x µ x ) + b(y µ y ) + c(z µ z )) 2 (dit zullen we in de volgende les nog verder toelichten) en voor de spreiding in deze richting krijgen we dus (nloog ls boven): σ 2 v = n ((x i µ x ) + b(y i µ y ) + c(z i µ z )) 2. i= Dit kunnen we (een beetje kunstmtig) ook ls een product vn mtrices schrijven, dn wordt het n σv 2 = x i µ x b c y i µ y (x ) i µ x y i µ y z i µ z b i= z i µ z c 32
Hoofdstuk I. Lineire Algebr = ( b c ) n x i µ x y i µ y (x ) i µ x y i µ y z i µ z b. i= z i µ z c De mtrix V = x i µ x n i= y i µ y (x i µ x z i µ z y i µ y ) z i µ z heet de covrintiemtrix. We zijn geïnteresseerd in de richting zo dt de spreiding σ v mximl wordt. Mr dt gebeurd precies ls we voor v de eigenvector voor de grootste eigenwrde vn V kiezen. In het lgemeen wordt deze methode gebruikt om uit een grote ntl prmeters de belngrijkste combinties uit te vissen. Deze combinties heten de hoofdcomponenten. Men neemt dn bijvoorbeeld in een experiment met honderd prmeters de eigenvectoren die bij de grootste tien eigenwrden horen en heeft hiermee vk de belngrijkste eigenschppen voor het experiment beschreven. Een voorbeeld is de utomtische sprkherkenning, wrbij de signlen door een Fourier-nlyse met betrekking tot een groot ntl frequenties worden beschreven. Om nu de verschillende klinkers en medeklinkers te kunnen onderscheiden, wordt gekeken welke combinties vn frequenties een grote spreiding hebben en op die mnier wordt het signl met veel minder prmeters beschreven. Een voordeel hierbij is ook nog, dt de gereduceerde prmeters robuuster tegen ruis en ndere storingen zijn. Een ndere toepssing zit in het comprimeren vn informtie. Bij een kleurpltje wordt vk de kleur in het RGB-systeem ngegeven, dt wil zeggen er wordt een wrde voor de intensiteiten vn de kleuren rood, groen en bluw ngegeven. Meestl zijn de kleuren niet onfhnkelijk, dn lt het pltje zich ook met de intensiteiten vn twee combinties vn rood, groen en bluw beschrijven, de spreiding in de richting vn de derde eigenvector is dn heel klein. We gn een 2-dimensionl voorbeeld bekijken, om te zien hoe de hoofdcomponenten nlyse werkt. In het volgende pltje zijn er tien punten met de coördinten: (x, y ) = (4, 86) (x 2, y 2 ) = (5, 96) (x 3, y 3 ) = (92, 4) (x 4, y 4 ) = (65, 40) (x 5, y 5 ) = (35, 0) (x 6, y 6 ) = (89, 89) (x 7, y 7 ) = (79, 35) (x 8, y 8 ) = (32, 86) (x 9, y 9 ) = (38, 8) (x 0, y 0 ) = (46, 83) De x-wrden zijn de eerste 0 pren vn cijfers in π, de y-wrden de eerste 0 pren vn cijfers in π 2. 33
Hoofdstuk I. Lineire Algebr Het middelpunt heeft ( de coördinten (50.5, ) 54.7) en voor de covrintiemtrix vinden we C =. De eigenwrden vn C zijn λ 7578.5 372.5 372.5 262. = 4240.8733 ( en λ) 2 = 5499.726869 en de eigenvector voor de eigenwrde λ is 0.4876624923. Dit is dus de richting vn de grootste spreiding. die in het 0.8730322409 volgende pltje ls lijn door het middelpunt te zien is. Belngrijke begrippen in deze les eigenwrden, eigenvectoren determinnt hoofdcomponenten nlyse Opgven 8. Bereken de determinnten vn de volgende mtrices: A = 0 0 2 0 2 0, B = 0 2 2. 34
Hoofdstuk I. Lineire Algebr 9. Bereken de determinnt vn de mtrix A = + x + x. + x 20. Zij A de mtrix A = 4. 6 (i) Bereken het krkteristieke polynoom det(a λ I), de eigenwrden en de eigenvectoren vn A. (ii) Bepl voor willekeurige m N de mtrix A m. 2. Bepl voor de mtrix 0.5 0.2 0.3 A = 0.3 0.8 0.3 0.2 0 0.4 (i) het krkteristieke polynoom det(a λ I), (ii) de eigenwrden vn A, (iii) de eigenvectoren vn A, (iv) de mtrix A wr A m voor grote m nr toe gt. (Hint: λ = is een eigenwrde.) 35