4 Positieve en niet-negatieve lineaire algebra

Transcriptie

1 4 Positieve en niet-negatieve lineaire algebra Positieve en niet-negatieve matrices komen veel voor binnen de stochastiek (zoals de PageRank matrix) en de mathematische fysica: temperatuur, dichtheid, druk, zijn allemaal niet-negatief. Definitie 4.1 (Positieve en niet-negatieve matrices) Laat (a ij ) = A R n k. Als a ij > 0 voor alle i, j {1,..., n} schrijven we A > 0 en heet A een positieve matrix. Als a ij 0 voor alle i, j {1,..., n} schrijven we A 0 en heet A een niet-negatieve matrix. Opmerking 4.2 Als gevolg schrijven we A > B als A B > 0 en A B als A B 0, en A voor de matrix waarvan de entries de absolute waarden zijn van de entries van A. Opmerking 4.3 Als x R en x 0 en x 0 dan is x > 0. Echter, als A R n k met nk > 1 en A 0 en A 0, impliceert dit niet dat A positief is: zie bijvoorbeeld A = [1 0]. Zonder bewijs vermelden we de volgende eigenschappen. Lemma 4.4 (E1) Als A > 0 en x 0, x 0, dan is Ax > 0; (E2) Als A > 0 en x > y dan is Ax > Ay; (E3) Als A 0 en x y dan is Ax Ay; (E4) Voor alle A R n k en x R k geldt dat Ax A x ; (E5) Voor alle matrices A en B waarvoor AB bestaat geldt dat AB A B. 4.1 De Neumannrij en de Neumannreeks Als r R en r < 1 dan convergeert dat de meetkundige reeks j=0 r k = 1 1 r, want 1 + r + r2 + + r k = 1 rk+1 1 r (1) voor alle k en k r k+1 = 0. Een soortgelijk resultaat werd voor matrices met bepaalde eigenschappen bewezen door de Duitse wiskundige Carl Neumann. Carl Neumann ( ) Eerst een definitie, die de voorwaarde r < 1 voor convergentie helpt te generaliseren. 1

2 Definitie 4.5 (Spectraalstraal) Laat A C n n. De spectraalstraal van A is het reële, niet-negatieve getal ρ(a) = max{ λ λ σ(a)} waarbij σ(a) de verzameling van eigenwaarden van A is, het spectrum van A. Dus ρ(a) is de straal van de kleinste schijf rond 0 C waarop alle eigenwaarden van A liggen. De met (1) corresponderende uitspraak verdelen we over twee lemma s en een stelling. Lemma 4.6 Laat λ C met λ < 1 en laat l N. Dan geldt dat λ k l = 0. (2) k l Bewijs. Dit volgt uit de begrenzing van de binomiaalcoëfficiënt middels kl l l!, gevold door toepassing van de regel van de l Hopital. Lemma 4.7 (Neumannrij) Laat A C n n en veronderstel ρ(a) < 1, dan geldt dat de iet voor k van de Neumannrij (A k ) k 0 gelijk is aan de nulmatrix, k Ak = 0. Bewijs. Eerder bewezen we dat er een X GL n (C) bestaat zo, dat T X 1 0 T... AX = T p (3) waarbij T j = λ j I +M j met M j C m j m j strict bovendriehoeks. Hierbij is m j de meetkundige multipliciteit van de eigenwaarde λ j van A. Nu volgt eenvoudig dat T1 k A k 0 T = X k Tp k X 1. Omdat de beide matrices λ j I en M j commuteren, vinden we met behulp van het binomium van Newton dat voor alle k N, T k j = (λ j I + M j ) k = k l=0 λ k l j Mj l = l m j l=1 λ k l j Mj l. l waarbij de laatste gelijkheid geldt omdat M j nilpotent is met index ten hoogste m j. Omdat λ j < 1 wegens de aanname dat ρ(a) < 1 volgt met Lemma 4.6 dat de iet voor k naar oneindig van T k j gelijk is aan de nulmatrix, en dus ook die van Ak. 2

3 Stelling 4.8 (Neumannreeks) Laat A C n n en veronderstel dat ρ(a) < 1, dan geldt dat A k = (I A) 1. (4) j=0 Bewijs. Voor iedere gehele k 0 geldt dat (I + A + A A k )(I A) = I A k+1. De iet voor k van het rechterlid bestaat volgens Lemma 4.7 en dus vinden we dat A k (I A) = I. j=0 Omdat I A vierkant is, is de som links van de matrix I A kennelijk zijn inverse Perron-Frobeniustheorie voor positieve matrices Oskar Perron en Georg Frobenius bewezen resultaten voor eigenwaarden en eigenvectoren van niet-negatieve matrices. Oskar Perron ( ) en Georg Ferdinand Frobenius ( ) De bewijzen zijn het eenvoudigst voor positieve matrices. Lemma 4.9 Laat A R n n. Als A > 0 dan is zijn spectraalstraal ρ(a) > 0. Bewijs. Stel dat ρ(a) = 0. Dit betekent dat alle eigenwaarden van A gelijk zijn aan nul. Maar dan is A nilpotent en bestaat er dus een p met A p = 0. Echter, als A > 0 dan is ook A k > 0 voor alle k. Deze tegenspraak bewijst de bewering. Lemma 4.10 Laat A R n n, A > 0. Als Ax = x voor zekere x 0, x 0, dan is x > 0. Bewijs. Volgens (E1) uit Lemma 4.4 is Ax > 0. Omdat Ax = x geldt dus ook x > 0. Stelling 4.11 Laat A R n n. Als A > 0 dan bestaat er een x > 0 zodanig dat waarbij ρ(a) de spectraalstraal is van A. Ax = ρ(a)x. (5) 3

4 Bewijs. Veronderstel op grond van Lemma 4.9 zonder verlies van algemeenheid dat ρ(a) = 1. Dit betekent dat er een λ σ(a) bestaat met λ = 1 en een y 0 waarvoor Ay = λy. Voor deze λ en y geldt y = λ y = λy = Ay A y = A y, waarbij we gebruik maken van eigenschap (E4) uit Lemma 4.4. We concluderen dat w = A y y 0. (6) Veronderstel nu dat w 0. Omdat A > 0 volgt met (E1) uit Lemma 4.4 dat zowel Aw > 0 als dat A y > 0, oftewel, AA y > A y > 0. (7) Omdat iedere entry van AA y groter is dan de overeenkomstige entry van A y, bestaat er een ε > 0 met A A y > A y > ε (8) Schrijf nu B = A 1 + ε en z = A y. Met deze notatie verandert (8) in Bz > z > 0. Maar dan is met (E2) uit Lemma 4.4 ook B 2 z = B(Bz) > Bz want B > 0, en met inductie zien we dat B k z > z > 0 voor alle k N. Echter ρ(b) = ρ(a) 1 + ε = ε < 1, en Lemma 4.7 geeft dat B k 0 voor k. Dit is in tegenspraak met B k z > z > 0 voor alle k. Hieruit volgt dat A y = y. Maar dan is x = y = 0 blijkbaar een eigenvector van A behorende bij een eigenwaarde λ = 1 van A, en uit Lemma 4.10 volgt tot slot dat x > 0. Opmerking 4.12 Het feit dat B k 0 is niet in tegenspraak met B k z > 0 voor alle k. Het is dus noodzakelijk om de ongelijkheid B k z > z > 0 te bewijzen in plaats van slechts B k z > 0. De eigenruimte van de eigenwaarde ρ(a) van A bevat dus een positieve vector x > 0. We laten zien dat alle andere eigenvectoren behorende bij ρ(a) hier veelvouden van zijn. Stelling 4.13 Laat A R n n. Laat A > 0. Dan is dim ker(a ρ(a)i) = 1. Bewijs. Veronderstel wegens Lemma 4.9 zonder verlies van algemeenheid dat ρ(a) = 1. Uit Stelling 4.11 volgt dat er een x > 0 bestaat met Ax = x. Laat nu y 0 met Ay = y. We tonen aan dat y een veelvoud is van x. Merk hiertoe op dat er een α R bestaat zodanig dat z = y + αx 0, terwijl z ook ten minste één entry gelijk aan nul heeft. Als nu z 0 volgt uit Az = z en Lemma 4.10 dat z > 0, wat in tegenspraak is met het feit dat z ten minste één entry gelijk aan nul heeft. Dus z = 0 en dus is y = αx een veelvoud van x. Definitie 4.14 (Perronvector) Laat A R n n met A > 0. De unieke x > 0 waarvoor Ax = ρ(a)x en e x = 1, waarbij e = e e n de all-ones vector is, heet de Perronvector van A. 4

5 Opmerking 4.15 Een van de bekendste en tevens meest recente Perronvectoren is de Google PageRank vector van Larry Page en Sergey Brin. Stelling 4.16 De enige eigenwaarde van 0 < A R n n met absolute waarde ρ(a) is ρ(a). Bewijs. Volgens Stelling 4.11 is ρ(a) σ(a). Resteert de uniciteit aan te tonen. Veronderstel op grond van Lemma 4.9 zonder verlies van algemeenheid dat ρ(a) = 1. Laat λ σ(a) met λ = 1. Dan bestaat er dus een y 0 met Ay = λy. Hiervoor geldt net als in het bewijs van Steling 4.11 dat A y = y > 0. Per definitie van matrix-vectorvermenigvuldiging impliceren de respectievelijke gelijkheden A y = y en Ay = λy, dat voor alle k {1,..., n}, en dus, y k = a kj y j en λy k = a kj y j = y k = a kj y j (9) a kj y j. (10) Nu geldt dat de absolute waarde z 1 + +z n van de som van n complexe getallen alleen gelijk is aan de som z , + z n van de absolute waarden als ze allemaal hetzelfde argument hebben. Dus concluderen we uit (10) dat y k = α k y 1 met α k > 0 voor alle k {1,..., n}. Dus is y een eventueel complex veelvoud y 1 α van een positieve vector α. Maar dan is ook α een eigenvector van A behorende bij eigenwaarde λ. En omdat Aα reëel is, gelijk aan λα, en in het bijzonder positief, is λ dat ook. We concluderen dat λ = De machtsmethode, ook wel Von Mises-iteratie genaamd De Von Mises-iteratie, ook wel machtsmethode genoemd, is een methode, al gebruikt door Jacobi, om een eigenvector te berekenen horend bij de eigenwaarde van A die het grootst is in absolute waarde, en waarvan de eigenruimte dimensie één heeft. Richard von Mises ( ) en Carl Jacobi ( ) Stelling 4.17 Laat A R n n met A > 0. Veronderstel dat ρ(a) = 1. Dan geldt dat waarbij Au = u > 0 met u = 1 en A w = w 0. k Ak = uw (11) 5

6 Bewijs. Omdat A > 0 is volgens Stelling 4.11 ρ(a) = 1 een eigenwaarde van A, en bestaat er een unieke positieve eigenvector u > 0 met u = 1 zo, dat Au = u. Dus bestaat er een Schurdecompositie van AU = UT van A van de vorm [ ] 1 b AU = UT waarbij T =, met U U = I en Ue 1 = u. De eigenwaarden van R zijn de eigenwaarden van A ongelijk aan 1. Op grond van Stelling 4.16 zijn deze allemaal kleiner dan 1 in absolute waarde. Dus ρ(r) < 1. We berekenen nu machten van A, A k = ( [ 1 b U ] ) k [ U 1 b = U Met volledige inductie kan eenvoudig worden aangetoond dat [ 1 b ] k [ 1 b(i + R + + R = k 1 ) k ] k U. ]. (12) Omdat ρ(r) < 1 volgt met behulp van Lemma 4.7 en Stelling 4.8 dat [ ] 1 b(i R) 1 k Ak = U U = Ue v U waarbij v = [1, b(i R) 1 ] en dus vinden we dat k Ak = uw waarbij u = Ue 1 en w = v U. Omdat kennelijk k (A ) k = wu is w een eigenvector bij λ = 1 van de getransponeerde matrix A. Dit bewijst de bewering.. Gevolg 4.18 Als x R n zodanig is dat w x = α 0, dat k Ak x = u(w x) = αu. Dus, de rij (A k x) k 0 convergeert naar een niet-triviaal veelvoud van de eigenvector bij λ = 1. Opmerking 4.19 Matrixvermenigvuldiging is associatief: (A k )x = A k 1 (Ax). Het is echter veel rekenwerk om A tot de k-de macht te verheffen en A k te vermenigvuldigen met x. Efficiënter is x 1 = Ax uit te rekenen, dan x 2 = Ax 1, tot en met x k = Ax k 1 = A k x. Het laatste vergt k matrix-vectorvermenigvuldigingen, het eerste k matrix-matrixvermenigvuldigingen. Opmerking 4.20 De Google Pagerankvector wordt in de praktijk niet precies uitgerekend, maar in drie decimalen nauwkeurig benaderd met x k = Ax k 1 = A k x voor zekere k << n. 4.4 Een alternatief analystisch bewijs Perron-Frobeniusstellingen kunnen ook worden bewezen middels technieken uit de Analyse. Definitie 4.21 (Convexe verzameling) Een verzameling C R n heet convex als voor iedere x, y C geldt dat tx + (1 t)y C voor alle t [0, 1]. 6

7 Een belangrijk resultaat uit de Analyse zegt het volgende. Stelling 4.22 (Dekpuntstelling van Brouwer) Laat D R n gesloten, begrensd, en convex zijn, en f : D D continu. Dan bestaat er een x D waarvoor f(x) = x. Luitzen Brouwer ( ) Opmerking 4.23 Ingeval D = [a, b] een gesloten interval is, zegt de stelling niets anders dan dat de grafiek van f de lijn y = x snijdt, wat direct uit de Tussenwaardestelling volgt. De dekpuntstelling aannemende wordt Perron-Frobeniustheorie iets inzichtelijker en intuïtiever. Immers, associeer met de matrix A > 0 de lineaire afbeelding L A : R n 0 R n 0, x Ax van het onbegrensde niet-negatieve orthant R n 0 naar zichzelf. Definieer S = {x R n 0 e t x = 1}. Oftewel, S is het deel van het hypervlak met vergelijking x x n = 1 dat in R n 0 ligt. Dan is S gesloten, begrensd, en convex. Bekijk nu de continue afbeelding S S : x L A(x) e t L A (x). De dekpuntstelling zegt nu dat er een x S is waarvoor S(x) = x. Voor deze x geldt dat Ax = (e t Ax)x. Omdat x S geldt dat x 0 en x 0. Omdat x 0 en x 0 is Ax > 0. Omdat Ax = (e t Ax)x vinden we dus tot slot dat e t Ax > 0 en x > 0. Dit bewijst de existentie van de Perronvector op analytische wijze. 7