Positieve matrices en hun toepassingen

Transcriptie

1 Positieve matrices en hun toepassingen Mireille Kroon, Daphne Broedersz 30 augustus 203 Bachelorscriptie Begeleiding: Dr. Tanja Eisner-Lobova KdV Instituut voor Wiskunde Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam

2 Samenvatting In dit verslag werken we toe naar de wiskunde achter het zoekprogramma Google. We laten de lezer kennis maken met verschillende takken van de wiskunde, namelijk positieve matrices, grafentheorie en Markovketens. Positieve matrices worden gebruikt in de grafentheorie en de theorie van Markovketens. De drie gebieden zijn dus niet helemaal onafhankelijk, maar zeker wel verschillend. We beginnen met de klassieke stelling van Perron- Frobenius voor positieve matrices en beschrijven vervolgens de spectrale kenmerken van positieve matrices. In het hoofdstuk over grafentheorie kijken we naar gerichte en gewogen gerichte grafen. Dit doen we omdat ongerichte en gewogen ongerichte grafen niet nodig zijn om de wiskunde die Google gebruikt te bestuderen. Een andere toepassing van de theorie van positieve matrices is Markovketens. Na deze onderwerpen te hebben bestudeerd, gaan we het concept van Google bekijken. Gegevens Titel: Positieve matrices en hun toepassingen Auteurs: Mireille Kroon, Daphne Broedersz, Begeleider: Dr. Tanja Eisner-Lobova Einddatum: 30 augustus 203 Korteweg de Vries Instituut voor Wiskunde Universiteit van Amsterdam Science Park 904, 098 XH Amsterdam

3 Inhoudsopgave Inleiding 3 Lineaire Algebra 5. Normen Eigenwaarden De resolvent Jordan-normaalvorm Stochastische matrices Positieve Matrices 5 2. Stelling van Perron Dominante eigenwaarde Irreducibele matrices Grafentheorie Gerichte grafen Verbindingsmatrices Sterke samenhangendheid Gewogen grafen Gewogen verbindingsmatrices Markovketens Basisbegrippen Theorie Google PageRank Geschiedenis Lawrence E. Page Sergey Brin Basisidee Eerste poging om het PageRank algoritme te bepalen De originele formule voor PageRank Google algoritme Dangling nodes; transformatie naar de Googlematrix Eigenschappen van de Google matrix Populaire samenvatting 43

4 Verdeling De verdeling van het schrijfwerk in dit verslag is als volgt: Samenvatting: samen. Inleiding: samen. Hoofdstuk : Mireille Kroon. Hoofdstuk 2: Daphne Broedersz. Hoofdstuk 3: Daphne Broedersz. Hoofdstuk 4: Mireille Kroon. Hoofdstuk 5: Mireille Kroon. Populaire samenvatting: samen. We hebben allebei alle stof gelezen en begrepen. gelezen en het met zijn tweeën samengevoegd. Ook hebben we beiden het verslag 2

5 Inleiding De theorie van positieve matrices gaat terug naar de stelling van Perron en Frobenius uit het begin van de 20 ste eeuw. Zij bestudeerden spectrale eigenschappen en asymptoten van positieve matrices. Later zijn deze onderwerpen gegeneraliseerd naar positieve operatoren over oneindig-dimensionale ruimten. Dit gebied van de wiskunde staat niet alleen bekend om zijn elegantie, maar zeker ook om zijn krachtige toepassingen in wiskundige gebieden als stochastiek en differentiaalvergelijkingen. Deze theorie heeft zelfs toepassingen in andere gebieden zoals economie en computerwetenschappen. In dit verslag introduceren we de lezers in de basistheorie van Perron en Frobenius en we geven hier wat toepassingen van voor eindige Markovketens en gerichte grafen. Als ultieme, concrete toepassing bespreken we het wiskundige concept dat Google zo briljant maakt. Bij deze toepassing komen alle onderwerpen samen. Het verslag is als volgt opgebouwd. In Hoofdstuk behandelen we de basisdefinities en stellingen van de lineaire algebra. Deze kennis hebben we nodig voor de rest van het verslag. De informatie komt van []. In Hoofdstuk 2 hebben we het meer gedetailleerd over de theorie van positieve matrices. Dit hoofdstuk is een direct vervolg op Hoofdstuk. We zullen eerst kijken naar de basistheorie, dit zijn standaarddefinities en een kleine stelling. Na deze korte inleiding gaan we de stelling van Perron uitgebreid bestuderen en bewijzen. Deze stelling is zoals gezegd erg belangrijk en het bewijs hiervan hebben we dan ook zo uitgebreid mogelijk beschreven. Na deze stelling beschrijven we het begrip dominante eigenwaarde. Ook in deze paragraaf zal een stelling met bewijs staan en bij dit bewijs een verhelderend plaatje. In Paragraaf 2.3 hebben we het over irreducibele matrices, die zijn erg belangrijk voor Google. Deze paragraaf is hetzelfde opgebouwd als de voorgaande paragrafen, eerst wat basisdefinities, dan een stelling en alles wordt intuïtief duidelijk gemaakt aan de hand van voorbeelden. De wiskundige informatie voor dit hoofdstuk komt allemaal uit [] en van Tanja Eisner-Lobova en de informatie over Perron en Frobenius komt van [9]. Nadat we de theorie van lineaire algebra en positieve matrices tot in de puntjes uitgelegd hebben, gaan we verder met de eerste toepassing: gerichte grafen. Ook in Hoofdstuk 3 beginnen we met een korte inleiding in het onderwerp, in dit geval dus grafentheorie. Na de uitleg over gerichte grafen gaan we kijken naar verbindingsmatrices, een nuttig concept dat grafen en matrices met elkaar verbindt. Met behulp van dit begrip kunnen we daarna sterke samenhangendheid bestuderen. Het zal de lezer opvallen dat verbindingsmatrices bij stellingen over sterke samenhangendheid een grote rol spelen. Daarna gaan we kijken naar gewogen grafen. Ook voor deze grafen bestaan verbindingsmatrices. Op Lemma 3. na gelden alle stellingen in Hoofdstuk 3 ook voor gewogen grafen. Alle informatie voor dit hoofdstuk komt van Tanja Eisner-Lobova. In Hoofdstuk 4 gaan we dieper in op de theorie van Markovketens. Een Markovketen kunnen we opvatten als een graaf, hierdoor is er een direct verband met Hoodstuk 3. Bij een Markovketen hoort een matrix, deze matrix is positief, hierdoor wordt er ook een 3

6 verband gelegd met Hoofdstuk 2.We beginnen zoals gebruikelijk met een aantal basisdefinities. Vervolgens behandelen we een aantal belangrijke stellingen. In Hoofdstuk 5 behandelen we stap voor stap de basis van de Google zoekmachine, namelijk het algoritme PageRank. PageRank wordt gebruikt om de resultaten van een zoekopdracht te rangschikken. Het World Wide Web, meestal kortweg het web genoemd, bevat wereldwijd enkele miljarden webpagina s met informatie en ontspanning die verbonden zijn door middel van links. Dit web kunnen we zien als een grote gerichte graaf. De literatuur die we voor dit hoofdstuk hebben bestudeerd is [3], [6] en [7]. Ook hebben we gebruik gemaakt van de website [0]. 4

7 Hoofdstuk Lineaire Algebra Lineaire algebra is een gebied van de wiskunde dat zich bezig houdt met de studie van vectoren, vectorruimte en lineaire transformaties. De lineaire algebra staat centraal in de moderne wiskunde en haar toepassingen. We beginnen met een aantal basisbegrippen en stellingen. In dit project richten wij ons op de ruimte M n (C), de ruimte van n n-matrices met complexe coëfficiënten.. Normen Het begrip norm heeft veel overeenkomsten met het begrip lengte. Er volgt een aantal definities die we nodig hebben in het vervolg van dit project. We beginnen met de standaardnorm van een vector x = (x,..., x n ) T met reële of complexe getallen. Definitie.. Stel dat X een lineaire ruimte is over het veld R. De norm is een niet-negatieve reële functie die voldoet aan de volgende axioma s: x 0 met x = 0 dan en slechts dan als x = 0, αx = α x α R, x X x + y x + y. x, y X Elke norm gedefinieerd op de lineaire ruimte X = R n noemen we een vector norm. Voorbeelden van normen zijn de -norm!, de 2-norm (of Eucidische norm) 2, en de -norm ; deze zijn als volgt gedefinieerd. Definitie.2. Stel x = (x,..., x n ) T, dan is de Euclidische norm gedefinieerd als x 2 = ( n i= x i 2 ) 2. In het geval van PageRank en Markovketens wordt echter vaak de -norm gebruikt. Definitie.3. De -norm voor een vector x = (x,..., x n ) T is gedefinieerd als x = n x i. i= 5

8 Ook wordt vaak de -norm gebruikt. Definitie.4. De -norm is gedefinieerd als x = max i x i. We hebben nu gezien dat we voor vectoren normen kunnen definiëren. Dit kunnen we ook doen voor matrices. Definitie.5. Laat A M n (C) en laat de norm op C n zijn. De operatornorm op M n (C) is gedefinieerd als A := sup{ Ax : x C n, x } = max{ Ax : x C n, x }. De rijnorm is gedefinieerd als A := max{ Ax : x C n, x } = max i n De kolomnorm is gedefinieerd als A := max{ Ax : x C n, x } = max i n n a ij. j= n a ij. Ten slotte gaan we kijken naar een stelling die we niet gaan bewijzen. Stelling.6 (Tikhonov). Laat X een eindigdimensionale (complexe) vectorruimte zijn en laat en normen zijn op X. Dan bestaan er constanten c, c 2 > 0 zodat c x x c 2 x, x X. Deze stelling gaan we niet bewijzen. Voor het bewijs verwijzen we naar []. i=.2 Eigenwaarden Lineaire afbeeldingen spelen een belangerijke rol in de lineaire algebra. Een speciaal geval zijn de lineaire afbeeldingen van een vectorruimte in zichzelf. We herinneren ons dat als A een n n-matrix is, een vector x C n, met x 0, een eigenvector van A heet als geldt: Deze scalair heet de eigenwaarde van A. Ax = λx voor zekere λ C. Definitie.7. De verzameling σ(a) := {λ, λ 2,..., λ m } van alle eigenwaarden van een matrix A wordt het spectrum van A genoemd. De resolventverzameling is het complement van σ(a). Oftewel ρ(a) := C\σ(A). Voor latere referenties introduceren we de volgende definitie. 6

9 Definitie.8. Laat λ,..., λ n de eigenwaarden van een matrix A M n (C) zijn. Dan is de spectrale straal voor een matrix een positief getal r(a) := max i m λ i. (.) De cirkel in het complexe vlak met het middelpunt in de oorsprong en de straal gelijk aan r(a) wordt de spectraalcirkel genoemd. Dit is de kleinste cirkel die het spectrum van A bevat. Deze definitie illustreren we aan de hand van het volgende voorbeeld. Voorbeeld.9. Laat Dan geldt: 2 A = det(a λi) = ( λ)((2 λ)( λ) 5) 5(2( λ) 5) = ( λ)(2 3λ + λ 2 5) 5(2 2λ 5) = 3 3λ + λ 2 + 3λ + 3λ 2 λ λ = λ 3 + 4λ 2 + 0λ + 2 = (λ 6)( λ 2 2λ 2). Hieruit volgt dat de eigenwaarden van A gelijk zijn aan: λ = 6, λ 2 = 2+ ( 2) = = i, λ 3 = 2 ( 2) = + i. 2 Dus uit Definitie.8 volgt nu dat: r(a) = max {6, ( ) 2 + 2, } ( ) 2 + ( ) 2 { = max 6, } 2 = 6. 7

10 6i + i i 6 6i Figuur.: Het complexe vlak met de spectraalcirkel van A en de bijbehorende eigenwaarden. Lemma.0. Laat de operatornorm op M n (C) zijn en laat A M n (C) en λ σ(a). Dan geldt λ A. In het bijzonder geldt dat r(a) A. Bewijs. Voor elke eigenvector x 0 behorend bij de eigenwaarde λ geldt dat Ax = λ x. Bovendien geldt Ax A x. Dus λ x = Ax A x. Dit impliceert dat λ A. Uit Definitie.8 volgt direct dat r(a) A..3 De resolvent Voor het bewijzen van een aantal stellingen hebben we de resolvent van een matrix nodig. De resolvent is een begrip om bepaalde toepassingen binnen de complexe analyse toe te passen. In het bijzonder om het spectrum van operatoren te bestuderen. We beginnen met de definitie van de resolvent. Definitie.. De resolvent van een matrix A is de afbeelding µ R(µ, A) := (µ A) met µ ρ(a). Dit illustreren we aan de hand van het volgende voorbeeld. Voorbeeld.2. Stel de matrix A is gelijk aan: λ 0 λ λ 8

11 Dan is de resolvent R(µ, A) in het punt µ gelijk aan: µ λ (µ λ) 2. µ λ (µ λ) (µ λ) n (µ λ) 0 2 µ λ Dit kunnen we nagaan door de matrix R(µ, A) te vermenigvuldigen met de matrix µ λ 0 µ λ. (µ A) = µ λ. De volgende reeks is belangrijk in de theorie van positieve matrices. Definitie.3. De formele reeks k=0 wordt de Neumannreeks genoemd. A k, voor µ C\{0}, µ k+ Lemma.4. Laat A M n (C) en r(a) = max λ σ(a) λ < µ. Neumannreeks in µ en de volgende gelijkheid geldt: Dan convergeert de R(µ, A) = k=0 A k µ k+. Bewijs. We bewijzen dit lemma alleen voor µ waarvoor geldt µ > A. De algemene situatie volgt uit Proposition 3.9 van []. R(µ, A) = (µ A) ( ( = µ I A )) voor µ = µ = k=0 k=0 ( ) k A µ A k µ k+, A µ = µ A < waarbij de reeks A k k=0 vanwege het criterium van Weierstrass absoluut convergeert. µ k+ 9

12 .4 Jordan-normaalvorm In de lineaire algebra is de Jordan-normaalvorm een simpele vorm waarnaar men een matrix kan transformeren met behoud van de eigenwaarden van die oorspronkelijke matrix, door een transformatie van een basis. Het begrip komt voort uit de vraag hoever men matrices die niet diagonaliseerbaar zijn kan vereenvoudigen. We herinneren ons dat voor λ C de matrix λ 0 λ. J k =..... M k k (C)... 0 λ een Jordanblok van dimensie k is. Een Jordanmatrix is een matrix van de vorm: J n (λ ) 0 J n2 (λ 2 ) J = J nk (λ k ) met J ni (λ i ) Jordanblokken voor i =,..., k en λ,..., λ k C. Stelling.5 (Jordan-normaalvorm). Laat A M n (C). Dan bestaat er een inverteerbare P M n (C) zodanig dat A = P JP met J een Jordanmatrix. De matrix J is uniek op de rangschikking van de Jordanblokken na en wordt de Jordan-normaalvorm genoemd. Opmerking. In de Jordanmatrix J, met λ j eigenwaarden van de matrix A, kunnen er blokken zijn met dezelfde λ j. De dimensie van het grootste Jordanblok dat correspondeert met λ j is de macht van λ j z in het minimaal polynoom van A. Vervolgens behandelen we een stelling over het convergeren van machten van matrices. Dit is een belangrijk stelling voor het Google PageRank algoritme. Stelling.6. De machten van A M m (C) convergeert dan en slechts dan als: óf λ i = en dim(j ni (λ i )) = λ i < λ i σ(a). Bewijs. We weten uit Stelling.5 dat A te schrijven is als P JP, met J een Jordanmatrix. Hieruit volgt dat A n = (P JP ) n = P} JP P JP {{ P JP } = P J n P. n keer 0

13 Dus J n = P A n P. Oftewel, de machten van de Jordan matrix, J n, convergeert dan en slechts dan als A n convergeert. We mogen zonder verlies van algemeenheid aannemen dat A een Jordanmatrix is van de vorm: J n (λ ) 0 J A = n2 (λ 2 ) J nk (λ k ) Elk Jordanblok is te schrijven als λ 0 λ λ λ 0. J k (λ) = = λ 0 λ 0 0 }{{}}{{} D B Er geldt: (J k (λ)) n = (D + B) n = n i=0 ( ) n D n i B i i ( ) ( ) ({ ) }}{ n n n = D n + D n B + + D n (k ) B k + D n k B k + + B n k k ( ) ( ) n n = D n + D n B + + D n (k ) B k. k In matrixnotatie zien we dat: λ n nλ n n(n ) ( λ n 2 n ) 2 k λ n (k ) λ n (J k (λ)) n. =.... n(n ). λ n nλ n 0 λ n Nu zullen we een aantal gevallen onderscheiden: i) Stel λ =. Dan geldt: n n(n ) ( n ) 2 k (J k ()) n. =.... n(n ).. (.2) 2... n 0 De matrix (J k ()) n convergeert dan en slecht dan als de dimensie van dit Jordanblok één is. 0

14 ii) Stel λ >. Dan geldt: Dus A n convergeert niet. iii) Stel λ <. Dan geldt: Dus A n convergeert ook. (J k (λ)) n. (J k (λ)) n 0. iv) Stel λ =, λ. Dan convergeert λ k niet, dus de matrix (J k (λ)) n convergeert ook niet. Kortom, uit de gevallen i), ii), iii) en iv) volgt dat (J k (λ)) n, en dus ook de matrix A n, alleen convergeert als λ i = en dim(j ki (λ i )) = óf als λ i <. Voorbeeld.7. Als we nu de matrix A en de resolvent R(µ, A) gebruiken als in Voorbeeld.2, dan zien we dat de Jordan-normaalvorm van de resolvent gelijk is aan R(µ, J n (λ )) 0 R(µ, J R(µ, A) = n2 (λ 2 ))... 0 R(µ, J nk (λ k )) met dezelfde Jordanbasis als A. Hierbij geldt dat µ λ i (µ λ i ) 2 (µ λ i ) n i µ λ i (µ λ i. ) 2 R(µ, J ni (λ i )) = ,... (µ λ i ) 0 2 µ λ i waarbij n i gelijk is aan de dimensie van het blok corresponderend met λ i voor i =,..., k..5 Stochastische matrices Stochastische matrices zijn matrices die de overgangen van een Markovketen beschrijven. Dit soort matrices worden ook door Google gebruikt. Daarom zullen we een aantal definities en lemma s over stochastische matrices behandelen. Definitie.8. Een n n-matrix A heet kolomstochastisch als alle entries a ij positief zijn en n a ij = j {,..., n}. i=0 Definitie.9. Een n n-matrix A heet kolom-deelstochastisch als alle entries a ij positief zijn en n a ij j {,..., n}. i=0 2

15 Een stochastische matrix heeft een aantal eigenschappen, die we in het volgende lemma gaan bewijzen. Lemma.20. Stel A is een vierkante stochastische matrix. beweringen: Dan gelden de volgende i) σ(a), ii) de spectrale straal r(a) is gelijk aan. Bewijs. i) Stel A is een kolomstochastische n n-matrix. We weten dat de eigenwaarden van de matrix A en de eigenwaarden van zijn getransponeerde A T gelijk zijn. De matrix A is kolomstochastisch, dus de som van iedere kolom van de matrix is gelijk aan. Dit is equivalent met de gelijkheid A T =, met = (,..., ) T. We zien dat λ = een eigenwaarde van de matrix A T is en dus ook een eigenwaarde van de matrix A is. ii) Voor elke matrixnorm geldt dat r(a) A (zie Lemma.0) en uit i) volgt dat er een eigenwaarde gelijk aan is. Hieruit volgt dat: dus r(a) =. r(a) A =, Kolomstochastische matrices worden gebruikt bij Google PageRank. Voor de wiskunde achter Google willen we ook dat de machtreeks van een kolomstochastische matrix weer kolomstoschastisch is. Daarom willen we, met behulp van inductie, het volgende lemma bewijzen. Lemma.2. Laat A, B twee n n kolomstochastische matrices zijn. Dan geldt dat A B is kolomstochastisch. Bewijs. Laat a... a n b... b n A =.., B =.., a n... a nn b n... b nn We bewijzen dat de som van de eerste kolom van de matrix AB gelijk is aan en nemen dan zonder verlies van algemeenheid aan dat de som van alle kollommen gelijk is aan. Het bewijs dat de som van elke andere kolom gelijk is aan gaat analoog. Met behulp van matrixvermenigvuldiging zien we dat de eerste kolom van AB gelijk is aan: a b + + a n b n. a n b + + a nn b n. Als we de elementen van de eerste kolom van AB optellen, krijgen we: b (a + + a n ) + + b n (a n + + a nn ). 3

16 De som van de eerste kolom van AB is gelijk aan b {}}{{}}{ (a + + a n ) + + b n (a n + + a nn ) = b + + b n =. Dit volgt omdat de matrix A en de matrix B kolomstochastisch zijn. Hieruit volgt dat AB kolomstochastisch is. 4

17 Hoofdstuk 2 Positieve Matrices Nu de basis van de lineaire algebra bekend is, gaan we wat dieper in op deze basisbegrippen. Dit doen we in het bijzonder voor positieve matrices. Later in dit verslag, met name in Hoofdstuk 5, zullen we de stellingen uit dit hoofdstuk nodig hebben om het Google-probleem te versimpelen. We beginnen met een aantal definities. Definitie 2.. Een vector x = (x,..., x n ) T is positief als x i voor elke i {,..., n}. Dit noteren we met x 0. Een n m-matrix T = (t ij ) is positief als t ij 0 voor elke i {,..., n}, j {,..., m}. Dit noteren we met T 0. Opmerking. We noemen een vector x (of matrix T ) strikt positief als alle entries groter dan nul zijn. Dit noteren we met x 0 (of T 0). Definitie 2.2. De absolute waarde van x = (x,..., x n ) T C n is de vector x = ( x,..., x n ) T. De absolute waarde van T = (t ij ) i,j=,...,n M n (C) is T = ( t ij ) i,j=,...,n. Het volgende lemma wordt gegeven zonder bewijs. Het bewijs van dit lemma is erg simpel, de lezer wordt uitgedaagd het voor zichzelf te bewijzen. Lemma 2.3. Laat T M n (C). Er geldt: (i) T 0 T x 0 voor elke x 0, (ii) T x T x voor elke x C n, dus T 0 = T x T x voor elke x C n. Met dit lemma kunnen we een stelling bewijzen die gemakkelijk in te zien is maar grote gevolgen met zich meebrengt. Stelling 2.4. Laat T een positieve matrix zijn met spectrale straal r(t ). Er geldt: (i) µ > r(t ) = R(µ, T ) 0, (ii) µ > r(t ) = R(µ, T ) R( µ, T ). Bewijs. Volgens Lemma.4 kunnen we voor µ > r(t ) de resolvent schrijven als Neumannreeks: T n R(µ, T ) = µ. n+ n=0 5

18 (i) Er geldt dat T 0, dus dat T n 0 voor elke n, en µ > r(t ) 0 impliceert µ n > 0 voor elke n, dus voor µ > r(t ) hebben we R(µ, T ) = (ii) Voor µ met µ > r(t ) 0 geldt dat R(µ, T ) = n=0 Dit maakt het bewijs compleet. 2. Stelling van Perron n=0 n=0 T n µ n+ = R( µ, T ). T n 0. µ n+ n=0 T n µ = n+ n=0 T n µ n+ T n µ n+ Oskar Perron was een Duits wiskundige die op 7 mei 880 in Frankenthal werd geboren en tot 22 februari 975 leefde. Hij gaf les aan de Ruprecht-Karls-Universität Heidelberg en aan de Ludwig-Maximilians-Universität München en was voornamelijk werkzaam in het gebied van de differentiaalvergelijkingen en partiële differentiaalvergelijkingen. Zijn bekendste werk is de Perron methode, een methode voor het oplossen van Dirichletproblemen voor Laplacevergelijkingen. Hij hield zich echter ook bezig met de lineaire algebra, voornamelijk met strikt positieve matrices. In 907 heeft hij verschillende eigenschappen van strikt positieve matrices bewezen, onder andere een variant van de volgende stelling: Stelling 2.5 (Perron). Laat T een positieve matrix zijn. Dan is r(t ) een eigenwaarde van T met een positieve eigenvector. In het bijzonder geldt dat r(t ) de grootste positieve eigenwaarde van T is. Deze stelling is dus eigenlijk niet helemaal bedacht en bewezen door Oskar Perron. Hij bewees dat voor een strikt positieve matrix T de spectrale straal een strikt positieve eigenvector heeft. Stelling 2.5 is in werkelijkheid in 92 bewezen door Ferdinand Georg Frobenius, een andere Duits wiskundige. We noemen de stelling in dit verslag wel de stelling van Perron, omdat Frobenius de originele stelling van Perron alleen veralgemeniseerd heeft. (In dit geval heeft hij het feit dat positieve matrices te schrijven zijn als limieten van strikt positieve matrices gebruikt, Stelling 2.5 volgt dan meteen uit de originele stelling.) Om deze stelling te bewijzen, hebben we nog een extra lemma nodig. Lemma 2.6. Voor elke n m-matrix A 0 geldt dat er een y 0 is zdd. Ay = x 0. Bewijs. Stel Ay = 0 voor elke y 0. Elke reële vector z kan geschreven worden als z = y y 2 met y, y 2 0, dus voor elke z R m geldt Az = Ay Ay 2 = 0. Dit impliceert dat Ac = Az + i Az 2 = 0 voor elke c = z + i z 2 met z, z 2 R m, dus voor elke c C m. Dit betekent dat A de nulmatrix is. Dus er is een y 0 zdd. Ay = x 0. 6

19 Alternatief bewijs. Omdat A 0, is er een j waarvoor de j-de kolom van A niet gelijk is aan nul. Neem y = e j, de nulvector met een één op de j-de plaats, dan geldt Ay 0. Bewijs (stelling van Perron). We gaan de stelling van Perron bewijzen in twee delen:. Wat we moeten bewijzen is dat r(t ) σ(t ). We nemen een µ met µ > r(t ) en schrijven T in zijn Jordan normaalvorm, dus T = P JP. Herinner dat de resolvent van J gelijk is aan µ λ (µ λ ) 2 (µ λ ) n (µ λ ) 2 0 µ λ R(µ, J) =.... µ λ k (µ λ k ) (µ λ k ) n k 0... (µ λ k ) 2 0 µ λ k Hierbij geldt σ(t ) = {λ i i =,..., k} en n i is de dimensie van het Jordanblok behorend bij λ i. De λ i s hoeven niet allemaal verschillend te zijn. Er geldt r(t ) = max i k λ i, dus er is een λ 0 σ(t ) met λ 0 = r(t ). Omdat λ 0 = λ i voor een i {,..., k}, geldt dat lim R(µ, J). µ λ 0 Aangezien T = P JP, geldt dat R(µ, T ) = (µi T ) = (P (µi J)P ) = P R(µ, J)P, en dus geldt ook dat lim µ λ 0 R(µ, T ). Voor µ > r(t ) geldt R(µ, T ) R( µ, T ) (zie Stelling 2.4 (ii)), dus er geldt ook dat lim R( µ, T ). µ λ 0 µ >r(t ) Vanwege de continuïteit van de resolvent betekent dit dat r(t ) / ρ(t ), dus dat r(t ) σ(t ). 2. Wat we moeten bewijzen is dat er een x 0, x 0, is zdd. T x = r(t )x. We weten dat er minstens één Jordanblok behorend bij r(t ) is. Laat n 0 de dimensie van het grootste blok dat bij r(t ) hoort zijn. Noteer dit grootste blok met J(r(T )). Neem S = lim µ r(t ) (R(µ, T )(µ r(t )) n 0 ). Er geldt S 0, want R(µ, T ) en µ r(t ) zijn beide groter dan of gelijk aan nul voor elke µ > r(t ). Ook geldt S 0, want in het deel van S behorend bij J(r(T )) 7

20 is er één entry die gelijk is aan één: µ r(t ) S J(r(T )) = lim (µ r(t )) n 0... µ r(t ). 0 µ r(t ) = (µ r(t )) n 0 Uit Lemma 2.6 volgt nu dat er een y 0 en x 0 bestaan zdd. Sy = x. Omdat S 0, hebben we ook dat x 0. We gaan laten zien dat T x = r(t )x. Er geldt inderdaad dat (r(t )I T )x = (r(t )I T )Sy = (r(t )I T ) lim µ r(t ) (R(µ, T )(µ r(t ))n 0 )y = lim ((r(t )I T )R(µ, T )(µ r(t )) n 0 )y µ r(t ) }{{} commuterend = lim µ r(t ) (R(µ, T )(r(t )I T )(µ r(t )) n 0 )y = lim µ r(t ) [R(µ, T )((r(t ) µ)i + (µi T ))(µ r(t ))n 0 ]y = lim (R(µ, T )(µ r(t µ r(t ) ))n 0+ )y }{{} =0 + lim (R(µ, T )(µi T )(µ r(t )) n 0 )y µ r(t ) }{{} =I = 0. Dus er is een x 0, x 0, zdd. T x = r(t )x. Dus r(t ) is een eigenwaarde van T met een positieve eigenvector. Dat r(t ) de grootste positieve eigenwaarde van T is, volgt nu uit de Definitie.8. Voorbeeld 2.7. We gaan deze stelling controleren voor de matrix uit Voorbeeld.9. Voor deze matrix geldt r(a) = 6 σ(a), dus r(a) is een eigenwaarde van A. Voor de eigenvector x van r(a) geldt Ax = r(a)x, dus we willen een x vinden waarvoor Ax = 6x, dus waarvoor (A 6I)x = 0. We hebben 5 2 A 6I = Nu kunnen we de vergelijking (A 6I)x = 0 in een matrix zetten en de oplossing vinden met behulp van rijvegen: = x = 3 5 x 3, x 2 = x

21 Neem x 3 = 5, dan hebben we als eigenvector 3 x = 5 5 en deze vector is positief! Verder is 6 de enige positieve eigenwaarde, dus ook de grootste. Later zullen we zien dat x 0 volgt uit de irreducibiliteit van A. 2.2 Dominante eigenwaarde Voordat we verdergaan met irreducibiliteit, gaan we eerst kijken naar dominante eigenwaarden. Dit lijkt nu los te staan van de verdere onderwerpen, maar alles zal in Hoofdstuk 5 op zijn plaats vallen. Voordat we aan de hoofdstelling van deze paragraaf toekomen, moeten we eerst nog definiëren wat een dominante eigenwaarde is. Definitie 2.8. Laat T M n (C). Een λ σ(t ) is dominant als µ < λ voor elke µ σ(t ), µ λ. Stelling 2.9. Laat T 0 met een strikt positieve diagonaal. Dan is r(t ) een dominante eigenwaarde van T. Om deze stelling te bewijzen hebben we eerst nog een lemma nodig. Het bewijs van dit lemma volgt direct uit de definitie van een eigenwaarde. Lemma 2.0. Laat A M n (C) en t C. Dan geldt dat de eigenwaarden van A ti de eigenwaarden van A minus t zijn, dus λ is een eigenwaarde van A λ t is een eigenwaarde van A ti. Bewijs (Stelling 2.9). We gaan bewijzen dat r(t ) de enige eigenwaarde is op de cirkel met straal r(t ). (Dan ligt de rest van de eigenwaarden binnen die cirkel en geldt dus dat r(t ) dominant is.) Om het bewijs duidelijk te maken, tekenen we intussen een plaatje, deze staat onder het bewijs. De eigenwaarden van T liggen allemaal binnen en op de cirkel met straal r(t ), cirkel in het plaatje. Neem een ε zdd. 0 < ε < min i=,...,n (t ii ). Uit Lemma 2.0 volgt dat de eigenwaarden van T εi de eigenwaarden van T minus ε zijn, dus de eigenwaarden van T εi liggen allemaal binnen en op de cirkel met middelpunt ε en straal r(t ), cirkel 2 in het plaatje. Er geldt dat T εi 0, dus dat r(t εi) σ(t εi). Uit Stelling 2.5 volgt dat r(t εi) de grootste positieve eigenwaarde van T εi is. Uit Lemma 2.0 volgt dat r(t ) ε de grootste positieve eigenwaarde van T εi is, dus r(t εi) = r(t ) ε. De eigenwaarden van T εi liggen dus allemaal binnen en op de cirkel met straal r(t εi) = r(t ) ε, cirkel 3 in het plaatje. Nu volgt uit Lemma 2.0 dat de eigenwaarden van T de eigenwaarden van T εi plus ε zijn, dus de eigenwaarden van T liggen allemaal binnen en op de cirkel met middelpunt ε en straal r(t ) ε, cirkel 4 in het plaatje. 9

22 2 3 4 ε 0 ε r(t ) ε r(t ) Figuur 2.: De bijbehorende cirkels waarin en waarop de eigenwaarden liggen. De roze cirkels horen bij T en de groene bij T εi. Aangezien alle eigenwaarden van T in en op cirkel 4 liggen, is r(t ) de enige eigenwaarde op cirkel en dus is r(t ) dominant. Voorbeeld 2.. We gaan deze stelling controleren voor de matrix uit Voorbeeld.9. De spectrale straal is dominant als hij de enige eigenwaarde op de cirkel met straal r(a) is. In het plaatje in Voorbeeld.9 is duidelijk te zien dat dit zo is, dus r(a) = 6 is inderdaad dominant. 2.3 Irreducibele matrices Na het kleine uitstapje naar dominante eigenwaarden komen we nu aan bij de irreducibele matrices. Dit is een erg belangrijke eigenschap voor matrices, omdat dit een van de condities blijkt te zijn waarvoor het grootste Jordanblok behorend bij de spectrale straal dimensie één heeft. Het feit dat dit wel of niet zo is zegt veel over het gedrag van de machten van de matrices als de macht naar oneindig gaat. Definitie 2.2. Een matrix T M n (C) is reducibel als er een verzameling M {,..., n}, M, bestaat voor welke de deelverzameling J M = {(x,..., x n ) T x i = 0 voor elke i M} C n invariant onder T is. Er moet dus gelden dat x J M = T x J M. Als T niet reducibel is, heet T irreducibel. Doordat we de kanonieke basisvectoren van C n ongestraft mogen permuteren, kunnen we de verzameling J M uit deze definitie vervangen door de verzameling J Mk = {(x,..., x n ) T x k+ =... = x n = 0} 20

23 voor een k {,..., n}. matrices: Hieruit volgt de volgende karakterizering van (ir)reducibele Lemma 2.3. Een matrix T M n (C) is reducibel er bestaat een permutatiematrix P zdd. S = P T P een blokvorm heeft: ( ) A B S =. 0 C Hierbij geldt dat A en C vierkante matrices zijn en minstens groot zijn. Opmerking. De bewerking P T P is simpelweg het gelijktijdig verwisselen van kolommen en rijen van T. Dus stel dat de bewerking P T ervoor zorgt dat rij en 2 verwisseld worden, dan zorgt de bewerking P T P ervoor dat rij en 2 verwisseld worden en dat kolom en 2 verwisseld worden. (De volgorde van de verwisselingen maakt natuurlijk niet uit.) Stelling 2.4. Laat T M n (C) een irreducibele en positieve matrix zijn. Er geldt: (i) r(t ) > 0. (ii) De eigenruimte van r(t ) is -dimensionaal en wordt opgespannen door een strikt positieve stochastische vector z = (z,..., z n ) T. (iii) In de Jordan normaalvorm heeft het (unieke) blok behorend bij r(t ) dimensie één. Bewijs. (i) Wat we moeten bewijzen is dat r(t ) > 0. We laten zien dat er een z 0 bestaat zdd. T z = r(t )z. Dan volgt uit T 0 meteen dat r(t ) > 0, want het product van een positieve matrix en een strikt positieve vector is niet gelijk aan nul als de matrix niet gelijk aan nul is, en dus kan r(t ) dan niet gelijk zijn aan nul. Uit Stelling 2.5 volgt dat er een z 0, z 0, bestaat zdd. T z = r(t )z. Stel nu dat z nulcoördinaten heeft. Zonder verlies van algemeenheid kunnen we z dan schrijven als z = (z,..., z k, 0,..., 0) T met z,..., z k > 0. Laat nu Y = lin{e,..., e k } en neem een y Y, dus y k+,..., y n = 0. Er geldt: voor elke t R en t > 0 is er een a > 0 zdd. t at, dus er is een c > 0 zdd. y cz. Dit betekent dat het volgende geldt: T y T y ct z = cr(t )z. Dit impliceert dat (T y) k+,..., (T y) n = 0, dus dat T y Y. Dit betekent dat Y invariant is onder T en dat impliceert dat T reducibel is. Dus z 0. (ii) Wat we moeten bewijzen is dat de eigenruimte van r(t ) -dimensionaal is en opgespannen wordt door een stochastische vector y 0. We laten zien dat de eigenruimte van r(t ) wordt opgespannen door y = z n i= z i waarbij z gelijk is aan de z uit (i). Dus we laten zien dat T x = r(t )x = x = cy voor een c C. Laat x C n, x 0, zdd. T x = r(t )x. We mogen aannemen dat x reëel is. (Beschouw anders Re(x) en Im(x) als twee losse gevallen.) Er bestaat een c > 0 zdd. x = y cx 0 en zdd. x minstens één nulcoördinaat heeft. Dus als x 0, geldt dat x een eigenvector van r(t ) is met minstens één nulcoördinaat, dus dat T reducibel 2

24 is, zie het bewijs van (i). Er moet dus gelden dat x = 0, dus dat y = cx. Oftewel, x = y voor een c > 0. c De vector y is ten duidelijkste een stochastische vector ( n i= y i = n n i= z i i= z i = ), dus de eigenruimte van r(t ) wordt opgespannen door een strikt positieve stochastische vector. (iii) Wat we moeten bewijzen is dat het Jordanblok behorend bij r(t ) dimensie één heeft. Zonder verlies van algemeenheid mogen we aannemen dat r(t ) =, beschouw anders de matrix T (die heeft dezelfde Jordanrepresentatie als T ). Dan geldt voor r(t ) de z hierboven dus dat T z = z. Laat D de diagonaalmatrix zijn met z,..., z n op de diagonaal en definieer S = D T D 0. Schrijf de n-dimensionale -vector als. Er geldt: S = D T z = D z =. Verder geldt voor de rijnorm van S en de -norm van C n dan ook dat S = S = =, dus dat S N S N = voor elke N N. Dus T N = (DSD ) N = DS N D D D voor elke N N. Dit betekent dat { T N } N= begrensd is. Dat kan alleen zo zijn als alle Jordanblokken behorend bij dimensie één hebben, zie formule (.2). Voorbeeld 2.5. We gaan deze stelling controleren voor de matrix uit Voorbeeld.9. Eerst moeten we laten zien dat deze matrix irreducibel is. Om dit in te zien rekenen we A 2 uit: A 2 = = Dus A 2 0. Dit betekent dat S 2 = (P AP ) 2 = P A 2 P 0 voor elke permutatiematrix P, dus dat S niet in blokvorm te schrijven is voor elke permutatiematrix P. (Als er wel een permutatiematrix P is waarvoor S in blokvorm te schrijven is, moet ook gelden dat S 2 in blokvorm staat voor die P, want de nulmatrix in de blokvorm blijft een nulmatrix in alle machten.) Dus A is irreducibel. (i) r(a) = 6 > 0. (ii) De eigenwaarde 6 heeft maar één eigenvector (op vermenigvuldiging na) en deze is strikt positief (zie Voorbeeld 2.7), dus de eigenruimte van r(a) is -dimensionaal en wordt opgespannen door een strikt positieve vector x = (3, 5, 5) T. Deze eigenruimte wordt opgespannen door alle veelvouden van x, dus ook door de stochastische vector z = x = ( 3, 5, 5 T ). (iii) De matrix A heeft eigenwaarden 6, i + en i, dus de Jordanmatrix van A ziet er als volgt uit: J = 0 i i (De eigenwaarden kunnen natuurlijk gepermuteerd worden.) Het Jordanblok behorend bij r(t ) = 6 heeft dus dimensie één. 22

25 Hoofdstuk 3 Grafentheorie In dit verslag werken we toe naar Google, een van de bekendste toepassingen van de theorie van positieve matrices. Voordat we echter zover zijn, gaan we eerst in Hoofdstuk 3 en Hoofdstuk 4 wat vertellen over respectievelijk grafen en Markovketens, omdat ook vanuit deze gebieden van de wiskunde gekeken kan worden naar het algoritme van Google. Verder is er een hechte relatie tussen grafentheorie en de theorie van positieve matrices. 3. Gerichte grafen Definitie 3.. Een gerichte graaf G is een paar G = (V, E) met V de verzameling punten, in het Engels vertices, en E V V de verzameling lijnen, in het Engels edges. De lijnen kunnen gezien worden als verbindingen met een richting tussen punten, sommige punten zijn dus met elkaar verbonden en andere niet. Als e = (v, w), is e de lijn van v V naar w V. Dus we kunnen e = (v, w) schrijven als e = v w Alle grafen waar we het in dit hoofdstuk over hebben zijn gerichte grafen. Definitie 3.2. Een graaf van graad n is een graaf met n punten. We schrijven dan V = {v,..., v n } en E = {e,..., e m }, waarbij voor elke i {,..., m} geldt dat e i = (v j, v k ) voor een j, k {,..., n}. Voorbeeld 3.3 (Graaf van graad 4). Laat V = {, 2, 3, 4} en E = {e, e 2, e 3, e 4, e 5 } waarbij e = (, 2), e 2 = (, 3), e 3 = (3, 2), e 4 = (3, 4) en e 5 = (4, 2). De bijbehorende graaf ziet er als volgt uit: 2 e 2 e e 5 e 3 4 e 4 3 Definitie 3.4. Er is een wandeling van lengte n van v i naar v j als er v i,..., v in V bestaan zdd. (v i, v i ), (v i, v i2 ),..., (v in 2, v in )(v in, v j ) E. Intuïtief is er zo n wandeling als je in n stappen van v i naar v j kunt lopen terwijl je de richting van de lijnen volgt. 23

26 We schrijven een wandeling van lengte n van v i naar v j als (v i, v i )(v i, v i2 ) (v in, v j ). We zeggen dat v i verbonden is met v j als er een wandeling van v i naar v j bestaat. Voorbeeld 3.5. In de graaf uit Voorbeeld 3.3 zijn er wandelingen van naar 2:. (, 2), een wandeling van lengte één, 2. (, 3)(3, 2), een wandeling van lengte twee, 3. (, 3)(3, 4)(4, 2), een wandeling van lengte drie. Zoals je ziet zitten in wandeling 2 ook een wandeling van naar 3 ((, 3)) en een wandeling van 3 naar 2 ((3, 2)) bevat. De andere wandelingen in deze graaf zijn (, 3)(3, 4), (3, 4)(4, 2), (3, 4) en (4, 2). 3.2 Verbindingsmatrices Er is een nuttige relatie tussen matrices en grafen, om specifiek te zijn tussen positieve matrices en grafen. Definitie 3.6. De verbindingsmatrix A = (a ij ) i,j=,...,n van een graaf G van graad n is de matrix met { als (v j, v i ) E, a ij = 0 anders. De verbindingsmatrix beschrijft de graaf helemaal, de relatie is één-op-één. Voorbeeld 3.7. De verbindingsmatrix van de graaf uit Voorbeeld 3.3 is A = Op een soortgelijke wijze beschrijft een gewone positieve matrix ook een graaf. Stel namelijk dat A 0 een n n-matrix is en definieer A = (a ij ) i,j=,...,n met { als (A) ij > 0, a ij = 0 als (A) ij = 0. Dan is er dus een unieke graaf die bij A hoort, en deze wordt gedefinieerd door zijn verbindingsmatrix A. Definitie 3.8. Deze unieke graaf noemen we de geassocieerde graaf van de matrix A. Voorbeeld 3.9. Neem Dan is de geassocieerde graaf als volgt: A = 2 π

27 2 De matrix A die door A gedefinieerd wordt is 0 A = 0 0 en dit is inderdaad de verbindingsmatrix van de graaf! 3 Opmerking. Deze relatie is niet één-op-één, want de positieve matrices met nullen op dezelfde plek hebben dezelfde geassocieerde graaf. Dus bij een positieve matrix hoort een unieke graaf, maar bij een graaf hoort geen unieke positieve matrix. Voorbeeld 3.0. We hebben in Voorbeeld 3.7 gezien wat de verbindingsmatrix van de graaf uit Voorbeeld 3.3 is: A = Dit betekent dat deze graaf de geassocieerde graaf is van alle positieve 4 4-matrices met een nul op plek (, ), (, 2), (, 3), (, 4), (2, 2), (3, 2), (3, 3), (3, 4), (4, ), (4, 2) en (4, 4). Dus het is de geassocieerde graaf van de matrices van de vorm A = z 0 z 2 z 3 z z 5 0 met z,..., z 5 > 0. Na al deze definities kunnen we nu een handig lemma formuleren. Met dit lemma kun je met behulp van een computer snel zien of er wandelingen zijn tussen de punten van een grote graaf. Het bewijs volgt uit de definitie van een verbindingsmatrix en de regels voor matrixvermenigvuldiging. Dit wordt aan de lezer overgelaten. Lemma 3.. Laat G = (V, E) een graaf van graad n zijn en laat A de bijbehorende verbindingsmatrix zijn. Dan geldt dat er een wandeling van v i naar v j van lengte k bestaat d.e.s.d.a. (A k ) ji > 0. Bovendien geldt voor elke i, j {,..., n} dat (A k ) ji = #{wandelingen van v i naar v j }. 3.3 Sterke samenhangendheid Er is een relatie tussen samenhangende grafen en irreducibele matrices die heel bruikbaar is. Deze relatie staat in Stelling 3.6, maar eerst volgen er een aantal definities. 25

28 Definitie 3.2. Een graaf G is sterk samenhangend als er tussen elke twee punten een wandeling in beide richtingen is. Intuïtief betekent sterke samenhangendheid dus dat je van elk punt naar elk ander punt kunt lopen in de richting van de lijnen. Equivalent hieraan is dat alle punten met elkaar verbonden zijn. Uit Lemma 3. volgt dus dat een graaf van graad n sterk samenhangend is als er voor elke i, j {,..., n} een k N is zdd. (A k ) ji > 0. Voorbeeld 3.3. We bekijken de grafen uit de voorgaande voorbeelden: De graaf uit Voorbeeld 3.3 is niet sterk samenhangend. Er is bijvoorbeeld geen wandeling van 2 naar (er is zelfs helemaal geen wandeling met 2 als beginpunt of als eindpunt). De graaf uit Voorbeeld 3.9 is wel sterk samenhangend, er zijn wandelingen van elk punt naar elk ander punt. Voorbeeld 3.4. De geassocieerde graaf van A = is een graaf die niet sterk samenhangend is: Het is duidelijk dat het onmogelijk is om van het bovenste deel van de graaf, {, 3, 4}, naar het onderste deel, {2, 5}, te komen. We gaan nu een stelling bewijzen die erg op de hoofdstelling (Stelling 3.6) van deze paragraaf lijkt. Met deze stelling op zak wordt het bewijs van Stelling 3.6 een stuk simpeler. Stelling 3.5. Een graaf G van graad n is sterk samenhangend de verbindingsmatrix A van G is irreducibel. Bewijs. = Wat we moeten bewijzen is dat als er voor elke i, j {,..., n} een k N bestaat zdd. (A k ) ij > 0, A irreducibel is. 26

29 Stel dat A reducibel is. Dan volgt uit Lemma 2.3 dat er een permutatiematrix P is zdd. S = P AP te schrijven is als ( ) S =, 0 waarbij de sterretjes matrices zijn met willekeurige reële getallen en de twee matrices linksboven en rechtsonder kwadratisch zijn. (Deze getallen zitten zelfs in {0, }.) Dan geldt ook voor elke k N dat S k = P A k P zo te schrijven is: S k = ( 0 (Nu zijn de sterretjes matrices met willekeurige getallen in Z 0.) Voor sommige entries van A k geldt dus dat ze voor elke k N gelijk zijn aan nul. (Dit is omdat de permutaties die op A k toegepast worden voor elke k N gelijk zijn.) Dit betekent dat er geen k is waarvoor geldt dat er een wandeling van lengte k is tussen de punten die bij die entries horen. Dus A is irreducibel. = Wat we moeten bewijzen is dat A irreducibel = voor elke i, j {,..., n} er is een k N zdd. (A k ) ji > 0. Deze helft van het bewijs maakt geen deel uit van dit verslag. Dit deel van het bewijs volgt uit Proposition op pagina 533 van [8]. Dus een graaf G is sterk samenhangend de verbindingsmatrix A van G is irreducibel. ). Nu kunnen we de langverwachte belangrijke stelling over irreducibiliteit van matrices bewijzen. Stelling 3.6. Laat A een positieve matrix zijn. Dan geldt dat A irreducibel is d.e.s.d.a. zijn geassocieerde graaf sterk samenhangend is. Bewijs. Uit de definitie van de verbindingsmatrix volgt dat A irreducibel is d.e.s.d.a. de bijbehorende verbindingsmatrix A irreducibel is. Stelling 3.5 zegt dat A irreducibel is d.e.s.d.a. zijn geassocieerde graaf sterk samenhangend is, dus A is irreducibel de geassocieerde graaf van A is sterk samenhangend. Opmerking. Met behulp van deze stelling kan je op een gemakkelijke manier zien of een matrix irreducibel is, mits deze matrix niet al te groot is. Zo is de matrix uit Voorbeeld 3.7 niet irreducibel, omdat de geassocieerde graaf (die staat in Voorbeeld 3.3) niet sterk samenhangend is. De matrices A en A uit Voorbeeld 3.9 zijn wel irreducibel, want de geassocieerde graaf is sterk samenhangend. 3.4 Gewogen grafen Voor Google is het fijn om te weten hoeveel waarde een bepaalde link van de ene site naar de andere heeft. Om dit makkelijk in te zien kun je gewogen grafen gebruiken. 27

30 Definitie 3.7. Een graaf G = (V, E) is een gewogen graaf als er voor elke e i E een bijbehorende w i is zdd. (i) w i > 0, (ii) j:e j uitgaande lijn van v w j = voor elke v V met minstens één uitgaande lijn. De w i s noemen we de gewichten. Voorbeeld 3.8 (Gewogen graaf van graad 4). De graaf is een gewogen graaf: (i) w i > 0 voor elke i {,... 7}. (ii) j:e j uitgaande lijn van w j = =. j:e j uitgaande lijn van 2 w j =. j:e j uitgaande lijn van 3 w j = =. j:e j uitgaande lijn van 4 w j =. 3.5 Gewogen verbindingsmatrices Ook tussen gewogen grafen en matrices is een relatie die het rekenen met grafen een stuk makkelijker maakt doordat de computer er met behulp van matrices aan kan rekenen. Deze matrices beginnen al erg op de matrices die Google gebruikt te lijken. Definitie 3.9. De gewogen verbindingsmatrix A w = (a w ij) i,j=,...,n van een gewogen graaf G van graad n is de matrix met { a w w k als e k = (v j, v i ) E, ij = 0 als (v j, v i ) / E. Net als de verbindingsmatrix voor ongewogen grafen beschrijft de gewogen verbindingsmatrix de gewogen graaf helemaal. Ook de relatie tussen gewogen verbindingsmatrices en gewogen grafen is één-op-één. Opmerking. De kolomsommen van een gewogen verbindingsmatrix A w zijn allemaal gelijk aan één of nul. Als de kolomsom gelijk is aan nul, heeft het punt behorend bij die kolom geen uitgaande lijnen. 28

31 Voorbeeld De gewogen verbindingsmatrix van de graaf uit Voorbeeld 3.8 is A w = Op een soortgelijke wijze beschrijft een gewone kolomstochastische matrix ook een gewogen graaf. Stel namelijk dat A w een kolomstochastische n n-matrix is. Dan is er, op isomorfie van lijnen na, een unieke gewogen graaf die bij A w hoort, en deze wordt gedefinieerd door zijn gewogen verbindingsmatrix A w = A w, dus door de matrix zelf. Zo kun je elke kolomstochastische matrix dus zien als een gewogen verbindingsmatrix. Definitie 3.2. Deze unieke gewogen graaf noemen we de gewogen geassocieerde graaf van de kolomstochastische matrix A w. Voorbeeld Neem A w = 0 π π π π Dan is de gewogen geassocieerde graaf als volgt: π π 3 π 2 π 3 29

32 Hoofdstuk 4 Markovketens Een andere toepassing van de theorie van positieve matrices (zie Hoofdstuk 2) is Markovketens. De kennis die we in dit hoofdstuk behandelen is ook zeer gebruikelijk voor Google. Een Markovketen is genoemd naar de Russische wiskundige Andrej Markov ( ). Een Markovketen beschrijft een systeem dat zich door een aantal toestanden beweegt en stapsgewijs overgangen vertoont van de ene naar de andere toestand. Markovketens worden in veel gebieden gebruikt voor het simuleren en analyseren van (computer)modellen van systemen waarvan de toestand geheel of voor een deel van het toeval afhangt. 4. Basisbegrippen Om te beginnen introduceren we een aantal basisbegrippen. Definitie 4.. Een eindig discreet stochastisch proces is een verzameling stochasten {X t } t=0 met een gemeenschappelijke toestandsruimte S = {S,..., S n }. Hierbij geeft X t de toestand van het proces op tijdstip t. Een Markovketen heeft de volgende eigenschap. Definitie 4.2. Een Markovketen is een stochastisch proces dat voldoet aan de Markoveigenschap: P(X t+ = S j X t = S it, X t = S it,..., X 0 = S i0 ) = P(X t+ = S j X t = S it ) t = 0,, 2,.... Oftewel, de kans dat het proces op tijdstip t + zich in toestand S j bevindt, hangt alleen af van de toestand op tijdstip t. Opmerking. De notatie P(X F ) is de kans op een bepaalde gebeurtenis X gegeven dat er een andere gebeurtenis F plaatsvindt. Dit wordt de voorwaardelijke kans genoemd. De Markov-eigenschap houdt in dat een proces geheugenloos is. De toekomst gegeven het heden hangt niet af van het verleden. Dus de toestand van de keten in de toekomst hangt alleen af van de huidige toestand, niet van het verleden. Voorbeeld 4.3. Surfen op het web is een voorbeeld van een Markovketen waarbij de Markov-eigenschap de volgende eigenschap is: het surfen naar de volgende website is onafhankelijk van de websites die in het verleden zijn bezocht, dus is alleen afhankelijk van de huidige website. 30

33 Definitie 4.4. De overgangsmatrix T = T (t) = (p ij (t)) is een vierkante matrix waarbij p ij (t) = P(X t = S i X t = S j ) de kans is om van toestand S i naar S j te komen op tijdstip t, zodat p ij (t) 0, i, j n, t 0, n j= p ij(t) =, i n, t 0. Opmerking. Uit de definitie volgt dat de matrix T een positieve kolomstochastische matrix is. Ook hebben we in Paragraaf 3.5 gezien dat er bij elke kolomstochastische matrix een unieke gewogen graaf hoort. Voorbeeld 4.5. De matrix uit Voorbeeld 3.22 is dus een overgangsmatrix en de graaf uit het voorbeeld is een weergave van de bijbehorende Markovketen. Definitie 4.6. Een Markovketen heet stationair als p ij (t) = p ij t = 0,, 2,.... Een stationaire Markovketen wordt ook wel een homogene Markovketen genoemd. Opmerking. Als de Markovketen homogeen is, is de overgangsmatrix T = (p ij ) een eindige matrix. Definitie 4.7. Een Markovketen is (ir)reducibel als de overgangsmatrix T een (ir)reducibele matrix is. Definitie 4.8. Een stochastische vector is een positieve vector x = (x,..., x n ) T zodat: x n =. n Opmerking. We kunnen een Markovketen noteren met M = (T, p(0)). Hierbij is T de bijbehorende overgangsmatrix en p(0) de initiële kansverdelingsvector. We hebben nu een aantal definities behandeld. Om de definities iets duidelijker te maken, gaan we nu naar een voorbeeld kijken. Voorbeeld 4.9. Stel dat de populatie van Atlantis uit 2900 mensen bestaat en stel dat er drie steden A, B, en C zijn in Atlantis. Elk jaar zal de gehele populatie van elke stad verhuizen naar de andere steden door zich in twee gelijke delen te verdelen. Laat a(t), b(t) en c(t) de populatiegrootte van A, B, en C na t jaar zijn en neem p(t) = (a(t), b(t), c(t)) T. Stel dat de beginpopulaties van de steden A, B en C repectievelijk a(0) = 700, b(0) = 000 en c(0) = 200 zijn. Wat is de populatie dan over een aantal jaar? De overgangsmatrix is gelijk aan: T = en p(0) = (700, 000, 200) T. 3

34 Dan geldt: Met inductie volgt nu dat: p k p k+ p k+ T k = p k+ p k p k+ p k+ p k+ p k p() = T p(0) = (00, 950, 850) T p(2) = T p() = (900, 975, 025) T. en p k = 3 ( + ( )k 2 k ). Dus Hieruit volgt dat lim T k =. k 3 p = lim p k = lim T k p 0 = (2900, 2900, 2900)T k k 3 de uiteindelijke verdeling van de populatie is. 4.2 Theorie We hebben een aantal definities behandeld met betrekking tot Markovketens. Nu gaan we verder met een aantal klassieke theorieën over Markovketens. Definitie 4.0. Een toestand S i heeft toegang tot een toestand S j, S i S j, als P{S i S j in k stappen voor een k N} > 0, oftewel als het mogelijk is om in een eindig aantal stappen van S i naar S j te komen. Als S i S j en S j S i, dan noemen we S i en S j samenhangend, S i S j. Opmerking. Het is makkelijk na te gaan dat dit een equivalentierelatie definieert. Definitie 4.. De klassen van een Markovketen zijn de equivalentieklassen geïnduceerd door de samenhangende relatie op de verzameling S. We zeggen dat een klas α toegang heeft tot een klas β als S i S j voor een S i α en S j β. Een klas heet gesloten als het geen toegang heeft tot een andere klas. Als een geslotenl klas één toestand bevat dan heet de toestand absorberend. Een Markovketen heet ergodisch als het bestaat uit één unieke klas. Opmerking. Een Markovketen is ergodisch als alle toestanden samenhangend zijn. Dit is equivalent met Definitie 3.2. Voorbeeld 4.2. Een voorbeeld van een ergodische Markovketen is ), T = ( 2 omdat alle toestanden samenhangend zijn. 2 Het volgende lemma heeft veel overeenkomsten met een stelling die we al eerder zijn tegengekomen in de grafentheorie

35 Lemma 4.3. Laat T de overgangsmatrix voor een Markovketen M zijn. Dan geldt: M is ergodisch dan en slechts dan als T irreducibel is. Bewijs. De Markovketen is ergodisch dan en slechts dan als de bijbehorende graaf sterk samenhangend is. Dus uit Stelling 3.5 volgt dit lemma. Stelling 4.4. De Markovketen is ergodisch dan en slechts dan als er een unieke stationaire kansverdelingsvector bestaat. Bewijs. De overgangsmatrix T is kolomstoschastisch dus r(p ) =. We weten uit Lemma 4.3 dat een Markovketen ergodisch is dan en slechts dan als T irreducibel is. Dus we willen bewijzen dat T irreducibel is dan en slechts dan als er een unieke vector x 0 bestaat zodat T x = x en x j =. = We nemen aan dat er een unieke vector x 0 bestaat zodat T x = x en x j =. Stel dat T reducibel is. Dan mogen we zonder verlies van algemeenheid aannemen dat er een permutatiematrix T is zodat S = P T P van de vorm ( ) A C 0 B is. Als T kolomstoschastisch is, dan is de matrix S ook kolomstochastisch. Dit betekent dat A ook kolomstochastisch is, dus dat r(a) =. Dus volgens Stelling 2.5 bestaat er een y > 0 zodat Ay = y. Dit impliceert dat x = (y, 0,... 0) T een eigenvector van P is waarvoor geldt dat T x = x. Dit is in tegenspraak met de aanname dat de unieke eigenvector strikt positief moet zijn. Dus P is irreducibel. = Dit hebben we bewezen in Stelling 2.4. We willen nog één belangrijke stelling bewijzen. Hiervoor hebben we nog een definitie nodig. Definitie 4.5. Een Markovketen heet regular als k N zodat P{S j S j in k stappen } > 0, i, j. Opmerking. Elke regular Markovketen is ergodisch, maar niet elke ergodische Markovketen is regular. Voorbeeld 4.6. Laat T = Deze matrix is ergodisch, maar niet regular. ( ) 0. 0 In Hoofdstuk 2 over positieve matrices hebben we de definities van irreducibele matrices en dominante eigenwaarden behandeld. Die zullen nu in de volgende stelling van pas komen. Stelling 4.7. Markovketen is regular dan en slechts dan als T irreducibel is en een dominante eigenwaarde is van T. 33

36 Bewijs. = We weten dat T irreducibel, kolomstochastisch en positief is met als dominante eigenwaarde. Ook weten we dat T k P 0. Dus k 0 zodanig dat T k 0 P 0. Dit impliceert dat de Markovketen regular is. = Stel dat de Markovketen regular is. Dan volgt uit Definitie 4.5: P{S j S j in k stappen } > 0, i, j. Stel dat T reducibel is. Dan is er een permutatiematrix P zodat S = P T P van de vorm ( A ) C 0 B is. Ook geldt dat: S n = ( A n 0 B n Dit is in tegenspraak met de aanname dat de Markovketen regular is. Nu willen we nog aantonen dat een dominante eigenwaarde is van T. We weten dat T kolomstochastisch is, dus r(t ) =. Ook weten we dat T k 0 0. Neem aan dat λ σ(t ) met λ =. Dan moeten we laten zien dat λ =. Voor k 0 geldt dat λ k 0 =. Maar als T k 0 0, dan ook T k0+ 0. Dus λ k0+ =. Dit impliceert dat = λk 0+ λ k 0 = λ. Hieruit volgt dat een dominante eigenwaarde is. ). 34

37 Hoofdstuk 5 Google PageRank Google onderscheidt zich van andere zoekmachines doordat de zoekresultaten worden gesorteerd zodanig dat de relevante webpagina s als eerste worden gezien. Bij het bedrijf Google Inc. werken nu mensen voltijd. Het hoofdkantoor is gevestigd in Mountain View in Californie. Sinds 9 augustus 2004 is het bedrijf beursgenoteerd. Het bedrijf is uitgegroeid tot e e n van de grootste bedrijven in de ICT-industrie en het nam verschillende bedrijven over, zoals YouTube en DoubleClick. 5. Geschiedenis Het bedrijf Google Inc. is een bedrijf dat startte met een zoekmachine op internet voor site s op het World Wide Web. In 998 is deze zoekmachine door Larry Page en Sergey Brin opgericht. De naam Google komt van het woord googol, dit is een term voor 000. De term geeft het doel aan van de zoekmachine om alle informatie van de wereld toegankelijk en nuttig te maken. Eigenlijk zou het bedrijf Googol heten, maar door een fout van e e n van de oprichters werd het Google. Het bedrijf maakt gebruik van een netwerk van zeer veel relatief goedkope computers. Googles server bestaat naar schatting uit meer dan systemen die zijn opgebouwd uit standaard hardwaredocumenten. 5.. Lawrence E. Page Lawrence E. Page, beter bekend als Larry Page, is op 26 maart 973 geboren in Michigan. Larry Page heeft gestu- Figuur 5.: Lawrence E. deerd aan de Universiteit van Michigan, hier heeft hij zijn Page, geboren op 26 maart bachelor behaald. Zijn mastertitel heeft hij behaald aan de 973 Stanford University in computerbouwkunde. Hier ontmoette hij Sergey Brin. Vervolgens is hij in Stanford begonnen als promovendus. Tijdens zijn promotie ontwikkelde hij samen met Sergey Brin de Google zoekmachine. Tot 200 was Larry Page mede-directeur van Google. Vanaf 4 april 20 werkt hij als Chief Executive Officer bij Google Inc.. 35

38 5..2 Sergey Brin Sergej Michailovitsj Brin is op 2 augustus 973 geboren in Moskou. In 979 is hij samen met zijn familie geëmigreerd naar de Verenigde Staten om te ontsnappen aan de Jodenvervolging. Hij is één van de oprichters van Google Inc.. Sergey heeft zijn bachelor in wiskunde en computerwetenschappen aan de Universiteit van Maryland behaald. Vervolgens haalde hij zijn mastertitel aan de Stanford University. Daar ontmoette hij in 995 Larry Page met wie hij de technologie achter de zoekmachine ontwierp. Vanwege zijn werkzaamheden bij Google Inc. ligt zijn promotie stil. Larry Page en Sergey Brin hebben elkaar ontmoet op Stanford University. Stanford University heeft het patent op PageRank terwijl de naam een handelsmerk van Google is. Figuur 5.2: Sergej Michailovitsj Brin, geboren op 2 augustus Basisidee Het idee is dat het internet zelf beslist hoe belangrijk een pagina is, dit wordt bepaald met behulp van een bepaalde waarde. De basis van de Google zoekmachine is een algoritme met de naam PageRank. De waarde van een pagina wordt bepaald door het aantal keer dat er naar gelinkt wordt vanaf andere webpagina s. Google analyseert de pagina waar de link vandaan komt. PageRank wordt gebruikt om de zoekresultaten van een zoekopdracht te rangschikken. Elke zoekopdracht doorzoekt in minder dan één seconde een index die is opgebouwd uit bijna 0 miljard webpagina s (stand in juli 2007). Om te bepalen welke pagina het eerst in de resultatenlijst verschijnt wordt er gekeken naar hoe vaak er een pagina gelinkt wordt, vanaf welke pagina s en met welke tekst. Google heeft in totaal ongeveer 200 algoritmes om te bepalen welke website het eerst in de resultatenlijst verschijnt. Van ongeveer 50 algoritmes is de werking van het algoritme bekend. Veel gebruikers van Google willen natuurlijk hoog in de resultatenlijst komen, daarom worden er methoden gebruikt om de waarde van een website in Google te verhogen, bijvoorbeeld door het maken van webpagina s die alleen dienen om naar andere webpagina s te verwijzen zodat deze een hogere rang krijgen. We kunnen niet exact uitleggen hoe de plaats van een website in de resultatenlijst wordt bepaald. Het algoritme van Google wordt namelijk door de uitvinders geheimgehouden Eerste poging om het PageRank algoritme te bepalen Stel het web bevat d webpagina s W,..., W d. De waarde die wordt gegeven aan webpagina W k definiëren we met x k en is positief. Als x k > x j, zeggen we dat pagina W k belangrijker is dan pagina W j. Een simpele manier om de waarde van een pagina te bepalen is om x k gelijk te stellen aan het aantal backlinks van webpagina W k. De backlinks van een webpagina zijn de links naar die gegeven webpagina. 36

39 Voorbeeld 5.. Beschouw een web met webpagina s W =, W 2 = 2, W 3 = 3 en W 4 = 4. Figuur 5.3: Voorbeeld van een web met 4 webpagina s. De pijl van i naar j geeft aan dat er een link bestaat van pagina i naar j, met i, j {, 2, 3, 4} Dan zien we dat de waarden van deze pagina s gelijk zijn aan x = 0, x 2 = 3, x 3 = en x 4 =. De score van pagina W 3 en W 4 zijn gelijk, maar W 3 wordt gelinkt door W en W 4 door W 2, waarbij W 2 belangrijker is dan W 3. Opmerking. In Paragraaf 3. en Paragraaf 3.2 hebben we de onderwerpen gerichte grafen en de relatie tussen matrices en grafen behandeld. Het web in Voorbeeld 5. kunnen we zien als een gerichte graaf van graad 4 met verbindingsmatrix A = We willen dat een website belangrijk is als de website gelinkt wordt door andere belangrijke pagina s. In Voorbeeld 5. zien we dat twee websites dezelfde waarde krijgen, terwijl de webpagina s gelinkt worden door webpagina s met een verschillende waarde. Om dit te voorkomen moeten we dus ook rekening houden met waar de links vandaan komen. Stel dat de waarde van een webpagina W k voldoet aan x k = j L k x j, waarbij L k {, 2,..., n} de verzameling backlinks van webpagina W k is. Nu zijn de waarden van de webpagina s met een link naar W k verwerkt in de formule. Maar op deze manier kunnen webpagina s de waarde van hun website heel makkelijk manipuleren, namelijk door af te spreken om heel vaak naar elkaar te linken. Daarom hebben Sergey Brin en Larry Page een ander manier bedacht om een waarde te geven aan een webpagina De originele formule voor PageRank Om te beginnen, berekenen we de waarde van webpagina W j door de som te nemen van alle waarden van alle webpagina s die een link hebben naar webpagina W j. Als pagina W j, n j links bevat waarvan er één linkt naar pagina W k, geven we W k de waarde x j j L k n j. We definiëren: x k = x j, (5.) n j j L k met n j het aantal uitgaande links van site W j. Deze reeks wordt gebruikt bij het Google algoritme. 37

40 Voorbeeld 5.2. We beschouwen een web met webpagina s W =,..., W 6 = 6. Hieruit volgt dat het aantal uitgaande links n,..., n 6 gelijk is aan n =, n 2 =, n 3 = 2, n 4 = 3, n 5 = en n 6 = 0. De backlinks van de webpagina s zijn L =, L 2 = {, 3, 4}, L 3 = {}, L 4 = {2}, L 5 = {3, 4} en L 6 = {4, 5}. Met vergelijking (5.) volgt dat de waarden x,... x 6 gelijk zijn aan: i) x = 0, ii) x 3 = x n = x 2, iii) x 2 = x n + x 3 n 3 + x 4 n 4 = x 2 + x x 4 3, iv) x 4 = x 2 n 2 = x 2 = x 2, v) x 5 = x 3 n 3 + x 4 n 4 = x x 4 3, vi) x 6 = x 4 n 4 + x 5 n 5 = x x 5. Deze lineaire vergelijkingen zijn te schrijven als Ax = x, met x = (x, x 2, x 3, x 4, x 5, x 6 ) T en A = (5.2) De matrix A die geconstrueerd wordt met dit principe wordt de linkmatrix genoemd. We gaan de linkmatrix formeel definiëren, met behulp van de volgende definitie. Definitie 5.3. De linkmatrix A = (a ij ) definiëren we als: { n a ij = j als j L i 0 anders. Opmerking. Om terug te komen op het hoofdstuk over grafen 3, kunnen we de linkmatrix A ook zien als een gewogen verbindingsmatrix 3.9. We kunnen bij Voorbeeld 5.2 een gewogen graaf tekenen, zoals we al eerder hebben gezien in Paragraaf