Opgaven Matlab - Week 2, sessie 2: De Singulierewaardendecompositie

Transcriptie

1 Opgaven Matla - Week 2, sessie 2: De Singulierewaardendecompositie Laat A R n k. Dan etaan er unitaire matrices V R k k en U R n n zodanig, dat AV = UΣ, (1) waarij Σ R n k een niet-negatieve diagonaalmatrix is. De factorisatie UΣV heet een singulierewaardendecompositie van A. Als A reëel is zijn de unitaire matrices V en U dat ook. De manier waarop we zullen proeren om een matrix A op niet-negatieve diagonaalvorm te transformeren, is dat we op zoek gaan naar elementaire unitaire transformaties V i R k k en U j R n n zo, dat Σ l := U l... U 1 AV 1... V l (2) voor l convergeert naar een niet-negatieve diagonaalmatrix Σ. Merk op: met Als Σ l in (2) een niet-negatieve diagonaalmatrix is voor zekere l N, dan geldt U = U 1... U l, en V = V 1... V l dat AV = Σ l U, en heen we dus met succes een singulierewaardendecompositie erekend. Spoiler alert! Zelfs als Matla exact zou kunnen rekenen zal vrijwel nooit geeuren dat Σ l diagonaal is voor zekere l N. De situatie is dus wezenlijk anders dan het erekenen van de Jordanvorm van een ovendriehoeksmatrix. In de praktijk zal dus ook moeten worden nagedacht over de vraag wanneer je het trio U, Σ l, V als enadering van een SVD accepteert. Opgave 1. De Matla functie voor de SVD Matla heeft een ingeouwde functionaliteit die de SVD van een gegeven matrix A uitrekent. Een aanroep daarvan in zijn volle algemeenheid heeft de vorm >> [U,S,V = svd(a) (a) Test deze functie op de volgende matrices [ en B =. () Onderzoek hierij of de erekende matrices V en U daadwerkelijk unitair zijn, en tevens of het product U*S*V gelijk is aan de gegeven matrix. Zoals eerder aangetoond zijn de kolommen van V een orthonormale asis van eigenvectoren van A A. Controleer ook dit in Matla. () Als je alleen de aanroep >> svd(a) intikt, wat geeft Matla dan? (c) Controleer dat de singuliere waarden van een matrix A R gelijk zijn aan de wortels van de niet-negatieve eigenwaarden van A A voor enkele random gegenereerde vooreelden. Opmerking: De matrix A uit () wordt in de Lecture Notes van het hoorcollege van maandag 6 juni geruikt als vooreeld om een SVD exact uit te rekenen. Bekijk dit even. Net als ij de Jordanvorm gaan we proeren om zelf op elementaire wijze de SVD te erekenen. 1

2 Opgave 2. Elementaire unitaire transformaties: het 2 2 geval De enige reële unitaire transformaties van afmetingen 2 2 zijn rotaties en spiegelingen. Een rotatiematrix is een matrix van de vorm [ 1 a R(a, ) =, a, R. a a (a) Controleer (zonder Matla) dat R(a, ) unitair is, en dat [ [ a a R(a, ) = () Oftewel, R(a, ) eeldt de vector [a af op een veelvoud van e 1 met dezelfde lengte. Oservatie: Kennelijk geldt dat [ [ a = R(a, ) a = UΣV () en dus heen we een singulierewaardendecompositie van een reële 2 1 matrix A gevonden. Immers, we heen A geschreven als product van unitair, niet-negatief diagonaal, en unitair. Laat nu A de matrix uit () zijn, [ en zet hem in het geheugen van Matla. Het moge duidelijk zijn dat met () volgt dat [ [ [ [ R(, ) =, en dus dat R(, ) = oftewel, linksvermenigvuldiging van A met R(, ) creëert een nul op positie (2, 1). (a) Schrijf een Matla-functie function U = R(a,) die gegeven a en de matrix R(a,) retourneert in de output-variaele U. () Bereken als test in Matla het product R(,-)*A. Het resultaat is ovendriehoeks maar niet diagonaal. Echter, we kunnen rechtsvermenigvuldiging met rotatiematrices inzetten om een nul te creëren op de (1, 2) positie. Immers: [ a R(a, ) = [ ( [ a R(a, ) ) =, [ [a R(a, ) = [. Dus rechtsvermenigvuldiging van A met een rotatie roteert de rij-vectoren van A. Bijvooreeld [ [ R(, ) =. (c) Test dit in Matla door het product A*R(,) te erekenen (mind the apostrophe!). Het lijkt nu misschien alsof A te diagonaliseren is middels twee rotaties, één van links en één 2

3 van rechts. Die van links geeft immers een nul op positie (2, 1) en die van rechts een nul op positie (1, 2). Die van links verandert echter ook de entry op positie (1, 2). Zelfs als je de rotatie van rechts hierop aanpast, zal deze de (nul!)entry op positie (2, 1) weer veranderen. (d) Test deze oservatie door te proeren A te diagonaliseren middels twee rotaties. (e) Schrijf een Matla-functie function [U,S,V=TweeX2(A,n) die een 2 2 matrix A en een n N als inputs neemt, en met ehulp van de functie R eurtelings een nul creëert op posities (2, 1) en (1, 2), in totaal n paren van transformaties van links en van rechts. Schematisch gezien doet dit algoritme dus het volgende, [ [ [ [ [... (6) waarij weer staat voor een niet nader gespecificeerd getal. In dit schema werkt de rotatie R(, ) van links, en de rotatie R(, ) van rechts. Merk op: Uiteindelijk wordt hier dus precies gedaan wat we in (2) voorstelden. Immers, we vermenigvuldingen de gegeven matrix A eurtelings van links en rechts met unitaire matrices, in de hoop dat het resultaat diagonaal wordt, of op z n minst steeds diagonaler. Laat de output S de getransformeerde matrix zijn. Het product van de n rotaties van links is dan U, en het product van de n rotaties van rechts is dan V, zie ook (2). Voor deze outputs geldt dan dat A=U*S*V, maar zeker voor kleine n zal S i.h.a. verre van diagonaal zijn. (f) Bereken voor n {1, 2,,,, 6} middels [U,S,V=TweeX2(A,n) een enaderende SVD van de matrix A uit (). Voor iedere erekende matrix S is de entry op positie (1, 2) per constructie gelijk aan nul. De grootte van de entry op positie (2, 1) is een goede indicatie voor de nauwkeurigheid van de erekende SVD. Geruik format long om deze entry in volle nauwkeurigheid te kunnen ekijken. Opgave. Elementaire unitaire transformaties: het n n geval Laat R(a, ) R 2 2 een rotatiematrix zijn, en I n 2 de (n 2) (n 2) identiteitsmatrix. Dan is [ R12(a, n R(a, ) ) = I n 2 natuurlijk een unitaire n n matrix, die van rotatie in het (x 1, x 2 )-vlak. Laat nu Rkl n (a, ) de matrix zijn die ontstaat door van R12 n (a, ) rij 1 en k te verwisselen, kolom 1 en k te verwisselen, rij 2 en l te verwisselen, en kolom 2 en l te verwisselen. Dan is Rkl n (a, ) dezelfde rotatie als R12 n (a, ) maar dan uitgevoerd in het (x k, x l )-vlak, zie ijvooreeld R2(, ) = 1, dan is R 2(, ) p q r = We schrijven hier opzettelijk p, q, r in plaats van asterisks: linksvermenigvuldiging met Rkl n (a, ) verandert alleen rijen k en l, en rechtsvermenigvuldiging verandert alleen kolommen k en l. p q r.

4 (a) Schrijf een functie function U = Rot(n,k,ell,a,) die de matrix Rkl n (a, ) retourneert. Dit kan overigens een stuk eenvoudiger dan rijen en kolommen van R12 n (a, ) te permuteren! Laat nu v = () Zet deze vector in Matla en creëer twee nullen in v middels twee geschikte rotaties. We gaan ons nu uigen over de vraag hoe we zoveel mogelijk nullen kunnen creëren in een gegeven matrix met rotaties R kl (a, ) zonder eenmaal gecreëerde nullen weer teniet te doen. Oservatie: Beschouw het volgende vooreeld, 12. In A kan een extra nul worden gecreëerd op positie (2, 1) door linksvermenigvuldiging met R12 (, ), maar ook een extra nul op positie (, 2) door linksvermenigvuldiging met R (, ): in eide gevallen zullen de nullen op posities (, 1) en (, 1) intact lijven. Sterker nog, aangezien rijen 1 en 2 disjunct zijn van rijen en, kunnen eide nullen gecreëerd worden. (c) Bedenk een strategie om middels linksvermenigvuldiging met geschikt gekozen matrices R n kl (, ) een gegeven matrix A Rn k met k n op ovendriehoeksvorm te rengen. (d) Implementeer deze strategie in een Matla code function [U,R=UpTriang(A) in de zin dat deze de unitaire U en ovendriehoeks R oplevert zo, dat A=U*R. Merk op: Omdat R ovendriehoeks is, is het opspansel van de eerste l kolommen van A gelijk aan het opspansel van de eerste l (orthonormale!) kolommen van U. Deze zijn dus impliciet het resultaat van het Gram-Schmidt proces toegepast op de kolommen van A. Dit proces is dus te implementeren middels elementaire unitaire transformaties (van links). (e) Test je code op een willekeurig vooreeld. Ga na dat A=U*R, dat R ovendriehoeks is, en dat U unitair is. Werkt je code ook voor de nulmatrix? Vraag die nu resteert is, hoe je door ook rechtsverenigvuldiging met matrices R n kl (a, ) toe te laten, nog meer nullen in een geeven matrix kunt creëren. Oservatie: Beschouw het volgende expliciete vooreeld, 1 R = 1. (f) Ga (op papier) na dat iedere poging om middels één rechtsvermenigvuldiging een extra nul te creëren, tot gevolg heeft dat tenminste één van de reeds aanwezige nullen verdwijnt.

5 Het resultaat ij (f) lijkt erg ontmoedigend. Gelukkig is het slechts het gevolg van het feit dat we eerst alle nullen onder de diagonaal heen gecreëerd, alvorens eens te gaan kijken of er wellicht oven de diagonaal ook nog eer valt te ehalen. Simpel gezegd: hoe meer nullen onder de diagonaal, hoe groter de kans dat we deze met kolom-operaties weer teniet doen. Oservatie: Beschouw het volgende vooreeld,. Ga nogmaals na dat rechtsvermenigvuldiging van A met Rkl (a, ) alleen kolommen k en l verandert. Dus, als k 1 l dan kunnen we met de overgeleven rotaties nog flink huishouden zonder dat er nullen uit de eerste kolom zullen verdwijnen. Met het oog op het feit dat we, zodra we weer nullen onder de diagonaal gaan creëren, de eerste rij sowieso intact laten (anders verdwijnt de nul op positie (2, 1) weer) kunnen we de rechtsvermenigvuldigingen inzetten om zoveel mogelijk nullen in de eerste rij van A te creëren. (g) Ga na welke (extra) nullen in A je kunt creëren in de eerste rij. (h) Schrijf een Matla-code [U,B,V=BiDiag(A) die, gegeven A R n k met k n, unitaire matrices U en V retourneert zo, dat B=U *A*V maximaal 2k 1 entries ongelijk aan nul heeft. (i) Test je code op enkele matrices. Het is natuurlijk zeer aannemelijk dat dit aantal van 2k 1 entries ongelijk aan nul niet verder gereduceerd kan worden, onafhankelijk van A. De situatie is nu vergelijkaar met het 2 2 geval: iedere extra nul die we introduceren, doet minimaal één estaande nul weer teniet. De hoop is nu, dat net als in het 2 2 geval, het mogelijk is om ervoor te zorgen, dat de asolute waarde van de nieuwe entry ongelijk aan nul die ontstaat, kleiner is dan de asolute waarde van de entry die we naar nul transformeren. Maar daarover volgende week meer.