Voorwaardelijke optimalisatie

Voorwaardelijke optimalisatie We zoek naar maximale minimale waard van e kwadratische vorm Q(x op R n onder bepaalde voorwaard Zo n voorwaarde is bijvoorbeeld dat x R n e eheidsvector is, dat wil zegg : x = x = x T x = x + + x n = Voorbeeld Stel dat Q(x = 7x + 4x + x Wat is dan het maximum het minimum van Q(x onder de voorwaarde dat x T x = oftewel x + x + x =? Merk op dat dat Verder geldt : x = Q(x = 7x + 4x + x 7x + 7x + 7x = 7(x + x + x = 7 Q(x = 7x + 4x + x x + x + x = (x + x + x = = Q(x = 7 x = = Q(x = Hieruit volgt dat het maximum van Q(x onder de voorwaarde x T x = gelijk is aan 7 het minimum gelijk aan Dit is respectievelijk de grootste de kleinste eigwaarde van de matrix D = diag(7, 4, van de kwadratische vorm Q Dit geldt algeme : Stelling Als A e symmetrische matrix is M = max{x T Ax : x = } m = min{x T Ax : x = }, dan geldt : M is gelijk aan de grootste eigwaarde van A m is gelijk aan de kleinste eigwaarde van A Verder geldt dat x T Ax = M als x e eigvector (met x = is van A behorde bij de eigwaarde M dat x T Ax = m als x e eigvector (met x = is van A behorde bij de eigwaarde m Bewijs De matrix A is symmetrisch dus orthogonaal diagonaliseerbaar Dat wil zegg : A = P DP T voor zekere orthogonale matrix P diagonaalmatrix D Stel nu x = P y, dan volgt : x T Ax = y T Dy Verder geldt : voor ieder y, want P T P = I dus x = P y = y P y = (P y T P y = y T P T P y = y T y = y

Dit betekt dus ook dat : x = y = Stel nu dat P = u u n D = diag(λ,, λ n met λ λ n Dan geldt dus : x T Ax = y T Dy = λ y + + λ ny n dus M = max{x T Ax : x = } = max{y T Dy : y = } = λ m = min{x T Ax : x = } = min{y T Dy : y = } = λ n Verder geldt dat M = x T Ax = y T Dy als y = dus als x = P y = u dat m = x T Ax = y T Dy als y = dus als x = P y = u n Voorbeeld Bepaal het maximum M het minimum m van de kwadratische vorm Q(x = x + 5x + 5x 8x x + 8x x onder de voorwaarde dat x T x = bepaal e eheidsvector x zodat Q(x = M e eheidsvector x zodat Q(x = m 4 4 Merk op dat Q(x = x T Ax met A = 4 5 Dan volgt : 4 5 λ 4 4 A λi = 4 5 λ 4 5 λ = λ 4 4 5 λ 5 λ 4 5 λ = λ 4 8 5 λ 4 5 λ = (5 λ λ 8 4 5 λ = (5 λ(λ λ 7 = (5 λ(λ (λ + Hieruit volgt dat M = dat m = Verder volgt : 8 4 4 M = : 4 4 = x = ± 4 4 m = : 4 4 4 4 8 4 8 = x = ± We kunn nog wat extra voorwaard oplegg :

Stelling Als A e symmetrische matrix is met A = P DP T, waarbij P = u u n D = diag(λ,, λ n zodat λ λ n, dan geldt voor elke k {,,, n } : het maximum van de kwadratische vorm x T Ax onder de voorwaard x T x =, x T u =,, x T u k = is gelijk aan de eigwaarde λ k+ dat maximum wordt aangom als x = u k+ Voorbeeld Bepaal het maximum van de kwadratische vorm Q(x = x + 5x + 5x 8x x + 8x x onder de voorwaard dat x T x = dat x T u = met u = eheidsvector x waarvoor dat maximum wordt aangom In voorbeeld hebb we gezi dat de Q(x = x T Ax met A = 4 4 4 5 4 5 bepaal e dat de eigwaard van A zijn : λ =, λ = 5 λ = Het gevraagde maximum is dus gelijk aan λ = 5 Verder volgt : 4 4 4 λ = 5 : 4 = x = ± 4 Singuliere-waarddecompositie Niet elke (vierkante matrix is diagonaliseerbaar We kunn dus niet elke matrix A schrijv als A = P DP met P e inverteerbare matrix D e diagonaalmatrix Maar symmetrische matrices zijn zelfs orthogonaal diagonaliseerbaar Dat wil zegg dat elke symmetrische matrix A geschrev kan word als A = P DP T voor zekere orthogonale matrix P diagonaalmatrix D Die (orthogonale diagonaliseerbaarheid heeft vele voordel toepassing Het is wel mogelijk om elke (evtueel niet-vierkante matrix A te schrijv als A = UΣV T voor zekere orthogonale matrices U V e matrix Σ met dezelfde afmeting als A die veel op e diagonaalmatrix lijkt Dit noemt m e singuliere-waarddecompositie van de matrix A Als A e symmetrische matrix is, dan geldt voor elke x met Ax = λx x = dat Ax = λx = λ x = λ Zo n vector x wordt door de lineaire afbeelding x Ax afgebeeld op e vector met lgte λ Die absolute waarde van de eigwaarde λ is dus e maat voor de oprekking of inkrimping door de lineaire afbeelding x Ax die bij de matrix A hoort

Dit principe kan ook bij niet-vierkante matrices word onderzocht Als A e willekeurige (m n-matrix is, dan is x Ax e lineaire afbeelding van R n naar R m We kijk vervolgs naar de verzameling {x R n : x = } in R n onderzoek de mogelijke waard van Ax Nu geldt : Ax = (Ax (Ax = (Ax T (Ax = x T A T Ax Dit is e kwadratische vorm waarvan de matrix gelijk is aan A T A Deze matrix is symmetrisch, want : (A T A T = A T (A T T = A T A We zoek vervolgs het maximum het minimum van deze kwadratische vorm onder de voorwaarde dat x = Dat is dus respectievelijk de grootste de kleinste eigwaarde van de symmetrische matrix A T A ( 4 4 Voorbeeld 4 Zie voorbeeld van 74 in Lay op pagina 47 De matrix A = 8 7 bepaalt e lineaire afbeelding x Ax van R naar R In R beperk we ons tot de vector op de eheidsbol {x R : x = } De matrix A T A heeft de eigwaard λ =, λ = λ = De bijbehorde orthonormale eigvector zijn respectievelijk u = ±, u = ± u = ± Het maximum van Ax onder de voorwaarde dat x = is dus = Dit maximum wordt aangom voor x = u : Au = ± ( 4 4 = ± ( 4 + + 8 = ± ( ( 54 8 = ± 8 7 8 + 4 4 8 Het maximum van Ax onder de voorwaard dat x = x T u = is dus = Dit maximum wordt aangom voor x = u : Au = ± ( 4 4 = ± ( 8 + 8 = ± ( ( = ± 8 7 + 7 + 4 7 ( 8 Op deze manier zi we dat {Ax : x = } e ellips voorstelt met halve ass ± ( ± De lgtes van die halve ass zijn respectievelijk : ( 8 ( = = ( ( = = Als A e willekeurige (m n-matrix is, dan is A T A e symmetrische (n n-matrix Deze matrix is dus orthogonaal diagonaliseerbaar, dat wil zegg : er bestaat e orthonormale basis {v,, v n } van R n bestaande uit eigvector van A T A Stel dat A T Av i = λ i v i voor i =,,, n, dan geldt : Av i = (Av i T (Av i = v i A T Av i = v T i (λ i v i = λ i (v T i v i = λ i, i =,,, n 4

Hieruit volgt dat alle eigwaard van A T A niet-negatief zijn We kunn die eigwaard dus alsvolgt rangschikk : λ λ λ n De singuliere waard van A zijn nu de wortels van de eigwaard van A T A Dit zijn dus precies de lgtes van de vector Av i met i =,,, n : Nu geldt : σ i = λ i = Av i, i =,,, n Stelling Stel dat {v,, v n } e orthonormale basis van R n is bestaande uit eigvector van A T A behorde bij de eigwaard λ,, λ n zodat λ λ n Als A r positieve singuliere waard heeft, dan is {Av,, Av r } e orthogonale basis van Col A geldt dat rank A = r Bewijs Omdat {v,, v n } orthogonaal is volgt (Av i (Av j = (Av i T (Av j = v T i A T Av j = v T i (λ j v j = λ j (v i v j =, i j Dus : {Av,, Av n } is orthogonaal De singuliere waard van A zijn de lgtes van de vector Av,, Av n Omdat A r positieve singuliere waard heeft, dus n r singuliere waard gelijk aan nul, volgt dat Av i o voor i =,,, r Av i = o voor i = r +, r +,, n Dus : {Av,, Av r } is e lineair onafhankelijke verzameling vector in Col A Verder geldt dat iedere vector y Col A geschrev kan word als y = Ax voor zekere x R n Nu is x = c v + + c n v n, want {v,, v n } is e basis van R n Dus : y = Ax = A(c v + + c n v n = c Av + + c r Av r Dit betekt dat Col A = Span{Av,, Av r } Dus : {Av,, Av r } is e orthogonale basis van Col A dus is rank A = dim(col A = r Nu kunn we het hoofdresultaat formuler : Stelling 4 Stel dat A e (m n-matrix is met rank A = r Dan bestaat er e orthogonale (m m-matrix U, e orthogonale (n n-matrix V e (m n-matrix Σ waarvan de eerste r diagonaalelemt gelijk zijn aan de singuliere waard σ σ σ r > van A de andere elemt gelijk aan nul, zodat A = UΣV T Elke factorisatie van de vorm A = UΣV T met U V orthogonale matrices, noemt m e singuliere-waarddecompositie van de matrix A Zo n ontbinding is niet uniek Het bewijs is constructief : Bewijs Stel dat {v,, v n } e orthonormale basis van R n is bestaande uit eigvector van de matrix A T A behorde bij de eigwaard λ λ n respectievelijk Dan is dus {Av,, Av r } e orthogonale basis van Col A De lgtes van de vector Av,, Av r zijn de eerste r (positieve singuliere waard van A, dus : Av i = σu i, i =,,, r, 5

waarbij {u,, u r } e orthonormale verzameling is in R m Deze verzameling kan (evtueel uitgebreid word tot e orthonormale basis {u,, u m } van R m door geschikte eheidsvector u r+,, u m toe te voeg Definieer nu de matrices U = u u m V = v v n Dan is U e orthogonale (m m-matrix V e orthogonale (n n-matrix Verder geldt : AV = Av Av r o o = σ u σ r u r o o UΣ = u u m σ σ r = σ u σ r u r o o Hieruit volgt dat AV = UΣ omdat V e orthogonale matrix is (V = V T geldt : A = UΣV = UΣV T Voorbeeld 5 Voor de matrix A = Dan volgt : Av = Av = v = ( 8 ( ( 4 4 8 7, v = = = Dan volgt : A = UΣV T met U = ( ( ( uit voorbeeld 4 vind we (bijvoorbeeld : (, Σ = v = = σ u = u = ( = σ u = u = ( V = Merk op, dat in dit geval {u, u } al e basis van R is Deze hoeft dus niet verder te word aangevuld

Als A = UΣV T e singuliere-waarddecompositie van A is, dan is A = V Σ T U T e singuliere-waarddecompositie van A T In voorbeeld 4 voorbeeld 5 is A T A e ( - matrix, terwijl AA T e ( -matrix is Het is daarom iets evoudiger om de singuliere waard van A T te bepal Dat zijn er dan twee : σ = σ = De rol van de matrices U V wordt dan omgedraaid, waarbij er slechts twee kolomm word gevond voor de orthogonale ( -matrix De derde kolom moet dan nog geconstrueerd word Dit zi we ook in het volgde voorbeeld : Voorbeeld Als A =, dan is A T A = ( λ = Dus : σ = σ = Verder vind we evoudig dat v = ( v = ( met eigwaard λ = twee orthonormale eigvector zijn van A T A behorde bij de eigwaard λ = λ = respectievelijk Vervolgs vind we : Av = ( = = = σ u = u = Av = ( = = σ u = u = We vind dus : A = UΣV T met / U = / / / /, Σ = V = ( De derde kolom van U is min of meer willekeurig, maar we will wel dat U e orthogonale matrix is We moet de derde kolom daarom zo kiez dat deze lgte heeft orthogonaal x is met betrekking tot de eerste twee kolomm Stel dat die derde kolom gelijk is aan x, dan volgt dat x + x + x = x + x = Hieruit volgt dat x = x = x De lgte moet zijn, dus kiez we bijvoorbeeld : Voor de matrix U vind we dan : U = / / / / / / / / = x 7