Examen Numerieke Analyse I, 1 lic Info, 5 juni 2000

Transcriptie

1 1 Examen Numerieke Analyse I, 1 lic Info, 5 juni 2000 deel 1 1. Laten u =(u 1,,u n ) T en v =(v 1,,v n ) T twee reële vektoren zijn en S := u T v het inprodukt ervan, berek met de algoritme S := 0; for k := 1 to n do S := S + u k v k. Laat d.m.v. een afrondfoutenanalyse zien dat voor de bereke waarde van S (in floating point met machineprecisie η) geldt: S fl(s) (n+1)η u 2 v 2. antwoord: Afrondfout in de bereke waarde van het inprodukt S := x i y i i=1 berek met algoritme: S := 0; for i := 1 to n do S := S + x i y i Voor de bereke waarde van S vinden we getallen ξ i en η i met ξ i, ε i η,i=1 n: fl(s) = x 1 y 1 (1 + ξ 1 )(1 + ε 2 ) (1 + ε n ) + x 2 y 2 (1 + ξ 2 )(1 + ε 2 ) (1 + ε n ) + + x n 2 y n 2 (1 + ξ n 2 )(1 + ε n 2 ) (1 + ε n ) + x n 1 y n 1 (1 + ξ n 1 )(1 + ε n 1 )(1 + ε n ) + x n y n (1 + ξ n )(1 + ε n ) zodat met S fl(s) = x i y i ζ i i=1 ζ i := 1 (1 + ξ i )(1 + ε i ) (1 + ε n ) en ζ i (n i+2)η als nη 0.1. Bijgevolg geldt voor de voorwaartse fout: S fl(s) S (n+1)η S i=1 x i y i (n+1)η x 2 y 2 x T y 2. Laat A IR n n een inverteerbare matrix zijn. a. Als je a priori weet, dat een ontbinding van A in een product van een linksondermatrix L met diagonaalelementen L(i, i) = 1 en een rechtsbovenmatrix U mogelijk is, laat dan zien dat het mogelijk is de niettriviale elementen van L en U te berekenen in de volgorde van de Doolittle-algoritme: for k =1:n do bereken U(1 : k, k) ; bereken L(k +1:n, k);

2 2 (bereken in de k-de slag de k-de kolommen van L en U) en schrijf die algoritme uit. Antwoord: Tussen de elementen van A, L en U geldt, ongeacht de manier waarop ze berek zijn, de relatie A(i, k) = min(i,k) j=1 L(i, j)u(j, k) i 1 = ( als i k ) U(i, k)+ L(i, j)u(j, k). (1) j=1 Uit de tweede formule van (1) zien we, dat we U(i, k) voori kkunnen berekenen met U(i, k) =A(i, k) k 1 j=1 L(i, j)u(j, k), (2) als U(1 : i 1,k)enL(1 : i 1,i 1) bek zijn. Uit de eerste formule van (1) zien we dat we L(i, k) voor i>kkunnen berekenen met L(i, k) = A(i, k) i 1 j=1 L(i, j)u(j, k), (3) U(k, k) als U(1 : k, k) enl(1 : k 1,j) bek zijn. De algoritme luidt dus: for k=1:n, for i=1:k, U(i,k) = A(i,k)-L(i,1:i-1)*U(1:i-1,k); L(k+1:n,k) = A(k+1:n,k)-L(k+1:n,1:k-1)*U(1:k-1,k) ; U(k, k) (4) b. Laat zien, dat je ook bij deze volgorde de rijverwisselingsstrategie van de Gausseliminatie kunt inbouwen (voor matrices waarbij rijverwisselingen wel nodig zijn voor de stabiliteit) en geef de aangepaste algoritme. Antwoord: Als we de hierboven afgeleide algoritme voor de berekening van L en U vergelijken met de berekening van L en U via Gausseliminatie (zonder rijverwisseling), L=eye(size(A)); for k=1:n-1, L(k+1:n,k) = A(k+1:n,k)/A(k,k); A(k+1:n,k:n) = A(k+1:n,k:n)-L(k+1:n,k)*A(k,k:n); (5) dan zien we dat de teller van (3) in het begin van de k-de slag precies de elementen van de k-de kolom van de (in k 1 Gauss-slagen getransformeerde) matrix A bevat. Om de rijverwisselingsstrategie van de Gausseliminatie in te passen, berekenen we dus eerst deze tellers, zoeken er het element met maximale absolute waarden in en verwisselen de

3 3 bijbehore rijen. Dit geeft dan de algoritme: p=1:n; {array voor permutatie-indices} for k=1:n, for i=1:k-1, U(i,k) = A(i,k)-L(i,1:i-1)*U(1:i-1,k); Z = A(k:n,k)-L(k:n,1:k-1)*U(1:k-1,k) {overeenkomstige kolom in de k-slag v/d Gausseliminatie} [m,pp] = max(abs(z)); p(k) = k-1+pp; U(k,k) = Z(pp); Z(pp) = Z(1); L(k+1:n) = Z(2:n-k+1)/U(k,k); H = L(k,1:k-1); L(k,1:k-1) = L(p(k),1:k-1); L(p(k),1:k-1) = H; H = A(k,k+1:n); A(k,k+1:n) = A(p(k),k+1:n); A(p(k),k+1:n) = H; Hierin is L(i,1:i-1)*U(1:i-1,k) een inproduct van twee vectoren met lengte i-1 en A(k:n,1:k-1)*A(1:k-1,k) zijn n-k+1 inproducten. Als je de matrix overschrijft met de factoren L en U, wordt de algoritme compacter: (6) p=1:n; for k=1:n, for i=1:k-1, A(i,k) = A(i,k)-A(i,1:i-1)*A(1:i-1,k); A(k:n,k) = A(k:n,k)-A(k:n,1:k-1)*A(1:k-1,k) [m,pp] = max(abs(a(k:n,k))); p(k) = k-1+pp; if p(k)>k, H = A(k,:); A(k,:) = A(p(k),:); A(p(k),:) = H; A(k,k+1:n) = A(k,k+1:n)/A(k,k); (7) Bij implementatie in Matlab moet je er wel aan denken, dat een statement van de vorm U(i,k) = A(i,k)-L(i,1:i-1)*U(1:i-1,k) crasht als i = 1, omdat L(i,1:i-1) dan een lege matrix is. c. Wat is het voordeel van deze algoritme t.o.v. Gausseliminatie bij gebruik op je PC, waar je reële getallen in het geheugen 64 bits beslaan en waarin je floating point unit in de CPU met 96-bits registers rekent? (gebruik het resultaat van vraag 1). Antwoord Bij een berekening van de vorm U(i, k) =A(i, k) L(i, 1:i 1) U(1 : i 1,k); wordt het betreffe element van U in een maal uitgerek door middel van een inproduct. Bij een goede implementatie kunnen de tussenresultaten dus in de registers blijven, zodat het inproduct dus met 96-bits precisie berek wordt en pas daarna wordt afgerond naar 64 bits. De absolute afrondfout in het resultaat is dus begrensd door η 1 L U +η 2 (n+1) L U met η 2 η Bewijs de interpolatieformule van Lagrange voor het geval n = 2: Als f C 2 [a, b] enalsx 1 <x 2 twee verschille punten in het interval [a, b] zijn, dan is er bij iedere x [a, b] een ξ [a, b] zodat f(x) =f(x 1 ) x x 2 x 1 x 2 +f(x 2 ) x x 1 x 2 x (x x 1)(x x 2 )f (ξ). (8)

4 4 Bewijs vervolgens de integratieformule en restterm, d.w.z. bewijs dat er een η [a, b] bestaat zodat: b f(x)dx = 1 1 (b a)(f(a)+f(b)) (b 2 12 a)3 f (η) (9) a Antwoord: Het interpolatiepolynoom van graad 1 op de interpolatiepunten x 1 en x 2 is π(x) :=f(x 1 ) x x 2 +f(x 2 ) x x 1. x 1 x 2 x 2 x 1 We definiëren de functies g en R y door f(x) π(x) (x x 1 )(x x 2 )g(x) =0 en R y (x):=f(x) π(x) (x x 1 )(x x 2 )g(y). De functie R y heeft (minstens) 3 nulpunten, namelijk x 1, x 2 en y. De afgeleide ervan heeft (volgens Rolle) dus minstens 2 en de tweede afgeleide minstens één nulpunt tussen x 1, x 2 en y; noem dit nulpunt van de tweede afgeleide ξ y (het hangt immers van y af). Dan geldt 0=R y(ξ y )=f (ξ y ) 2g(y). Hieruit volgt (8). Om (9) te bewijzen integreren we (8) met x 1 = a en x 2 = b. De integraal van π geeft 1(b a)(f(a) +f(b)) (oppervlak van het trapezium onder de rechte π tussen de verticale 2 lijnen x = a en x = b. Omdat (x a)(x b) (semi-)definiet is op [a, b] mogen we de middelwaardestelling van de integraalrekening toepassen en is er een η (a, b) zodat b b (x a)(x b)f (ξ x ) dx = f (η) (x a)(x b) dx = 1 a a 12 (b a)3 f (η) 4. Een Givensrotatie J(k, l, ϑ) IR m m met l > k is een lineaire transformatie, die de vektoren in het vlak opgespannen door e k en e l roteert over een hoek ϑ: J(k, l, ϑ)(αe k + βe l )=(αc + βs)e k +( αs + βc)e l met c := cos ϑ en s := sin ϑ, J(k, l, ϑ) x = x, x vect{e k, e l }. a. schrijf de matrixrepresentatie op van J(k, l, ϑ) voorm= 5,k= 2,l= 5. Antwoord: c 0 0 s J(k, l, ϑ) = met c = cos(ϑ) en s = sin(ϑ) s 0 0 c b. Laten c en s zo zijn, dat voor de l-de component van een zekere vector a IR m geldt: (J(k, l, ϑ) a) l =0. Laat zien, dat deze s en c (met c 0 en dus met 1π ϑ 1 π) alsvolgt berek 2 2 kunnen worden: if a k > a l then t := a l /a k ; c := 1/ 1+t 2 ;s:= t c else t := a k /a l ; s := sign(t)/ (10) 1+t 2 ;c:= t s

5 5 Antwoord: (J(k, l, ϑ) a) l = sa k +ca l = 0. Kwadrateren geeft c 2 a 2 l = s 2 a 2 k =(1 c 2 )a 2 k zodat c 2 = a2 k a 2 k + a2 l en s = c a l a k. (11) Aangezien we de cosinus (= c) positief willen hebben nemen we in (11) de positieve wortel. Uitdelen van a k of a l geeft dan 1 c =, s = c a l resp. c = a k/a l, s = a l a k /a l (12) 1+a 2 l /a2 a k k 1+a 2 k /a2 a k l 1+a 2 k /a2 l Door eerst t te berekenen, zoals in (10), en vervolges c en s (resp. s en c) minimaliseren we het aantal benodigde flops. Bovien minimaliseren we de op te bouwen afrondfout door altijd de wortel 1+t 2 te berekenen met 1 t 1. Het is duidelijk dat de rotatiehoek ϑ nooit berek hoeft te worden. c. We kunnen het element a lk (l k) van een matrix A IR m n op nul transformeren, door de matrix van links te vermenigvuldigen met een geschikte Givensrotatie J(k, l, ϑ). Als we daarna de resultere matrix van links vermenigvuldigen met een Givensrotatie om een ander element nul te maken, kan het zijn dat het element a lk weer een waarde ongelijk aan nul krijgt (geef een voorbeeld). Geef aan, hoe de m 1 elementen a 2,1,a 3,1,..., a m,1 van de eerste kolom van de matrix A d.m.v. een serie van m 1 Givensrotaties nul gemaakt kunnen worden. Laat ook zien, dat een QR-ontbinding van A IR m n gemaakt kan worden met n(n 1)/2 +n(m n) Givensrotaties (geef de algoritme) en bereken het aantal benodigde flops. Antwoord: Voorbeeld; als we het tweede en derde element van de (kolom-)vector a := (1, 1, 1) T IR 3 op nul willen roteren, zouden we eerst de rotatie J(1, 2,ϑ) kunnen nemen met een ϑ zo dat de tweede component van b := J(1, 2,ϑ)a nul is (cos(ϑ) = in dat geval). Als we vervolgens de derde component van b nul willen maken met een rotatie J(2, 3,ϕ), dan kan de tweede component van het resultaat niet nul blijven (omdat de som van de kwadraten van beide elementen niet verandert, de transformatie is orthogonaal). Als we deze nul op de tweede plaats willen bewaren, moeten we een rotatie van de vorm J(1, 3, ϕ) kiezen. In het algemeen, als we alle componenten van een vector a IR n behalve de eerste op nul willen roteren, kunnen we vele volgordes kiezen. Veel gebruikt zijn: for k =2:n, maak a k for k = n : 1 :2, maak a k nul door rotatie J(1,k,ϕ) met geschikte hoek ϕ nul door rotatie J(k 1,k,ϕ) met geschikte hoek ϕ Voor een matrix A IR m n met m n kunnen we de voge orde gebruiken: for k =1:n, for l = m : 1 :k+1, maak A l,k nul door rotatie J(k, l, ϕ) met geschikt gekozen ϕ Telling levert m k = 1 2 n(m 1+m n)=nm 1 n(n +1)=n(n 1)/2 +n(m n) 2 k=1 Givens rotaties voor deze QR-ontbinding.

6 6 Het aantal flops per rotatie in de k-de slag is 6(n k + 1) en dus totaal 6(m k)(n k +1)=n(n+1)(3m n 2). k=1 d. Laat zien dat je met de gevonden QR-ontbinding het kleinste-kwadratenprobleem arg min Ax b 2 x IR n kunt oplossen, als de rang van A gelijk is aan n en m>n(geef ook aan hoe). Antwoord: De bovenstaande algoritme geeft een ontbinding van A = Q R in een product van een orthogonale m m matrix Q (met Q T Q = I = QQ T ) en een bovriehoeksmatrix R IR m n, die gelijke rang heeft als A. Deze bovriehoeksmatrix kunnen we partitioneren in een vierkante bovriehoeksmatrix R 1 bestaande uit de eerste n rijen van R en een (m n) n bestaande uit nullen. Aangezien de Euclidische norm invariant is onder orthogonale transformaties geldt met Ax b 2 2 = QRx b 2 = Rx Q T b 2 = ( ) d = Q T b, d IR n en r IR m n r ( ) ( R1 x d 0 r) 2 r 2 (13) een partitie van Q T b. De eerste n componenten van de vector tussen de meest rechtse normstrepen in (13) kunnen nul gemaakt worden door de (unieke) keuze x = R1 1 d of beter gezegd door het oplossen van x uit R 1 x = d. Hetgeen overblijft is r 2. Geen enkele keuze van x kan dit deel van het rechterlid wegwerken; voor iedere andere keuze van x dan bovenstaande blijft er een residu, dat groter is. De gevonden x geeft dus het minimum en dus de oplossing van het kleinste-kwadratenprobleem. Als je de economy size QR-ontbinding A = QR 1 met Q IR m n en R 1 IR n n (als boven) neemt, zoals je die bijvoorbeeld uit de (Modified) Gram-Schmidt algoritme krijgt, en je definieert y := R 1 x, dan is het kleinste-kwadratenprobleem arg min x IR n Ax b 2 = arg min y IR n Qy b 2 equivalent met de normaalvergelijkingen Q T Q y = Q T b en dus y = Q T b (= d).