Lineaire vergelijkingen II: Pivotering

Transcriptie

1 1/25 Lineaire vergelijkingen II: Pivotering VU Numeriek Programmeren 2.5 Charles Bos Vrije Universiteit Amsterdam 1A40 15 april 2013

2 2/25 Overzicht Pivotering: Methodes Norm en conditionering Meerdere stelsels oplossen LU decompositie iha Terugblik & Huiswerk

3 3/25 Pivotering Methode van Gauss met (rij-) pivotering Vorige week: Gebruik Gauss methode zolang het gaat Als een pivot nul wordt, verwissel rijen, en ga door Als er geen beschikbare rij meer is om mee te verwisselen, houdt het op, en A = 0 Hoe ziet dit er exact uit?

4 4/25 Pivotering Rij-permutaties Herinner algoritme: Als pivot c (i 1) ii c (i 1) ji Slimmer: = 0, zoek dan een j zdd i < j n met 0, en verwissel rij i en j Zoek j zdd i j n met c (i 1) ji 0, verwissel rij i en j Hoe zijn de rij-permutaties bij te houden, om ze later nog eens opnieuw uit te kunnen voeren?

5 Pivotering Rij-permutaties Herinner algoritme: Als pivot c (i 1) ii c (i 1) ji Slimmer: = 0, zoek dan een j zdd i < j n met 0, en verwissel rij i en j Zoek j zdd i j n met c (i 1) ji 0, verwissel rij i en j Hoe zijn de rij-permutaties bij te houden, om ze later nog eens opnieuw uit te kunnen voeren? Neem 1 [ C = A, B,. = A, B, p (0)] n Algoritme geeft p (n 1) (zonder eliminatie). 4/25

6 5/25 Pivotering Optimale rij-permutaties Wat te doen als er meerdere rijen zijn die c ji 0 hebben? 1. Rij i heeft c ii = ɛ 2. Rij j heeft c ji = 5 Als ɛ 0, onstaat probleem. Wanneer wisselen? Welke rij is best?

7 Pivotering Optimale rij-permutaties Wat te doen als er meerdere rijen zijn die c ji 0 hebben? 1. Rij i heeft c ii = ɛ 2. Rij j heeft c ji = 5 Als ɛ 0, onstaat probleem. Wanneer wisselen? Welke rij is best? Kies uit Neem eerste j i met c ji 0 (Trivial (row) pivoting) Neem j = argmax j i c ji, (Partial (row) pivoting, M3.4) c Neem j = argmax ji j i s j, grote relatieve spil t.o.v. s j = max k a (.) jk (Scaled partial (row) pivoting, slaan we over)... NB: Pivoting helpt voor numerieke stabiliteit, maar zolang a ii 0 is het niet verplicht. 5/25

8 6/25 Pivotering Gauss eliminatie met rij pivotering Startpunt: A x = B Stel, iteratie i 1 heeft geresulteerd in A (i 1), B (i 1), ga dan verder met 1. Vind rij-permutatie, P (i) r A (i 1) x = P r (i) B (i 1) 2. Pas Gauss eliminatie toe op deze P (i) r M (i) P (i) r A (i 1) x = M (i) P (i) r 3. Verhoog i, herhaal indien nodig B (i 1) A (i 1), resulterend in Voordeel: Oplossing x blijft hetzelfde, voor iedere iteratie.

9 7/25 Pivotering Optimale rij/kolom permutatie Als ɛ 0, onstaat probleem. Is er een element best?

10 7/25 Pivotering Optimale rij/kolom permutatie Als ɛ 0, onstaat probleem. Is er een element best? Kies uit... Neem element a jk als spil, waar (j, k) = argmax j i,k i a (.) jk (Full pivoting) GE-FullPiv stap: M (i) P (i) r A (i 1) P (i) c P (i) c x (i 1) = M (i) P (i) r B (i 1) P r A: Verwissel rij i voor rij j A P c : Verwissel kolom i voor kolom k x (k) = P (k) c x (k 1) = P (k) c P (1) c x x = P (1) c P (k) c x (k) M4.2 gebruikt FullPiv in combinatie met Gauss-Jordan.

11 8/25 Pivotering Methode van Gauss met full pivoting Ter herinnering: 1. Initialiseer C (0) = [A b], p (0) r = p (0) c = (0,..., n 1) 2. Voor i = 0,..., n 1, 2.1 Kies beste pivot, kies a jk als spil, waar (j, k) = argmax j i,k i a (i) jk 2.2 Verwissel rijen en kolommen, zodat C (i) = [M ij A (i) M ik M ij b (i) ]; houd bij welke rijen/kolommen verwisseld zijn 2.3 Veeg kolom i van C (i) zoals in de standaard Gauss eliminatie 3. Voer terugsubstitutie uit, zodat A (k 1) x = b (n 1) 4. Draai kolommutaties terug, x = P 1 c x

12 9/25 Pivotering HW Neem algoritme voor Gauss eliminatie, en implementeer zowel partial als full pivoting (zie losse opgave-pdf). Opmerking: Hoe zijn permutaties (P r, P c ) bij te houden?

13 Pivotering HW Neem algoritme voor Gauss eliminatie, en implementeer zowel partial als full pivoting (zie losse opgave-pdf). Opmerking: Hoe zijn permutaties (P r, P c ) bij te houden? Werk met permutatie-vectoren p r, p c, en houd daarin bij wat gewisseld wordt p (0) = 1 p (n 1) = 0 P = Start met vectoren p (0) r = p (0) c = (0,..., n 1) In iedere stap, pas permutatie toe op deze vectoren: p (1) r = P (1) r p (0) r, p (1) c = p (0) c P (1) c. Of simpeler: Verwissel element i-j van p als rij/kolom i met j wordt gewisseld... Eind-vectoren p (n 1) geven permutaties weer. 9/25

14 10/25 Pivotering HW: Permutaties Quick (and dirty?) way to create mp: vp= <2; 0; 1 >; // Create column of indices mp= vp.== range (0, 2); // Compare element by element 2 P = 0 ( ) = =

15 11/25 Conditie getal (M3.7) Conditie-getal Als a (i 1) ii nul (en geen pivotering mogelijk), loopt het algoritme vast Als a (i 1) ii relatief klein (en geen pivotering mogelijk), loopt het algoritme moeizaam Hoe moeizaam voor een gegeven matrix A?

16 12/25 Conditie getal (M3.7) Vector- en matrixnormen (M3.6) x 0, αx = α x, x + y x + y, ( x k = xi k) 1/k, x = max x i, i A = max x 0 A 1 = max j=1,..,n A x x n i=1 A B A B a ij, A 2 = max k A = max i=1,..,n n a ij, j=1 λk = max σ k, k λ k = eigenwaarde A A, σ k = singuliere waarde van A

17 13/25 Conditie getal (M3.7) Conditie II (M 3.7) Wat voor effect heeft A op X? A X = B (A + A)(X + X) = B A X + A X + A X + A X = B 0 = A X + A X + A X A X + A X +0 X = A 1 A X X = A 1 A X A 1 A X X X A 1 A = A A 1 A A Ergo: Relatieve fout in X is gerelateerd aan relatieve fout in A, maal κ(a) = A A 1, het conditiegetal.

18 14/25 Conditie getal (M3.7) Conditie III Fout in B geeft ook effect κ(a) op fout in X Klein is goed Identiteit is goed: κ(i) = I I 1 = 1 I = A A 1 I A A 1 dus 1 = κ(i) κ(a) < Bereken κ(a) = A A 1 via definitie van norm: Kies welke norm (meestal: 2 ) Zoek uit hoe je de norm berekent (maxc, eigen, decsvd, norm)

19 Conditie getal (M3.7) Conditiegetal: Voorbeeld Gegeven: A = 9 3 1, b = κ(a) = Oplossen A x = b: x = ( 5, 28, 31). Kleine verstoring: Â = , b = Dan oplossing x = ( , , ). Verschil (2-norm): x x = Relatief: x x x = %. 15/25

20 Conditie getal (M3.7) Conditiegetal: Voorbeeld II Gegeven minder slecht-geconditioneerde matrix: A = met zelfde b: κ(a) = Oplossen A x = b: x = ( , , ). Zelfde kleine verstoring (op A en b): Â = , Dan oplossing x = ( , , ). Verschil (2-norm): x x = Relatief: x x x = % b = /25

21 17/25 Meerdere stelsels Oplossen van meerdere stelsels Situatie I: Er zijn meerdere vectoren b i bekend waarvoor het stelsel A x i = b i opgelost moet worden. Geen probleem: Schrijf B = [b 1,..., b B ], X = [x 1,..., x B ], en pas eliminatie toe op C = [A, B]. Terugsubstitutie gebeurt voor ieder van de vectoren afzonderlijk. Voorbeeld: A X = I X = A 1 I geeft inverse van A NB: Enkel rijverwisselingen toegepast...

22 18/25 Meerdere stelsels Oplossen van meerdere stelsels Situatie II: Er zijn meerdere vectoren b i waarvoor het stelsel A x = b i opgelost moet worden, maar b i is pas bekend nadat het voorgaande stelsel is opgelost. Los eerste stelsel op, gebruik makend van M P[A, b 1 ], en bepaal b 2 = f (x 1 ) Voor het tweede stelsel hebben we M P[A, b 2 ] = [M P A, M P b 2 ] nodig: Eerste gedeelte M P A is al bekend, pas alleen de transformatie toe op b 2! Herhaal tot alle oplossingen bekend zijn

23 Meerdere stelsels Oplossen van meerdere stelsels In matrices: C = [A B p (0) ] C (n 1) = [L U Y p (n 1) ] P C = M 1 C (n 1) P B = L Y P A = L U L M 1 Wat gebeurt er als je eerst B 1 kent en oplost, en later oplossing van A X 2 = B 2 nodig hebt? P A = L U P A X 2 = P B 2 L U X 2 Bekend na eerste oplossing Zoek nu X 2, gegeven P, L, U 1. Bereken B 2 P B 2, door zelfde rijverwisseling toe te passen 2. Los dan Y 2 op: P B 2 = B 2 = L Y 2, voorwaartse substitutie 3. Los dan X 2 op: L U X 2 = L Y 2, or U X 2 = Y 2, via achterwaartse substitutie 19/25

24 Alternatieve decomposities LU decompositie (M3.5) Gauss eliminatie geeft M A = A (n 1) A = M 1 A (n 1) = L U Schrijf uit matrix vermenigvuldiging: a ij = k l ik u kj l ij = 0 u ij = 0 als j > i als j < i Hoeveel vergelijkingen, onbekenden? A : n 2 ; L : 1 2 n(n + 1); U : 1 2 n(n + 1); L + U : n2 + n n restricties nodig om te kunnen oplossen 20/25

25 21/25 Alternatieve decomposities LU decompositie II Restricties: l ii = 1: Gauss eliminatie, ook genaamd naar Doolittle u ii = 1: Crout eliminatie l ii = u ii : Cholesky decompositie voor symmetrische matrix A Algoritme voor a ij = k l iku kj : 1. a i1 = l i1 u 11 + n k=2 l ik 0 (eerste kolom L kan opgelost) 2. a 1j = l 11 u 1j + n k=2 0 u kj (eerste rij U kan opgelost) 3. Iteratief: Stel dat kolom 1,.., m 1 van L en rij 1,.., m 1 van U bekend zijn, dan 3.1 a im = m 1 k=1 l iku km + l im u mm + 0 (los kolom m van L op) 3.2 a mj = m 1 k=1 l mku kj + l mm u mj + 0 (los rij m van U op) 4. en herhaal

26 Alternatieve decomposities LU decompositie: Cholesky In het geval A = A bestaat er een decompositie A = L L = U U L = U Voorgaande LU decompositie kan hierop aangepast, scheelt berekeningen. Algoritme voor a ij = k l iku kj = k l ikl jk : 1. Start met L = [0], m = 1, i = 1 2. a im = m 1 k=1 l ikl mk + l im l mm + 0, of a im = S + l im l mm + 0, S = m 1 k=1 l ikl mk dus 2.1 als i < m : l im = 0, algoritme had hier niet zullen komen? 2.2 als i = m : lmm 2 = a mm S 2.3 als i > m : l im = (a im S)/l mm 3. als i < n, verhoog i en ga naar 2 4. als m < n, verhoog m, zet i = m, en ga naar 2 22/25

27 23/25 Alternatieve decomposities Toepassing Cholesky: Genereer bivariaat normaal Als dan geldt dat X = (x 1, x 2 ) N (0, I) Y = µ + C X N (µ, C C ) Definieer Σ = C C, dus is C de Cholesky decompositie van de symmetrische en positief definite covariantiematrix Σ. Genereer 1000 trekkingen Y uit Y N (µ, Σ), µ = ( ) 1 2 Σ = ( 1 ).9.9 1

28 24/25 Alternatieve decomposities Rekentijd M B Tijd Approx Sub n(n + 1)V + 1 2n(n 1)O n2 G b 1 2 n(n 1)( 2 3 n+b+ 2 3 )V n(n 1)( 2 3 n+b 1 3 )O 2 3 n3 + bn 2 GJ b 1 2 n2 (n + 2b 1)V n(n 1)(n + 2b 1)O n3 + 2bn 2 Oplossen van A X = B: 2 G + b Sub 3 n3 + 2bn 2 GJ n 3 + 2bn 2 A 1 3n 3 A 1 B 3n 3 + bn 2 Conclusie: Liefst G, anders GJ, haast nooit inverse.

29 25/25 Alternatieve decomposities Terugblik Wat hebben we gedaan? Pivotering Conditionering van een stelsel Meerdere stelsels oplossen LU decompositie iha Huiswerk (deels op practicum): Bestudeer Monahan: H H4.2, skip Vb Gauss met partial/full pivoting