Overzicht. Lineaire vergelijkingen. Onderwerpen & Planning. Doel. VU Numeriek Programmeren 2.5

Transcriptie

1 VU Numeriek Programmeren 25 Charles Bos Vrije Universiteit Amsterdam Tinbergen Institute A40 Onderwerpen & Planning Practicum Literatuur Taal Terugblik & Huiswerk 2 april 202 /26 2/26 Onderwerpen & Planning Onderwerpen (onder voorbehoud) HC WC Hfd Topic 2/4 4/4 DH3 LV & Gauss eliminatie 2 /4 - DH3b Permutaties, pivotering en normgetallen 3 6/4 8/4 D2H6 Eigenwaarden 4 23/4 25/4 - Random getallen 5 2/5 D2H7 Optimalisatie in veranderlie 6 7/5 9/5 D2H8 Optimalisatie in meerdere veranderlien 7 4/5 6/5 Robuste optimalisatie T 30/5, 4/7 Tentamen Practicum: Implementatie, verdere achtergrond In principe woensdag Taal: Dit deel in Ox ( evt Matlab (nu facultatief, integratiepracticum 4 verplicht Ox) Boek: Inleiding tot de Numerieke Wiskunde, Adhemar Bultheel, Leuven: Acco (2006) Web: BlackBoard (slides beschikbaar -2 dagen voor college) Doel Wat is het doel van dit deel? Kennen algoritmen? lineaire stelsels? Optimaliseren? Nee Kerndoel: Begrijpen wat een algoritme is, het kunnen analyseren van een nieuw algoritme, en het aanleren van een gezonde twijfel bij de resultaten van welk artikel of computerpaet dan ook 3/26 4/26

2 Practicum Maandag: Theorie, uitleg Woensdag: Practicum, begrip kweken, uitleg oude opgaven, werken aan nieuwe opgaven Totaal: 5 opgaven beschikbaar, inleveren via BlackBoard, per groep van 2 personen Commentaar van SA (Annelieke Baller, acballer@vunl), tenminste 3/5 naar tevredenheid om aan tentamen mee te kunnen doen Stelsels lineaire vergeliingen Waar komt dit voor? 3x + 5x 2 = 4 2x + 2x 2 = 7 A x = b Econometrie: Normaalvergeliingen bij de kleinste kwadratenmethode y = X β + ɛ, los op: X y = X X β + 0 Statistiek: A symmetrisch en vierkant, bepaal inverse Oplossing: A x = e i, i =,, k, geeft i-de kolom van A Besliskunde/Bayesiaanse statistiek: Bepaal stationaire verdeling van een Markovketen met matrix van overgangskansen P: π = P π (I P)π = 0, st π i = 5/26 Dit kan worden omgezet in een Aπ = b 6/26 Voorbeeld Markovketen P = I P = A = b = A π = b, π = A b = van stelsel Driehoeksmatrix? Achterwaarts oplossen Voorwaarts Gaussisch elimineren Pivoting 7/26 8/26

3 Driehoek Driehoeksmatrix (DH3S) Los op: A x = b, met a a 2 a n x 0 a 22 a 2n A =, x = x a nn x n Oplossing: xn = b n /a nn Rekentijd: x i = b i a ij x j /a ii, i = n,, j>i R = 2 (n + )nv + (n )no n2 2 b b 2 b = b n Ergo: Simpel om vergeliing met driehoeksmatrix op te lossen : Creeer driehoeksmatrix! ( ) ( ) x = x 2 ( 4 ) ( ) ( ) x = x 2 ( ) 2 Trek meervoud a /a van vergeliing k af van rijen j = k +,, n, zdd a (k) 0 Merk op: De x-en veranderen niet, alleen de elementen van A en b Uitgebreide matrix: a a n b (A, b) = a 2 a n a nn b n 9/26 0/26 Vb eliminatie [A b] = iteratie [A b] () = iteratie 2 [A b] (2) = iteratie 3 [A b] (3) = /26 /* ** np_dh3elim */ # include <oxstd h> main () { decl ma, vb, mc, in, im, df, i, j, k; } Listing : np dh3elimox ma= < 6, -2, 2, 4; 2, -8, 6, 0; 3, -3, 9, 3; -6, 4,, -8 >; vb= <6; 26; -9; -34 >; mc= ma vb; print (" Initial matrix [A b]: ", mc ); in= rows (mc ); im= columns (mc ); for (k= 0; k < in -; ++k) { for (i= k +; i < in; ++i) { df= mc[i][k] / mc[k][k]; for (j= k; j < im; ++j) mc[i][j]= mc[i][j] - df * mc[k][j]; } print (" After iteration ", k+, ": ", mc ); } 2/26

4 : Opmerkingen Elementaire bewerkingen Rekentijd: O(n 3 ), kan lang duren voor heel grote matrices a (k) heet de pivot, staat op uiteindelie diagonaal Er wordt gedeeld door pivot: Probleem voor a (k) 0 Of exacter: Als pivot klein is ten opzichte van andere rij-elementen, dan is de uitkomst onzeker Ill-conditioning, zie later (?) In iteratie (k), trek een veelvoud m = a (k ) van resterende rijen j = k +,, n, oftewel, /a (k ) C = [A, b] C (k) = T (k) C (k ) T ij : Verwisselt rijen i en j van plaats T i (m): Vermenigvuldigt rij i met m 0 T ij (m): Trekt van rij j de rij i vermenigvuldigd met m 0 af van rij k af 3/26 4/26 Elementaire bewerkingen II Rekenregels: T ij = T ij Verwissel terug [T ij (m)] = T ij ( m) Trek m rij i af van rij j [T i (m)] = T i (/m) Deel rij i door m, als m 0 Determinanten van transformaties: T ij = T i (m) = m T ij (m) = Transformatie in matrices Schrijf transformatie in matrices C = [A, b] C (n ) = T C T = T (n ) T () T (i) = T i,n (m ni ) T i,i+ (m i+ i ) [T (i) ] = T i,i+ ( m i+ i ) T i,n ( m ni ) Let op volgorde! T i,i+ ( m i+ i ) T i,n ( m ni ) = m i+ i = m n i m i+ i m n i 5/26 6/26

5 Combineer transformaties [T (i) ] = m i+ i m n i Waarom werken met inverse? Gevolg: [T] m 2 = = L m n m n2 T C = C (n ) C = T C (n ) = L C (n ) = L U Bewaar L en U tezamen, om transformatie T snel opnieuw toe te kunnen passen Methode van Gauss Methode van Gauss Gauss eliminatie is een combinatie een hele reeks T ij (m) operaties, allemaal reguliere matrix-vermenigvuldigingen, dus kan weer ongedaan worden gemaakt Precieser: Iteratie k is T (k) = Methode van Gauss n j=k+ T kj (C (k ) /C (k ) ) Gebruik Gauss-eliminatie om tot een bovendriehoeksvorm te komen Gebruik terugsubstitutie om de oplossing, van de driehoeksvorm en dus ook van de oorspronkelie vorm te vinden 7/26 8/26 Methode van Gauss-Jordan Methode van Gauss-Jordan In iedere iteratie-stap, veeg de elementen van kolom k weg zowel onder als boven de pivot Deel rij k door de pivot In elementaire matrix speak, voor iteratie k: Pivots Spilelementen en de determinant Elementaire bewerking T ij (m) heeft determinant (zie terug) De methode van Gauss bestaat alleen uit operaties van dit type Iha: A B = A B Dus: T (k) = T k (/C (k ) ) j k T kj (C (k ) /C (k ) ) T A = k T (k) A = k T (k) A = A Resultaat: A wordt getransformeerd tot identiteitsmatrix, uitkomst is direct af te lezen zonder terugsubstitutie Nadeel: Meer bewerkingen nodig dan normale Gauss methode Theorem De determinant van A is de determinant van A = T A = k a(k ), het product van de pivots (merk op dat T A een bovendriehoeksmatrix is) 9/26 20/26

6 Pivots Pivots Pivot 0? Permutatie Methode van Gauss met pivotering Wat te doen als een pivot 0 is? Dan werkt eliminatie niet Voorbeeld: 0x + 2x 2 = 2 3x + 0x 2 = 3 Oplossing: Draai rijen & 2 om van plaats, met elementaire operatie T 2! Meerdere permutaties: P = T 47 T 35 T 3 Gebruik Gauss methode zolang het gaat Als een pivot nul wordt, verwissel rijen, en ga door Als er geen beschikbare rij meer is om mee te verwisselen, houdt het op, en A = 0 (details volgende week) Determinant (DH3S5) Bereken de determinant door Gauss eliminatie toe te passen alleen op A Tel aantal permutatie j P, dan geldt dat A = j P a (k ), k het product van de pivots voorzien van het juiste teken 2/26 22/26 Terugblik Terugblik Wat hebben we gedaan? Gauss eliminatie en terugsubstitutie Transformatie-matrices Belang van pivots Determinant uit eliminatie-resultaat Op practicum: Introductie Ox, begin huiswerkopgave HW: Neem DH3S-6 door (voor volgende les) Bewerk (evt deels tijdens practicum) algoritme voor Gauss eliminatie zodat het aantal operaties geteld wordt 2 je ook een grote random matrix kunt elimineren 3 terugsubstitutie uitgevoerd wordt 23/26