VRIJE UNIVERSITEIT BRUSSEL Vrije Uiversiteit Brussel Faculteit Toegepaste Weteschappe SCI EN T I A V INCERE T ENE BRA S Numerieke Aalyse S. Caeepeel Syllabus bij de cursus Numerieke Aalyse (later Numerieke Algoritme ) Tweede Kadidatuur Burgerlijk Igeieur Eerste Jaar Brugprogramma Burgerlijk Igeieur 1991-1999
Ihoudsopgave 1 Ileidig 4 1.1 Probleemstellig................................... 4 1.2 Foute e foutebroe............................... 7 1.3 Voorstellig va reële getalle e de totale rekefout................ 7 1.4 Het coditiegetal e de overmijdbare fout...................... 11 2 Het oplosse va vergelijkige 13 2.1 Algoritme voor het oplosse va vergelijkige.................. 13 2.2 Covergetie..................................... 20 2.3 De orde va ee iteratieve methode.......................... 23 2.4 Versellig va de covergetie: de methode va Aitke.............. 25 3 Het oplosse va stelsels 29 3.1 Algoritme voor het oplosse va stelsels...................... 29 3.2 Metrieke op R................................... 31 3.3 Covergetie va de iteratieve formules....................... 34 3.4 De methode va Bairstow............................... 40 4 Lieaire stelsels 44 4.1 De iteratieve methode va Gauss........................... 44 4.2 Permutatiematrices e Frobeiusmatrices...................... 45 4.3 Gauss elimiatie e LU-decompositie........................ 48 4.4 Tridiagoale stelsels................................. 53 4.5 Siguliere waarde otbidig............................ 54 1
4.6 Veralgemeede iverse va matrices........................ 58 5 Eigewaarde e eigevectore 62 5.1 Algemee eigeschappe............................... 62 5.2 De methode va de machte............................. 64 5.3 De methode va Jacobi................................ 68 6 Iterpolatie 73 6.1 De formule va Lagrage............................... 74 6.2 Het algoritme va Neville............................... 76 6.3 De methode der gedeelde verschille......................... 77 6.4 Differetierekeig.................................. 78 6.5 De miimaxbeaderig................................ 82 7 Beaderig volges de methode va de kleiste kwadrate 87 7.1 Algemee methode.................................. 87 7.2 Beaderig met Forsythe veelterme......................... 88 8 Numeriek Afleide 94 8.1 Afleide va de iterpolatieformule va Lagrage.................. 94 8.2 Praktische formules.................................. 95 9 Numerieke Itegratie 98 9.1 De Newto-Cotes formules.............................. 98 9.2 De rest i de formule va Newto-Cotes....................... 103 9.3 Rombergitegratie.................................. 104 9.4 De itegratieformules va Gauss........................... 106 10 Differetiaalvergelijkige 114 10.1 De methode va Euler-Heu............................. 114 10.2 De methode va Ruge-Kutta............................. 115 10.3 De orde va ee eestapsmethode.......................... 118 10.4 Meerstapsmethodes.................................. 120 2
10.5 Differetiaalvergelijkige met radvoorwaarde.................. 121 10.6 Partiële differetiaalvergelijkige.......................... 124 3
Hoofdstuk 1 Ileidig 1.1 Probleemstellig I de cursusse Aalyseë Algebra e Meetkude hebbe we techieke gezie die toelate om allerlei probleme op te losse: oplosse va algebraische vergelijkige; berekee va afgeleide e bepaalde itegrale; oplosse va lieaire stelsels; berekee va eigewaarde e eigevectore; itegrere va differetiaalvergelijkige; Waeer we deze methode i de praktijk brege kue allerlei moeilijkhede optrede: 1) Het ka zij dat os probleem iet aalytisch oplosbaar is. De vergelijkig tgx = x heeft ee oeidig aatal oplossige, maar we kue ekel de triviale oplossig x = 0 exact uitrekee. Vele itegrale kue we iet oplosse. Sommige erva zij i de praktijk wel belagrijk. Als voorbeeld geve we de itegraal Φ(x) = Z x 0 exp( t 2 /2)dt We kue deze itegraal iet uitrekee; i de cursus Waarschijlijkheidsrekeig e Statistiek hebbe we wel het belag erva gezie. 2) Voor sommige probleme bestaa er oplossigsmethode die i theorie altijd ee oplossig biede. Voor ee lieair stelsel va vergelijkige met obekede, met ee reguliere matrix, hebbe we de regel va Cramer. Zoals we reeds beadrukte i de cursus Algebra e Meetkudeïs de regel va Cramer totaal obruikbaar als groot wordt, omdat het zelfs met grote computers 4
omogelijk is om determiate va grote omvag (bijvoorbeeld 1000 1000) uit te rekee. 3) Zelfs idie we ee exacte oplossigsmethode hebbe die iet al te veel rekewerk vraagt, da kue og adere probleme optrede. Om dit te illustrere geve we ee eevoudig voorbeeld. Voorbeeld 1.1.1 Gevraagd wordt om de bepaalde itegraal I 10 = Z 1 0 x 10 e x 1 dx te berekee. Theoretisch is er gee ekel probleem. Met partiële itegratie vide we I = Z 1 0 x e x 1 dx = [ x e x 1] Z 1 1 0 x 1 e x 1 dx 0 = 1 I 1 (1.1) Het is duidelijk dat I 0 = 1 1/e, e we kue de I recursief uitrekee. L. Va Hamme voerde de berekeig uit met behulp va ee programmeerbare zakrekemachie, e vod I 0 = 0.632 121 I 1 = 0.367 879 I 2 = 0.264 242 I 3 = 0.207 274 I 4 = 0.170 904 I 5 = 0.145 480 I 6 = 0.127 120 I 7 = 0.110 160 I 8 = 0.118 720 I 9 = 0.068 480 Hier gaat duidelijk wat mis, wat het is omogelijk dat I 9 < 0. Als we dezelfde berekeig uitvoere op ee Macitosh Performa 5300 computer, met behulp va het programma Matlab, versie 4.2c, da vide we I 0 = 0.63212055882856 I 10 = 0.08387707005829 I 1 = 0.36787944117144 I 11 = 0.07735222935878 I 2 = 0.26424111765712 I 12 = 0.07177324769464 I 3 = 0.20727664702865 I 13 = 0.06694777996972 I 4 = 0.17089341188538 I 14 = 0.06273108042387 I 5 = 0.14553294057308 I 15 = 0.05903379364190 I 6 = 0.12680235656152 I 16 = 0.05545930172957 I 7 = 0.11238350406936 I 17 = 0.05719187059731 I 8 = 0.10093196744509 I 18 = 0.02945367075154 I 9 = 0.09161229299417 We vide duidelijk adere resultate. Na 18 stappe vide we echter weer ee egatieve waarde. De verklarig hiervoor is de volgede: beide rekemachies werke slechts met ee eidig aatal decimale. Bij elke stap wordt dus ee afrodigsfout gemaakt. Bij elke stap wordt deze fout 5
vermeigvuldigd met, zodat de fout a stappe gelijk is aa! maal de afrodisfout op I 0. De fout wordt dus sel groot. Om betere resultate te verkrijge moete we (1.1) op ee adere maier toepasse. We bewere dat I = 1 + 1 1 ( + 1)( + 2) + 1 ( + 1)( + 2)( + 3) 1 + (1.2) ( + 1)( + 2)( + 3)( + 4) We bewijze (1.2) per iductie op. Voor = 0 hebbe we I 0 = Als (1.2) klopt voor 1, da hebbe we ( 1) = 1 e 1 =1! ( 1 1 I = I 1 = 1 ( + 1) + 1 ( + 1)( + 2) 1 ) ( + 1)( + 2)( + 3) + = 1 1 + 1 + 1 ( + 1)( + 2) 1 ( + 1)( + 2)( + 3) + 1 ( + 1)( + 2)( + 3)( + 4) zodat (1.2) ook klopt voor. (1.2) is ee altererede reeks, e de som ka beaderd worde door de partiële somme uit te rekee. We vide zelfs ee bove- e ee odergres voor de reekssom. Als we (1.2) toepasse voor = 10, da vide we voor de vijfde partiële som s 5 = 0.08387723387723 De eerste zes decimale zij correct! We zie hier dus dat ee beaderde methode (reekssom vervage door ee partiële som) ee beter resultaat geeft da ee exacte methode! Ee alteratieve maier bestaat eri om (1.1) als volgt te herschrijve: I 1 = 1 I Bij elke stap wordt de fout u gedeeld door. We vertrekke va I 18 = 0. Dit is atuurlijk iet correct, maar de absolute fout die we make is klei, aagezie I klei wordt voor groot. Als we terugrekee tot I 10, da wordt de absolute fout op I 10 klei. We vide volgede tabel I 18 = 0.000 000 000 I 17 = 0.055 555 556 I 16 = 0.055 555 556 I 15 = 0.059 027 778 I 14 = 0.062 731 481 I 13 = 0.066 947 751 I 12 = 0.071 773 250 I 11 = 0.077 352 229 I 10 = 0.083 877 070 Als we vertrekke va I 15 = 0, da vide we I 10 = 0.08387723387723 e I 9 = 0.09161227661228 (1.3) 6
1.2 Foute e foutebroe Het oplosse va ee practisch probleem (bijvoorbeeld i de atuurkude, of i de ecoomie) gebeurt i verschillede stappe. 1) Eerst wordt er ee wiskudig model gemaakt. Dit model is uiteraard slechts ee beaderig va de werkelijkheid. De foute die optrede te gevolge hierva oeme we modelfoute. Idie we de modelfoute wille verkleie, da moete we het model vervage door ee meer verfijd model. Ee beked voorbeeld is de (algemee) relativiteitstheorie, die ee verfijig is va de klassieke Newtoiaase mechaica. Voor de umerieke aalyst zij de modelfoute i zoverre va belag dat bij ee grof model ee erg auwkeurige berekeig weiig zi heeft. 2) Bij iedere berekeig worde gegeves verwerkt om resultate te verkrijge. Deze gegeves bevatte foute, omdat ze het resultaat zij va metige of va vorige berekeige. Dit leidt tot ee fout op het eidresultaat die me de overmijdbare fout oemt. 3) Va het wiskudig model wordt ee umeriek model gemaakt, bijvoorbeeld door het probleem te discretisere of te liearisere. De fout die hierbij optreedt oeme we de methodefout. I ee verder hoofdstuk zulle we zie dat ee bepaalde itegraal ka beaderd worde door de volgede formule (de regel va Simpso): Z x2 x 0 f (x)dx = h 3 ( f (x 0) + 4 f (x 1 ) + f (x 2 )) h5 90 f (4) (ξ) waarbij x 2 x 1 = x 1 x 0 = h, e ξ (x 0,x 2 ). De methodefout is R = h5 90 f (4) (ξ) 4) I berekeige worde reële getalle steeds voorgesteld door ee eidig aatal cijfers. Dit veroorzaakt ee fout die me de afrodigsfout oemt. Bij elke ieuwe bewerkig wordt ee ieuwe afrodigsfout igevoerd. Deze afrodigsfoute speelde ee cruciale rol i voorbeeld 1.1.1. We gaa hier verder op i i de volgede paragraaf. De gecumuleerde fout op het eidresultaat die otstaat te gevolge va de methodefoute e de afrodigsfoute oeme we de totale rekefout. 1.3 Voorstellig va reële getalle e de totale rekefout De moeilijkhede i voorbeeld 1.1.1 trede op tegevolge va de afrodigsfoute. Als we zoude beschikke over ee rekemachie die met ee oeidig aatal cijfers werkt (e dus reële getalle exact ka voorstelle), da zoude we deze probleme iet hebbe. Oze rekemachies werke meestal electroisch; me ka zich echter ook adere soorte rekemachies ibeelde, bijvoorbeeld mechaische. I de limiet beschouwd is ee telraam ee mechaische rekemachie. Eigelijk kome de moeilijkhede hierop eer dat ee rekemachie werkt met slechts ee eidig aatal getalle. Deze getalle oemt me machiegetalle. Voor ee telraam is dit aatal klei (bijvoorbeeld 100), voor de hededaagse electroische rekemachies is dit aatal atuurlijk veel groter. 7
Electroische rekemachies werke steeds i het tweetallig stelsel. Ook hier ka me zich machies ibeelde die i adere talstelsels werke. I de avolgede beschouwige zulle we erva uitgaa dat oze machie i het tietallig stelsel werkt, omdat we daar u eemaal zelf mee werke. Bij de allereerste zakrekemachies werd dikwijls met ee vaste komma gewerkt. Dit beteket dat elke machiegetal bestaat uit ee vast aatal cijfers (bijvoorbeeld 8), waar de komma erges i dit getal staat. Ee machiegetal is da va de vorm m = ±i 1 i 2 i 3 i 4.i 5 i 6 i 7 i 8 waarbij i j {0,,9}, e waar de komma ook op ee adere plaats ka staa. I modere rekemachies gebruikt me vrijwel steeds de drijvede komma represetatie (floatig poit represetatio). De machiegetalle zie er da als volgt uit: m = ±.i 1 i 2...i t 10 e (1.4) waarbij i j {0,,9}, i 1 0 (om de represetatie uiek te make) e e ee geheel getal dat i absolute waarde kleier is da 10 q. Me oemt m = ±0.i 1 i 2...i t de matisse, e e de expoet. We zegge dat we ee drijvede komma represetatie hebbe met t cijfers i de matisse e q cijfers i de expoet. Het getal 0 valt iet oder (1.4), maar we oeme het per defiitie ook ee machiegetal. Neem bijvoorbeeld t = 3 e q = 2. I de praktijk is t atuurlijk veel groter, maar voor de eevoud beperke we os tot ee kleie waarde va t. We hebbe da bijvoorbeeld 1 =.100 10 1 1/2 =.5 10 0 De som x 1 +x 2 va twee machiegetalle is iet oodzakelijk ee machiegetal, e hetzelfde geldt voor product e quotiët. Er zij twee mogelijke probleme. 1) Merk op dat het grootste machiegetal x max gegeve wordt door de formule x max =.99...9 10 10q 1 = (1 10 t )10 10q 1 Het is duidelijk dat x max + x max gee machiegetal is. Dit verschijsel oeme we overflow. Aaloge probleme hebbe we met het kleiste strikt positieve machie getal x mi : x mi =.100 0 10 1 10q = 10 10 q e duidelijk is x mi x mi gee machiegetal. Dit verschijsel wordt uderflow geoemd. 2) Het is ook mogelijk dat x 1 + x 2 tusse twee machiegetalle ivalt. Neem bijvoorbeeld t = 3 e q = 2, e stel x 1 =.333 10 0 =.333 x 2 =.100 10 3 =.0001 x 1 + x 2 =.3331 10 0 is gee machiegetal. Neem ee reëel getal x, e oderstel dat x bie het bereik va de machie ligt, dit wil zegge dat 8
x mi x x max. We otere fl(x) voor het machiegetal dat het dichts bij x ligt; idie x et op de helft tusse twee opeevolgede machiegetalle ligt, da spreke we bijvoorbeeld af om aar bove af te rode. Welke fout make we als we x vervaged door fl(x)? Oderstel dat x = m 10 e, met.1 m < 1 e e < 10 q. Da is x fl(x) 1 2 10 t 10 e Aagezie x 10 e 1 hebbe we voor de relatieve fout x fl(x) x 1 2 10 t 10 e 10 1 e = 101 t 2 Het getal η = 10 1 t /2 oemt me de machieauwkeurigheid. We kue u de som,het verschil, het product e het quotiët va twee machiegetalle x 1 e x 2 defiiëre: Aagezie hebbe we waarbij ε η. Op aaloge wijze hebbe we x 1 x 2 = fl(x 1 + x 2 ) x 1 x 2 = fl(x 1 x 2 ) x 1 x 2 = fl(x 1 x 2 ) x 1 x 2 = fl(x 1 /x 2 ) (a b) (a + b) a + b η a b = (a + b)(1 + ε) (1.5) a b = (a b)(1 + ε 1 ) (1.6) a b = ab(1 + ε 2 ) (1.7) a b = (a/b)(1 + ε 3 ) (1.8) waarbij ε i η. De bewerkige met machiegetalle voldoe iet lager aa de gebruikelijke eigeschappe. Zo is de som va machiegetalle iet associatief, zoals blijkt uit volged voorbeeld. Voorbeeld 1.3.1 We werke met 3 cijfers i de matisse. Stel x =.333 10 0 =.333 ; y = z =.400 10 3 =.0004 Als we x + y + z op de gebruikelijke maier uitrekee, da vide we x + y + z =.3338 9
We vide achtereevolges e x y =.333 10 0 e (x y) z =.333 10 0 y z =.800 10 3 e x (y z) =.334 10 0 Deze laatste beaderig is beter! Ee vuistregel is de volgede. Waeer me ee groot aatal getalle moet optelle, da is het aa te bevele om de getalle volges grootte te ragschikke, e ze da va klei aar groot op te telle. Voorbeeld 1.3.2 Gevraagd wordt om y = 1 x 2 te berekee, voor x dicht bij 1 gelege. De voor de had liggede maier om y te berekee is de volgede. Gebruik makede va (1.6) e (1.7) vide we y = 1 x x (1.9) y = (1 x 2 (1 + ε 1 ))(1 + ε 2 ) = (1 x 2 ) + (1 x 2 )ε 2 x 2 ε 1 (1 + ε 2 ) y + yε 2 ε 1 We gebruikte het feit dat ε 1 ε 2 verwaarloosbaar is te opzichte va ε 1 (omdat η klei is), e ook dat x 2 1. Nu volgt dat y y y ε 2 ε 1 y Hoe dichter x bij 1 ligt, hoe dichter y bij 0 ligt, e hoe groter de relatieve fout op y! Ee beter algoritme om y te beadere is het volgede. Bereke We vide u dat e y = (1 x) (1 x) (1.10) y = (1 x) (1 x) (1.11) = ((1 x)(1 + ε 1 )(1 + x)(1 + ε 2 ))(1 + ε 3 ) (1.12) = y(1 + ε 1 )(1 + ε 2 )(1 + ε 3 ) (1.13) y(1 + ε 1 + ε 2 + ε 3 ) (1.14) y y y ε 1 + ε 2 + ε 3 3η e het blijkt dat de relatieve fout op y va dezelfde grootte orde is als die op x. Het algoritme (1.10) is da ook beter da (1.9); we zegge dat (1.10) umeriek stabiel is. Late we alles verifiëre aa de had va ee umeriek voorbeeld. We werke met 4 cijfers i de matisse. Neem x = 1.002 =.1002 10. Da is x x =.1004 10 e y = 1 x x =.0004 10 =.4000 10 3 10
Op dezelfde maier vide we dat 1 x =.2000 10 2, 1 x =.2002 10 e y = (1 x) (1 x) =.4004 10 3 e we zie dat y ee betere beaderig is va y da y. Wat er mist gaat met het algoritme (1.9) is het feit dat we twee getalle die ogeveer aa mekaar gelijk zij (1 e x 2 ) va elkaar aftrekke. Dit gaat gepaard met ee groot verlies i relatieve auwkeurigheid. I (1.10) vermijde we deze aftrekkig, e dit is de rede waarom we ee beter resultaat verkrijge. Ee vuistregel is dat we bij het opstelle va ee umeriek algoritme steeds trachte om het va elkaar aftrekke va twee ogeveer aa elkaar gelijke getalle te vermijde. De aalyse die we verrichtte i voorbeeld 1.3.2 oeme we ee voorwaartse fouteaalyse: we kee ee bovegres voor de foute op de gegeves, e trachte hieruit ee bovegres te vide voor de foute op het eidresultaat. Het spreekt vazelf dat zulk ee fouteaalyse voor meer igewikkelde algoritme iet altijd eevoudig is. Ee aaloog vraagstuk is dat va de achterwaartse fouteaalyse: me west de eidresultate met ee zekere auwkeurigheid te bepale, e me vraagt welke foute me mag dulde op de gegeves, e met welke auwkeurigheid de tusseresultate moete bereked worde. Dit probleem is i het algemee moeilijker da het vorige. 1.4 Het coditiegetal e de overmijdbare fout Beschouw het probleem waari ee umerieke fuctie y = f (x) diet bereked te worde. We oderstelle dat os probleem goed gesteld is. Hiermee bedoele we dat y eeduidig bepaald is op ee omgevig va x, e ook dat y cotiu afhagt va x op ee omgevig va x. Oderstel ee kleie afwijkig δx op de gegeves. Zoals we hierbove gezie hebbe is de overmijdbare fout de afwijkig δy die tegevolge hierva otstaat op het eidresultaat y. δy = f (x + δx) f (x) f (x)δx voor de relatieve overmijdbare fout vide we δy y x f (x) δx y x Het getal c = x f (x)/y oeme we het coditiegetal. Hoe groter c, hoe groter de overmijdbare fout. Als we oderstelle dat de relatieve fout op de gegeves ekel otstaat door de afrodig bij het ivoere va de gegeves, da wordt deze relatieve fout begresd door de machieauwkeurigheid η. I dit geval vide we voor de overmijdbare fout δy y cη We oeme os probleem goed gecoditioeerd als c iet te groot is (bijv. c 100). Aders zegge we dat het probleem slecht gecoditioeerd is. 11
Voorbeeld 1.4.1 We kere terug aar de situatie i voorbeeld 1.3.2. Voor het coditiegetal vide we c = 2 x 2 1 x 2 e we zie dat het probleem slechter gecoditioeerd is aarmate x dichter bij 1 komt te ligge. Neem bijvoorbeeld x = 1.0023 Da is fl(x) = 1.002, e De relatieve overmijdbare fout bedraagt 13 %. 1 x 2 =.460529 10 2 1 fl(x) 2 =.400400 10 2 Voorbeeld 1.4.2 Bekijk het lieaire stelsel { x + y = 2 1.01x + y = 2.01 De oplossig va dit stelsel is x = y = 1. Als we de coëfficiëte va het stelsel lichtjes wijzige, da heeft dit aazielijke gevolge voor de oplossig: { x + y = 2 1.001x + y = 2.01 heeft als oplossig x = 10, y = 8. I het algemee heeft { x + y = 2 (1 + ε)x + y = 2.01 als determiat ε. Voor ε klei is de determiat ook klei, zodat we moeilijkhede kue verwachte. De algemee oplossig is x =.01/ε e y = 2.01/ε. Ee kleie wijzigig i ε bregt ee groot verschil i de oplossig teweeg. Os probleem is da ook slecht gecoditioeerd. Over de bibliografie [2] is het meest elemetaire werk uit de referetielijst; de ihoud erva is grotedeels parallel met die va deze syllabus. Adere - meer uitgebreide - referetiewerke voor umerieke aalyse zij [3] ad [4]. [1] is het stadaardwerk voor umerieke lieaire algebra. 12
Hoofdstuk 2 Het oplosse va vergelijkige 2.1 Algoritme voor het oplosse va vergelijkige Gegeve is ee cotiue fuctie f : [a,b] R, e gevraagd wordt om de ulpute va de fuctie f te bepale. Oze methode bestaat er i om ee rij (x ) te zoeke die aar ee oplossig va f (x) = 0 (2.1) covergeert. De rij (x ) wordt recursief gedefiieerd: Me vertrekt va ee startwaarde x 0, e me bereket x +1 uit x met behulp va ee formule va de vorm x +1 = φ(x ) I sommige gevalle heeft me meer igewikkelde recursieformules; soms is de recursieformule va de vorm x +1 = φ(x,x 1 ) Volgede vrage stelle zich: 1) Hoe vide we ee gepaste iteratieve rij (x )? 2) Is de gevode rij (x ) coverget? 3) Covergeert de rij (x ) aar ee oplossig x va (2.1)? 4) Hoe groot is de fout x x. I deze paragraaf geve we ee atwoord op de eerste vraag. Ee algemee formule Neem ee willekeurige cotiue fuctie k : [a,b] R die erges ul wordt. (2.1) is da equivalet met x = x + k(x) f (x) (2.2) De oplossige va va (2.2) zij de dekpute va de operator O : [a,b] R : x x + k(x) f (x) 13
De dekputstellig vertelt os waeer ee operator va ee metrische ruimte aar zichzelf ee uiek dekput heeft (zie [WISA4, hfst. 1]). We kome op de dekputstellig verder meer uitgebreid terug, e merke hier allee op dat het uieke dekput ka gevode worde door te vertrekke va ee put x 0 e daarop successievelijk de operator O toe te passe. I os geval is O ee gewoe umerieke fuctie, e stelle als algoritme voor x +1 = x + k(x ) f (x ) (2.3) Als de rij (x ) covergeert, da is de limiet x zeker ee oplossig va (2.2) (e (2.1)). Het volstaat i (2.3) de limiet te eme voor va beide lede. De methode va Newto Oderstel dat f differetieerbaar is over [a,b]. Oderstel dat we ee beaderig x va ee wortel va (2.1) kee. We beadere de kromme y = f (x) door de raaklij i het put (x, f (x )). We eme als ieuwe beaderig x +1 va de oplossig va (2.1) het sijput va deze raaklij e de x-as. y y = f(x) f(x) x +1 x x x Figuur 2.1: De methode va Newto De vergelijkig va de raaklij i (x, f (x )) is y f (x ) = f (x )(x x ) Stel y = 0, e los op aar x. Dit geeft de formule va Newto x +1 = x f (x ) f (x ) (2.4) (2.4) is het speciaal geval va (2.3), waarbij k(x) = 1/ f (x). De methode va Newto is de belagrijkste methode om algebraische vergelijkige op te losse. We zulle zie dat de methode relatief sel covergeert aar ee oplossig i zeer veel gevalle. Het adeel is dat me bij elke iteratieslag de afgeleide f (x) moet berekee. Daarom gebruikt me soms de volgede vereevoudigig. 14
De methode va de vaste richtig Om te vermijde dat me de afgeleide bij elke iteratieslag moet berekee vervagt me f (x ) door f (x 0 ). Me krijgt da de methode va de vaste richtig. (2.5) is weer ee speciaal geval va (2.3) x +1 = x f (x ) f (x 0 ) (2.5) De methode va de koorde Dit is ee iteratieve methode waarbij x +1 bereked wordt uit x e x 1. Me vervagt de kromme y = f (x) door de koorde die (x 1, f (x 1 )) e (x, f (x )) verbidt (zie Figuur??). y y = f(x) x 1 x x +1 x x De vergelijkig va deze koorde is Figuur 2.2: De methode va de koorde y f (x ) x x = f (x 1) f (x ) x 1 x Het sijput x +1 va de koorde met de x-as wordt gegeve door de formule x +1 = x f (x 1 ) x 1 f (x ) f (x 1 ) f (x ) (2.6) De methode va de koorde is de belagrijkste methode om vergelijkige op te losse a die va Newto. Ee va de voordele is dat me gee afgeleide hoeft te berekee. 15
Regula Falsi Dit is ee verfijig va de methode va de koorde. Oderstel bij de methode va de koorde dat x +1 bereked werd uitgaad va x e x 1. Bij het berekee va x +2 ka me da ofwel x +1 e x gebruike, ofwel x +1 e x 1. Bij de regula falsi (methode va de valse positie va het ulput) gaat me als volgt tewerk. Oderstel dat x 0 e x 1 kue gevode worde zodat f (x 0 ) e f (x 1 ) verschilled teke hebbe. Me bepaalt x 2 met behulp va de methode va de koorde, e bereket f (x 2 ). Als f (x 0 ) e f (x 2 ) verschilled teke hebbe, da werkt me verder met x 0 e x 2. Als f (x 1 ) e f (x 2 ) verschilled teke hebbe, da werkt me verder met x 1 e x 2. I sommige gevalle ka me ee va de uiteide va het iterval kieze. Dit doet zich bijvoorbeeld voor idie f (x 0 ) > 0, f (x 1 ) < 0 e f > 0 ( f is cocaaf). Me spreekt da va de methode va Li. Oplossig door dichotomie Me gaat te werk zoals bij de regula falsi, maar i plaats va de methode va de koorde toe te passe, deelt me gewoo het iterval i twee. Oderstel dat x 0 e x 1 kue gevode worde zodat f (x 0 ) e f (x 1 ) verschilled teke hebbe. Stel x 2 = (x 0 + x 1 )/2, e werk da voort met x 0 e x 2 of met x 1 e x 2 alaargelag het teke va f (x 2 ). Ee voordeel va de methode is dat me steeds ee bovegres voor de fout ket: de fout wordt bij elke iteratie door twee gedeeld. Ee adeel is dat de covergetie ogal traag verloopt: me heeft drie tot vier iteratieslage odig om ee beduided cijfer meer va de oplossig te kee. Voorbeeld 2.1.1 Gegeve is ee positief getal a. Er wordt gevraagd om a te berekee. a is ee wortel va de vergelijkig x 2 a = 0 De methode va Newto levert als algoritme x +1 = x x2 a = 1 (x + a ) 2x 2 x We bewere dat lim x = a als x 0 > 0. Om dit i te zie toe we eerst aa dat (2.7) x = a (x 0 + a) 2 + (x 0 a) 2 (x 0 + a) 2 (x 0 a) 2 (2.8) Dit gaat per iductie op. Voor = 0 is de formule duidelijk. Oderstel dat (2.8) waar is voor. Da is x +1 = 1 (x + a ) 2 x ( a (x0 + a) 2 + (x 0 a) 2 = 2 (x 0 + a) 2 (x 0 + (x 0 + a) 2 (x 0 ) a) 2 a) 2 (x 0 + a) 2 + (x 0 a) 2 16
= zoals gewest. Stel u ( a (x0 + a) 2 + (x 0 ) 2 ( a) 2 + (x0 + a) 2 (x 0 ) 2 a) 2 2 = a (x 0 + a) 2+1 + (x 0 a) 2+1 (x 0 + a) 2+1 (x 0 a) 2+1 (x 0 + a) 2+1 (x 0 a) 2+1 y = x 0 a x 0 + a Als x 0 > a, da is 0 < y < 1, e als 0 < x 0 < a, da is 1 < y < 0. I elk geval vide we dat lim x = 1 + y 2 a lim = a 1 y 2 We berekee als voorbeeld 3. Ee mogelijk MATLAB programma is het volgede: % berekeig va a a = 3; x(1) = 2; f or i = 1 : 10 x(i + 1) = (x(i) + (a/x(i)))/2; ed x Startwaarde was x(1) = 2; a drie iteraties vide we reeds x(4) = 1.73205080756888; alle decimale zij correct. Voorbeeld 2.1.2 Me ka de methode va Newto ook gebruike om adere algoritme op te schrijve die toelate om a te berekee. Het volstaat de vergelijkig oder ee adere vorm te herschrijve. a is ee oplossig va de vergelijkig 1 a x 2 = 0 De methode va Newto levert het volgede algoritme x +1 = 1 2a (3ax x 3 ) (2.9) We bewere dat dit algoritme covergeert aar a als 0 < x < a. Om dit i te zie merke we eerst op dat, idie (x ) covergeert aar x, dat da x gelijk is aa 0, a of a. Het volstaat om de limiet va (2.9) voor te eme. We krijge x = 1 2a (3ax x3 ), e de wortels hierva zij juist 0, a e a. We bestudere u eerst het teke va x +1 x = 1 2a (ax x 3 ) = x 2a ( a x )( a + x ) 17
Als 0 < x < a, da is dus x +1 > x. Bekijk u de fuctie f (x) = (3ax x 3 )/2a. De afgeleide hierva is f (x) = 1 2a (3a 3x2 ) = 3 2a ( a x)( a + x) Voor x (0, a), is f (x) > 0. We hebbe dus ee mootoo stijgede bijectie Als x 0 (0, a), da geldt dus dat f : (0, a) (0, a) 0 < x 0 < x 1 < x 2 < x 3 < < a (x ) is stijged e begresd, e dus coverget. De limiet ka ekel a zij. Voor x ( a, 3a), is f (x) < 0. We hebbe dus ee mootoo dalede bijectie Als x 0 ( a, 3a), da is x 1 (0, a) e f : ( a, 3a) (0, a) 0 < x 1 < x 2 < x 3 < < a e (x ) covergeert aar a. Bij wijze va voorbeeld berekee we weer 3. Ee eevoudig MATLAB programma is % berekeig va a a = 3; x(1) = 2; f or i = 1 : 10 x(i + 1) = (3 a x(i) x(i) 3 )/(2 a); ed x We ame als startwaarde x(1) = 2, zoals i het voorgaade voorbeeld. Na vijf iteraties vide we de correcte waarde x(6) = 1.73205080756888. Ga zelf a dat het algorimte covergeert aar a als x 0 ( 3a,0). De methode va Newto voor ee veelterm Gegeve is ee reële veelterm f (x), e gevraagd wordt om deze i factore te otwikkele. We wete dat de lieaire factore overeestemme met de ulpute va de veelterm. Deze kue we bepale met behulp va de methode va Newto. Bij elke iteratieslag moete we f (x ) e f (x ) berekee. Uiteidelijk moete we ook de coëfficiëte 18
va het quotiët bepale. Ook hiervoor trachte we bij elke iteratieslag beaderige te vide. Schrijf f (x) = a 0 x N + a 1 x N 1 + + a N e eem ee reëel getal a. Rest e quotiët bij delig va f (x) door x a kue bepaald worde met behulp va de regel va Horer. Late we deze (opieuw) opstelle. Dele va f (x) door x a geeft f (x) = (x a)q(x) + f (a) (2.10) Schrijf q(x) = b 0 x N 1 + b 1 x N 2 + + b N 1 Gelijkstelle va coëfficiëte va gelijke machte i (2.10) levert a 0 = b 0 a 1 = ab 0 + b 1. a k = ab k 1 + b k. a N = ab N 1 + f (a) Stel b N = f (a). b 0,...,b N kue bereked worde met de formules e b 0 = a 0 b k = ab k 1 + a k (2.11) voor k = 1,...,N. Dit is iderdaad iets aders da de regel va Horer. Om f (a) te bepale leide we (2.10) af aar x. f (x) = q(x) + (x a)q (x) e hieruit volgt dat f (a) = q(a). Me bereket q(a) opieuw met de regel va Horer, maar u toegepast op de veelterm q. Dit geeft de volgede formules. e c 0 = b 0 c k = ac k 1 + b k (2.12) voor k = 1,...,N 1. Nu is c N 1 = q(a) = f (a). Bij elke iteratieslag gaat me u als volgt te werk: oderstel dat me ee beaderig x voor ee wortel heeft. Me bepaalt f (x ), f (x ) e de coëfficiëte va het quotiët q (x) zoals hierbove (met x = a), e me past da de formule va Newto toe om x +1 te berekee. We kue het algoritme als volgt samevatte: 1) Oderstel dat we ee beaderig x voor a hebbe; 2) stel b 0 = c 0 = a 0 ; 3) bereke b 1,b 2,...,b N met de recursieformule (2.11): b k = x b k 1 + a k 19
4) bereke c 1,c 2,...,c N 1 met de recursieformule (2.12): c k = x c k 1 + b k 5) bepaal x +1 met behulp va de formule va Newto: x +1 = x b c N 1 2.2 Covergetie De dekputstellig Oder welke voorwaarde covergeert ee iteratieve methode? Om dit algemee te kue behadele herhale we eerst de cotractiestellig, die ee speciaal geval is va de dekputstellig. Voor meer details verwijze we aar volume 4 va de cursus Wiskudige Aalyse. Ee metrische ruimte is ee verzamelig E uitgerust met ee afstad d. Ee afstad d is ee afbeeldig d : E E R + die voldoet aa de volgede axiomas. 1) d(x,y) = d(y,x); 2) d(x,y) = 0 x = y; 3) d(x,y) d(x,z) + d(z,y), voor elke x,y,z E. Ee rij (x ) i ee metrische ruimte E covergeert aar x E als We oeme (x ) ee Cauchy rij als ε > 0, N : > N = d(x,x ) < ε ε > 0, N :,m > N = d(x m,x ) < ε Me bewijst gemakkelijk dat elke covergete rij ee Cauchy rij is. Idie elke Cauchy rij coverget is, da zegge we dat de metrische ruimte E volledig is. Ee afbeeldig O : E E (soms ook operator geoemd) is ee cotractie of ee sametrekkig idie er ee c [0,1) bestaat zodat d(o(x),o(y)) cd(x,y) voor elke x,y E. De cotractiestellig ka u als volgt geformuleerd worde. Stellig 2.2.1 Oderstel dat E,d ee volledige metrische ruimte is, e dat O : E E ee cotractie is. Da hebbe we volgede eigeschappe. 1) O heeft juist éé dekput x. Dit beteket dat er juist éé x E bestaat die ee oplossig is va de vergelijkig O(x) = x 20
2) Voor elke x E geldt: 3) We hebbe bovedie: d(x,o (x)) lim O (x) = x c 1 c d(x,o(x)) Covergetie va de algemee formule Beschouw de vergelijkig f (x) = 0, e oderstel dat k : [a,b] R ee cotiue fuctie is zoder ulpute i [a,b]. We zage i vorige paragraaf de volgede iteratieve formule x +1 = x + k(x ) f (x ) = g(x ) (2.13) waarbij g(x) = x + k(x) f (x). We zulle altijd impliciet oderstelle dat g cotiu differetieerbaar is. We zoude graag de cotractiestellig toepasse i de volgede situatie: E = [a, b], d(x, y) = x y e O = g. Merk op dat [a,b] volledig is als metrische ruimte. Dit volgt uit het feit dat R volledig is, e het feit dat het beschouwde iterval geslote is. Stellig 2.2.2 Oderstel dat voldaa is aa de volgede twee voorwaarde: 1) g(x) [a,b], voor elke x [a,b]; 2) Er bestaat ee c [0,1) zodat g (x) c voor elke x (a,b); da bezit de vergelijkig f (x) = 0 juist éé wortel i [a,b]. Deze ka gevode worde als de limiet va de rij (x ), waarbij x 0 ee willekeurige startwaarde i [a,b] is. Bewijs. De eerste voorwaarde garadeert dat g : E E ee operator is. Uit de stellig va Lagrage volgt dat g(x) g(y) = g (ξ)(x y) c x y voor elke x,y [a,b]. Hieri is ξ (x,y) (a,b), zodat g (ξ) c. g is dus ee sametrekkig, e we kue de cotractiestellig toepasse. Opmerkige 2.2.3 1) De eerste voorwaarde i de stellig is i het algemee degee die het moeilijkste te verifiëre is. Ee goede keuze va het iterval [a,b] is hier cruciaal. [a,b] mag iet te groot zij: het ka zij dat f (x) = 0 meer da éé oplossig heeft, e i dit geval moet het iterval [a,b] zo gekoze worde dat er maar éé wortel i ligt. 2) De cotractiestellig geeft os ook ee bovegres voor de fout. x x c 1 c x 0 x 1 Hoe dichter de startwaarde x 0 bij de gezochte wortel ligt, hoe kleier x 0 x 1 is, e hoe beter de covergetie zal zij. Hoe dichter c bij 1 ligt, hoe trager de covergetie zal verlope; dit wordt veroorzaakt door twee factore: c i de teller gaat trager aar ul, e de oemer 1 c ligt dichter bij ul. 21
Als het iterval symmetrisch is rod de gezochte wortel, da kue we voorwaarde 1) uit de voorgaade stellig elimiere. Stellig 2.2.4 Oderstel dat x ee oplossig is va de vergelijkig f (x) = 0. Als er ee c [0,1) bestaat zodat g (x) c voor elke x (x δ,x + δ), da is voldaa aa de voorwaarde va stellig 2.2.2, e we kue besluite dat de rij (x ) aar x covergeert. Bewijs. We moete allee voorwaarde 1) uit stellig 2.2.2 verifiëre. Neem x (x δ, x + δ). Da is g(x) x = g(x) g(x) = g (ξ) x x c x x < δ zodat g(x) (x δ,x + δ). g is (liks)cotiu i x δ, zodat g(x δ) = lim g(x δ + h) [x δ,x + δ] h 0+ e hetzelfde geldt voor het adere eidput. Gevolg 2.2.5 Als x ee wortel is va de vergelijkig f (x) = 0, g cotiu is i x, e g (x) < 1, da covergeeert de iteratieve methode (2.13) zodra de startwaarde voldoede dicht bij x ligt. Bewijs. g is cotiu differetieerbaar i x. Stel c = g (x), e eem ε > 0 zodat c + ε < 1. Er bestaat ee δ > 0 zodat x x < δ = g (x) g (x) < ε = c ε g (x) ε < g (x) < g (x) + ε c + ε = g (x) < c + ε We kue u stellig 2.2.4 toepasse. Covergetie va de methode va Newto I dit bijzoder geval is e Oderstel dat f (x) 0. Da is g(x) = x f (x) f (x) g (x) = 1 f (x) f (x) + f (x) f (x) f (x) 2 = f (x) f (x) f (x) 2 g (x) = 0 zodat aa de voorwaarde va gevolg 2.2.5 voldaa is. We hebbe dus volgede eigeschap beweze. Stellig 2.2.6 Als x ee ulput is va de vergelijkig f (x) = 0, e f (x) 0, da covergeert de methode va Newto als de startwaarde x 0 voldoede dicht bij x gekoze wordt. 22
Opmerkige 2.2.7 1) We zie ook dat lim x x g (x) = g (x) = 0 Dit beteket het volgede: hoe dichter de beaderig x bij x, hoe kleier g (x), e hoe kleier c. Dit beteket dat de covergetie seller e seller verloopt aarmate x dichter bij de wortel x komt. Me zegt dat de methode va Newto zelfverbetered is. 2) De methode va Newto werkt iet als f (x) = 0. Dit beteket i feite dat x gee ekelvoudige wortel va de vergelijkig is. Als me va tevore weet dat er ee dubbele wortel x bestaat (d.w.z. dat f (x) = (x x) 2 f 1 (x), met f 1 (x) 0), da ka me de vergelijkig f (x) = 0 vervage door f (x) = 0 Deze vergelijkig heeft da ee ekelvoudig ulput. Toepassig va de methode va Newto levert volged algoritme. x +1 = x 2 f (x ) f (x ) Covergetie va de methode va de vaste richtig Nu is e De voorwaarde g (x) c < 1 wordt g(x) = x f (x) f (x 0 ) g (x) = 1 f (x) f (x 0 ) 1 c f (x) f (x 0 ) 1 + c met c [0,1). Dit beteket dat de richtig va de raaklij aa de kromme y = f (x) ogeveer costat is over het beschouwde iterval. 2.3 De orde va ee iteratieve methode Oderstel dat x ee wortel is va de vergelijkig f (x) = 0, e dat (x ) ee iteratieve rij is, waarva we verwachte dat ze aar x covergeert. De fout die we make bij de -de iteratie is da x x. Oderstel dat we ee rij bovegreze (m ) voor de fout kue bepale: x x m 23
Defiitie 2.3.1 Als er ee rij bovegreze (m ) bestaat, e costate k e α zodat m +1 = km α da zegge we dat de iteratieve methode va orde α is. Stellig 2.3.2 Als α 1 e km α 1 0 < 1 voor ee zekere idex 0, da is de iteratieve methode coverget. Bewijs. De covergetie va de rij (x ) veradert iet als we de eerste 0 terme va de rij weglate. We kue dus gerust oderstelle dat 0 = 0. We stelle Da is e e I het algemee vide we c = km α 1 0 m 1 = km α 0 = kmα 1 0 m 0 = cm 0 m 2 = km α 1 = kcα m α 0 = kcα m α 1 0 m 0 = c 1+α m 0 m 3 = km α 2 = kcα+α2 m α 0 = c1+α+α2 m 0 m = c 1+α+α2 + +α 1 m 0 Bewijs de algemee formule zelf, met behulp va iductie op. Omdat α 1 e 0 c < 1 is e zodat er covergetie is. lim c1+α+α2 + +α 1 = 0 lim m = 0 Ee iteratieve methode is dus coverget als de orde mistes 1 is, e als de startwaarde voldoede dicht bij de wortel ligt. Idie er covergetie is, da gaat de covergetie des te seller aarmate de orde va de methode hoger is. Voorbeelde 2.3.3 1) De methode door dichotomie is va orde 1: we hebbe gezie dat de fout bij elke iteratie door twee gedeeld wordt. m +1 = 1 2 m 2) De methode va Newto is va orde 2. Herier dat g(x) = x f (x) f (x) 24
Oderstel dat g (x) begresd is i ee omgevig va x. Da is zeker f (x) 0. Met behulp va de formule va Taylor vide we x +1 x = g(x ) g(x) = (x x)g (x) + (x x) 2 g (ξ) 2 = (x x) 2 g (ξ) 2 Neem ee geslote omgevig va x waarop g begresd is. Over deze omgevig kue we schrijve: g (x) < k. Als x x m, da geldt dus dat x +1 x k 2 x x 2 k 2 m2 e we kue dus m +1 = 2 k m2 eme. 3) De methode va de vaste richtig is va orde 1. Het bewijs is aaloog met dat voor de methode va Newto, maar me schrijft de Taylor otwikkelig slechts tot op orde 1 op. Als de methode va de vaste richtig covergeert, da covergeert ze dus trager da de methode va Newto. Dit is et wat we verwachte. 4) Me ka aatoe dat de methode va de koorde asymptotisch va orde α = (1+ 5)/2 1.618 is. Dit beteket dat er majorate m voor de fout a de -de iteratie bestaa zodat m +1 lim m α = c Het bewijs maakt gebruik va de getalle va Fiboacci. 5) De volgede iteratieve methode is va orde 3: x +1 = g(x ) = x f (x ) f (x ) f (x ) f (x ) 2 2 f (x ) 3 Het volstaat om aa te toe dat g (x) = g (x) = 0. Redeeer vervolges zoals bij de methode va Newto, maar otwikkel u tot op orde 3. Het adeel bij bovestaade formule is dat ze igewikkeld is. I de praktijk wordt ze weiig gebruikt. 2.4 Versellig va de covergetie: de methode va Aitke We beschouwe weer de vergelijkig f (x) = 0, e we oderstelle dat x ee wortel is. Beschouw ee iteratieproces x +1 = g(x ) zodaig dat g cotiu is op ee omgevig va x. Als 0 < g (x) < 1, da covergeert het iteratieproces aar x als de startwaarde x 0 dicht geoeg bij x ligt (zie gevolg 2.2.5), e bovedie is de methode va orde 1 (et zoals de methode va de vaste richtig). Dit beteket dat de covergetie relatief traag verloopt. Oderstel u dat x 0 x 0 25
Aagezie volgt dat ook x +1 x 0. We krijge ook dat wat g is cotiu. I beaderig hebbe we dus x +1 x = g(x ) g(x) = g (ξ )(x x) x +1 x lim x x = lim g (ξ ) = g (x) x +1 x g (x)(x x) (2.14) x +2 x g (x)(x +1 x) (2.15) We kue dit beaderde stelsel oplosse aar g (x) e x, e we verwachte dat dit ee betere beaderig geeft va x da x. (2.15) aftrekke va (2.14) geeft Uit (2.14) volgt u e g (x) x +2 x +1 x +1 x x +1 g (x)x x(1 g (x)) x x +1 g (x)x 1 g (x) = x +1 x 1 g (x) + x g (x)x 1 g (x) = x + x +1 x 1 g (x) x + x +1 x 1 x +2 x +1 x +1 x = x (x +1 x ) 2 x +2 2x +1 + x = x We verwachte dat x ee betere beaderig is va x da x. Dit wordt aagetood door de volgede stellig. Stellig 2.4.1 Beschouw ee covergete umerieke rij (x ), met limiet x. Als x x voor elke idex, e x +1 x lim x x = a met 0 < a < 1, da covergeert de rij (x ) seller aar x da (x ). Hiermee bedoele we dat x wordt gegeve door de formule x x lim x x = 0 (2.16) x = x (x +1 x ) 2 x +2 2x +1 + x (2.17) 26
Bewijs. We otere f = x x, e ε = f +1 / f a. Da is We vide u dat f +1 = f (a + ε ) e lim ε = 0 x +2 2x +1 + x = (x +2 x) 2(x +1 x) + (x x) = f +2 2 f +1 + f = (a + ε +1 )(a + ε f 2 f (a + ε ) + f ) = f ((a 1) 2 + ε met lim ε = 0. De oemer i (2.17) is ooit ul omdat a < 1 e f 0. Verder is e zodat x +1 x = f +1 f = f (a 1 + ε ) x x = x x f 2 (a 1 + ε ) ( 2 ) f (a 1) 2 + ε x x lim x x = lim (1 (a 1 + ε ) 2 ) (a 1) 2 + ε e dit bewijst de stellig. ε 2(a 1)ε + ε 2 = lim (a 1) 2 + ε = 0 Opmerkig 2.4.2 Deze methode om de covergetie te verselle wordt de methode va Aitke geoemd. Me ka de covergetie opieuw verselle door op de rij (x ) opieuw de methode va Aitke toe te passe. Voorbeeld 2.4.3 Stel x = g(x 1 ) = 1 x 1. Da is x = 1 + 5 =.618033989 2 Merk op dat g (x) = 1 2 1 x = 1 2x = 1 + 5 0 4 zodat stellig 2.4.1 va toepassig is. We berekee eerst x met behulp va het MATLAB programma x(1) =.5 f or i = 2 : 20 x(i) = sqrt(1 x(i 1)); ed x 27
We vide x 1 =.5 x 2 =.7071068 x 3 =.5411961 x 4 =.6773506 x 5 =.5680223 x 6 =.6572501 x 7 =.5854484 x 10 =.6349981 x 20 =.62008333 We passe u de Aitke methode toe e berekee x, met behulp va het MATLAB programma f or i = 1 : 18 y(i) = x(i) ((x(i + 1) x(i)) 2 )/(x(i + 2) 2 x(i + 1) + x(i)); ed y We vide x 1 =.6149898 x 2 =.6159796 x 3 =.6167128 x 4 =.6171526 x 5 =.6174642 x 6 =.6176566 x 18 =.6180317 Pas Aitke ogmaals toe, met MATLAB programma f or i = 1 : 16 z(i) = y(i) ((y(i + 1) y(i)) 2 )/(y(i + 2) 2 y(i + 1) + y(i)); ed z We vide x 1 =.6188085 x 2 =.6178119 x 3 =.6182211 x 9 =.6180374 x 12 =.6180336 x 16 =.6180340 28
Hoofdstuk 3 Het oplosse va stelsels 3.1 Algoritme voor het oplosse va stelsels Beschouw ee stelsel va vergelijkige met obekede f 1 (x 1,x 2,...,x ) = 0 f 2 (x 1,x 2,...,x ) = 0. f (x 1,x 2,...,x ) = 0 (3.1) We zulle dit soms verkort opschrijve i vectorvorm. Stelle we f 1 x 1 f F = 2. e X = x 2. f x da kue we (3.1) herschrijve als F(X) = 0 (3.2) We gaa tewerk als i het voorgaad hoofdstuk, e trachte ee rij vectore (X m ) te costruere die aar de oplossig covergeert. (3.2) is equivalet met X = X + M(X)F(X) (3.3) idie M(X) ee reguliere -matrix is, voor elke waarde va X. Naar aalogie met (2.2) stelle we volgede iteratieve formule voor X m+1 = X m + M(X m )F(X m ) (3.4) 29
De methode va Newto-Raphso Dit is het hoger dimesioale aalogo va de methode va Newto. Oderstel dat we ee beaderig X m = (x (m) 1,...,x (m) ) va ee oplossig va (3.2) gevode hebbe. We beadere u de fucties f i door hu Taylor otwikkelig tot op orde 1: of, i matrixvorm f i (x 1,...,x ) f i (x (m) 1,...,x (m) f i ) + (x (m) j=1 x 1,...,x (m) )(x j x (m) j F(X) F(X m ) + J(X m )(X X m ) waarbij f 1 f 1 (X) (X) x 1 x 2 f 2 f 2 (X) (X) J(X) = x 1 x 2.. f f (X) (X) x 1 x 2 Ee beaderde oplossig va F(X) = 0 is dus f 1 (X) x f 2 (X) x. f (X) x j ) X m+1 = X m J(X m ) 1 F(X m ) (3.5) Dit is het algoritme va Newto-Raphso. Merk op dat me bij elke iteratie ee lieair stelsel moet oplosse. Met behulp va de methode va Cramer kue we de formules uitschrijve voor kleie waarde va. Neem = 2, e schrijf X = (x,y) e X m = (x m,y m ). (3.5) wordt f 1 (x m,y m ) f 2 y (x m,y m ) f 2 (x m,y m ) f 1 y (x m,y m ) x m+1 = x m f 1 x (x m,y m ) f 2 y (x m,y m ) f 1 y (x m,y m ) f 2 x (x m,y m ) f 2 (x m,y m ) f 1 y m+1 = y m x (x m,y m ) f 1 (x m,y m ) f 2 x (x m,y m ) f 1 x (x m,y m ) f 2 y (x m,y m ) f 1 y (x m,y m ) f 2 x (x m,y m ) (3.6) De methode va Morrey Dit is het aalogo va de methode va de vaste richtig. X m+1 = X m J(X 0 ) 1 F(X m ) (3.7) 30
De methode va de diagoaalterm J(X) 1 is gemakkelijk op te losse als J(X) ee diagoaalmatrix is. We stelle D(X) de matrix die otstaat door i J(X) alle elemete die iet op de diagoaal staa gelijk aa ul te stelle f 1 (X) 0 0 x 1 f 2 0 (X) 0 D(X) = x 2... f 0 0 (X) x e me beadert het stelsel F(X) = 0 door het stelsel De ieuwe iteratieve formule is u of, i compoete uitgeschreve F(X) F(X m ) + D(X m )(X X m ) = 0 X m+1 = X m D(X m ) 1 F(X m ) x (m+1) i = x (m) i f i(x (m) 1,...,x (m) ) f i x i (x (m) 1,...,x (m) (3.8) is atuurlijk eevoudiger da (3.5). Zoals we verder zulle zie is de covergetie va (3.8) mider goed da die va (3.5). ) (3.8) 3.2 Metrieke op R We gebruike hier dezelfde methode als i het voorgaade hoofdstuk. Met behulp va de dekputstellig trachte we aa te toe dat oze iteratieve methode aar ee oplossig covergeert. Oze oplossige zij u vectore i R, zodat we op zoek moete gaa aar metrieke op R. We herhale eerst eve de defiitie va ee afstad of metriek op ee verzamelig. Defiitie 3.2.1 Ee metrische ruimte (E,d) is ee verzamelig E, tesame met ee afbeeldig d : E E R + : (x,y) d(x,y) die voldoet aa de volgede voorwaarde, voor elke x,y,z E: 1. d(x,y) = 0 als e allee als x = y; 2. d(x,y) d(x,z) + d(z,y); 31
3. d(x,y) = d(y,x). We oeme d(x,y) de afstad va x tot y. Herhaal ook dat ee orm op ee vectorruimte als volgt gedefiieerd wordt. Defiitie 3.2.2 Ee reële vectorruimte V die is uitgerust met ee afbeeldig : V R + die voldoet aa de volgede eigeschappe, voor alle x, y V e α R: 1. x = 0 x = 0; 2. α x = α x ; 3. x + y x + y. wordt ee geormeerde ruimte geoemd. Ee geormeerde ruimte is altijd ee metrische ruimte. Eigeschap 3.2.3 Als V, ee geormeerde reële vectorruimte is, da defiieert de formule d( x, y) = x y ee afstad op V. Elke geormeerde ruimte is dus ee metrische ruimte. Op R ka me de volgede orme - e hu bijhorede metrieke - bekijke. x 1 = x1 2 + x2 2 + + x2 (3.9) Deze orm oemt me de Euclidische orm op R. De bijhorede afstad otere we d 1. x 2 = max{ x 1, x 2,..., x } (3.10) Deze orm oemt me de maximum orm op R. De bijhorede afstad otere we d 2. x 3 = x 1 + x 2 + + x (3.11) Op R ka me dus verschillede orme (e dus verschillede afstade) defiiëre. Er is ee verbad tusse deze drie afstade. We hebbe amelijk x 2 = max{ x 1, x 2,..., x } x1 2 + x2 2 + + x2 = x 1 ( x 1 + x 2 + + x ) 2 = x 3 max{ x 1, x 2,..., x } = x 2 32
Samegevat: x 2 x 1 x 3 x 2 (3.12) voor alle x R. Voor = 1 valle de drie orme same. Voor de covergetie speelt het gee rol met welk va de drie afstade we werke. Stellig 3.2.4 Oderstel dat ( x ) ee rij vectore i R is. De volgede uitsprake zij equivalet: 1. d 3 - lim x = a; 2. d 1 - lim x = a; 3. d 2 - lim x = a. Hierbij zij d 1, d 2 e d 3 de afstade die behore bij de orme 1, 2 e 3. Ee aaloge eigeschap geldt voor Cauchyrije. Bewijs. 1. = 2. Uit 1. volgt ε > 0, N : > N = x a 3 < ε Uit (3.12) volgt dat x a 1 x a 3 e dus ε > 0, N : > N = x a 1 < ε e 2. volgt. Op juist dezelfde maier bewijze we dat 2. = 3. = 1.. Het groot voordeel va stellig 3.2.4 is dat we, om de covergetie te oderzoeke, we de gemakkelijkste va de drie orme kue kieze. I de praktijk is dit bija ooit de Euclidische orm, maar wel dikwijls de maximumorm of de orm 3. Stellig 3.2.5 Oderstel dat G ee geslote deel va R is. Da is (G,d i ) ee volledige metrische ruimte (i = 1,2,3). Bewijs. Uit stellig 3.2.4 blijkt dat het voldoede is om de stellig te bewijze voor ee va de drie hierbove igevoerde metrieke. We werke met de metriek d 2. Odersel dat (X m ) ee d 2 -Cauchy rij i G is. ε > 0, N N : p,m > N = X p X m 2 < ε Omdat x (p) i x (m) i X p X m 2 volgt hieruit dat (x (m) i ) ee umerieke Cauchyrij is, voor elke i = 1,...,. We wete dat elke umerieke Cauchyrij covergeert, e stelle x i = lim m x(m) i 33
e X = (x 1,x 2,...,x ). Voor elke ε > 0 hebbe we N i N : m > N i = x (m) i x i < ε Stel N = max{n 1,N 2,...,N }. Da geldt voor elke m > N dat X m X 2 = max{ x (m) i x i : i = 1,...,} ε e d 2 - lim m X m = X Omdat G geslote is, hebbe we dat X G. Dus is G volledig. 3.3 Covergetie va de iteratieve formules Om de otaties wat te vereevoudige werke we i R 3. Alles ka gemakkelijk uitgebreid worde tot R. Beschouw ee fuctie O : G R 3 R 3. Neem (x,y,z) G, e schrijf (u,v,w) = O(x,y,z). We zegge dat O voldoet aa de voorwaarde (V ) idie er α i,β i,γ i R 3 bestaa zodat u 2 u 1 α 1 x 2 x 1 + β 1 y 2 y 1 + γ 1 z 2 z 1 v 2 v 1 α 2 x 2 x 1 + β 2 y 2 y 1 + γ 2 z 2 z 1 w 2 w 1 α 3 x 2 x 1 + β 3 y 2 y 1 + γ 3 z 2 z 1 (3.13) voor alle (x 1,y 1,z 1 ),(x 2,y 2,z 2 ) G. We zegge dat O voldoet aa het kolomcriterium als O voldoet aa de voorwaarde (V ), met α 1 + α 2 + α 3 θ < 1 β 1 + β 2 + β 3 θ < 1 (3.14) γ 1 + γ 2 + γ 3 θ < 1 We zegge dat O voldoet aa het rijcriterium als O voldoet aa de voorwaarde (V ), met for i = 1,2,3. α i + β i + γ i θ < 1 (3.15) Stellig 3.3.1 Als O voldoet aa het rijcriterium, da is O ee cotractie voor de metriek d 2. Als O voldoet aa het kolomcriterium, da is O ee cotractie voor de metriek d 3. Bewijs. We schrijve P 1 = (x 1,y 1,z 1 ) ; P 2 = (x 2,y 2,z 2 ) O(P 1 ) = (u 1,v 1,w 1 ) ; O(P 2 ) = (u 2,v 2,w 2 ) Oderstel O voldoet aa het rijcriterium. We hebbe bijvoorbeeld dat max{ u 2 u 1, v 2 v 1, w 2 w 1 } = v 2 v 1 34
Da is d 2 (O(P 1 ),O(P 2 )) = max{ u 2 u 1, v 2 v 1, w 2 w 1 } = v 2 v 1 α 2 x 2 x 1 + β 2 y 2 y 1 + γ 2 z 2 z 1 (α 2 + β 2 + γ 2 )d 2 (P 1,P 2 ) θd 2 (P 1,P 2 ) zodat O ee cotractie is voor de metriek d 2. Oderstel vervolges dat O voldoet aa het kolomcriterium. d 3 (O(P 1 ),O(P 2 )) = u 2 u 1 + v 2 v 1 + w 2 w 1 zodat O ee cotractie is voor de metriek d 3. (α 1 + α 2 + α 3 ) x 2 x 1 +(β 1 + β 2 + β 3 ) y 2 y 1 +(γ 1 + γ 2 + γ 3 ) z 2 z 1 θd 3 (P 1,P 2 ) Covergetie va de algemee iteratieve formule We kere terug aar het stelsel F(X) = 0, e de iteratieve formule X m+1 = X m + M(X m )F(X m ) = O(X m ) (3.16) Om de otaties te vereevoudige werke we i R 3. Voor X R 3 schrijve we u φ 1 (x,y,z) O(X) = U = v = φ 2 (x,y,z) w φ 3 (x,y,z) We geve u twee covergetiestellige die alletwee ee uitbreidig zij va stellig 2.2.4. We zulle i het vervolg steeds oderstelle dat de partiële afgeleide φ i x j cotiu zij. Stellig 3.3.2 Oderstel dat X ee oplossig is va het stelsel F(X) = 0, e dat er α i,β i,γ i bestaa zodat φ i x (x,y,z) αi φ i y (x,y,z) βi (3.17) φ i z (x,y,z) γi voor i = 1,2,3 e voor alle (x,y,z) G 2 = {X R 3 : d 2 (X,X) δ}. Als α i + β i + γ i θ < 1 (3.18) da covergeert het iteratieproces aar X voor elke startwaarde X 0 G 2. 35
Bewijs. We eme (x 1,y 1,z 1 ),(x 2,y 2,z 2 ) G 2, e schrijve O(x j,y j,z j ) = (u j,v j,w j ) voor j = 1,2. Vawege de middelwaardestellig bestaat er ee (G 2 is covex) zodat (ξ,η,ζ) [(x 1,y 1,z 1 ),(x 2,y 2,z 2 )] G 2 u 2 u 1 = φ 1 (x 2,y 2,z 2 ) φ 1 (x 1,y 1,z 1 ) = φ 1 x (ξ,η,ζ)(x 2 x 1 ) + φ 1 y (ξ,η,ζ)(y 2 y 1 ) + φ 1 z (ξ,η,ζ)(z 2 z 1 ) α 1 x 2 x 1 + β 1 y 2 y 1 + γ 1 z 2 z 1 Dit is de eerste regel uit voorwaarde (V). Op aaloge wijze zij ook de twee adere regels voldaa, e uit (3.18) volgt dat O voldoet aa het rijcriterium. O is dus ee cotractie voor de metriek d 2. Bovedie is O : G 2 G 2. Immers, als X G 2, da is d 2 (O(X),X) = d 2 (O(X),O(X)) θd(x,x) θδ < δ e O(X) G 2. We kue u de cotractiestellig toepasse, e cocludere dat (O (X 0 )) aar X covergeert voor elke X 0 G 2. Stellig 3.3.3 Oderstel dat X ee oplossig is va het stelsel F(X) = 0, e dat er α i,β i,γ i bestaa zodat φ i x (x,y,z) αi φ i y (x,y,z) βi φ i z (x,y,z) γi voor i = 1,2,3 e voor alle (x,y,z) G 3 = {X R 3 : d 3 (X,X) δ}. Als α 1 + α 2 + α 3 θ < 1 β 1 + β 2 + β 3 θ < 1 γ 1 + γ 2 + γ 3 θ < 1 da covergeert het iteratieproces aar X voor elke startwaarde X 0 G 3. (3.19) Bewijs. Volledig aaloog aa dat va stellig 3.3.2. We zegge dat ee matrix A M (R) voldoet aa het rijcriterium als a i j < 1 j=1 36
voor elke rijidex i. Aaloog voldoet A aa het kolomcriterium als i=1 a i j < 1 voor elke kolomidex j. We otere F voor de Jacobiaase matrix va φ 1,...,φ : φ 1 (X) x 1 φ 2 (X) F (X) = x 1. φ (X) x 1 φ 1 (X) x 2 φ 2 (X) x 2. φ (X) x 2 φ 1 (X) x φ 2 (X) x. φ (X) x Stellig 3.3.4 Oderstel dat X ee wortel is va het stelsel F(X) = 0, e dat F (X) voldoet aa het rij- of kolomcriterium Da covergeert de algemee iteratieve methode va zodra de startwaarde X 0 voldoede dicht bij X ligt. Bewijs. Oderstel bijvoorbeeld dat F (X) voldoet aa het rijcriterium. Dit beteket dat φ i x (X) + φ i y (X) + φ i z (X) < 1 (3.20) Omdat de partiële afgeleide va de φ i cotiu zij, geldt (3.20) over ee geslote d 2 -omgevig G 2 va X. Stellig 3.3.2 is va toepassig, e de iteratieve methode covergeert aar X zodra X 0 G 2. Covergetie va de methode va Newto-Raphso We voere volgede otatie i: voor ee vectorwaardige fuctie schrijve we O(X) = (φ 1 (X),φ 2 (X),...,φ (X)) do(x) = (dφ 1,dφ 2,...,dφ ) = F (X)dX Aaloog defiiëre we voor ee matrix A(X) de differetiaal da(x). We kue da gemakkelijk agaa dat d(au) = AdU + (da)u Oderstel u dat X ee oplossig is va F(X) = 0, e dat J(X) ee reguliere matrix is. De methode va Newto-Raphso gebruikt volgede operator: O(X) = X J(X) 1 F(X) 37