1 Stelsels van niet-lineaire vergelijkingen

Transcriptie

1 1 Stelsels van niet-lineaire vergelijkingen In dit hoofdstuk bestuderen we afbeeldingen F gedefinieerd op een deelverzameling D C k F : D C n : z F (z). (1) Deze afbeeldingen zullen doorgaans geen lineaire afbeeldingen zijn. 1.1 Nulpunten van afbeeldingen Vaak bestaat er interesse in punten α D waarvoor F (α) = 0 C n. Zo n α heet een nulpunt van F. Nulpunten worden ook vaak wortels van de betreffende vergelijking genoemd. Opmerking 1.1 (Nulpuntsverzamelingen) Het codomein van F in (1) is C n. Dus z 1 f 1 (z 1,..., z k ) F : D C n :, (2). z k. f n (z 1,..., z k ) met scalairwaardige componentsfuncties f 1,..., f k : D C. Het is duidelijk dat α D een nulpunt is van F als en alleen als α een nulpunt is van f j voor elke j {1,..., n}. De verzameling nulpunten van F is de doorsnede van de nulpuntsverzamelingen van f 1,..., f n. Voorbeeld 1.2 Beschouw de afbeelding F : C C 2 : [ z zz 1 (z + z)(z z) De nulpuntsverzameling van f 1 (z) = zz 1 is de eenheidscirkel T C. De nulpuntsverzameling van f 2 (z) = (z + z)(z z) is R {ir}. De nulpunten van F zijn derhalve 1, 1, i, i. ] (3) Figuur 1. Nulpuntsverzamelingen van f 1, f 2 met doorsnede de nulpuntsverzameling van F. Opmerking 1.3 (Stelsels van n vergelijkingen in k onbekenden) Het probleem om een nulpunt te vinden van F in (1) is uiteraard te schrijven als f 1 (z 1,..., z k ) = 0.. (4) f n (z 1,..., z k ) = 0 oftewel, als een stelsel van n vergelijkingen in k onbekenden z 1,..., z k. Omgekeerd is ieder stelsel van n vergelijkingen in k complexe onbekenden te formuleren als nulpuntsprobleem. 1

2 Opmerking 1.4 (Transformatie naar een scalairwaardig probleem) Voor alle z C n geldt dat z 2 = z z = 0 als en alleen als z = 0. Dus α is nulpunt van F in (1) als en alleen als α nulpunt is van de afbeelding G met co-domein R 0, G : D R 0 : z F (z) 2 = f 1 (z 1,..., z k ) f n (z 1,..., z k ) 2. (5) Deze transformatie vereenvoudigt het codomein. Daarnaast is ieder nulpunt van G ook een minimum van G. Toch is het vinden van een nulpunt van G zeker niet altijd eenvoudiger. Voorbeeld 1.5 Het nulpuntsprobleem voor de vectorwaardige afbeelding F in (3) kan worden omgeschreven tot het stelsel van twee vergelijkingen in één complexe onbekende z, { zz 1 = 0 (z + z)(z z) = 0, (6) maar bijvoorbeeld ook tot een nulpuntsprobleem voor de reëelwaardige scalaire functie G : C R 0 : z (zz 1) 2 (z + z) 2 (z z) 2. Het vinden van nulpunten van G is doorgaans niet eenvoudiger dan voor F. Er zijn ook omzettingen naar equivalente nulpuntsproblemen anders dan in Opmerking Dekpunten van afbeeldingen Naast nulpunten zijn ook zogeheten dekpunten van een afbeelding om diverse redenen interessant. Een punt α D heet een dekpunt van een afbeelding F als F (α) = α. Opmerking 1.6 Als F (α) = α dan is α een element van zowel het domein als het codomein van F. Een afbeelding F : D C k C n met k n heeft derhalve nooit een dekpunt. Voorbeeld 1.7 (Eigenvectoren-1) Laat de standaardnorm op C n zijn en schrijf B n 1 voor de eenheidssfeer in C n, oftewel B n 1 = {z C n z = 1}. Beschouw voor gegeven A GL n (C) de afbeelding F : B n 1 B n 1 : z Az Az. (7) Dan geldt dat F (α) = α als en alleen als α een eigenvector is van A van lengte één. Opmerking 1.8 De verzameling dekpunten van een afbeelding F : D C n C n is gelijk aan de verzameling nulpunten van de afbeelding G : D C n : z F (z) z. Dekpuntproblemen kunnen dus op eenvoudige wijze worden geformuleerd als nulpuntsprobleem. Dit kan echter op verschilende manieren, en hieruit kunnen ook alternatieve maar equivalente formuleringen van het originele dekpuntprobleem voortkomen. 2

3 Voorbeeld 1.9 Het dekpunt α van de afbeelding f : [0, 1] R : x 1 1+x is nulpunt van zowel g : [0, 1] R : x x x als h : [0, 1] R : x x2 + x 1. (8) Omgekeerd is ieder nulpunt α [0, 1] van g en h dekpunt van f en een oplossing van x = 1 1+x. Figuur 2. Links de grafieken van y = x en y = 1 1+x, midden en rechts die van g en h. Anderzijds is ook duidelijk dat voor alle x [0, 1], x = x x = x 2 + 2x 1 x = 1 x 2 x = 1 x en dus hebben ook x x 2 + 2x 1 en x 1 x 2 en x 1 x dekpunt α, zie Figuur 3. Figuur 3. De vier verschillende dekpunt-functies met hetzelfde dekpunt α. Opmerking 1.10 Vergelijk het zoeken van equivalente formuleringen van één en hetzelfde probleem met het toepassen van rij-operaties op een stelsel lineaire vergelijkingen Ax = b. Het bereken van oplossingen zal af blijken te hangen van de vorm waarin het probleem staat. 3

4 Voorbeeld 1.11 Iedere oplossing van de vergelijking cos(πx) cos(πy) = xy is een nulpunt van de afbeelding [ ] F : R 2 x R : cos(πx) cos(πy) xy. (9) y Omgekeerd correspondeert ieder nulpunt van F met een oplossing van de vergelijking. Rechts in Figuur 4 is de grafiek van F geschetst. Links de beide grafieken van (x, y) xy en (x, y) cos(πx) cos(πy). Figuur 4. Links: de elkaar doorsnijdende oppervlakken z = cos(πx) cos(πy) en z = xy. Rechts: z = cos(πx) cos(πy) xy en z = 0. De schaling op de z-as verschilt in beide plaatjes. In navolging van Opmerking 1.6 ligt het niet voor de hand hoe het nulpuntsprobleem voor F kan worden omgezet tot een equivalent dekpuntsprobleem voor één of andere afbeelding G. 1.3 Verdere motivatie middels voorbeelden In deze sectie verzamelen we een aantal voorbeelden van problemen die uitmonden in stelsels doorgaans niet-lineaire vergelijkingen, nulpuntsproblemen, en dekpuntproblemen. De eerste drie voorbeelden komen uit de lineaire algebra. Voorbeeld 1.12 (Lineair Stelsel) Gegeven A GL n (C) en b C n. De unieke oplossing x C n van het stelsel Ax = b is het nulpunt van F : C n C n : x Ax b. Schrijf nu A = K L en veronderstel dat K GL n (C), dan geldt Ax = b Kx = Lx + b x = K 1 Lx + K 1 b (10) en is de oplossing x dus het dekpunt van de afbeelding G : C n C n : x K 1 Lx + K 1 b. Voorbeeld 1.13 (Eigenwaarden) Laat A C n n en beschouw de afbeelding F : C C : x det(a xi). (11) Dan is F (x) = 0 als en alleen als x een eigenwaarde is van A. 4

5 Voorbeeld 1.14 (Eigenvectoren-2) Laat B n 1 als in Voorbeeld 1.7 en A C n n. Veronderstel dat Ax = λx voor zekere x B n 1 en λ C. Dan is x Ax = λx x = λ x 2 = λ, en dus Ax = (x Ax)x = xx Ax. Definieer nu de afbeelding F : B n 1 C n : x (I xx )Ax, (12) dan volgt dat iedere eigenvector x B n 1 van A een nulpunt is van F op D. Omdat I xx de loodrechte projectie is op x impliceert F (x) = 0 ook dat Ax een veelvoud is van x. Opmerking 1.15 Voorbeeld 1.7 zet het eigenvectorenprobleem voor A GL n (C) om in een dekpuntprobleem. Voorbeeld 1.14 is echter ook van toepassing op singuliere matrices in C n n. Opmerking 1.16 De vergelijking F (x) = 0 uit Voorbeeld 1.13 is polynomiaal van graad n in de complexe scalaire variabele x. De vergelijking F (x) = 0 uit Voorbeeld 1.14 is polynomiaal van graad drie, maar dan in ieder van de n complexe onbekenden x 1,..., x n C. Het is derhalve een voorbeeld van een stelsel van n cubische vergelijkingen in n scalaire onbekenden. Voorbeeld 1.17 (Google PageRank) Laat M R n n een positieve kolom-stochastische matrix zijn. Dus m ij > 0 voor alle i, j {1,..., n} en e M = e, waarbij e = e e n de som van de standaardbasisvectoren is. Omdat e (M I) = 0 heeft M een eigenwaarde λ gelijk aan één. Perron-Frobeniustheorie voor positieve matrices [1] laat zien dat: dim ker(m I) = 1; er bestaat een positieve eigenvector v van M horende bij eigenwaarde λ = 1 met e v = 1; M heeft geen andere eigenwaarden met absolute waarde 1. De eigenvector v heet de Perronvector van M, of ook wel de stationaire distributie horend bij M, en is wegens Mv = v dus een dekpunt van M. De Perronvector van de Googlematrix bevat de PageRanks die Google gebruikt om zoekresultaten te rangschikken naar belangrijkheid [1]. Voorbeeld 1.18 (Diagonaalschalingen) Laat A R n n een positieve matrix zijn. Dan bestaan er diagonaalmatrices L, R GL n (R) zo, dat M = LAR dubbelstochastisch is. Dit betekent dat M niet-negatief is, en dat in iedere rij en iedere kolom van M de entries optellen tot één, oftewel, Me = e en e M = e met e als in Voorbeeld Het berekenen van de 2n diagonaalentries l 1,..., l n en r 1,..., r n van L en R is een niet-lineair probleem. We illustreren dit met het geval n = 2. Schrijf dan is [ a 2 b A = 2 c 2 d 2 ], L = [ l1 0 0 l 2 ] en [ l1 a M = LAR = 2 r 1 l 1 b 2 r 2 l 2 c 2 r 1 l 2 d 2 r 2 [ r1 0 ]. 0 r 2 Het opleggen van de eisen dat de rijen en kolommen van M optellen tot één leidt tot een stelsel van vier lineaire vergelijkingen in de onbekende producten l 1 r 1, l 1 r 2, l 2 r 1, l 2 r 2, l 1 r 1 1 a 2 b B l 1 r 2 l 2 r 1 = 1 1 = e, waarbij B = 0 0 c 2 d 2 a 2 0 c 2 0. (13) l 2 r b 2 0 d 2 5 ],

6 Definieer nu G : R 4 R 4 : x Bx en H : R 4 R 4 : x 1 x 2 x 3 x 4 x 1 x 3 x 1 x 4 x 2 x 3 x 2 x 4 en laat F : R 4 R 4 : x (G H)(x) e (14) dan correspondeert ieder nulpunt van F met de twee plus twee diagonaalentries van een paar inverteerbare diagonaalmatrices L en R zo, dat M = LAR dubbelstochastisch is. Opmerking 1.19 Na deling door abcd(ad + bc) laat de volgende gelijkheid [ ] [ cd 0 a 2 b LAR = 2 ] [ ] [ ] bd 0 ad bc 0 ab c 2 d 2 = abcd 0 ac bc ad (15) zien dat er voor n = 2 een oplossing bestaat voor het probleem in Voorbeeld Voor grotere matrices is zo n gelijkheid, op wat speciale gevallen na, niet meer op te schrijven. De volgende voorbeelden komen uit de analyse. Voorbeeld 1.20 (Twee-punts Gauss-kwadratuur) Laat a < b, en p een onbekend cubisch polynoom op [a, b]. Kan de integraal van p over [a, b] bepaald worden door p slechts in twee punten te evalueren? Stel bijvoorbeeld dat er y 1, y 2 [a, b] en w 1, w 2 R bestaan zo, dat b a p(x)dx = w 1 p(y 1 ) + w 2 p(y 2 ) (16) voor alle cubische polynomen p. Substitutie van de vier monomen laat zien dat de vector (y 1, y 2, w 1, w 2 ) van de vier onbekenden noodzakelijkerwijs een nulpunt is van de afbeelding 1 x 1 [ ] (b1 a 1 ) F : [a, b] 2 R 2 R 4 : x 2 x 3 x3 1 2 (b2 a 2 ) x 4 1. (17) x 4 x 0 1 x 0 2 x 1 1 x 1 2 x 2 1 x 2 2 x 3 1 x (b3 a 3 ) 1 4 (b4 a 4 ) Merk op dat de entries van de linker 4 2 matrix machten van x 1,..., x 4 zijn, dus het problem is niet-lineair. Nadere analyse zal moeten bevestigen of F een nulpunt heeft. Opmerking 1.21 Veronderstel dat (y 1, y 2, w 1, w 2 ) een nulpunt is van F uit Voorbeeld 1.20 op het interval [ 1, 1], oftewel, dat (16) geldt voor alle cubische polynomen op [ 1, 1]. Laat nu u : [ 1, 1] [a, b] : x b + a 2 + b a 2 x. Dan is u( 1) = a en u(1) = b en u (x) = 1 2 (b a). Bovendien, als p een cubisch polynoom is op [a, b] dan is ook p u cubisch op [ 1, 1] en volgt met Stelling 34.4 uit [3] dat b a p(u)du = u(1) u( 1) p(u)du = 1 1 p(u(x))u (x)dx = b a 2 (w 1p(u(y 1 )) + w 2 p(u(y 2 )). En dus is (u(y 1 ), u(y 2 ), (b a)w 1 /2, (b a)w 2 /2) een nulpunt van F voor het interval [a, b]. 6

7 Opmerking 1.22 Motivatie voor Voorbeeld 1.20 is als volgt. Veronderstel dat y 1, y 2, w 1, w 2 zo zijn dat (16) geldt voor alle cubische polynomen. Definieer G b a : C([a, b]) R : f w 1 f(y 1 ) + w 2 f(y 2 ). (18) De lineaire functionaal G b a heet de twee-punts Gauss-kwadratuurformule. Bij het tweedejaars vak Numerieke Analyse zal bewezen worden dat er een C R bestaat zo, dat voor alle f C 4, b f(x)dx G(f) C(b a)5 f (4),[a,b] (19) a waarbij f (4),[a,b] de maximale absolute waarde van de vierde afgeleide van f op [a, b] is. Merk op dat als f een cubisch polynoom is, het linker- én rechterlid in (19) nul zijn. Figuur 5. Carl Friedrich Gauss ( ) en Balthasar van der Pol ( ). Veel geavanceerdere voorbeelden van nulpunts- en dekpuntproblemen zijn de volgende. Ze wijken af van onze oorspronkelijke setting waarin we veronderstelden dat domein en codomein eindig dimensionale complexe vectorruimtes zijn. Voorbeeld 1.23 (Exponentiële functie) Beschouw de functie exp : R R : x e x. Deze functie is een element uit de vectorruimte C (R) van willekeurig vaak differentieerbare functies op R, en een dekpunt van de differentiatie-afbeelding op C (R). L : C (R) C (R) : u u, (20) Voorbeeld 1.24 (Van der Pol-vergelijking) Beschouw de reële vectorruimte van willekeurig vaak differentieerbare functies C (I) op een gegeven interval I. Definieer voor zekere positieve parameter µ de afbeelding F : C (I) C (I) : u u µ(1 u 2 )u + u, (21) waarbij 1 geïnterpreteerd dient te worden als de functie x 1 op I. Dan is α C (I) een nulpunt van F als en alleen als α een oplossing is van de zogeheten Van der Pol-vergelijking, u (t) (1 u(t) 2 )u (t) + u(t) = 0 (22) een niet-lineaire tweede-orde differentiaalvergelijking die zekere gedempte oscillaties beschrijft. 7

8 2 Benaderingen van nulpunten en dekpunten In veel gevallen is het zeer moeilijk of zelfs onmogelijk om een nulpunt van een afbeelding F te bepalen als een exacte, expliciete uitdrukking. Voor kwadratische polynomen kan dit bijvoorbeeld wel. Immers, als a 0 dan zijn F : C C : x ax 2 + bx + c (23) α = b b 2 4ac 2a en β = b + b 2 4ac 2a nulpunten van F in de zin dat F (α) = F (β) = 0 en als a = 0 en b 0 dan is F (γ) = 0 waarbij γ = c/b. Tot slot, als a = b = 0 dan heeft F alleen nulpunten indien c = 0. Formules zoals in (23) bestaat ook voor polynomen van graad drie en vier. De volgende stelling is een diep resultaat uit de zogeheten Galoistheorie en is opzettelijk wat los geformuleerd: de exacte formulering vereist op dit moment te veel voorkennis. Stelling 2.1 (Abel-Ruffini) Er bestaat geen wortelformule die geldt voor alle p R[X] 5. Bewijs. Zie het tweedejaars Bachelorvak Galoistheorie. Figuur 6. Links: Paolo Ruffini ( ) en rechts: Niels Henrik Abel ( ). Opmerking 2.2 Stelling 2.1 impliceert dat ook eigenwaardeproblemen voor matrices A R n n alleen voor n 4 exact kunnen worden opgelost. Ook veel andere problemen zijn te herschrijven tot nulpuntsproblemen voor polynomiale afbeeldingen van hogere graad. Om dergelijke problemen toch te lijf te kunnen gaan, ontwikkelen we methoden die getallen opleveren die gegarandeerd binnen een voorgeschreven afstand van een nulpunt afliggen. Doelstelling 2.3 Beschouw het nulpuntsprobleem voor F : D C k C n. Veronderstel dat F (α) = 0. We beogen om een rij (α j ) j N (C k ) N en een rij (β j ) j N R N te bepalen met de volgende eigenschappen: α α j β j voor alle j N; lim j β j = 0; en waarin zowel α j R k als β j R expliciet berekenbaar zijn voor iedere j N. 8

9 Terminologie 2.4 Iedere α j heet een benadering van het nulpunt α, met fout α α j, en het getal β j heet een bovengrens voor de norm van de fout. Gevolg 2.5 Veronderstel dat Doel 2.3 wordt gerealiseerd, dan geldt dat lim α α j = 0, en dus lim α j = α. (24) j j Bewijs. Dit volgt direct met de Insluitstelling (Opgave 8.5 in [3]) voor limieten. Ingeval het moeilijk is om iets over α α j te bewijzen, is het wellicht mogelijk om iets over de rij (F (α j )) j N te zeggen. Het volgende lemma laat zien waarom dat wenselijk kan zijn. Lemma 2.6 Veronderstel dat F continu is in α, dan geldt dat lim α j = α lim F (α j ) = F (α) = 0. j j Bewijs. Zie het bewijs van Stelling 1.5 in [3]. Terminologie 2.7 (Residu) De waarde F (α j ) heet het residu van de benadering α j. Opmerking 2.8 Het voordeel van het residu is zijn doorgaans eenvoudige berekenbaarheid. Echter, de grootte van het residu zegt niet aaltijd veel over de grootte van de fout. Immers, F kan nabij α zeer grote waarden aannemen, of juist ver van α ook zeer kleine waarden hebben. Als F continu differentieerbaar is zal Stelling 2.22 verderop hierin wat inzicht geven. Opmerking 2.9 We zullen voorlopig aannemen dat het mogelijk is om F te evalueren voor iedere x uit het domein. Dit is helemaal geen realistische aanname, zie ook Voorbeeld In wat volgt zullen we de zojuist geïntroduceerde begrippen illustreren met voorbeelden. 2.1 De bisectiemethode Laat a, b R met a < b. De eenvoudigste setting van nulpuntsproblemen is die waarin f : [a, b] R : x f(x). We zullen vanaf nu veronderstellen dat f continu is. Een bekende en zeer betrouwbare methode om een nulpunt van f te vinden is de zogeheten bisectiemethode. Deze methode is gebaseerd op de volgende eenvoudige observatie. Lemma 2.10 Laat f C([a, b]) met f(a)f(b) < 0. Dan bestaat er een α met a < α < b met f(α) = 0, waarbij α m b a 2. Hier is m het middelpunt van [a, b] en b a is de lengte van het interval. Bewijs. Omdat f(a)f(b) < 0 is f(a) 0. Als f(a) > 0 dan is f(b) < 0, en als f(a) < 0 dan is f(b) > 0. In beide gevallen geeft de Tussenwaardestelling 18.2 in [3] het bestaat van α. Omdat iedere x [a, b] maximaal (b a)/2 van m afligt, geldt dit uiteraard ook voor α. Lemma 2.10 zegt dus dat als f in a en b verschillend teken heeft, m een benadering is van een nulpunt α van f, met bovengrens (b a)/2 voor de absolute fout in m. 9

10 Opmerking 2.11 Een continue functie kan op een compact interval oneindig veel nulpunten bevatten, zie bijvoorbeeld de functie f : [ 1, 1] [ 1, 1] met f(0) = 0 en f(x) = x sin(πx 1 ) voor x 1. Dan geldt naast f(0) = 0 dat f( p 1 ) = 0 = f(p 1 ) voor alle p N. Figuur 7. De functie f (links op [ 1, 1] en rechts op [ 0.1, 0.1]) heeft oneindig veel nulpunten. Het feit dat f( 0.4)f(0.4) > 0 impliceert duidelijk niet dat f geen nulpunt heeft in [ 0.4, 0.4]. Als f C([a, b]) eindig veel nulpunten heeft, impliceert f(a)f(b) < 0 dat f een oneven aantal nulpunten heeft in [a, b]. Als f(a)f(b) > 0 betekent dit niet, dat [a, b] geen nulpunt bevat. Het betekent dat het aantal nulpunten van f in [a, b] even is en dus mogelijkerwijs nul. De bisectiemethode bestaat uit het herhaald toepassen van het idee in Lemma 2.10 totdat de breedte van het interval dat het nulpunt bevat de gevraagde nauwkeurigheid garandeert. Methode 2.12 (Bisectiemethode) Laat f C([a, b]) met f(a)f(b) < 0. Schrijf m voor het middelpunt van [a, b] en bereken f(m). Als f(m) = 0 dan is een nulpunt gevonden. Zo niet, dan is f(m) 2 > 0 en dus f(a)f(m)f(m)f(b) < 0, en geldt precies één van beide gevallen: (1) f C([a, m]) en f(a)f(m) < 0; (2) f C([m, b]) en f(m)f(b) < 0. Evaluatie van f(m) vindt een nulpunt, of bepaalt in welke helft van [a, b] een nulpunt ligt, met behoud van de eigenschap dat f verschillend teken heeft op de randpunten van die helft. Evalueer nu f in het middelpunt m van dat interval, en herhaal het proces. Dit definieert een rij (α j ) j N met α 1 = m en α 2 = m etcetera. Het is eenvoudig in te zien dat voor alle j N. α α j 2 j (b a) (25) Voorbeeld 2.13 Laat f(x) = cos(πx) x. Omdat f(0) = 1 en f(1) = 2 bevat [0, 1] volgens Lemma 2.10 een nulpunt en is α 1 = 1 2 een benadering van een nulpunt met bovengrens 1 2 (1 0) = 1 2 voor de absolute fout. Vervolgens berekenen we f(1 2 ) = 1 2, en dus ligt er een nulpunt in [0, 1 2 ], en is α 2 = 1 4 een benadering van een nulpunt. Een bovengrens voor de absolute fout in α 2 is 1 2 ( 1 2 0) = 1 4. Zo doorgaande definieert de bisectiemethode voor iedere j N een interval I j waarin een nulpunt ligt. Het middelpunt α j van I j is hiervan een benadering, en de halve lengte van I j is een bovengrens β j voor de absolute fout α α j in α j. Zie Figuur 8 (links). Rechts geven we deze absolute fout en zijn bovengrens weer tegen j. 10

11 Figuur 8. Links: de eerste vijf bisectiemethodebenaderingen α 1,..., α 5. Rechts: de absolute fouten en hun respectievelijke bovengrenzen van de eerste 30 bisectiemethodebenaderingen. Opmerking 2.14 We gebruikten rechts in Figuur 8 een logaritmische schaal op de verticale as voor een betere visualisatie. Dit zullen we in vergelijkbare gevallen steeds blijven doen. Opmerking 2.15 De bovengrenzen β j zijn expliciet berekenbaar. De absolute fouten α α j zijn dat alleen als het exacte nulpunt α bekend is, wat normaal gesproken natuurlijk niet zo is. Een grafiek zoals rechts in Figuur 8 kan echter worden gemaakt door α α j te bijvoorbeeld benaderen met α 50 α j. Volgens Lemma 2.10 geldt immers dat α α en dus geeft de driehoeksongelijkheid dat α 50 α j 2 51 α α j α 50 α j. (26) Dus α α j wijkt maximaal af van de getekende grafiek voor α 50 α j. Ondanks dat dit een zeer goede bovengrens van de fout in α 30 geeft, is de prijs hiervoor hoog. Bovendien is α 30 niet meer zo interessant nu ook α 50 beschikbaar is als benadering van α. Terminologie 2.16 (Overkill solution) Een zeer goede benadering die puur wordt berekend om het foutgedrag van een methode te illustreren, wordt een overkill solution genoemd. Opmerking 2.17 In Voorbeeld 2.13 is het mogelijk om een alternatieve bovengrens voor de absolute fout α α j te geven die gebaseerd is op de residuen f(α j ). Immers, volgens de Middelwaardestelling bestaat er voor iedere j N een ξ j tussen α en α j zo, dat f(α j ) = f(α j ) 0 = f(α j ) f(α) = (α j α)f (ξ j ). (27) In dit geval is f (x) = π sin(πx) 1. Omdat 0 sin(πx) 1 op [0, 1] is 1 f (x) 1 + π op [0, 1]. Samen met (27) resulteert dit in de observatie dat voor alle j N, f(α j ) 1 + π α α j f(α j ), (28) oftewel, het absolute residu geeft een bovengrens én een ondergrens voor de absolute fout. Het gebruik van het residu zoals in Opmerking 2.17 hangt af van het differentieerbaar zijn van f, en ook van het kunnen begrenzen van de afgeleide op het interval [0, 1]. Dit is lang niet altijd even eenvoudig, maar dus wel in bovenstaand voorbeeld, dat we hier vervolgen. 11

12 Voorbeeld 2.18 Hier tonen we nogmaals de absolute fouten en de bovengrenzen zoals die in Figuur 8. We voegen echter ook de rij van absolute residuen toe aan het plaatje. Figuur 9. Foutbovengrens gebaseerd op de absolute residuen f(α j ). We zien dat de bovengrens 2 j (b a) de fout doorgaans beter begrenst dan f(α j ), maar dat vooral als de fout een flinke afname vertoont, het residu dat goed weerspiegelt. Opmerking 2.19 Bovengrens 2 j (b a) kan worden uitgerekend voordat α j berekend is, en dus kan vooraf een waarde van j kan worden bepaald die garandeert dat α α j 2 j (b a) ε voor gegeven ε > 0. De bovengrens in (31) kan pas worden berekend nadat α j is berekend. Terminologie 2.20 (A priori/a posteriori bovengrens) Een bovengrens die uitgerekend kan worden voordat de benadering uitgerekend is, heet een a priori bovengrens. Een bovengrens die berekening van de bijbehorende benadering vereist, heet een a posteriori bovengrens. De bisectiemethode heeft als groot voordeel dat er slechts continuïteit wordt verondersteld van de functie waarvan een nulpunt wordt gezocht. Dit maakt het ook mogelijk de methode in te zetten op functies die niet in elk punt, of zelfs in geen enkel punt differentieerbaar zijn. Voorbeeld 2.21 (Weierstraß-functie) Karl Weierstraß construeerde in 1872 een voorbeeld van een klasse van continue functies die in geen enkel punt differentieerbaar zijn. Hij was hiermee overigens niet de eerste: Bernard Bolzano deed dit al rond Figuur 10. Links: Bernard Bolzano ( ) en rechts: Karl Weierstraß( ). 12

13 Voor ieder paar a R, b N met 0 < a < 1 en ab 1 is zo n functie f gedefinieerd als de reeks f(x) = a n cos(b n πx). (29) n=0 Omdat iedere term van deze reeks voldoet aan a n cos(b n πx) a n en de rij (a n ) n N convergeert voor alle 0 < a < 1 is de reeks in (29) uniform convergent. Dus is f welgedefinieerd en tevens continu. We zullen hier niet bewijzen dat f in geen enkel punt differentieerbaar is. Figuur 11. Weierstraß-functie voor a = 1 2 en b = 4. Rechts is een detail van links (zie assen). In Figuur 11 geven we de grafiek van f voor a = 1 2 en b = 4. Links op het domein [0, 2] en rechts op [0.55, 0.65]. De Weierstraß-functies zijn natuurlijk ook voorbeelden van continue functies waarvan het in het algemeen niet mogelijk is een exacte waarde te evalueren. Dit maakt het bepalen van nulpunten er niet eenvoudiger op, terwijl ze overduidelijk wel bestaan. We sluiten deze sectie af met een samenvattende stelling. Stelling 2.22 Laat f C([a, b]) met f(a)f(b) < 0. Laat (α j ) j N de rij bisectiemethodebenaderingen zijn, waarbij α 1 het middelpunt is van [a, b]. Dan bestaat er een nulpunt α van f zo, dat α α j 2 j (b a) (30) voor alle j N. Indien f differentieerbaar is op [a, b] met 0 < M 1 f (x) M 2 voor alle x [a, b] dan is f(α j ) M 2 α α j f(α j) M 1. (31) Bewijs. Voor j = 1 is (30) precies Lemma Voor grotere j volgt de bewering per constructie in Methode De ongelijkheden in (31) volgen uit de Tussenwaardestelling, die geeft dat voor iedere j N er een ξ j tussen α j en α bestaat waarvoor f(α j ) = f(α j ) 0 = f(α j ) f(α) = (α j α)f (ξ j ). (32) Omdat 0 < M 1 f (ξ j ) M 2 volgt hieruit dat f(α j ) M 2 f(α j) f (ξ j ) = α j α f(α j) M 1. (33) Dit bewijst de bewering. 13

14 2.2 De methode van successieve substitutie voor dekpunten We richten ons nu op het benaderen van een dekpunt α van een afbeelding middels een rij (α j ) j N benaderingen met bijbehorende rij (β j ) j N bovengrenzen, net als in Doelstelling 2.3. Methode 2.23 (Successieve substitutie/dekpuntiteratie) Voor een gegeven afbeelding φ : [a, b] [a, b], kies een startpunt α 1 [a, b] en laat voor alle j N, α j+1 = φ(α j ) (34) Dit definieert een rij (α j ) j N die onder bepaalde voorwaarden naar een dekpunt van φ convergeert. In wat volgt zullen we deze voorwaarden nader specificeren. Opmerking 2.24 De eis in Methode 2.23 dat het codomein van φ gelijk is aan het domein van φ komt voort uit het feit dat de rij in (34) anders niet met zekerheid welgedefinieerd is. Opmerking 2.25 In Methode 2.23 geldt dus dat α j = φ j i (α i ) voor alle i, j N met j i, en in het bijzonder α j+1 = φ j (α 1 ). Hierbij staat φ l = φ... φ (35) voor de samenstelling van l termen φ. Oftewel, φ 0 is de identieke afbeelding en φ 1 = φ. Definitie 2.26 (Spinnenwebgrafiek) Laat (α j ) j N een rij zijn afkomstig van successieve substitutie. Beschouw nu de volgende rij punten in R 2 : (α 1, α 1 ), (α 1, α 2 ), (α 2, α 2 ), (α 2, α 3 ), (α 3, α 3 ), (α 3, α 4 ),... (36) Deze punten hebben de volgende twee eenvoudig te controleren eigenschappen: ze liggen beurtelings op de grafiek van id : x x en op de grafiek van φ : x φ(x); opéénvolgende punten liggen beurtelings op dezelfde verticale, dan wel horizontale lijn. Het met rechte lijnstukken verbinden van opéénvolgende punten visualiseert de rij (α j ) j N. Deze visualisatie van de successieve substitutie wordt vaak een spinnenwebgrafiek genoemd. Voorbeeld 2.27 In Figuur 12 illustreren we Definitie 2.26 voor rijen (α j ) j N verkregen uit successieve substitutie met drie van de dekpuntfuncties uit Voorbeeld 1.9. Figuur 12. Spinnenwebgrafieken voor enkele successieve substituties uit Voorbeeld 1.9. Links de rij voor φ(x) = 1 1+x met α 1 = 0.1, in het midden de rij voor φ(x) = 1 x 2 met α 1 = 0.5, en rechts de rij voor φ(x) = 1 x met α 1 =

15 Opmerking 2.28 Het begin van een spinnenwebgrafiek vertrekt altijd vanaf de lijn y = x in verticale richting naar de grafiek van φ. Het in horizontale richting naar de grafiek van φ gaan correspondeert daarentegen met het toepassen van de inverse φ 1 van φ indien deze bestaat. Opmerking 2.29 In het linker- en het rechterplaatje in Figuur 9 spiraliseert de spinnenwebgrafiek vanuit (α 1, α 1 ) naar het dekpunt toe, links veel sneller dan rechts. In het middelste spiraliseert deze er juist vandaan, maar komt nooit buiten het getoonde gebied [0, 1] [0, 1]. In de komende drie secties bestuderen we de convergentie van de methode van successieve substitutie. We doen dit voor de volgende drie geneste vectorruimtes van dekpuntfuncties: in Sectie 2.2.1: eerstegraads polynomen; in Sectie 2.2.2: continu differentieerbare functies; in Sectie 2.2.3: Lipschitz-continue functies. Oftewel, we zullen steeds zwakkere aannames doen over de dekpuntfunctie, en dientengevolge ook steeds meer moeite moeten doen om convergentie te bewijzen Eerstegraads polynomen als dekpuntfuncties Het is instructief om bij de studie van convergentie van rijen verkregen met successieve substitutie eerst het eenvoudige geval te bestuderen waarin φ een eerstegraads polynoom is. Opmerking 2.30 Als φ een lineair polynoom is, kan de vergelijking φ(x) = x natuurlijk eenvoudig direct opgelost worden en is het niet nodig om een dekpuntiteratie uit te voeren. Reden om de analyse desondanks toch uit te voeren is dat deze erg nuttige inzichten geeft. Voorbeeld 2.31 Veronderstel dat φ(x) = c + dx een lineair polynoom is, waarvan de grafiek de lijn y = x snijdt in α, een dekpunt dus van φ. Figuur 13 suggereert dat de successieve substitutie convergeert als en alleen als de absolute waarde d van de afgeleide d van φ kleiner is dan één. Dit is het geval in de linker twee plaatjes. In de overige twee plaatjes is d > 1. Figuur 13. Het geval φ(x) = c + dx. Eerste en tweede plaatje d < 1, overige d > 1. De suggestie wordt bevestigd door de Middelwaardestelling toe te passen. Omdat α = φ(α) en α j+1 = φ(α j ) geeft deze dat α α j+1 = φ(α) φ(α j ) = (α α j )φ (ξ) = (α α j )d. (37) Kortom, de fout α α j+1 in de benadering α j+1 van α is altijd exact een factor d maal die in α j. In het bijzonder geldt dus met een eenvoudig inductie-argument dat voor iedere j N, α α j+1 = d j (α α 1 ), (38) 15

16 dus convergentie vindt plaats als en alleen als d < 1. Extra aandacht verdienen de gevallen d = 0: de grafiek van φ loopt horizontaal en dus α α 2 = (α α 1 )0 en dus α 2 = α. d = 1: de grafiek van φ valt samen met y = x en er volgt dat α j = α 1 voor alle j N; d = 1: de grafiek van φ snijdt de lijn y = x loodrecht: (α j ) j N is 2-periodiek. Het convergentiegedrag van dekpuntiteraties voor φ(x) = c + dx is hiermee volledig begrepen. Opmerking 2.32 Als φ(x) = c + dx een eerstegraads polynoom is, en α 1, α 2, α 3 zijn berekend, dan geldt volgens (37) dat α α 2 = (α α 1 )d en α α 3 = (α α 2 )d. (39) Zelfs als d hierin onbekend is, kunnen we d hieruit oplossen. Immers, als we de rechter gelijkheid in (39) aftrekken van de linker volgt, mits α 2 α 1, dat d = α 3 α 2 α 2 α 1. (40) Uit de tweede gelijkheid in (39) kunnen we nu zelfs ook het dekunt α oplossen als α = α 3 α 2 d 1 d = α 3α 1 α 2 2 α 3 2α 2 + α 1 (41) mits de noemer ongelijk is aan nul. We zullen hier later een interessante toepassing van zien Continu differentieerbare dekpuntfuncties Als tweede stap onderzoeken we continu differentieerbare dekpuntfuncties φ. De motivatie is dat dichtbij α de grafiek van φ lijkt op zijn raaklijn in α, dus op de grafiek van het lineaire Taylorpolynoom p(x) = φ(α) + (x α)φ (α). (42) De verwachting gewekt door de analyse in Voorbeeld 2.31 van lineaire polynomen als dekpuntfunctie, is dat als α 1 dicht genoeg bij α ligt, convergentie bepaald wordt door φ (α). Stelling 2.33 Veronderstel dat φ continu differentieerbaar is met φ(α) = α en φ (α) < 1. Dan bestaat er een ε > 0 zo, dat als α 1 U = [α ε, α + ε], en α j+1 = φ(α j ) voor alle j N, dan α α j+1 L j U α α 1 waarbij L U = max y U φ (y) < 1 (43) met als gevolg dat de rij (α j ) j N convergeert naar het dekpunt α. Bewijs. Omdat φ continu is en 1 < φ (α) < 1 bestaat er een ε > 0 zo, dat 1 < φ (y) < 1 voor alle x U = [α ε, α + ε]. (44) Laat nu α 1 U. Dan volgt uit α = φ(α) en α j+1 = φ(α j ) en de Middelwaardestelling dat er voor iedere j N een ξ j tussen α en α j bestaat met α α j+1 = φ(α) φ(α j ) = α α j φ (ξ j ). (45) Als α j U dan ξ j U en dus φ (ξ j ) < 1. Dus ligt α j+1 dichter bij het middelpunt α van U dan α j, dus ook α j+1 U. Uitspraak (43) volgt nu middels een inductie-argument. 16

17 Opmerking 2.34 In het bewijs van Stelling 2.33 wordt impliciet bewezen dat φ(u) U. Opmerking 2.35 De aanname in Stelling 2.33 dat φ continu differentieerbaar is geeft dat φ continu is. Dit is nodig om het bestaan van U in (44) te bewijzen, en het bestaan van L U in (43) middels de stelling dat een continue functie op een gesloten interval begrensd is. Opmerking 2.36 Stelling 2.33 is slechts een existentiebewijs voor een interval U rondom α waarop successieve substitutie convergeert, gebaseerd op de minimale aanname dat φ continu is en dat φ (α) < 1. Het is niet duidelijk wat in een gegeven situatie U concreet is. In de praktijk werkt het daarom plezieriger om te werken met de volgende variant van Stelling 2.33 Stelling 2.37 Laat U een gesloten interval zijn en φ : U U continu differentieerbaar met dekpunt α U. Veronderstel dat L U = max y U φ (y) < 1. (46) Gegeven α 1 U laat α j+1 = φ(α j ) voor alle j N. Dan geldt voor alle j N dat α α j+1 L j U α α 1 (47) met als gevolg dat de rij (α j ) j N convergeert naar het dekpunt α. Bewijs. Gelijkheid (45) geldt ook in deze setting en geeft middels inductie het bewijs. Opmerking 2.38 Stelling 2.37 verlangt een interval U om α waarop φ klein genoeg is, en dat door φ op zichzelf wordt afgebeeld. Dit is veel meer dan in Stelling In ruil hiervoor is iedere α 1 U een startwaarde van een convergente successieve substitutie. Opmerking 2.39 In Stellingen 2.33 en 2.37 convergeert (α j ) j N naar α. Dus convergeert de rij (ξ j ) j N in de bewijzen van deze stellingen volgens de insluitstelling ook naar α. Aannemend dat α j α voor alle j N, geldt derhalve dat α α j+1 lim j α α j = lim j φ (ξ j ) = φ (α) (48) waarbij de laatste gelijkheid weer volgt uit de aanname dat φ continu is. Opmerking 2.40 De bovengrens van de absolute fout in (43) wordt in iedere stap met L U < 1 vermenigvuldigd, zie ook (45) en (47). Opmerking 2.39 laat echter zien dat als de convergentie vordert, de absolute fout wordt vermenigvuldigd met een getal dat nadert naar φ (α). Omdat φ (α) L U zal de bovengrens vaak minder snel dalen dan de absolute fout. Voorbeeld 2.41 Beschouw de dekpuntfunctie φ(x) = 1 1+x uit Voorbeeld 2.27 horend bij het linkerplaatje in Figuur 12. Omdat φ(0.1) > 0.1 en φ(1) < 1 bevat U = [0.1, 1] het dekpunt α, en 1 L U = max y U φ (y) = max y U (1 + x) 2 = 1 ( ) 2 = (49) Daarnaast is eenvoudig in te zien dat φ(u) U. Stelling 2.37 garandeert nu dat iedere dekpunt-iteratie met startwaarde α 1 U convergeert naar α, en dat ( ) 100 j ( ) 100 j α α j+1 α α (50)

18 waarbij we gebruikten dat α α 1 0.9, de breedte van het interval U. Het rechterlid in (50) is daarmee een a priori bovengrens van de fout (zie ook Terminologie 2.16 en 2.20). We kunnen nu de kleinste j berekenen zo, dat de bovengrens (en dus ook de absolute fout) ten hoogste is. Dit geeft j = 121. Echter, in het linkerplaatje in Figuur 14 zien we dat α α 30 al kleiner is dat 10 10, dus dat bovengrens uit (50) de absolute fout enorm overschat. Figuur 14. Absolute fout en bovengrens. Links p = 0.1 = α 1 en rechts p = 0.5 = α 1. Opmerking 2.39 verklaart deze overschatting: de factor waarmee de startfout α α 1 per stap volgens Stelling 2.37 wordt vermenigvuldigd is op U weliswaar maximaal L U = 100/ , gaanderweg zal deze factor afnemen tot φ (α) Dit is precies was er gebeurt: als vanaf j = 7 wordt de fout al met ongeveer 0.38 vermenigvuldigd, en dus daalt de absolute fout α α j+1 veel sneller dan zijn bovengrens 0.9 L j U. Een kleine extra investering geeft een veel beter resultaat: beschouw φ nu op het interval V = [0.5, 1]. Wegens φ(0.5) > 0.5 is α V. Ook geldt φ(v ) (V ), en 1 L V = max y V φ (y) = max y V (1 + x) 2 = 1 ( ) 2 = (51) 9 Rechts in Figuur 14 illustreren we fout en bovengrens L j V 0.5 voor de startwaarde α 1 = 0.5. Deze bovengrens is al voor j = 29 kleiner dan maar overschat de fout nog steeds flink. Opmerking 2.42 De afweging die in elk afzonderlijk geval gemaakt zal moeten worden is of de extra investering van een nauwkeurigere analyse vooraf opweegt tegen het kunnen gebruiken van betere bovengrenzen van de fout: vooraf langer nadenken, of achteraf langer rekenen? Tot slot van deze sectie komen we terug op Opmerking Deze blijkt een verrassende toepassing te hebben in de huidige context van continu differentieerbare dekpuntfuncties. Methode 2.43 (Richardson-Aitken Extrapolatie) In Opmerking 2.32 zagen we dat als φ een lineair polynoom is, en er drie opéénvolgende iteranden α 1, α 2, α 3 berekend zijn, het dekpunt α berekend kan worden uit (41). Omdat elke continu differentieerbare φ dichtbij α erg lijkt op een lineair polynoom (42), onderzochten Lewis Richardson en Alexander Aitken de rij (ℵ j+2 ) j N gedefinieerd door ℵ j+2 = α j+2α j α 2 j+1 α j+2 2α j+1 + α j (52) Voor j = 1 is dit precies (41), en voor grotere j is het de corresponderende uitdrukking voor drie andere opéénvolgende iteranden. 18

19 Figuur 12. Links: Lewis Richardson ( ) en rechts: Alexander Aitken ( ). In Figuur 13 vergelijken we de convergentie van de rij (ℵ j+2 ) j N met de originele rij (α j ) j N voor de beide rijen uit Voorbeeld Figuur 13. Links: α 1 = 0.1, rechts: α 1 = 0.5. In beide grafieken zien we dat de rij (ℵ j+2 ) j N in eerste instantie inderdaad een stuk sneller convergeert naar het dekpunt. Echter, na zo n 15 iteraties neemt de nauwkerigheid van de benaderingen ℵ j ineens dramatisch af. Dit is opmerkelijk, juist omdat naarmate de convergentie vordert, de dekpuntfunctie des te sterker lijkt op een lineair polynoom waarop het Voorbeeld 2.31 van toepassing was. In Hoofdstuk 3 zullen we dit fenomeen bestuderen en verklaren Lipschitz-continue dekpuntfuncties In de bewijzen van Stelling 2.33 en 2.37 speelden de Middelwaardestelling en de continuïteit en grootte van de afgeleide van de dekpuntfunctie φ een belangrijke rol. Ze maakten het mogelijk om te bewijzen dat φ een contractie is. Definitie 2.44 (Contractie; Lipschitz-continu) Laat U R. Een functie f : U R heet Lipschitz-continu op U als er een L U R bestaat zo, dat voor alle x, y U, f(x) f(y) L U x y. (53) Als (53) geldt voor zekere L U < 1 dan wordt f een contractie genoemd. Duidelijk is dat iedere continu differentieerbare functie op een compacte verzameling U R Lipschitz-continu is. Het volgende voorbeeld toont aan dat er Lipschitz-continue functies en contracties bestaan die niet differentieerbaar, en dus ook niet continu differentieerbaar zijn. 19

20 Voorbeeld 2.45 Definieer voor elke p R de functie f p : [ 1, 1] R : x p x. Er geldt dat f p (x) f p (y) = p( x y ) p x y en dus is f p Lipschitz-continu voor iedere p R en een contractie indien 1 < p < 1. Lipschitz-continue functies zijn daarentegen tenminste uniform continu. Lemma 2.46 Als f Lipschitz-continu is op [a, b], dan is f uniform continu op [a, b]. Bewijs. Zij ε > 0 gegeven. Kies δ = ε/l, waarbij L de Lipschitz-constante is van f op [a, b] Dan geldt voor alle x, y [a, b] met x y < δ dat f(x) f(y) L x y Lδ = L ε L = ε en dus is f uniform continu op [a, b]. Opmerking 2.47 Voor iedere U R is de verzameling van alle Lipschitz-continue functies op U is een vectorruimte. De verzameling van alle contracties op U is dat echter niet. We geven nu een meetkundige karakterisering van de grafieken van Lipschitz-continue functies. Opmerking 2.48 Zij f : R R een functie, en L R. Kies x R vast, en beschouw het punt (x, f(x)) op de grafiek G R 2 van f. Hierdoor gaan twee rechte lijnen, met afgeleiden L en L. Schrijf L x voor de gesloten kegel gevormd door deze lijnen. Zie ook Figuur 14. Figuur 14. Illustratie van de kegel L x door drie punten (x, f(x)) op de grafiek van f. Als (x, f(x)) het enige punt op G is dat ook op L x ligt, geldt kennelijk dat f(x) f(y) L x y voor alle y R. (54) Dus f is Lipschitz-continu met constante L als en alleen voor alle x uit het domein van f de kegel L x behalve (x, f(x)) geen andere punten van de grafiek van f bevat. We zijn nu in staat om de volgende belangrijke resultaten van Brouwer en Banach te bewijzen. Beide stellingen zijn veel algemener bewezen dan alleen voor scalaire functies f : [a, b] [a, b]. 20

21 Figuur 10. Van links naar rechts: de Duitser Rudolf Lipschitz ( ), de Nederlander Luitzen Brouwer ( ), en de Pool Stefan Banach ( ). Stelling 2.49 (Brouwer dekpuntsteling) Elke continue φ : [a, b] [a, b] heeft een dekpunt. Bewijs. Omdat φ : [a, b] [a, b] is φ(a) a en φ(b) b. Indien φ(a) = a of φ(b) = b dan heeft φ een dekpunt en is de bewering bewezen. Veronderstel daarom nu dat φ(a) > a en φ(b) < b. Definieer g : [a, b] R : x x φ(x). Dan is g continu met g(a) < 0 en g(b) > 0. Volgens Lemma 2.10 bestaat er een α [a, b] met g(α) = 0, en dus α φ(α) = 0, wat laat zien dat α een dekpunt is van φ. Stelling 2.50 (Banach contractiestelling) Zij φ : [a, b] [a, b] een contractie. Dan geldt: existentie: er bestaat een α [a, b] met φ(α) = α; uniciteit: als β [a, b] en f(β) = β dan geldt dat β = α; convergentie: voor iedere α 1 [a, b] geldt dat lim j φ j (α 1 ) = α. Bewijs. Omdat φ een contractie is, is φ wegens Lemma 2.46 continu en heeft volgens Stelling 2.49 een dekpunt α [a, b]. Dit bewijst de eerste bewering. Veronderstel nu dat β = φ(β). Dan volgt α β = φ(α) φ(β) L α β waarbij L < 1 de Lipschitz-constante is van φ op [a, b]. Dus is α β = 0 of L = 0. In beide gevallen volgt dat α = β. Tot slot, laat α 1 [a, b] en definieer α j+1 = φ(α j ) voor alle j N. Dan geldt voor alle j N dat α α j+1 = φ(α) φ(α j ) L α α j oftewel, α j+1 ligt tenminste een factor L dichter bij α dan α j. Met inductie zien we tot slot dat voor alle j N, α α j+1 L j α α 1. (55) Omdat 0 L < 1 volgt dat lim j α α j+1 = 0, oftewel, lim j α j = α. Opmerking 2.51 We zien dat als φ : [a, b] [a, b] een contractie is op [a, b], de rij (α j ) j N verkregen met successieve substitutie convergeert naar het unieke dekpunt α [a, b]. Voor iedere j N geldt, zie ook (55), dat α α j+1 L j α α 1 L j (b a) (56) en het rechterlid hiervan is berekenbaar als L of een geschikte bovengrens van L bekend is. 21

22 Opmerking 2.52 Stelling 2.50 neemt aan dat φ een contractie is op [a, b], maar ook dat φ het interval [a, b] binnen zichzelf afbeeldt. Beide voorwaarden moeten gecontroleerd worden. Tot slot geven we een voorbeeld van een dekpuntfunctie φ die niet differentieerbaar is in aftelbaar oneindig veel punten, waaronder het dekpunt. Toch convergeert de dekpuntiteratie. Voorbeeld 2.53 Schrijf x j = 2 j en y j = 1 2 (x j+1 + x j ) en h j = x j+1 x j voor alle j N. Dan is y j het middelpunt van het interval I j = [x j+1, x j ] en h j de breedte van I j. Beschouw nu de functie z : [0, 1] [0, 1] : x 1 2 h j x y j voor x I j, (57) en z(0) = 0. De grafiek van z heeft de zaagtandvorm weergegeven in Figuur 15. Duidelijk is dat z niet differentieerbaar is de punten x j en y j voor j N, en ook niet in x = 0. De afgeleide in ieder overig punt in [0, 1] is gelijk aan één of min één. Desalniettemin geldt wel dat z(x) z(y) x y (58) voor alle x, y [0, 1] en dus is z Lipschitz-continu met Lipschitz-constante L = 1. Figuur 15. Grafiek van de zaagtandfunctie z in (57). Gegeven z definiëren we nu eerst de functie w als volgt, { 1 w : [0, 1] [0, 1] : x 2 + z( 1 2 x) (0 x 1 2 ) 1 2 z(x 1 2 ) ( 1 2 x 1) (59) Ook w is Lipschitz-continu met Lipschitz-constante L = 1. Laat nu tot slot φ : [0, 1] [0, 1] : x 3 5 w(x) + 1 sin(2πx). (60) 20 Dan heeft φ net als w een dekpunt α = 1 2. Daarnaast is φ niet differentieerbaar in x = α. Figuur 16. Links de grafiek van de functie w in (59), rechts die van φ. 22

23 Ondanks het gebrek aan differentieerbaarheid van φ, met name in het dekpunt, is φ een contractie op [0, 1]. Immers, voor alle x, y [0, 1] bestaat er een ξ tussen x en y zo, dat φ(x) φ(y) 3 5 2π 6 + π w(x) w(y) + cos(2πξ) x y x y, en dus convergeert iedere dekpunt-iteratie met startwaarde α 1 [0, 1] wegens de Contractiestelling 2.50 van Banach. In Figuur 17 illustreren we dit voor α 1 = 0.1. Figuur 17. Dekpuntiteratie voor φ, toegepast op startwaarde α 1 = 0.1. Merk op dat de grafiek van φ gelijkvormigheid met zichzelf vertoont bij het inzoomen. Opmerking 2.54 De Stelling van Hans Rademacher ( ) impliceert dat er geen Lipschitz-continue functies bestaan die in geen enkel punt differentieerbaar zijn. De Weierstraßfunctie uit Voorbeeld 2.21 is dus niet Lipschitz-continu, en geen enkel niet-triviaal veelvoud ervan is dus een contractie. De Stelling van Rademacher valt buiten de context van dit vak. Opmerking 2.55 Als een dekpuntfunctie φ een contractie is die niet differentieerbaar is in het dekpunt α, dan convergeert (α j ) j N weliswaar, maar is de limiet van het differentiequotiënt α α j+1 α α j = φ(α) φ(α j) α α j (61) voor j niet gedefinieerd, in tegenstelling tot de situatie in Opmerking Het bestaan van de limiet lag echter ten grondslag aan de Richardson-Aitken extrapolatie beschreven in Methode Deze methode heeft voor algemene contracties dus geen rechtvaardiging meer. In de volgende sectie keren we terug naar dekpuntfuncties die wel differentieerbaar zijn in het dekpunt, en die er bovendien afgeleide nul hebben Dekpuntfuncties met afgeleide nul in het dekpunt In Sectie bekeken we dekpunt-iteraties waarbij de dekpuntfunctie φ een lineair polynoom was, als zijnde het eenvoudigste te bestuderen geval. We merken daarbij als een terzijde op, dat als φ constant is, het dekpunt al na één stap wordt gevonden. Zie links in Figuur 18. In Sectie bestudeerden we continu differentieerbare dekpuntfuncties φ, omdat hun grafieken dichtbij het dekpunt α lijken op lineaire polynomen. We onderzoeken nu het interessante maar speciale geval dat φ dichtbij α lijkt op een constant polynoom. Dus, het geval φ (α) = 0. 23

24 Figuur 18. Links: φ constant. Midden: φ (α) = 0, met rechts het convergentiegedrag. Het is belangrijk om niet te vergeten wat we hierover in Sectie reeds hebben bewezen. Opmerking 2.56 Dekpuntiteraties met φ (α) = 0 vormen een speciaal geval van de dekpuntiteraties in Sectie Stellingen 2.33 en 2.37 zijn derhalve onverminderd van toepassing, ondanks dat er wellicht sterkere resultaten bewezen kunnen worden. Gevolg 2.57 Als φ : [a, b] [a, b] continu differentieerbaar is en φ(α) = α, φ (α) = 0, dan convergeert de dekpuntiteratie voor φ als α 1 voldoende dicht bij α ligt (Stelling 2.33). Concreter: voor elke startwaarde α 1 U als φ (x) L U < 1 voor alle x U (Stelling 2.37). Voorbeeld 2.58 We bestuderen het eenvoudigste niet-triviale geval, de dekpuntfunctie φ : [0, 1] [0, 1] : x (x 1 2 )2 met φ( 1 2 ) = 1 2 en φ ( 1 ) = 0. (62) 2 In Figuur 18 (midden) schetsen we de dekpunt-iteratie met startwaarde α 1 = 0.1. Er zijn 20 iteraties getekend, maar omdat convergentie zo snel is lijkt het alsof het maar een paar zijn. De snelle convergentie blijft ook uit het rechterplaatje, waarin we de absolute fout uitzetten. Voor iedere p met 0 < p < 1 2 is eenvoudig na te gaan dat φ([p, 1 p]) [p, 1 p] en φ (x) 1 2p < 1 voor alle x [p, 1 p], (63) en dus geeft Stelling 2.37 met startwaarde α 1 = p voor alle j N de volgende bovengrenzen α α j+1 (1 2p) j α α 1 (1 2p) j (1 p p) = (1 2p) j+1. (64) Voor p = 0.1 resulteert dit in de zeer vlakke bovengrens in het rechterplaatje in Figuur 18. Door iedere α j als nieuwe startwaarde te nemen voor de rest van de iteratie, krijgen we uit (30) ook steeds nieuwe bovengrenzen voor die rest. Deze zijn ook getekend. Ze zijn alle geldig, resulteren ieder in een rechte lijn in de logaritmische grafiek, maar zijn geen van alle in staat om het foutgedrag geheel te beschrijven. Het volgende lemma geeft de benodigde extra eigenschap van dekpuntiteraties in dit geval. Lemma 2.59 Veronderstel dat φ : [a, b] R tweemaal continu differentieerbaar is met dekpunt α [a, b]. Als φ (α) = 0 en α j [a, b] dan geldt α α j+1 L V α α j 2, waarbij L V = 1 2 max a y b { φ (y) }. (65) 24

25 Bewijs. Omdat φ tweemaal continu differentieerbaar is, geldt middels Taylorontwikkeling rond α dat er voor iedere x [a, b] er een ξ x tussen α en x bestaat zo, dat φ(x) = φ(α) + (x a)φ (α) (x α)2 φ (ξ x ). (66) Kies in deze uitdrukking x = α j. Samen met φ(α) = α en φ (α) = 0 volgt dat α α j+1 = α φ(α j ) = 1 2 (α α j) 2 φ (ξ j ) (67) voor zekere ξ j tussen α en α j. De bewering volgt nu met de definitie van L V. Voorbeeld 2.60 In Voorbeeld 2.58 geldt dat φ (x) = 2 voor alle x [0, 1] en dus geldt (65) met L V = 1 en bovendien met gelijkheid. Omdat α α 1 = 0.4 geeft (65) dus dat α α 2 = (0.4) 2, α α 3 = (0.4) 4, α α 4 = (0.4) 8, α α 5 = (0.4) 16, α α 6 = (0.4) 32. De logaritmes van deze getallen zien we inderdaad rechts in Figuur 18. Opmerking 2.61 Lemma 2.59 is geen convergentie-uitspraak voor de dekpunt-iteratie. Immers, als L V > 1 en α α j > 1 dan sluit (65) divergentie niet uit. De aanname α j [a, b] garandeert zelfs niet eens dat α j+1 [a, b]. Een deel van de oplossing zou kunnen zijn om net als in Stelling 2.37 te veronderstellen dat L V < 1. Wegens Gevolg 2.57 is dit echter onnodig, zoals we nu zullen motiveren. Opmerking 2.62 In Sectie is met L U als in (46) bewezen dat α α j+1 L U α α j L 2 U α α j 1 L 3 U α α j 2... L j U α α 1. (68) Dit is ook geldig als φ (α) = 0. Met (65) vinden we dat daarnaast aanvullend geldt dat α α j+1 L V α α j 2 L 3 V α α j 1 4 L 7 V α α j L 2j 1 V α α 1 2j. (69) met L V als in (65). Merk op dat het rechterlid hierin herschreven kan worden als L 2j 1 V α α 1 2j = (L V α α 1 ) 2j 1 α α 1, waarbij we benadrukken dat de exponent 2 j 1 hierin voor bescheiden waarden van j al erg groot is. Omdat φ (α) = 0 verzekert Stelling 2.33 dat een compacte omgeving U van α bestaat zo, dat L U < 1. Vervolgens garandeert (68) dat voor zekere j de term L V α α j kleiner is dan één, zodat machten hiervan naar nul gaan in plaats van naar oneindig. We vatten bovenstaande analyse samen in het onderstaande Gevolg. Gevolg 2.63 Laat α een dekpunt zijn van φ : R R met φ (α) = 0. Dan bestaat er een gesloten interval V met α V en een ρ R met ρ < 1 zo, dat voor alle y V, L V α y ρ, waarbij L V = 1 2 max y V { φ (y) }, (70) en geldt voor iedere startwaarde α 1 V voor successieve substitutie α j+1 = φ(α j ) dat α α j+1 ρ 2j 1 α α 1. (71) 25

26 In Voorbeeld 2.64 wordt convergentie eerst bepaald door het bijna lineair zijn van φ ver van het dekpunt. Eenmaal voldoende dichtbij het dekpunt dicteert de afgeleide nul de convergentie. Voorbeeld 2.64 Beschouw de functie φ met dekpunt α = 0 en met φ (α) = 0, φ : R R : x arctan(x) x met φ : R R : x x 2 1 = x2 1 + x 2. (72) Voor iedere p R dat φ (x) p2 < 1 voor alle x [ p, p]. Dit betekent dat de 1+p 2 dekpuntiteratie volgens (68) convergeert voor elke startwaarde α 1 R. De grenzen in (69) gelden ook, maar zijn pas beter dan die in (68) zodra de iteratie dichtbij het dekpunt aankomt. Figuur 19. Spinnenwebgrafiek en absolute fouten voor φ in (72). Aan de beide convergentiegrafieken in Figuur 19 is dit duidelijk zichtbaar, in het midden met startwaarde α 1 = 10 en rechts met α 1 = 100. Zodra α α j 1 begint de convergentie plots dramatisch te versnellen. Dit is geheel in overeenstemming met Gevolg 2.63 omdat φ 2x (x) = (1 + x 2 ) 2 (73) op [ 1, 1] grofweg begrensd wordt door 1, en dus L V α y ρ = 1 2 op [ 1, 1]. In navolging tot Opmerking 2.39 hebben we tot slot het volgende resultaat Opmerking 2.65 Als (α j ) j N naar α convergeert, convergeert de rij (ξ j ) j N in het bewijs van Lemma 2.59 volgens de insluitstelling ook naar α. Aannemend dat α j α voor alle j N, geldt derhalve dat α α j+1 lim j (α α j ) 2 = lim j φ (ξ j ) = φ (α) (74) waarbij de laatste gelijkheid weer volgt uit de aanname dat φ continu is De methode van Newton en Raphson In het algemeen zal de afgeleide van een dekpuntfunctie in het dekpunt α ongelijk zijn aan nul. Eerder zagen we echter ook dat een formulering als dekpuntprobleem verre van uniek is. De volgende stelling laat zien hoe je een dekpunt-iteratie voor een dekpunt α = φ(α) met φ (α) 0 om kan zetten in een dekpunt-iteratie met dekpunt α = ψ(α) en ψ (α) = 0. 26

27 Stelling 2.66 Laat φ : [a, b] [a, b] met driemaal continu differentieerbaar zijn met φ(α) = α [a, b] en φ (α) 0. Veronderstel dat φ (x) 1 voor alls x [a, b]. Definieer ψ : [a, b] R : x x x φ(x) 1 φ (x). (75) Dan geldt dat ψ tweemaal continu differentieerbaar is met ψ(α) = α en ψ (α) = 0. Bewijs. Omdat φ (x) 1 voor alls x [a, b] is ψ welgedefinieerd op [a, b]. Duidelijk is dat ψ(α) = α. Differentiatie middels de quotiëntregel geeft dat ψ (x) = 1 (1 φ (x))(1 φ (x)) (x φ(x))( φ (x)) (1 φ (x)) 2 = φ (x)(x φ(x)) (1 φ (x)) 2, en dus geldt dat ψ (α) = 0. Duidelijk is dat ook ψ bestaat en continu is. Opmerking 2.67 Stelling 2.66 is alleen van toepassing indien de dekpuntfunctie φ zelfs driemaal continu differentieerbaar is. Dit is in sterk contrast met de Banach contractiestelling 2.50 waarin φ slechts Lipschitz-continu hoefde te zijn. Stelling 2.66, of misschien beter, de overeenkomstige omschrijving voor nulpuntsproblemen in Stelling 2.70, wordt toegeschreven aan Isaac Newton en Joseph Raphson. Figuur 20. Isaac Newton ( ) en Joseph Raphson (bij benadering ). Vaak wordt de methode echter kortweg de Newton-methode genoemd. Voorbeeld 2.68 Beschouw de dekpuntfunctie φ(x) = 1 1+x uit Voorbeelden 1.9 en Er geldt dat φ (x) 1 op [0, 1]. Middels Stelling 2.66 transformeren we het dekpuntprobleem voor φ naar dat voor 2x 1 ψ(x) = (1 + x) (76) Per constructie geldt dat ψ(α) = α, waarbij α het dekpunt van φ is, en dat ψ (α) = 0. In Figuur 21 is dit goed te zien. Ook tonen we hier de spinnenwebgrafiek voor ψ met startwaarde α 1 = 0.1 en de absolute fouten in de dekpunt-iteranden. Convergentie met de dekpunt-functie ψ is zeer veel sneller dan voor φ en zoals in Voorbeeld 2.58 met afnemende foutafname. Opmerking 2.69 In bovenstaand voorbeeld hebben we geen uitspraken gedaan over bovengrenzen van de absolute fout in de dekpuntiteratie. 27

28 Figuur 21. Spinnenwebgrafiek en absolute fouten voor ψ in (76). We beschrijven nu de overeenkomstige transformatie voor nulpuntsproblemen. Stelling 2.70 (Newton-Raphson) Veronderstel dat α [a, b] nulpunt is van een driemaal continu differentieerbare functie f : [a, b] R : x f(x) met f (x) 0 voor alle x [a, b]. Dan is α een dekpunt van ψ : [a, b] R : x x f(x) f (x). (77) Tevens is ψ tweemaal continu differentieerbaar en geldt dat ψ (α) = 0. Bewijs. Omdat f(α) = 0 zien we direct dat ψ(α) = α. Omdat f (x) 0 voor alle x [a, b] is ψ continu differentieerbaar en geeft de quotiëntregel dat ψ (x) = 1 f (x)f (x) f(x)f (x) f (x) 2 = f(x)f (x) f (x) 2. (78) Dus is ψ (α) = 0. Omdat f continu differentieerbaar is, is ψ dat ook. Opmerking 2.71 In Stelling 2.70 is ieder nulpunt van f dekpunt van ψ, en omgekeerd. Dus is de afgeleide van ψ niet overal kleiner dan één in absolute waarde als f meerdere nulpunten heeft: dat zou immers impliceren dat ψ een contractie is, met uniek dekpunt. Er zal dus werk verricht moeten worden om ψ in voldoende mate te begrenzen rond een dekpunt. Echter, ook als er slechts één nulpunt is zal dit doorgaans het geval zijn. Voorbeeld 2.72 Beschouw het nulpuntsprobleem voor f : R R : x x 5 +x 1. Schrijven we dit als vergelijking x 5 = 1 x dan zien we dat er een uniek nulpunt α is en dat α [0, 1]. Met behulp van Stelling 2.70 transformeren we dit probleem naar een dekpuntprobleem voor ψ : R R : x 4x x met ψ (α) = 0. (79) Het vinden van ψ is niet moeilijk. Moeilijker is om een interval U rond α te vinden met ψ(u) U en ψ (x) L U < 1 voor alle x U. Het bestaan van zo n interval wordt gegarandeerd door Stelling Nadat het gevonden is, garandeert Stelling 2.37 convergentie 28

29 van een dekpuntiteratie die start in U. Gevolg 2.63 kan dan worden gebruikt om aan te geven wanneer de snelle convergentie inzet. Een andere mogelijkheid is om het residu te bekijken. Het is immers zeer eenvoudig om in te zien dat 1 f 0 (x) voor alle x 0, en dus geeft de Middelwaardestelling samen met f (αj ) = f (αj ) f (α) = f 0 (ξ) α αj α αj (80) een a posteriori bovengrens van de absolute fout. Zie Terminologie 2.7. Figuur 22. Absolute fout en absolute residu (links). In Figuur 22 geven we de resultaten van de dekpuntiteratie met startwaarde α1 = 0. Uit de grafiek blijkt dat het absolute residu een uitstekende bovengrens is voor de absolute fout. Opmerking 2.73 Het kan erg lastig zijn om bij Newton-Raphsoniteraties voor dekunten en nulpunten precies aan te geven welke keuzes van startwaarden zullen resulteren in convergentie. Beschouw bijvoorbeeld de eenvoudige functie f : C C : z 7 z 3 1. (81) Deze heeft de drie derdemachtseenheidswortels als nulpunten. Links in Figuur 23 is middels drie kleuren aangegeven, welke startpunten in C zullen convergeren naar welk nulpunt. Figuur 23. Newton-fractals van z 7 z 3 1 (links) en z 7 sin(z) 1. Rechts zien we eenzelfde soort plaatje [4] voor de startwaarden voor z 7 sin(z) 1. Dergelijke plaatjes worden Newton-fractals genoemd omdat ze locaal gelijkvormig zijn met zichzelf. 29

30 Opmerking 2.74 De Newton-Raphsonmethode ter benadering van een nulpunt α van een functie f kan ook als volgt worden geïnterpreteerd. Gegeven een benadering α j in het domein van f is de grafiek van het eerstegraadspolynoom p(x) = f(α j ) + (x α j )f (α j ) (82) de raaklijn aan f in het punt (α j, f(α j )). Als f (α j ) 0 dan heeft p(x) een uniek nulpunt. Definieer nu een nieuwe benadering α j+1 als zijnde dat nulpunt, dus Dit is precies de formule uit Stelling α j+1 = α j f(α j) f (α j ). Figuur 24. Illustratie van de Newton-Raphson methode in termen van raaklijnen. 2.3 Successieve substitutie voor stelsels vergelijkingen Tot nu toe bekeken we methodes voor nulpunten en dekpunten van scalaire functies van één variabele. We bekijken nu hoe dit generaliseert naar stelsels vergelijkingen zoals in Sectie 1. Opmerking 2.75 Een probleem bij dergelijke generalisaties is dat er geen hogerdimensionale variant van de Middelwaardestelling bestaat die vertelt dat Φ(u) Φ(v) gelijk is aan u v vermenigvuldigd met de totale afgeleide DΦ(ξ) van Φ : R n R n in één of ander punt ξ. Dit probleem treedt uiteraard niet op bij lineaire afbeeldingen, noch bij affiene transformaties Dekpunten van affiene transformaties Affiene transformaties kunnen worden gezien als een natuurlijke hogerdimensionale generalisatie van lineaire polynomen en verdienen het daarom om als eerste te worden bestudeerd. Definitie 2.76 (Affiene transformatie) Laat D C n n en c C n. De afbeelding Φ : C n n C n n : z c + Dz (83) heet een affiene tranformatie. Als n = 1 is Φ een lineair polynoom. 30

31 We herinneren aan een stelling van Carl Neumann. Voor diagonaliseerbare matrices is het bewijs eenvoudig. Voor overige matrices is het niet-triviaal en biedt de Jordanvorm uitkomst. Stelling 2.77 (Neumann) Laat D C n n. Dan geldt waarbij ρ(d) de spectraalstraal van D is. lim j Dj = 0 ρ(d) < 1, (84) Bewijs: Zie [1]. Voorbeeld 2.78 De eigenwaarden van D bepalen exact of de rij (D j ) j N al dan niet convergeert. Matrices met dezelfde eigenwaarden kunnen desalniettemin heel verschillend convergentiegedrag vertonen. Laat bijvoorbeeld D = 1 2 I en = 1 I + 100N, waarbij N = Duidelijk is dat D en beide alleen maar eigenwaarden gelijk aan een half hebben. In Figuur 25 zetten we de normen D j F en j F uit tegen j. Beide matrices hebben afmetingen 5 5. Figuur 25. Links Carl Neumann ( ). Rechts: ondanks gelijke eigenwaarden verschilt het initiele convergentiegedrag van de rij met machten sterk. Ondanks dat lim j j = 0 groeien de machten eerst enorm voor ze dalen. De snelheid waarmee ze uiteindelijk dalen is gelijk aan die voor D j F. De consequentie van de Stelling van Neumann voor affiene dekpuntiteraties is als volgt. Gevolg 2.79 Veronderstel dat de affiene transformatie Φ(z) = c + Dz met D C n n en c C n een dekpunt α heeft. Beschouw de dekpuntiteratie α j+1 = Φ(α j ) met start α 1 C n. Als ρ(d) < 1 dan geldt dat lim α j = α. (85) j 31

32 Bewijs. Omdat Φ(α) = α vinden we dat α α j+1 = Φ(α) Φ(α j ) = D(α α j ) en dus met een eenvoudig inductieargument dat α α j+1 = D j (α α 1 ). Omdat ρ(d) < 1 convergeert het rechterlid wegens Stelling 2.77 naar nul voor j. Opmerking 2.80 De conditie ρ(d) < 1 generaliseert de conditie d < 1 in Sectie Opmerking 2.81 Ook als ρ(d) > 1 kan de dekpuntiteratie convergent zijn, bijvoorbeeld als de startfout α α 1 een eigenvector is horend bij een eigenwaarde λ van D met λ < 1. Er zullen echter altijd startwaarden zijn waarvoor de dekpuntiteratie divergeert. Voorbeeld 1.12 liet zien dat dekpuntiteraties met affiene transformaties kunnen worden ingezet om de oplossing α van een stelsel lineaire vergelijkkingen Aα = b iteratief te benaderen. Voorbeeld 2.82 (Jacobi) Beschouw het eenvoudige lineaire stelsel [ ] [ ] [ ] 3 2 x1 1 = met oplossing α = (1, 1). Splits A als [ ] 3 2 A = = 1 4 x 2 [ ] [ ] = K L dan is het met Voorbeeld 1.12 in te zien dat α een dekpunt is van de affiene transformatie ([ x1 Φ x 2 ]) = [ ] 1 [ ] [ x1 x 2 ] [ ] 1 [ 1 3 Omdat de eigenwaarden van de matrix K 1 L gelijk zijn aan ± 1/6 garandeert Gevolg 2.79 dat de dekpuntiteratie met Φ convergeert voor elke startvector α 1. Opmerking 2.83 Interessant maar niet van praktisch nut is de observatie dat zelfs als de startvector α 1 C 2 niet reëel wordt gekozen, de iteratie naar het reële dekpunt convergeert. Voorbeeld 2.84 (Gauß-Seidel) Beschouw het lineaire stelsel vergelijkingen x 1 3 Ax = x 2 = 1 = b x 3 4 met unieke oplossing α = (1, 1, 1). Zoals beschreven in Voorbeeld 1.12 is dit stelsel om te zetten in een dekpuntsprobleem door A te splitsen als A = K L waarbij K inverteerbaar is, waarna Φ(α) = α waarbij Φ(x) = K 1 Lx + K 1 b. (86) ]. 32

33 Merk op dat Φ een affiene transformatie is. Om te garanderen dat de iteratie α j+1 = Φ(α j ) convergeert naar α zullen we volgens Gevolg 2.79 K en L zo moeten kiezen, dat ρ(k 1 L) < 1. In Stelling 2.89 bewijzen we dat de splitsing A = = = K L (87) voldoet. Links in Figuur 25 tonen we de absolute fout in ieder van de drie coördinaten, rechts de standaardnorm van de fout. De startwaarde voor de dekpuntiteratie was α 1 = (0, 0, 0). Figuur 25. Illustratie van de convergentie van een dekpuntiteratie voor Ax = b.. Methode 2.85 De methode waarin A wordt gesplitst in zijn benedendriehoeksdeel K en het resterende stricte bovendriehoeksdeel L wordt vernoemd naar Gauß en Von Seidel. Figuur 26. Carl Friedrich Gauß ( ) en Philipp Von Seidel ( ). De methode is interessant als een voldoende goede benadering van de oplossing berekend kan worden met minder werk dan nodig is bij het oplossen van het stelsel met Gauß-eliminatie. Omdat K een benedendriehoeksmatrix is, is het inverteren van K veel eenvoudiger dan het inverteren van A. Dit verschil wordt zelfs groter naarmate de afmetingen van A toenemen. De volgende resultaten bewijzen convergentie van de Gauß-Seidel methode in algemenere zin. Lemma 2.86 Laat A C n n. Veronderstel dat A = A. Dan geldt dat σ(a) R >0 als en alleen als z Az > 0 voor alle z C n \ {0}. 33

34 Bewijs. Omdat A = A bestaat er volgens de spectraalstelling een unitaire matrix U en een reële diagonaalmatrix Λ zo, dat A = U ΛU. De reële diagonaalentries λ 1,..., λ n zijn de eigenwaarden van A en de kolommen van U vormen een orthonormale basis van C n bestaande uit de bijbehorende eigenvectoren. Veronderstel eerst dat z Az > 0 voor alle z C n, z 0. Als Av = λv met v 0 dan is λ R en geldt kennelijk zelfs dat 0 < v Av = v λv = λ v 2 en omdat v > 0 concluderen we dat λ > 0. Omgekeerd, veronderstel dat σ(a) R >0 en laat z C n, z 0. Dan is 0 w = Uz en w 1 λ 1 w 1 z Az = z U ΛUz = w Λw =.... n. = λ j w j 2, w n w j=1 n λ n Omdat w 0 en σ(a) R >0 is de som is het rechterlid positief. Definitie 2.87 (Positief definiet) Een Hermietse matrix A C n n heet positief definiet als z Az > 0 voor alle z C n, z 0; of equivalent, als alle eigenwaarden van A positief zijn. Opmerking 2.88 Hermietse positief definiete matrices komen veel voor in allerlei toepassingen; het is dus ook nuttig als een stelling alleen voor deze matrices kan worden bewezen. Stelling 2.89 (Gauss-Seidel) Veronderstel dat A = A C n n positief definiet is. Splits de matrix A als A = K L, waarbij K benedendriekhoeks is en L strict bovendriehoeks. Dan is ρ(k 1 L) < 1 (88) en convergeert de dekpuntiteratie α j+1 = K 1 Lα j + K 1 b naar de oplossing α van Aα = b. Bewijs. Omdat A = A geldt dat K = D L, waarbij D de diagonaalmatrix is met dezelfde diagonaal als A. Omdat A positief definiet is, geldt 0 < e jae j = e jde j dus zijn alle diagonaalentries van A en D positief. Er bestaat dus een inverteerbare diagonaalmatrix E met E 2 = D. Hiermee vinden we dat K 1 L = (D L ) 1 L = E 1 [ ( E 1 (D L )E 1) 1 E 1 LE 1] E = E 1 [ (I F ) 1 F ] E met F = E 1 LE 1. (89) Dus (I F ) 1 F is gelijkvormig met K 1 L en heeft in het bijzonder dezelfde eigenwaarden. Er resteert te bewijzen dat (I F ) 1 F u = λu met u C n, u = 1 impliceert dat λ < 1. Nu, (I F ) 1 F u = λu F u = λ(i F )u u F u = λ(u u u F u). Schrijf u F u = z C, dan is u F u = z = z en reduceert bovenstaande tot z = λ(1 z). En dus, λ 2 = λλ = z 1 z z 1 z = z 2 1 z z + z 2. (90) 34

35 Dus geldt dat λ < 1 als 1 z z > 0. Dit tonen we tot slot als volgt aan. Omdat A = K L = D L L geldt dat E 1 AE 1 = I F F, en dus 1 z z = u (I F F )u = u E 1 AE 1 u = (E 1 u) A(E 1 u) > 0 (91) omdat A positief definiet is en E 1 u 0. Dit bewijst de stelling. Opmerking 2.90 Zoals blijkt uit het bewijs van Stelling 2.89 is het doorgaans moeilijk iets te bewijzen over ρ(k 1 L) voor een matrixsplitsing A = K L. Er zijn echter ook andere voorwaarden te formuleren waaronder de corresponderende dekpunt-iteratie convergeert. Stelling 2.91 Veronderstel dat de affiene transformatie Φ(z) = c + Dz met D C n n en c C n een dekpunt α heeft. Beschouw de dekpuntiteratie α j+1 = Φ(α j ) met start α 1 C n. Als er een norm op C n en een ρ < 1 bestaan zo, dat Dz ρ z voor alle z C n dan geldt dat lim α j = α. (92) j Bewijs. Duidelijk is dat geldt dat α α j+1 = D(α α j ) ρ α α j en dus met een eenvoudig inductieargument dat α α j+1 = ρ j α α 1. Omdat ρ < 1 convergeert het rechterlid naar nul voor j. Opmerking 2.92 De conditie dat er een ρ < 1 bestaat zo dat Dz ρ z voor alle z C n impliceert dat Dx Dy ρ x y voor alle x, y C n. Zie Definities 2.44 en Definitie 2.93 (Diagonaal-dominant) Een matrix A C n n heet diagonaal-(rij)dominant als in iedere rij het diagonaalelement in absolute waarde groter is dan de som van de absolute waarden van de overige elementen in die rij, oftewel, als a ij < a ii of ook a ii 1 a ij < 1 (93) j:j i voor alle i {1,..., n}. Als A diagonaal-rijdominant is heet A diagonaal-kolomdominant. Lemma 2.94 Veronderstel dat A C n n diagonaal-rijdominant is. Dan geldt dat ρ = max a ii 1 a ij < 1. (94) i {1,...,n} j:j i j:j i Bewijs. Dit volgt onmiddellijk uit karakterisering (93) in Definitie

36 Voorbeeld 2.95 De matrix A = is diagonaal-rijdominant, maar niet diagonaal-kolomdominant. Splits deze matrix als A = = = K L Dan vinden we dat K 1 L = 0 2/3 0 1/4 0 1/4 1/5 2/5 0 en dus is de waarde van ρ in (94) in dit geval ρ = 2 3 < 1. Lemma 2.96 Laat r, c C n. Dan geldt dat r c r 1 c (95) waarbij r 1 = r r n en c = max{ c 1,..., c n }. (96) Bewijs. Dit volgt onmiddellijk uit r c = r 1 c r n c n r 1 c r n c n = r 1 c r n c n r 1 c + + r n c = r 1 c, waarbij de eerste ongelijkheid de driehoeksongelijkheid op C is. Stelling 2.97 (Jacobi) Laat A C n n diagonaal-rijdominant zijn. Schrijf A = K L, waarbij K een diagonaalmatrix is en L alleen nullen op de diagonaal heeft. Laat ρ zijn als in (94). Dan geldt K 1 Lz ρ z (97) en convergeert de dekpuntiteratie α j+1 = K 1 Lα j + K 1 b naar de oplossing α van Aα = b, en geldt dat α α j+1 ρ j α α 1. (98) Bewijs. Laat z C n. Beschouw de i-de entry van K 1 Lz, oftewel e i K 1 Lz. Hiervoor geldt e i K 1 Lz e i K 1 L 1 z wegens Lemma Merk nu op dat per definitie van K en L e i K 1 L = a 1 ii [a i1... a i,i 1 0 a i,i+1... a i,n ] en dus geeft Lemma 2.94 dat e i K 1 L 1 < ρ met ρ als in (94). We conluderen dat voor iedere i {0,..., n}, oftewel voor elke entry van K 1 Lz, dat e i K 1 Lz ρ z. Dit geldt in het bijzonder voor de maximale entry. Deze is gelijk aan K 1 Lz. De convergentie van de dekpuntiteratie volgt nu met Stelling

37 Methode 2.98 (Jacobi, Richardson) De methode waarin A wordt gesplitst in zijn diagonaal K en het resterende deel L met diagonaal nul wordt vernoemd naar Jacobi. Figuur 26. Carl Jacobi ( ) en Lewis Fry Richardson ( ). De voldoende voorwaarde van diagonaal-rijdominantie in de Jacobi-methode is eenvoudig te controleren. De nog eenvoudigere splitsing A = I (I A) staat op naam van Richardson Lipschitz-continue dekpuntfuncties Het concept van Lipschitz-continuïteit kan eenvoudig gegeneraliseerd worden naar vectorwaardige afbeeldingen van meerdere complexe veranderlijken. Definitie 2.99 (Contractie; Lipschitz-continu) Zij een norm op U C n. Een afbeelding F : U C n heet Lipschitz-continu op U in als er een L U R bestaat zo, dat voor alle w, z U, F (w) F (z) L U w z. (99) Als (108) geldt voor zekere L U < 1 dan wordt F een contractie genoemd. Opmerking Als F : U C n : z c + Dz een affiene transformatie is, reduceert de conditie (108) in de definitie van Lipschits-continuïteit tot Dz L U z voor alle z C n. Opmerking Reden om anders dan in Sectie te benadrukken dat de contractieeigenschap afhankelijk is van de norm waarmee C n is voorzien, is dat een afbeelding een contractie kan zijn in de ene norm, en tegelijkertijd niet in een andere. Zie Voorbeeld Opmerking In Stelling 2.97 bewezen we dat als A C n n diagonaal-rijdominant is, en A = K L, waarbij K een diagonaalmatrix is en L alleen nullen op de diagonaal heeft, de matrix K 1 L een contractie is op C n in de maximumnorm. Voorbeeld Beschouw de lineaire, en dus ook affiene transformatie [ ] Φ : C 2 C 2 z1 : 1 [ ] [ ] i 2 z Met behulp van Lemma 2.96 zien we dat voor alle z C 2, z 2 z 2 Φ(z) 3 4 z 37