Syllabus Numerieke Analyse I en II

Syllabus Numerieke Analyse I en II P. de Groen Abstract Deze syllabus omvat hoofdstukken over een aantal onderwerpen die in de cursus behandeld worden: Afrondfouten, Fast Fourier Transformatie, interpolatie, approximatie door polynomen, spline-approximatie en numerieke integratie, Totale Kleinste Kwadraten, Geconjungeerde gradienten en Newton-methoden. Voor het hoofdstuk Numerieke Lineaire Algebra wordt verwezen naar de cursus van het tweede jaar Bachelor en het standaardwerk: G.H. Golub & C.F. Van Loan, Matrix Computations, The Johns Hopkins University Press, Baltimore, Maryland, USA, 2 de druk, 1988. Andere goede referentiewerken voor Numerieke Analyse zijn: R. Bulirsch & J. Stoer, Introduction to Numerical Analysis, Springer Verlag, Berlin, 1977. (Ook verkrijgbaar in een goedkope duitstalige pocketeditie). D. Kincaid & W. Cheney, Numerical Analysis, Brooks & Cole Publishing Company, Pacific Grove, California, USA, 1991; 2de druk, 1996. 0

CONTENTS 1 Contents 0 Foutenanalyse 3 0.a Elementaire definities..................................... 3 0.b Voorstelling van reële getallen en floating-point aritmetiek................ 3 0.c Voorbeelden van een afrondfoutenanalyse.......................... 5 1 Interpolatie en Approximatie 8 1.a Lagrange interpolatie...................................... 8 1.b Alternatieven voor het representeren en uitrekenen van een interpolatiepolynoom.... 11 1.c Polynoomapproximatie..................................... 14 1.d Approximaties op deelintervallen............................... 15 1.e Kubische Splines........................................ 16 1.f Praktisch rekenen met kubische splines............................ 17 2 Fourier analyse en de Fast Fourier Transform 21 3 Numerieke Integratie 25 3.a Probleemstelling........................................ 25 3.b Gauss-integratie........................................ 27 3.c Samengestelde integratieformules............................... 29 3.d Romberg integratie....................................... 32 3.e Voorbeeld van het Rombergschema.............................. 33 3.f Integratie met veranderlijke stapgrootte........................... 35 3.g Numerieke stabiliteit...................................... 36 3.h De sommatieformule van Euler-McLaurin en de trapeziumregel.............. 37 4 B-splines 40 4.a Definities en elementaire eigenschappen........................... 40 4.b Het rekenen met B-splines................................... 43 4.c Bézier-polynomen en controlepunten............................. 45 4.d B-spline-krommen en controlepunten............................. 47 5 Totale kleinste kwadraten 49 5.a Beste benadering in IR.................................... 49 5.b Lineaire regressie in IR 2.................................... 49 5.c Lineaire regressie van x op y.................................. 51 5.d De totale kleinste-kwadratenbenadering........................... 52 5.e Regressie in meer dan twee dimensies............................. 53 5.f De normaalvergelijkingen in IR m............................... 54 5.g Oplossing via de singuliere-waardenontbinding....................... 55 5.h Totale kleinste kwadraten in IR n............................... 56 5.i Een alternatieve benadering voor totale kleinste kwadraten in IR n............ 58 6 Geconjungeerde gradienten 59 7 Stelsels niet-lineaire vergelijkingen en minimalisatieproblemen 72 7.a Probleemstelling in één dimensie............................... 72 7.b Intervalhalvering of binaire search.............................. 72 7.c Successieve substitutie..................................... 72 7.d Newton-Raphson........................................ 73 7.e Problemen in verscheidene dimensies............................. 75 7.f Een aangepaste (gedempte) Newtonmethode......................... 76 7.g De methode van de steilste helling (steepest descent).................... 79 8 Oefeningen Numerieke Analyse 82 8.a Fouriertransformatie...................................... 82 8.b Approximatie.......................................... 84 8.c Orthogonale polynomen.................................... 85 8.d Een spline-benadering..................................... 88 8.e Numerieke integratie...................................... 90 8.f Lineaire Algebra........................................ 95

CONTENTS 2 8.g Matrixalgoritmen........................................ 97 8.h De Cholesky-ontbinding.................................... 100 8.i Givensrotaties etc........................................ 102 8.j Niet-lineaire problemen.................................... 105 9 Enige recente schriftelijke examens voor Numerieke Analyse I 106 9.a Examen Numerieke Analyse, juni 2001............................ 106 9.b Examen Numerieke Analyse, april 2000........................... 108 9.c Examen Numerieke Analyse, september 1999........................ 110

0 FOUTENANALYSE 3 0 Foutenanalyse 0.a Elementaire definities Gegeven is een grootheid X en haar benadering X. De absolute en relatieve fouten in de benadering X worden gegeven door: absolute fout in X : F X := X X zodat X = X + F X, relatieve fout in X : f X := X X X zodat X = X(1 + f X ) (mits X 0). Het begrip absolute fout heeft in principe niets te maken met absolute waarden; absoluut staat slechts in tegenstelling tot relatief. De absolute fout heeft dezelfde dimensies (bv. lengte, gewicht, tijd) als de grootheid zelf, terwijl de relatieve fout dimensieloos is. Opgave 1: laat zien, dat voor de absolute en relatieve fouten in de twee grootheden X en Ỹ geldt: F X+Y = F X + F Y en f X Y = f X + f Y + f X f Y. Als we de (absolute of relatieve) fout in een (gemeten of berekende) grootheid X kennen, dan kennen we ook de grootheid zelf! Helaas zijn we bijna nooit in deze situatie en kennen we alleen een bovengrens voor de absolute waarde van de fout. In het gangbare spraakgebruik spreken we gewoonlijk over de fout in een grootheid terwijl we zo n bovengrens bedoelen (of nog erger, terwijl we de spreiding in de stochastische fluctuaties rond de exacte waarde bedoelen). Dus, bij een gegeven benadering X van een grootheid X definiëren we: (0.1) X is (een bovengrens voor) de absolute fout in X als X X X, δ X is (een bovengrens voor) de relatieve fout in X X X als X δ X. (0.2) Opgave 2: Bewijs de volgende rekenregels voor de fouten in de grootheden X en Ỹ : X±Y X + Y XY Y X + X Y + X Y, δ X±Y X δ X + Y δ Y X ± Y δ XY δ X + δ Y + δ X δ Y. (0.3) N.B. Lees deze regels alsvolgt: Als X en Y bovengrenzen zijn voor de fouten in X resp. Y, dan is er een bovengrens X±Y voor de fout in X ± Y waarvoor geldt X±Y X + Y. Hieruit volgt dus dat X + Y een bovengrens voor de fout in X ± Y is, etc. Wat zijn de overeenkomstige rekenregels voor de absolute en relatieve fouten (bovengrenzen) in het quotiënt X/Y? 0.b Voorstelling van reële getallen en floating-point aritmetiek Om een groot dynamisch bereik mogelijk te maken voor reële getallen worden deze in een computer opgeslagen in de vorm mantisse maal exponent. Hiertoe wordt een grondtal β (meestal 2, soms 8 (vroeger op CDC) of 16 (IBM)) gekozen. Een x IR kan dan worden voorgesteld door een paar (m, e) met x = m β e, (0.4) waarin m de mantisse is en e de exponent. Omdat het paar (m β, e 1 ) hetzelfde getal voorstel kunnen we de mantisse normaliseren, b.v. door 1/β m < 1. Het spreekt vanzelf dat we in de

0 FOUTENANALYSE 4 praktijk een eindige representatie willen hebben en dus het aantal β-tallige cijfers in mantisse en exponent zullen beperken. De IEEE-standaard voor 64-bits REALs is een tweetallige representatie (β = 2) met 53 resp. 10 bits voor de absolute waarden van mantisse en exponent en twee tekenbits. Omdat een genormaliseerde binaire mantisse altijd begint met een 1 (ga na!), hoeft dit eerste bit niet opgeslagen te worden. Met 10 bits is ook de grootte van de exponent aan een maximum gebonden. Getallen die een exponent groter dan 2 10 of kleiner dan 2 10 vragen (waarvan de absolute waarde dus kleiner dan (ongeveer) 10 300 of groter dan 10 300 is), kunnen dus niet gerepresenteerd worden; we spreken dan van over- of underflow. De IEEE-standaard geeft de mogelijkheid om by underflow een getal op nul te zetten, en bij overflow een NaN (Not a Number) te genereren zodat er een soepele foutenopvang mogelijk is. Een reëel getal binnen het bereik zal in het algemeen niet exakt gerepresenteerd kunnen worden. Voor een gegeven x IR (binnen het bereik) noteren we met fl(x) het meest naburige wel repesenteerbare getal (machinegetal). Het verschil x fl(x) is dan de afrondfout. Stelling. Als voor een machinegetal een β-tallige representatie wordt gekozen met t bits in de mantisse, dan geldt voor de relatieve afrondfout bij afronding naar het dichtstbijzijnde machinegetal (behoudens over- en underflow): x fl(x) x η maar ook x fl(x) fl(x) η met η := 1 2 β1 t. (0.5) De grootheid η heet de machineprecisie. Opgave 3: Bewijs deze stelling. Ga ook na, dat er (behoudens over- en underflow) getallen ε 1 en ε 2 zijn bij iedere aritmetische operatie {+,,, /} tussen twee machinegetallen x en y, zodat fl(x y) = (x y)(1 + ε 1 ) = x y 1 + ε 2 met ε 1 η en ε 2 η. (0.6) Opmerking. We kunnen η ook definiëren als het grootste reële getal, zodat fl(1 + η) = 1, ga na! Opgave 4: De reeksontwikkeling van de exponentiaal is: e x x k = k! Hoeveel termen heb je nodig om e 5 te berekenen met een relatieve fout kleiner dan 10 3? Kun je dit doen met een computer, waarin de variabelen van het type IR een mantisse van 4 decimalen hebben? Is er een betere manier om e 5 te berekenen met zo n computer? Opgave 5: Laat f een voldoend gladde reële funktie (b.v. f(x) = sin(x)) zijn met max f (x) M. x De afgeleide van f in x kunnen we dan benaderen met de centrale differentie D h f(x) := Laat zien, dat voor de afbreekfout in D h f geldt: f(x + h) f(x h) 2h f(x + h) f(x h)) 2h k=0. = f (x) + h2 6 f (x + ϑh) met ϑ 1. (0.7) Veronderstel, dat er voor de berekening van f een procedure beschikbaar is, die bij iedere waarde van x een resultaat aflevert met een relatieve fout kleiner dan of gelijk aan 2η. Geef dan een (goede) bovengrens voor de relatieve fout in de berekende waarde van D h f als funktie van h en schets een grafiek van (een bovengrens voor) de totale fout (afbreek- plus afrondfout) in deze berekende waarde.

0 FOUTENANALYSE 5 0.c Voorbeelden van een afrondfoutenanalyse Gevraagd te berekenen x = ϕ(a). Met een algoritme voor het berekenen van ϕ(a) vinden we ten gevolge van afrondfouten de berekende waarde: fl(x). In een foutenanalyse proberen we fouten δ x, δ a of ε a en ε x te vinden, zodat fl(x) = x + δ x voorwaartse foutenanalyse = ϕ(a + δ a ) achterwaartse foutenanalyse = ϕ(a + ε a ) + ε x gemengde foutenanalyse Definitie: We noemen de algoritme numeriek stabiel als we kunnen bewijzen: δ x of ε x van de grootteorde van de onvermijdelijke fout, δ a of ε a van de grootteorde van de machineprecisie. Voorbeeld 1: Er is een ε met ε η (= machineprecisie ) zodat a + b + ε (a + b) voorwaarts fl(a + b) = ã + b met ã := a(1 + ε) en b := a(1 + ε) achterwaarts Voorbeeld 2: Er zijn ε 1 en ε 2 ( met ε i η ) zodat fl(1 x 2 ) = (1 x x (1 + ε 1 )) (1 + ε 2 ) = (1 x 2 ) (1 + ε 2 ) met x := x 1 + ε 1 gemengd. Voorbeeld 3: Geef een schatting van de afrondfout in de berekende waarde van de positieve wortel van de vierkantsvergelijking bij gebruik van de formule a 2x c x 2 met a 0 en c 0 x := 1 + 1 + a c c onder de aanname betreffende de afrondfout in de berekende waarde van de vierkantswortel fl( x) = x(1 + ε x ) met ε x η voor iedere x. Antwoord: Er bestaan ε 1, ε 2 en ε 3 met ε i η, zodat fl( 1 + a c) = (1 + a c(1 + ε 1 ))(1 + ε 2 ) (1 + ε 3 ) = 1 + ãc(1 + ξ 1 ) met ξ 1 := 1 + ε 2 (1 + ε 3 ) 1 en ã := a(1 + ε 1 ) Bijgevolg zijn er ξ 2 en ξ 3, ( ξ i η ) zodat: fl(x) = 1 + 1 + ã c(1 + ξ 1 ) (1 + ξ 2 )(1 + ξ 3 ) c = 1 + 1 + ã c c De tweede term is groot t.o.v. x als ac 1. Alternatieve (numeriek stabiele) rekenwijze voor deze wortel: x := (1 + ξ 2 )(1 + ξ 3 ) + ξ 1 1 + ãc c a 1 + 1 + a c.

0 FOUTENANALYSE 6 Voorbeeld 4: Afrondfout in de berekende waarde van het inprodukt S := x i y i berekend met algoritme: S := 0; for i := 1 to n do S := S + x i y i Voor de berekende waarde van S vinden we getallen ξ i en η i met ξ i, ε i η, i = 1 n: fl(s) = x 1 y 1 (1 + ξ 1 )(1 + ε 2 ) (1 + ε n ) + x 2 y 2 (1 + ξ 2 )(1 + ε 2 ) (1 + ε n ) + + x n 2 y n 2 (1 + ξ n 2 )(1 + ε n 2 ) (1 + ε n ) + x n 1 y n 1 (1 + ξ n 1 )(1 + ε n 1 )(1 + ε n ) + x n y n (1 + ξ n )(1 + ε n ) zodat met S fl(s) = x i y i ζ i ζ i := 1 (1 + ξ i )(1 + ε i ) (1 + ε n ) en ζ i (n i + 2)η als nη 0.1. Bijgevolg geldt voor de voorwaartse fout: S fl(s) S (n + 1)η S x i y i (n + 1)η x 2 y 2 x T y Voorbeeld 5: Bereken x n uit de vergelijking a = x i y i, a, x 1 x n 1, y 1 y n gegeven, en bepaal de afrondfout in de berekende waarde van x n. S := a; Algoritme: for i := 1 to n 1 DO S := S x i y i ; x n := S / y n Voor de berekende waarden van S en x n vinden we voor zekere ξ i en η i met ξ i, ε i η : en fl(s) = a(1 + ε 1 ) (1 + ε n 1 ) x 1 y 1 (1 + ξ 1 )(1 + ε 1 ) (1 + ε n 1 ) x 2 y 2 (1 + ξ 2 )(1 + ε 2 ) (1 + ε n 1 ) x n 2 y n 2 (1 + ξ n 2 )(1 + ε n 2 )(1 + ε n 1 ) x n 1 y n 1 (1 + ξ n 1 )(1 + ε n 1 ) x n := fl(x n ) = fl(s)/(y n (1 + ξ n ))

0 FOUTENANALYSE 7 Deling door (1 + ε 1 ) (1 + ε n 1 ) geeft de achterwaartse foutschatting: met a = x 1 y 1 (1 + ξ 1 ) + x 2 y 2 1 + ξ 2 1 + ε 1 + = + x n 1 y n 1 1 + ξ n 1 (1 + ε 1 ) (1 + ε n 2 ) + x n y n 1 + ξ n (1 + ε 1 ) (1 + ε n 1 ) n 1 x i y i (1 + δ i ) x n y n (1 + δ n ) δ i := 1 + ξ i (1 + ε 1 ) (1 + ε i 1 ) 1, zodat δ i (i + 1)η als n η < 0.1. Conclusie: De berekende waarde x n is de oplossing van een naburige vergelijking a = x j ỹ j, ỹ j := y j (1 + δ j ). j=1 Opgave 6: Voor de standaardafwijking S bestaan in de statistiek twee formules die wiskundig (in exacte reële arithmetiek) gelijkwaardig zijn : S 2 = 1 n n 1 ( x 2 i n g 2 ) en S 2 = 1 n 1 (x i g) 2 met g het gemiddelde: g := 1 x i. n Welke van de twee zou je gebruiken in een numeriek programma en waarom?

REFERENCES 112 References [1] M. Hestenes & E. Stiefel, Methods of conjugate gradients for solving linear systems, J. Research NBS, 49, pp. 409 436, 1952. [2] C. Lanczos, An iteration method for the solution of the eigenvalue problem of linear differential and integral operators, J. Research NBS, 45, pp. 255 282, 1950. [3] J.K. Reid, On the method of conjugate gradients for the solution of large sparse systems of linear equations, Proc. Conf. on Large Sparse Sets of Linear Equations, Academic Press, New York, 1971. [4] J.A. Meijerink and H.A. van der Vorst, An iterative solution method for linear systems of which the coefficient matrix is a symmetric M-matrix, Math.of Comp., 31, pp. 148 162, 1977. [5] G.H. Golub & C.F. Van Loan, Matrix Computations, The Johns Hopkins University Press, Baltimore, Maryland, USA, 1 ste druk, 1983, 2 de druk, 1988, 3 de druk, 1995. [6] R. Bulirsch & J. Stoer, Introduction to Numerical Analysis, Springer Verlag, Berlin, 1977. (Ook verkrijgbaar in een goedkope duitstalige pocketeditie). [7] D. Kincaid & W. Cheney, Numerical Analysis, Brooks & Cole Publishing Company, Pacific Grove, California, USA, 1991; 2de druk, 1996.