De kleinste kwadratenmethode Figuur: Probleem uit video 8.1 (Video)
Laat A een m n matrix zijn en b een vector in R m. Veronderstel dat de matrixvergelijking A x = b geen oplossingen heeft omdat b / Col(A). Wat is dan de best passende oplossing van deze matrixvergelijking? Bepaal de vector ˆb in Col(A) met de kleinste afstand tot b. Figuur: Aˆx b Ax b voor alle x R n dist(aˆx, b) dist(ax, b) voor alle x R n 26 oktober 2016 1
Los vervolgens de matrixvergelijking A x = ˆb op. Figuur: De kleinste kwadratenoplossing ˆx in R n 26 oktober 2016 2
De vector in Col(A) met de kleinste afstand tot b is de loodrechte projectie van b op Col(A). Hoe vinden we ˆb = proj Col(A) b = Aˆx? Daartoe moeten we ons realiseren dat de vector b ˆb = b A ˆx een vector is in Col(A) 26 oktober 2016 3
Dus: a j (b ˆb) = 0 (j = 1, 2,..., n) a T j (b ˆb) = 0 (j = 1, 2,..., n) A T (b ˆb) = 0 A T (b Aˆx) = 0 A T b A T Aˆx = 0 A T Aˆx = A T b De matrix A T A en de vector A T b kunnen met A en b eenvoudig worden bepaald. 26 oktober 2016 4
Definitie De vergelijkingen A T Ax = A T b heten de normaalvergelijkingen bij Ax = b. De niet-lege oplossingsverzameling van de normaalvergelijkingen heten de kleinste kwadraten oplossingen van Ax = b. 26 oktober 2016 5
Voorbeeld Wat zijn de kleinste kwadratenoplossingen van Ax = b als 1 1 1 A = 1 3 en b = 2. 1 2 1 A T A = [ 3 0 0 14 ] Hieruit volgt dat ˆx = en A T b = [ 4 3 1 2 ]. [ 4 7 ]. 26 oktober 2016 6
Opgaven Voorbeeld ( 6.5, opgave 1) Wat zijn de kleinste kwadratenoplossingen van Ax = b als 1 2 4 A = 2 3 en b = 1. 1 3 2 [ ] [ A T 6 11 4 A = en A T b = 11 22 11 [ ] 3 Hieruit volgt dat ˆx =. 2 ]. 26 oktober 2016 7
Voorbeeld Zie ook 6.6, opgave 12 De relatie tussen de systolische bloeddruk p ( milimeter-kwikdruk [mmhg]) en gewicht w (in ponden) van een kind worden bij benadering gegeven door de vergelijking p = β 0 + β 1 ln(w). Gegeven is de volgende tabel met meetresultaten: w 44 61 81 113 131 p 91 98 103 110 112 Gevraagd wordt een schatting te bepalen van de systolische bloeddruk van een kind met een gewicht van 100 pond. 26 oktober 2016 8
1 clear; 2 close all; 3 clc; 4 % 5 % Methode 1 6 % Toepassing van de kleinste kwadratenmethode zoals... dat met de 7 % hand zou gebeuren. 8 % 9 % We zoeken de kromme die het best past bij de punten 10 % (44,91),(61,98),(81,103, (113,110) en (131,112). 11 % Er wordt verondersteld dat deze kromme als... vergelijking p = b(1)+b(2)*ln(w) heeft. 12 % 13 % Berekening beta(1) en beta(2) 14 % 26 oktober 2016 9
15 16 w p = [44,61,81,113,131]; 17 p p = [91,98,103,110,112]; 18 n = length(w p); 19 A = [ones(1,n);log(w p)]'; 20 ATA = A'*A; 21 b = A'*p p'; 22 beta = ATA\b; 23 24 % 25 % Voor het berekenen van de fout bepalen we ye = A*b. 26 % 27 28 p e = A*beta; 29 30 % 31 % Berekening van de fout 32 % 33 34 err = norm(p p'-p e,2); 26 oktober 2016 10
35 36 % 37 % We tekenen in een plaatje de punten en de gevonden... kromme. 38 % 39 40 alpha = 40; 41 gamma = 135; 42 n = 1001; 43 w = linspace(alpha,gamma,n); 44 p = beta(1)+beta(2)*log(w); 45 plot(w p,p p,'*r',w,p,'b'); 46 47 title('een voorbeeld van de kleinste kwadratenmethode'); 48 text(80,100,['p = ',num2str(beta(1)),' +... ',num2str(beta(2)),' * ln(w)']); 49 50 text(80,90,['de berekende fout is = ',num2str(err)]); 51 52 pk = beta(1)+ beta(2)*log(100); 53 text(42,95,['de systolische bloeddruk van een kind... van 100 pond is: ',num2str(pk),' mmhg']); 26 oktober 2016 11
26 oktober 2016 12
Opgaven 6.6, opgave 3 Wat is de vergelijking van de vorm y = β 0 + β 1 x die het best past in de zin van de kleinste kwadratenmethode bij de punten: ( 1, 0), (0, 1), (1, 2), (2, 4). 26 oktober 2016 13
x = [ β0 β 1 ] zou de oplossing moeten zijn van het stelsel vergelijkingen: β 0 + β 1 1 = 0 β 0 + β 1 0 = 1 β 0 + β 1 1 = 2 β 0 + β 1 2 = 4 of de matrixvergelijking Ax = b met A = 1 1 1 0 1 1 1 2 en b = 0 1 2 4. 26 oktober 2016 14
6.6, opgave 7 Wat is de vergelijking van de vorm y = β 1 x + β 2 x 2 die het best past, in de zin van de kleinste kwadratenmethode, bij de punten: (1, 1.8), (2, 2.7), (3, 3.4), (4, 3.8), (5, 3.9). x = [ β1 β 2 ] zou de oplossing moeten zijn van het stelsel vergelijkingen: β 1 1 + β 2 1 = 1.8 β 1 2 + β 2 4 = 2.7 β 1 3 + β 2 9 = 3.4 β 1 4 + β 2 16 = 3.8 β 1 5 + β 2 25 = 3.9 26 oktober 2016 15
Vraag Is de kleinste kwadratenmethode oplossing altijd éénduidig? Het antwoord hierop wordt gegeven door de volgende stelling. Stelling Laat A een m n matrix zijn. Dan zijn de volgende beweringen gelijkwaardig: De matrixvergelijking Ax = b heeft een éénduidig bepaalde kleinste kwadratenoplossing voor alle b R m. De kolommen van A zijn lineair onafhankelijke vectoren. De matrix A T A is inverteerbaar. 26 oktober 2016 16
De kleinste kwadratenoplossing is de enige oplossing van de normaalvergelijkingen. 26 oktober 2016 17
6.5, opgave 5 Wat zijn de kleinste kwadratenoplossingen van Ax = b als 1 1 0 1 A = 1 1 0 1 0 1 en b = 3 8. 1 0 1 2 A T A = 4 2 2 2 2 0 2 0 2 Hieruit volgt dat ˆx = en A T b = 14 4. 10 5 1 3 + t 1 0 1 (t R). 26 oktober 2016 18
Bewijs. Ax = b heeft precies één kleinste kwadratenoplossing de normaalvergelijkingen A T Ax = A T b hebben precies één oplossing A T A is inverteerbaar dim(col(a T A)) = n dim(nul(a T A)) = 0 (omdat dim Col(A T A) + dim Nul(A T A) = n) dim(nul(a)) = 0 (omdat Nul(A) = Nul(A T A)) dim(col(a)) = n de kolommen van A vormen een basis voor Col(A) Zie ook: 6.5, opgaven 19-21. 26 oktober 2016 19
Stelling Als A een m n matrix is met lineair onafhankelijke kolommen, b R n en A = QR waarbij Q een m n matrix is met orthonormale kolommen en R een n n bovendriehoeksmatrix met positieve getallen op de hoofddiagonaal dan zijn Rˆx = Q T b de normaalvergelijkingen. Bewijs. A T A = (QR) T (QR) = R T Q T QR = R T I nr = R T R en A T b = (QR) T b = R T Q T b dus A T Aˆb = A T b R T Rˆx = R T Q T b Rˆx = Q T b 26 oktober 2016 20