Het orthogonaliseringsproces an Gram-Schmidt Voor het berekenen an een orthogonale projectie an een ector y op een deelruimte W an R n is een orthogonale basis {u,, u p } zeer gewenst De orthogonale projectie is dan gelijk aan de som an de orthogonale projecties langs de (orthogonale basisectoren : ( y u proj W y u u u + + ( y up u p u p u p Een interessante raag is nu : Hoe kunnen we een orthogonale basis an een deelruimte W construeren als we slechts een willekeurige (niet-orthogonale basis kennen? Hieroor dient het orthogonaliseringsproces an Gram-Schmidt : Stelling Stel dat {x,, x p } een basis is an een deelruimte W an R n Definieer dan : x ( x x ( ( x x x p ( xp x p ( xp Dan geldt : {,, p } is een orthogonale basis an W ( xp p p p p Opmerking In elke stap wordt an de basisector x k de orthogonale projecties langs de nieuwe (orthogonale basisectoren,, k afgetrokken De resulterende ector k staat dan loodrecht op alle ectoren,, k, die al orthogonaal zijn Boendien geldt : Span{,, k } Span{x,, x k } oor iedere k Een orthogonale basis kan eenoudig omgezet worden naar een orthonormale basis door elke ector te normeren (of schalen : als {,, p } een orthogonale basis an W is, dan is {u,, u p } met u i i i oor alle i,,, p een orthonormale basis an W Voorbeeld Stel W Span{x, x, x, x } met x, x, x en x dan is W dus een deelruimte an R We bepalen eerst een basis an W :,
Hieruit olgt dat {x, x, x, x } lineair afhankelijk is, dat x Span{x, x, x } en dat {x, x, x } lineair onafhankelijk is (in elke kolom een piot {x, x, x } is een basis an W Nu passen we het orthogonaliseringsproces an Gram-Schmidt toe : x, x ( x ( ( + + + + +, x ( x ( x ( ( ( ( + + + + + + + + + +
7 + 7 7 + 7 Omdat de lengte (of norm an de ectoren niet an belang is oor de orthogonaliteit olgt nu dat {,, } een orthogonale basis an W is Dat deze drie ectoren orthogonaal zijn kan eenoudig gecontroleerd worden door de (drie onderlinge inwendige producten uit te rekenen Hieruit kan eenoudig een orthonormale basis geconstrueerd worden door de drie ectoren te normeren : + + +, + + + en { is een orthonormale basis an W + + +,, Het orthogonaliseringsproces an Gram-Schmidt kan gebruikt worden om een QR-ontbinding an een matrix te maken : Stelling Als A een (m n-matrix is met lineair onafhankelijke kolommen, dan kan A geschreen worden als A QR, waarbij Q een (m n-matrix is waaran de kolommen een orthonormale basis an Col A ormen en R een inerteerbare (n n-boendriehoeksmatrix Bewijs Het bewijs olgt meteen uit de constructie Omdat de kolommen an A lineair onafhankelijk zijn ormen deze een basis an Col A Passen we het proces an Gram-Schmidt toe op die kolommen an A dan inden we uiteindelijk een orthonormale basis an Col A De ectoren an deze basis ormen de kolommen an Q Dat R een boendriehoeksmatrix is olgt uit het feit dat de eerste k kolommen an A lineaire combinaties zijn an de eerste k kolommen an Q Stel nu dat Rx o, dan olgt Ax QRx Qo o Omdat de kolommen an A lineair onafhankelijk zijn olgt hieruit dat x o Dit betekent dat Rx o slechts de triiale oplossing x o heeft en dat betekent dat R inerteerbaar is }
Opmerking De matrix Q wordt erkregen met behulp an het proces an Gram-Schmidt Omdat de kolommen an Q orthonormaal zijn geldt Q T Q I Hieruit olgt dat Q T A Q T (QR (Q T QR IR R De matrix R kan dus heel eenoudig geonden worden uit R Q T A Voorbeeld Stel A an A lineair onafhankelijk zijn en dat {, een orthonormale basis an Col A is Q In oorbeeld hebben we gezien dat de kolommen, } 7 7 7 Voor R inden we dan R Q T A 7 7 7 7 7 7 Kleinste-kwadratenproblemen Een stelsel ergelijkingen Ax b is alleen oplosbaar als b Col A In de praktijk komt het aak oor dat zo n stelsel ergelijkingen niet oplosbaar is, bijoorbeeld door meetfouten en/of afrondfouten Dit is aak erg onberedigend Om het stelsel oplosbaar te maken erangt men dan de ector b door een ector die wel in Col A zit Om de fout daarbij zo klein mogelijk te houden wordt díe ector in Col A gekozen die het dichtst bij b ligt : de (orthogonale projectie an b op Col A Een oplossing an een op deze manier erkregen stelsel ergelijkingen heet een kleinste-kwadratenoplossing an Ax b : Definitie Stel dat A een (m n-matrix is en b R m Dan heet ˆx R n een kleinstekwadratenoplossing an Ax b als b Aˆx b Ax oor alle x R n
Het inden an zo n kleinste-kwadratenoplossing komt dus neer op het minimaliseren an de afstand b Ax of an b Ax, een som an kwadraten Dat erklaart de term kleinste-kwadratenprobleem We gaan nu op zoek naar zo n kleinste-kwadratenoplossing Stel dat ˆb proj Col A b, dan geldt dat Ax ˆb oplosbaar is Stel dat ˆx een oplossing is, dan geldt dus : Aˆx ˆb Dan geldt dat b ˆb loodrecht staat op Col A b Aˆx staat loodrecht op elke kolom an A Als a j zo n kolom an A is, dan geldt dus : a j (b Aˆx oftewel a T j (b Aˆx Dit geldt oor iedere j, dus : A T (b Aˆx o A T b A T Aˆx o A T Aˆx A T b Dit laatste stelsel ergelijkingen wordt aangeduid met de term normale ergelijking(en : Stelling De erzameling an kleinste-kwadratenoplossingen an Ax b komt oereen met de niet-lege erzameling an oplossingen an de normale ergelijking(en : A T Aˆx A T b Bewijs Hierboen hebben we al gezien dat een kleinste-kwadratenoplossing an Ax b moet oldoen aan de normale ergelijkingen A T Aˆx A T b Omgekeerd, als ˆx een oplossing is an A T Aˆx A T b, dan staat b Aˆx dus loodrecht op alle rijen an A T en dus op alle kolommen an A b Aˆx staat loodrecht op Col A Dit betekent dat b Aˆx + (b Aˆx een ontbinding an b is met Aˆx Col A en b Aˆx Col A Aangezien zo n ontbinding uniek is geldt dus dat Aˆx de orthogonale projectie an b op Col A moet zijn Aˆx ˆb en dat betekent dat ˆx een kleinste-kwadratenoplossing an Ax b is Opmerking Een kleinste-kwadratenoplossing is uniek als de matrix A T A inerteerbaar is Dit is het geal als de kolommen an A lineair onafhankelijk zijn We zullen dit niet bewijzen De afstand b ˆb b Aˆx wordt wel de kleinste-kwadratenfout genoemd Voorbeeld Als A We inden nu A T A ( A T Aˆx A T b : Er geldt dus dat ( en b ( ( ˆb Aˆx, dan is Ax b niet oplosbaar (ga na! en A T b ( ( ( 7 ˆx de orthogonale projectie an b op Col A is De kleinste-kwadratenfout is dus b ˆb b Aˆx 7 ( (
Voorbeeld Stel dat A en b Dan zijn de kolommen an A duidelijk afhankelijk (de derde kolom is de som an de eerste twee kolommen Ook is onmiddellijk duidelijk dat Ax b niet oplosbaar is We inden nu : A T A en A T Aˆx A T b : A T b In dit geal zijn er dus oneindig eel oplossingen : x x x x x ˆx x x x is rij De orthogonale projectie an b op Col A is (uiteraard wel uniek : x ˆb Aˆx x + x x x + x x x + x x + x + x De QR-ontbinding an een matrix kan helpen om het rekenwerk te bekorten : Stelling Als A een (m n-matrix is met lineair onafhankelijke kolommen en A QR is een QR-ontbinding an A, dan geldt : Ax b heeft oor iedere b R m een unieke kleinstekwadratenoplossing ˆx bepaald door : Rˆx Q T b Opmerking De kleinste-kwadratenoplossing ˆx is uniek omdat de kolommen an A lineair onafhankelijk zijn Omdat R een boendriehoeksmatrix is kan Rˆx Q T b (snel opgelost worden ia terugsubstitutie Bewijs Voor een QR-ontbinding an A geldt dat Q T Q I (want Q heeft orthonormale kolommen en dat R inerteerbaar is A T A (QR T QR R T Q T QR R T IR R T R
en A T b (QR T b R T Q T b Als R inerteerbaar is (det R, dan is R T ook inerteerbaar, want : det R T det R A T Aˆx A T b R T Rˆx R T Q T b Rˆx Q T b Toepassingen an de kleinste-kwadratenmethode De kleinste-kwadratenoplossing wordt gebruikt om bijoorbeeld een grafiek (zoals een rechte lijn te inden die zo goed mogelijk door een puntenwolk loopt Voorbeeld Beschouw de puntenwolk : (,, (,, (, en (, We zoeken nu een rechte lijn y ax + b die het best bij deze puntenwolk past Door inullen an de erschillende waarden oor x en y zien we dat a en b zouden moeten oldoen aan : a + b a + b a + b a + b Ax b met A en b Al snel is duidelijk dat Ax b niet oplosbaar is De ier punten liggen blijkbaar niet netjes op een rechte lijn We bepalen nu een kleinste-kwadratenoplossing an Ax b : en A T A A T b ( ( A T Aˆx A T b ˆx (A T A A T b We kiezen nu : a 77 9 en b 9 9 ( ( ( ( 9 ( 77 9 77 9 We inden zo de kleinste-kwadratenlijn : y x+ 9 9 Op deze manier kunnen ook andere kleinste-kwadratenkrommen door een puntenwolk worden geonden Het inullen an de erschillende waarden oor x en y leert een stelsel ergelijkingen op met de coëfficiënten als onbekenden Hieroor kiezen we dan de coördinaten an kleinste-kwadratenoplossing Zie an Lay oor meer oorbeelden 7