Vectorruimten met inproduct

Transcriptie

1 Hoofdstuk 3 Vectorruimten met inproduct 3. Inleiding In R 2 en R 3 hebben we behalve de optelling en scalairvermenigvuldiging nog meer structuur ; bij een vector kun je spreken over zijn lengte en bij twee vectoren hebben we het zgn. inproduct dat een verband heeft met de hoek tussen de vectoren. Precieser, als v = (x,x 2,x 3 ) t R 3 dan wordt volgens de stelling van Pythagoras de lengte van v, genoteerd v gegeven door v = x 2 + x2 2 + x2 3. Het inproduct v,w van v en w wordt gegeven door (3.) v,w = v w cos α waarbij α de hoek tussen de vectoren v en w is. Gebruik makend van de cosinusregel kan men nagaan (opgave 3..3) dat geldt v,w = x y + x 2 y 2 + x 3 y 3. Deze formule kunnen we gebruiken om een inproduct op R n te definiëren: Definitie 3.. Zij v = x. x n en w = y. y n in R n. Met de voorschrijft v,w := x y + + x n y n wordt aan ieder tweetal vectoren v en w uit R n een reëel getal v,w toegevoegd m.a.w. we hebben een afbeelding, : R n R n R gedefinieerd. Opgave 3..2 Bewijs dat de in 3.. gedefinieerde afbeelding aan de volgende eigenschappen voldoet. i) v + v 2,w = v,w + v 2,w, voor alle v,v 2,w in R n. ii) cv,w = c v,w, voor alle v,w in R n en alle c in R. iii) v,w = w,v, voor alle v,w in R n. iv) v,v > als v. Opgave 3..3 Zij v = (x,x 2,x 3 ) t en w = (y,y 2,y 3 ) t in R 3 en v,w := v w cos α, waarbij α de hoek is tussen v en w. Bewijs dat v,w = x y + x 2 y 2 + x 3 y 3. 37

2 38 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT [Aanw.: Bekijk de driehoek met als zijden de vector v, de vector w en de vector die loopt van het eindpunt van w naar het eindpunt van v. Deze zijden hebben lengte resp. v, w en v w. Volgens de cosinusregel (3.3.2 uit LA) geldt dan Gebruik nu dat v 2 = x 2 + x2 2 + x2 3 enz.] v w 2 = v 2 + w 2 2 v w cos α. 3.2 Abstracte inproductruimten De eigenschappen van het inproduct op R n zoals in 3..2 beschreven leiden ons tot de volgende definitie. Definitie 3.2. Zij V een vectorruimte. Een inproduct op V is een afbeelding, : V V R die voldoet aan: i) v + v 2,w = v,w + v 2,w, voor alle v,v 2,w in V. ii) cv,w = c v,w, voor alle v,w in V en alle c in R. iii) v,w = w,v, voor alle v,w in V. iv) v,v > als v. Een vectorruimte V met daarop een inproduct heet een inproductruimte of ook ruimte met inproduct of prehilbertruimte. De lengte van een vector v in een inproductruimte definiëren we als v := v,v. Omdat er bij twee vectoren nauwelijks een misverstand met andere vermenigvuldigingen kan bestaan, worden inproducten vaak gewoon met v w i.p.v. v,w genoteerd, Opgave Ga na dat uit i)-iv) in 3.2. volgt dat v, = en,w = en dat v, w = v,w voor alle v,w V. Voorbeeld R n met, zoals in 3.. is volgens 3..2 een inproductruimte. We noemen het in 3.. gedefinieerde inproduct het standaard inproduct op R n. Voorbeeld Zij V := C([, ]) de vectorruimte der continue functies van [, ] naar R. Definieer f,g := Laat zien dat, een inproduct op V is. f(x)g(x)dx, voor alle f,g V. Oplossing. i)-iii): f + f 2,g = (f + f 2 )(x)g(x)dx = (f (x)g(x) + f 2 (x)g(x))dx = f,g + f 2,g. Ook ziet men eenvoudig dat cf,g = c f,g, voor alle c R en dat f,g = g,f. iv): Omdat f(x) 2 is het duidelijk dat f,f := f(x)2 dx. We moeten nog inzien: als f,f =, dan f =. Neem dus aan dat f,f = m.a.w. f(x)2 dx = en stel dat f(x ) voor zekere x (,). Volgens de continuïteit van f(x) bestaat dan δ > en ε > zdd f(x) ε voor alle x [x δ,x + δ]. Dan = f(x) 2 dx x +δ x δ f(x) 2 dx x +δ x δ ε 2 dx = 2δε 2 >,

3 3.2. ABSTRACTE INPRODUCTRUIMTEN 39 tegenspraak. Dus blijkbaar f(x ) = voor alle x (,) en dus f = op [,] vanwege de continuïteit van f. Opgave Zij V := Pol(n) (zie voorbeeld.2.7) en p = a + a x + + a n x n en q = b + b x + + b n x n in V. Laat zien dat een inproduct op V definieert. p,q := a b + a b + + a n b n Opgave Zij A een n n matrix. Het spoor van A, genoteerd tr A (voor trace A), is per definitie de som der diagonaal elementen van A. Laat zien dat voor n n matrices geldt i) tr (A + B) = tr A + tr B. ii) tr (ca) = c.tr A, voor alle c in R. iii) tr (AB) = tr (BA). Opgave Zij V := M n (R). Definieer A,B := tr (A t B), voor alle A,B V. Laat zien dat, een inproduct op V definieert. Terugkerend naar formule (3.) zien we dat v,w v w voor alle v,w in R 3 (want cos α ). Het verrassende is dat zo n ongelijkheid geldt voor ieder inproduct! Stelling (Ongelijkheid van Cauchy-Bunyakovsky-Schwarz.) Zij V een vectorruimte met inproduct,. Dan geldt v,w v w of te wel v,w 2 v,v w,w voor alle v,w V. Gelijkheid treedt op d.e.s.d.a. v en w afhankelijk zijn. Bewijs. i) Voor iedere t R geldt v + tw,v + tw en dus (3.2) v,v + 2t v,w + t 2 w,w voor alle t R. Als w,w =, dan w = en dus v,w = en dus geldt de ongelijkheid. We mogen dus aannemen dat w,w >. Kies dan voor t de waarde t := v,w w,w. Invullen in (3.2) geeft (3.3) v + t w,v + t w = v,v 2 v,w v,w 2 v,w 2 v,w + w,w = v,v w,w w,w 2 w,w. Dus v,w 2 v,v w,w. Trek dan wortels. ii) Uit (3.3) volgt dat we gelijkheid hebben d.e.s.d.a. v+t w,v+t w = d.e.s.d.a. v+t w =. Hieruit volgt de stelling. Het mooie van is dat we hem kunnen toepassen op allerlei inproductruimten. Bijvoorbeeld op die van Dit levert: Gevolg Zij f, g C([, ]). Dan geldt de volgende vaak gebruikte ongelijkheid voor integralen: 2 f(x)g(x)dx f(x) 2 dx g(x) 2 dx.

4 4 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT Een ander gevolg van is de zgn. driehoeksongelijkheid. Stelling 3.2. Zij V een inproductruimte en v, w in V. Dan geldt: v + w v + w. Bewijs. Volgens is v,w v,w v w. Dus Trek dan wortels. v + w 2 = v + w,v + w = v,v + 2 v,w + w,w v v w + w 2 = ( v + w ) 2. Ook kunnen we gebruiken om de hoek tussen twee vectoren ( ) in een abstracte inproductruimte te definiëren. Daartoe merk op dat als v en w in V beiden niet nul zijn dan (volgens 3.2.8) v,w v w. Dus bestaat er precies één θ met θ π zdd Deze hoek θ heet de hoek tussen v en w. cos θ = v,w v w. Definitie 3.2. We noemen twee willekeurige vectoren v en w in een inproductruimte V orthogonaal, notatie v w, als v, w =. We zeggen dan ook dat v en w loodrecht op elkaar staan. Definitie Zij v,...,v n in V. Dan heet (v,...,v n ) een orthogonaal stelsel in V als iedere v i en v i v j voor alle i j. Als bovendien iedere v i lengte heeft m.a.w. v i = voor alle i, dan heet (v,...,v n ) een orthonormaal stelsel in V. Voorbeeld Laat zien dat in C([,]) de vectoren v := x en w := 2 3x loodrecht op elkaar staan. Oplossing. v,w = x(2 3x)dx = 2xdx 3x2 dx = x 2 x3 = =. Voorbeeld In R n is (e,...,e n ) een orthonormaal stelsel t.o.v. het standaard inproduct. Een van de redenen waarom een orthogonaal stelsel handig is, is dat we de coördinaten van een willekeurige vector m.b.t. een orthogonaal stelsel rechtstreeks m.b.v. het inproduct kunnen bepalen. Stelling Zij (v,...,v n ) een orthogonaal stelsel in V. Voor v = c v + +c n v n V geldt dan c i = v,v i v i,v i, voor alle i. Bewijs. v,v i = c v + +c n v n,v i = c v,v i + +c i v i,v i + +c n v n,v i = c i v i,v i. Omdat v i is ook v i,v i en dus c i = v,v i v i,v i.

5 3.2. ABSTRACTE INPRODUCTRUIMTEN 4 Gevolg Als (v,...,v n ) een orthogonaal stelsel is, is het onafhankelijk. Bewijs. Pas toe met v =. Gevolg Zij (v,...,v n ) een orthogonaal stelsel in V. i) Als dim V = n, is het een basis van V. ii) Als (v,...,v n ) volledig is in V, is het een basis van V. Bewijs. ii) volgt uit en i) uit en.4.4. Voorbeeld In R 3 vormen v :=, v 2 := en v 3 := een orthogonaal stelsel t.o.v. het standaard inproduct (ga na!). Dus is volgens i) (v,v 2,v 3 ) een basis van R 3. 2 Zij v := 3. Bepaal c,c 2,c 3 R met v = c v + v 2 c 2 + c 3 v 3. 7 Oplossing. Volgens is c = v,v c 3 = = 5 2. Net zo vinden we c 2 = 2 en v,v = We geven nu een algoritme om uit een gegeven basis (v,...,v n ) van V een orthogonale basis te maken: Stelling (Gram-Schmidt orthogonalisatie algoritme.) Zij V een inproductruimte met basis (v,...,v n ). Definiëer inductief e,...,e n in V d.m.v. e := v, e 2 := v 2 v 2,e e,e e,... e k := v k v k,e e,e e... v k,e k e k,e k e k v k,e j k = v k e j,e j e j. Dan is voor iedere k n het stelsel (e,...,e k ) orthogonaal. I.h.b. is (e,...,e n ) een orthogonale basis van V. Bewijs. Met inductie naar k. Duidelijk als k =. Neem dus aan k 2 en dat de stelling al voor k bewezen is, m.a.w. (e,...,e k ) is orthogonaal. We moeten dan nog inzien dat e k,e i = voor alle i k. Er geldt k v k,e j e k,e i = v k e j,e j e k v k,e j j,e i = v k,e i e j= j,e j e j,e i. j= Omdat e j,e i = als i j k volgt e k,e i = v k,e i v k,e i e i,e i e i,e i =. Dus is (e,...,e k ) orthogonaal voor alle k n. I.h.b. is (e,...,e n ) orthogonaal en dus een basis vanwege i). j=

6 42 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT Opmerking Het meetkundige idee achter de Gram-Schmidt orthogonalisatie is vrij simpel. Voor een vector v en een orthogonaal stelsel (e,...,e k ) is v = k j= v,e j e j,e j e j de orthogonale projectie van v in de deelruimte U opgespannen door e,...,e k (zie hieronder). De verschilvector e k = v v staat dan loodrecht op alle vectoren in de deelruimte U, dus i.h.b. op e,...,e k. Omdat v = e k + v en v in U ligt, is e,...,e k,v = e,...,e k,e k. Voorbeeld Zij P n [,] de verzameling der veeltermfuncties van graad n op het interval [, ]. Dit is een lineaire deelruimte van C([, ]), de vectorruimte der continue reëelwaardige functies op [,]. Op P n [,] nemen we het inproduct f,g := f(x)g(x)dx. Bepaal een orthogonale basis van P 2[,]. Oplossing. (,x,x 2 ) is een basis van P 2 [,]. Pas nu het Gram-Schmidt proces toe: e :=, e 2 := x x,,. Omdat x, = xdx = volgt e 2 = x. Tenslotte e 3 = x 2 x2,, x2,x x,x x. Omdat x 2,x = x3 dx = en x 2, = 2 3 en, = 2 volgt dat e 3 = x 2 3. Dus (,x,x 2 3 ) is een orthogonale basis van P 2[,]. Deze polynomen heten de Legendre polynomen. Eenzelfde verhaal voor n = 5 geeft de eerste zes Legendre polynomen, x, x 2 3, x3 3 5 x, x4 6 7 x , x5 9 x x. Definitie Zij U een lineaire deelruimte van een inproductruimte V. Het orthogonale complement van U (in V ), notatie U, is gedefinieerd d.m.v. U := {v V v,u = voor alle u U}. Opgave i) Laat zien dat U een lineaire deelruimte van V is. ii) Stel dat (u,...,u m ) een volledig stelsel voor V is. Laat zien dat U = {v V v,u =,..., v,u m = }. Voorbeeld Zij U := R 2. Bereken U. Oplossing. Volgens geldt: x x U = x 2 R 3, = = x 3 x 2 x 3 m.a.w. U is het vlak x + x 2 + x 3 =. x x 2 x 3 R 3 x + x 2 + x 3 = Opgave Zij A een m n matrix. Laat zien dat in R m het volgende verband geldt tussen de kolommenruimte Col(A) (zie sectie 2.3) en de nulruimte Nul(A t ) (zie.2.4) van de getransponeerde matrix: Col(A) = Nul(A t ).

7 3.2. ABSTRACTE INPRODUCTRUIMTEN 43 De volgende stelling is een zeer nuttige generalisatie ( ) van het feit dat iedere vector ( ) uit R 2 eenduidig te schrijven is als een vector uit U := en een vector uit U =. Stelling Zij U een eindig dimensionale lineaire deelruimte van een inproductruimte V. Dan is iedere v V éénduidig te schrijven als v = v + v 2 met v U en v 2 U. Bewijs. i) Kies m.b.v een orthogonale basis (e,...,e m ) van U. Zij v V en definiëer v := v,e e,e e + + v,e m e m,e m e m en v 2 := v v. Dan is duidelijk dat v in U en v = v + v 2. Om in te zien dat v 2 U is het volgens voldoende te bewijzen dat v 2,e i = voor alle i m. Zij daartoe i m. Dan v 2,e i = v,e i v,e i. Omdat e j,e i = als j i volgt Dus v,e i = v,e i e i,e i e i,e i = v,e i. v 2,e i = v,e i v,e i =. ii) Rest ons nog de eenduidigheid te bewijzen. Stel daarom dat ook v = v + v 2 met v U en v 2 U. Dan w := v v = v 2 v 2. Omdat v,v U volgt w U. Net zo w U, omdat w 2,w 2 U. Dus w,u = voor alle u U. I.h.b. voor u = w, m.a.w. w,w =. Dus w = en dus v = v en v 2 = v 2. Definitie Zij U een eindig dimensionale lineaire deelruimte van een inproductruimte V en zij v = v + v 2 V met v U en v 2 U. Dan heet de (eenduidig bepaalde) vector v U de projectie van v op U, notatie proj U (v). De vector v 2 U heet de component van v loodrecht op U. Uit bovenstaand bewijs zien we: als (e,...,e m ) een orthogonale basis van U is dan is proj U (v) = v,e e,e e v,e m e m,e m e m. en v 2 = v proj U (v). Het belang van de projectie van v op U komt voort uit de volgende (zeer nuttige) stelling: Stelling Zij U een eindig dimensionale lineaire deelruimte van een inproductruimte V en zij v V. Dan is proj U (v) die vector in U die de kleinste afstand tot v heeft, d.w.z. v proj U (v) v u, voor alle u U. Bewijs. Zij u U en v := proj U (v). Dan v v U en v u U. Schrijf nu v u = (v v ) + (v u). Dan volgt wegens v v,v u = : v u 2 = (v v ) + (v u),(v v ) + (v u) = v v,v v + v u,v u = v v 2 + v u 2. Dus i.h.b. v u 2 v v 2, waarmee de stelling bewezen is.

8 44 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT Voorbeeld Zij U de lineaire deelruimte van R 4 gegeven door de vergelijkingen x + x 2 + x 3 = en 2x 2 + x 3 + x 4 =. 5 Bepaal de projectie van v = 6 7 op U en de kleinste afstand van v tot U. 2 Oplossing. Het stelsel vergelijkingen oplossend vinden we x 2 = 2 x 3 2 x 4 en x = x 2 x 3 = 2 x x 4. Dit geeft 2 x x 4 U = 2 x 3 2 x 4 x 3 x 3,x 4 R = e := 2, e 2 :=. x 4 2 Merk op dat e en e 2 orthogonaal zijn. Dus proj U (v) = v,e e,e e + v,e 2 e 2,e 2 e 2 5.( ) + 6.( ) = ( ).( ) + ( ).( ) e ( ) ( ).( ) e 2 = 2 e + 2 e 2 =. De kortste afstand van v tot U is volgens : 5 v proj U (v) = 6 7 = = Toepassingen a) De methode der kleinste kwadraten In veel fysische situaties is het gebruikelijk dat een stelsel Ax = b om theoretische redenen een oplossing moet hebben, maar dat het in werkelijkheid geen oplossing heeft vanwege meetfouten die de matrix elementen van A en b verstoren. In zulke situaties zoeken we naar een x die een zo goed mogelijke oplossing is in de zin dat Ax b minimaal is ( is de gewone Euclidische lengte). Probleem der klassieke kwadraten. Gegeven een lineair systeem Ax = b van m vergelijkingen met n onbekenden. Vind een vector x R n zó dat Ax b minimaal is. Zo n x heet een kleinste kwadraten oplossing van Ax = b.

9 3.3. TOEPASSINGEN 45 Opmerking 3.3. De naam kleinste kwadraten zien we als volgt: zij ε := Ax b de error functie, zeg ε = (ε... ε m ) t. Dan ε = ε ε2 m is minimaal d.e.s.d.a. ε 2 = ε ε2 m minimaal. Dit verklaart de naam! Om het kleinste kwadraten probleem op te lossen definiëren we U := {Ax x R n } R m. We zien dus dat U de lineaire deelruimte Im f A = Col(A) is (zie sectie 2.3). We zoeken een x R n zodat Ax dié vector uit U is die zo dicht mogelijk bij b ligt. Volgens moet dan Ax = proj U b zijn!. M.a.w. we moeten x oplossen uit Ax = proj U b. Lemma Er geldt Ax = proj U b d.e.s.d.a. A t Ax = A t b. Bewijs. Merk op dat U = Col(A) = Nul(A t ) (3.2.25). : Stel Ax = proj U b. Dan b Ax = b proj U b U = Nul(A t ), dus A t (b Ax) = m.a.w. A t Ax = A t b. : Omgekeerd, stel A t (Ax b) =. Dan Ax b Nul(A t ) = U. Ook b proj U b U. Dus Ax proj U b U. Per definitie zitten Ax en proj U b in U, dus Ax proj U b U. Totaal Ax proj U b U U = {}. Dus Ax = proj U b. Gevolg Als de kolommen van A lineair onafhankelijk zijn, dan is een kleinste kwadraten oplossing uniek. Bewijs. Uit volgt dat x een kleinste kwadraten oplossing is d.e.s.d.a. A t Ax = A t b. We laten nu zien dat A t A inverteerbaar is (waaruit dan de bewering volgt). Volgens is het voldoende te bewijzen dat uit A t Ax = volgt dat x =. Neem dus aan dat A t Ax =, m.a.w. A t (Ax) =. Dus Ax Nul(A t ) = U. Ook Ax U. Dus Ax U U = {}, m.a.w. x A + + x n A n =, waarbij A i de i-de kolom van A is. Uit het gegeven volgt dan dat x =... = x n = m.a.w. x =. Voorbeeld Gegeven het stelsel Ax = b d.m.v. x x 2 = 4 3x + 2x 2 = 2x + 4x 2 = 3 Laat zien dat er precies een kleinste kwadraten oplossing bestaat en vind die. 4 Oplossing. Hier A = 3 2 en b = Men ziet meteen dat de kolommen van A onafhankelijk zijn. Dus is er precies één kleinste kwadraten oplossing van Ax = b (3.3.3). Om deze te bepalen moeten we volgens x oplossen uit A t Ax = A t b. Uitrekenen van A t A en A t b levert het stelsel ( ) ( ) ( ) 4 3 x =. 3 2 Hieruit volgt dan eenvoudig: (x,x 2 ) = ( 7 95, ). x 2

10 46 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT b) Hoofdcomponenten analyse Bij statistische evaluaties kijkt men vaak naar het gemiddelde van de metingen en naar de spreiding van de metingen rond het gemiddelde. Als de metingen x,...,x m zijn, dan is het gemiddelde (in de kansrekening verwachtingswaarde geheten) µ = m m i= x i en de variantie is σ 2 = m m i= (x i µ) 2, d.w.z. het gemiddelde van de kwadratische afwijkingen van de verwachtingswaarde. Als we nu een experiment hebben met verschillende parameters, dan zijn de metingen vectoren v i met een zeker aantal componenten. Bij drie parameters is een meting bijvoorbeeld een vector van de vorm v i = x i y i z i. Het gemiddelde vinden we weer door de metingen bij elkaar op te tellen en door het aantal metingen te delen, dit geeft bij drie parameters de vector µ x µ = µ y = m µ z m v i. Het is nu niet meer vanzelfsprekend dat de grootste spreiding van de metingen in één van de richtingen der parameters ligt, want misschien is er een combinatie van parameters, die het grootste effect op het experiment heeft. We willen dus graag de richting bepalen waarin de spreiding maximaal wordt. Dit legt het verband met de orthogonale projecties want als we het over de spreiding in een bepaalde richting hebben, praten we over de spreiding van de orthogonale projecties op een lijn. Stel we willen de spreiding in de richting van een vector u met u = bepalen. Volgens is de orthogonale projectie van een vector v op de lijn langs u gegeven door proj u (v) = v,u u en wegens u = is het kwadraat van de lengte van deze projectie v,u 2. Als we nu metingen v,...,v m met een gemiddelde µ hebben, is de spreiding in de richting van u gegeven door σu 2 = m v i µ,u 2 m i= Omdat we in dit geval altijd met het standaard inproduct op R n werken, kunnen we v,u 2 nog iets anders schrijven, namelijk i= v,u 2 = u t v v t u Dit toegepast op σ 2 u geeft ( σu 2 = u t m m (v i µ) (v i µ) )u. t i= Opmerking De uitdrukking V := m m (v i µ) (v i µ) t i=

11 3.3. TOEPASSINGEN 47 is een n n matrix die alleen maar van de metingen v i afhangt. Deze matrix heet de covariantiematrix van de metingen v,...,v n. M.b.v. de covariantiematrix laat zich σ 2 u makkelijk schrijven als σ 2 u = u t V u. Gezocht is nu de vector u met u = waarvoor u t V u maximaal is. Nu laat zich voor covariantiematrices bewijzen, dat ze altijd diagonaliseerbaar zijn, met alleen maar positieve reële eigenwaarden. Met behulp hiervan gaat men na dat de vector u waarvoor u t V u maximaal is de eigenvector voor de grootste eigenwaarde van V is. Voorbeeld Gegeven zijn de tien metingen (x,y ) = ( 5, 2); (x 2,y 2 ) = ( 4, 3); (x 3,y 3 ) = ( 3,); (x 4,y 4 ) = ( 2, ); (x 5,y 5 ) = (, ); (x 6,y 6 ) = (,); (x 7,y 7 ) = (2,3); (x 8,y 8 ) = (3,2); (x 9,y 9 ) = (4,); (x,y ) = (5,2). Bepaal de richting van de grootste spreiding van deze metingen. Oplossing. De punten zijn zo gekozen dat het gemiddelde µ = moeten dus alleen maar de covariantiematrix bepalen, deze is V = ( i= x2 i i= x ) iy i i= x = iy i i= y2 i De eigenwaarden van V zijn ( ) ( i= x ) i i= y i λ = 2 ( ) 2.34, λ 2 = 2 (57 865) 3.36 en de eigenvector voor de grootste eigenwaarde λ is ( ) 64 u = ( ) = ( ) is. We Het plaatje hieronder geeft de metingen en de lijn in de richting van de grootste spreiding aan. Merk op dat de lijn vanwege µ = door de oorsprong loopt. Opmerking In het algemeen wordt deze methode gebruikt om uit een groot aantal parameters de belangrijkste combinaties eruit te vissen. Deze combinaties heten de hoofdcomponenten, vandaar de naam hoofdcomponenten analyse. Men neemt dan bijvoorbeeld in een experiment met honderd parameters de eigenvectoren die bij de grootste tien eigenwaarden horen en heeft hiermee vaak de belangrijkste eigenschappen voor het experiment beschreven.

12 48 HOOFDSTUK 3. VECTORRUIMTEN MET INPRODUCT Historische opmerkingen Een techniek die veel lijkt op de methode der kleinste kwadraten was ontwikkeld door Roger Cotes (682-76) in een werk (rond 75) waarin hij afwijkingen in astronomische waarnemingen behandelde. Het complete principe werd voor het eerst door Gauss op 6-jarige leeftijd (793) geformuleerd terwijl hij bezig was de verdeling der priemgetallen te bestuderen. Gauss zei later dat hij deze methode heel veel gebruikt had gedurende vele jaren bijvoorbeeld bij het berekenen van banen van astroïden. Hij publiceerde zijn methode in 89 en gaf 4 jaar later een nog uitgebreidere uiteenzetting. Echter Adrien-Marie Legendre ( ) was de eerste die de methode der kleinste kwadraten publiceerde in een werk in 86 over de bepaling van komeetbanen. Legendre was niet echt blij met het feit dat Gauss in 89 beweerde dat hij de methode als eerste had bedacht: tot 827 bleef Legendre Gauss daarover schrijven.