wordt de stelling van Pythagoras toegepast, in dit geval twee keer: eerst in de x y-vlakte en vervolgens in de vlakte loodrecht op de vector y.

Transcriptie

1 Wiskunde voor kunstmatige intelligentie, 2 Les 5 Inproduct Als we het in de meetkunde (of elders) over afstanden en hoeken hebben, dan hebben we daar intuïtief wel een idee van. Maar wat is eigenlijk de afstand van twee punten in het 2-dimensionale vlak? Als we twee punten (x, y ) en (x 2, y 2 ) hebben dan is hun afstand de lengte van de vector tussen de twee punten. We kunnen dus het meten van afstanden terug brengen ( op ) het meten van de lengte x van vectoren. Maar de lengte van een vector is natuurlijk x y 2 + y 2. Waarom is dit zo? Hierbij passen we inderdaad de stelling van Pythagoras toe, namelijk op de driehoek met hoekpunten (, ), (x, ) en (x, y). De hypothenuse is dan de vector waarvan we de lengte l willen weten en de katheten hebben lengtes x en y, dus geldt l 2 = x 2 + y 2. Ook in de -dimensionale ruimte berekenen we de lengte van een vector x op een soortgelijke manier, de lengte van y is x 2 + y 2 + z 2. Ook hier z wordt de stelling van Pythagoras toegepast, in dit geval twee keer: eerst in de x x y-vlakte en vervolgens in de vlakte loodrecht op de vector y. Het is nu voor de hand liggend, dat we in een n-dimensionale vectorruimte de lengte van een vector x. x n aangeven met x x2 n. Dit komt er op neer, de stelling van Pythagoras herhaald n keer toe te passen. En hoe zit het met hoeken? Als we weten wat een hoek in het 2-dimensionale vlak is zijn we klaar, want ook in een n-dimensionale vectorruimte liggen twee vectoren altijd in een 2-dimensionale deelruimte en we definiëren de hoek tussen de vectoren gewoon als de hoek in dit vlak. Het aardige is nu, dat we een hoek alleen maar uit afstanden kunnen berekenen, hiervoor hebben we trouwens wel de kosinusstelling nodig. I. Kosinusstelling In een driehoek met zijden a, b en c en met de hoek γ tussen de zijden a en b geldt: c 2 = a 2 + b 2 2ab cos(γ). In het geval van een rechthoekig driehoek vinden we de stelling van Pythagoras terug, want dan is γ en hoek van 9 graden en dus cos(γ) =. Als γ een scherpe hoek is (kleiner dan 9 graden) is cos(γ) >, dus wordt de tegenover γ liggende zijde c in dit geval korter dan in het rechthoekige driehoek, voor een stompe hoek γ wordt c groter. Het bewijs van de kosinusstelling kunnen we eenvoudig aan het volgende plaatje aflezen: 6

2 Wiskunde voor kunstmatige intelligentie, 2 A b h γ C d a D c B De driehoeken CDA en ADB zijn rechthoekig, dus geldt b 2 = h 2 + d 2, c 2 = h 2 + (a d) 2 en d = b cos(γ). Als we nu deze vergelijkingen van elkaar aftrekken krijgen we b 2 c 2 = d 2 a 2 + 2ad d 2 = a 2 + 2ad en dus c 2 = a 2 +b 2 2ad. Als we nu b cos(γ) voor d invullen, hebben we precies de bewering van de kosinusstelling. Voor een stompe hoek γ werkt het bewijs op een analoge manier. We vertalen het berekenen van een hoek in een driehoek nu naar vectoren. Als we de hoek tussen twee vectoren v en w willen weten, verbinden we de punten van de vectoren, en de vector die daar bij hoort is v w. De lengte van vectoren schrijven we als v, dus zegt de kosinusstelling dat voor de hoek γ tussen de vectoren v en w geldt dat v w 2 = v 2 + w 2 2 v w cos(γ). ( ) ( ) x x2 Als we dit nu voor twee vectoren v = en w = uitwerken, wordt het (x x 2 ) 2 +(y y 2 ) 2 = x 2 +y2 +x2 2 +y2 2 2 v w cos(γ), dus 2x x 2 2y y 2 = 2 v w cos(γ). Voor de hoek γ tussen v en w geldt dus: y cos(γ) = x x 2 + y y 2. v w De teller van deze formule kunnen we beschouwen als een functie van de vectoren v en w, namelijk Φ(v, w) = x x 2 + y y 2 als v en w zo als boven gegeven zijn. Wat zijn nu de eigenschappen van deze functie Φ? Als we de tweede vector w vast kiezen, dan zien we makkelijk in dat de functie lineair in het eerste argument is, want er geldt Φ(v + v 2, w) = Φ(v, w) + Φ(v 2, w) en Φ(λv, w) = λφ(v, w). Hetzelfde geldt natuurlijk ook voor het tweede argument, dus is Φ en lineaire functie in de twee argumenten, en zo iets noemen we een bilineaire afbeelding. We zullen nu algemeen naar bilineaire afbeeldingen kijken en vervolgens hieruit een nieuwe begrip van afstanden en hoeken afleiden, die de boven bediscussiërden ideeën als speciaal geval bevat. Het aardige is, dat we het algemene begrip ook op andere vectorruimten dan de gewone n-dimensionale ruimte kunnen toepassen. Dus kunnen we bijvoorbeeld een afstand tussen functies definiëren. 5. Bilineaire afbeeldingen Voor een vectorruimte V noemen we een afbeelding Φ, die aan een paar (v, w) van vectoren een getal Φ(v, w) R toewijst een bilineaire afbeelding als geldt: 7 y 2

3 Wiskunde voor kunstmatige intelligentie, 2 (i) Φ(v + v 2, w) = Φ(v, w) + Φ(v 2, w) voor alle v, v 2, w V (ii) Φ(λv, w) = λφ(v, w) voor alle v, w V, λ R (iii) Φ(v, w + w 2 ) = Φ(v, w ) + Φ(v, w 2 ) voor alle v, w, w 2 V (iv) Φ(v, λw) = λφ(v, w) voor alle v, w V, λ R. Een bilineaire afbeelding is dus lineair in het eerste en in het tweede argument. Als we een basis (v,..., v n ) van de vectorruimte hebben, dan is Φ al eenduidig gegeven door de waarden op paren van basisvectoren, want voor v = a v +... a n v n en w = b v +... b n v n is wegens de lineariteit in het eerste argument Φ(v, w) = n i= a iφ(v i, w) en wegens de lineariteit in het tweede argument Φ(v i, w) = n j= b jφ(v i, v j ), dus is Φ(v, w) = n n i= j= a ib j Φ(v i, v j ). De waarden op de paren van basisvectoren kunnen we handig in een matrix G opslaan waarin het element G ij gedefinieerd is door G ij := Φ(v i, v j ). De matrix G noemen we de Gram matrix van Φ (met betrekking tot de gegeven basis). Als we zo als boven een bilineaire afbeelding op een n-dimensionale vectorruimte definiëren als n Φ(v, w) := x i y i voor v = x. x n en w = y. y n i=, dan is met betrekking tot de standaardbasis de Gram matrix van Φ de n n identiteitsmatrix. Maar we kunnen nu ook naar een voorbeeld van een andere soort kijken: Neem als vectorruimte de veeltermfuncties van graad 2, dan kunnen we een bilineaire afbeelding definiëren door Ψ(f(x), g(x)) := f(x)g(x)dx. Dat dit inderdaad een bilineaire afbeelding is volgt uit de rekenregels voor integralen. We kiezen nu (, x, x 2 ) als basis, dan geldt Ψ(, ) =, Ψ(, x) = Ψ(x, ) = 2, Ψ(, x2 ) = Ψ(x, x) = Ψ(x 2, ) =, Ψ(x, x2 ) = Ψ(x 2, x) = 4 en Ψ(x 2, x 2 ) = 5 en dus is de Gram matrix van Ψ met betrekking tot de basis (, x, x 2 ) de matrix G = Wat hebben we nu aan die Gram matrix? We kunnen hiermee de waarden van een bilineaire afbeelding Φ heel handig als een matrixproduct uitrekenen, want voor vectoren v = a v +... a n v n en w = b v +... b n v n geldt 4 5. Φ(v, w) = (a,..., a n ) G 8 b.. b n

4 Wiskunde voor kunstmatige intelligentie, 2 In het voorbeeld van de gewone n-dimensionale ruimte met Φ(v, w) := n i= x iy i is dus de waarde van Φ op twee vectoren het matrixproduct van de getransponeerde eerste vector met de tweede vector, en dit is misschien voor sommige de bekende manier om het inproduct van vectoren in R n te berekenen. In het voorbeeld van de veeltermen berekenen we Ψ(f(x), g(x)) voor f(x) = x 2 + x + en g(x) = x 2 + x + 5 als (let op de volgorde van de basis) Ψ(f(x), g(x)) = ( ) = ( ) 5 = 66 5 We zullen later zien dat het zelfs voor de gewone n-dimensionale ruimte soms handig is met een bilineaire afbeelding te werken die (met betrekking tot de standaardbasis) niet de identiteitsmatrix is. Hierdoor kunnen we bijvoorbeeld gewichten voor de verschillende componenten van de vectoren invoeren. Het is duidelijk dat de Gram matrix afhankelijk is van de basiskeuze. Als we een andere basis kiezen, krijgen we ook een andere Gram matrix, maar die kunnen we eenvoudig uit de oude Gram matrix G berekenen als we de basistransformatie kennen. Als T de transformatiematrix is, waarin de i-de kolom t i de coëfficiënten van de i-de nieuwe basisvector met betrekking tot de oude basis bevat, dan is Φ(v i, v j ) voor de i-de en j-de vector in de nieuwe basis het product t tr i Gt j. Hierbij betekent t tr i dat we de vector t i transponeren, dus als een rij in plaats van een kolom schrijven. We zien dus, dat de Gram matrix G met betrekking tot de nieuwe basis gegeven is door G = T tr GT, waarbij T tr de getransponeerde (gespiegelde) matrix van T is. 5.2 Inproducten Tot dusver hebben we bilineaire afbeeldingen heel algemeen bekeken, we kunnen een willekeurige matrix A R n n kiezen en deze tot de Gram matrix van een lineaire afbeelding verklaren. Als we nu weer terug komen naar afstanden, lengtes en hoeken, dan zijn er nog een aantal dingen die we ook graag van een nuttige bilineaire afbeelding willen eisen. In het geval van de n-dimensionale ruimte zien we dat de lengte v van een vector v gelijk is aan Φ(v, v). Als we nu op een abstracte vectorruimte een bilineaire afbeelding hebben waarmee we een lengte willen definiëren, dan zullen we precies deze samenhang gebruiken. Omdat het schrijven van wortels soms onhandig wordt, wordt meestal het kwadraat van de lengte gedefinieerd. Maar hier zit al een belangrijke punt in: als Φ(v, v) < is, is het kwadraat van de lengte negatief, maar dan is de lengte een complex en geen reëel getal meer. Ook vectoren van lengte zijn onhandig, we willen dat alleen maar de -vector lengte heeft. Hieruit volgen de volgende eisen aan een nuttige bilineaire afbeelding Φ: (i) Φ(v, v) voor alle v V (ii) Φ(v, v) = v =. 9

5 Wiskunde voor kunstmatige intelligentie, 2 Een bilineaire afbeelding die aan de eisen (i) en (ii) voldoet noemen we positief definiet. Verder hadden we voor de n-dimensionale ruimte gezien, dat we de hoek tussen twee vectoren kunnen berekenen uit de formule cos(γ) = Φ(v,w) v w. Maar de hoek is natuurlijk onafhankelijk van de volgorde van de vectoren, dus willen we nog graag hebben dat Φ symmetrisch is, dus (iii) Φ(v, w) = Φ(w, v) voor alle v, w V. Een bilineaire afbeelding met de eigenschappen (i), (ii) en (iii), dus een positief definiete, symmetrische bilineaire afbeelding, noemen we een inproduct op V. Voor een inproduct schrijven we in plaats van Φ(v, w) ook vaak v, w. We zien nu makkelijk in dat de bilineaire afbeelding Φ(v, w) = n i= x iy i een inproduct op R n is, dit noemen we ook vaak het standaardinproduct op R n. Dat de bilineaire afbeelding Ψ(f(x), g(x)) = f(x)g(x)dx symmetrisch is, is duidelijk en Ψ voldoet ook aan eigenschap (i), want f(x) 2 en een integraal over waarden is zelfs ook. Er zit wel een klein probleempje met eigenschap (ii). De functie f(x) die alleen maar in het punt de waarde heeft, maar elders is, heeft inderdaad het integraal zonder zelfs de -vector te zijn. Maar dit is een functie met een sprong, dus een niet-continue functie, en als we ons op continue functies beperken zien we dat Ψ dan wel positief definiet is: Als f(x ) 2 > dan vinden we een klein stukje om x heen, waar ook f(x) 2 > geldt, omdat f(x) geen sprongen heeft. Maar dan hebben we een positieve vlakte onder de grafiek van f(x) 2 gevonden en is het integraal dus >. De vraag of een bilineaire afbeelding Φ een inproduct is kunnen we aan de Gram matrix G aflezen. Als Φ symmetrisch is, dan is Φ(v i, v j ) = Φ(v j, v i ) voor alle i, j en dus G ij = G ji. In dit geval is dus G tr = G, d.w.z. de Gram matrix is symmetrisch met betrekking tot een spiegeling in de diagonaal. Omgekeerd levert een symmetrische Gram matrix natuurlijk ook een symmetrische bilineaire afbeelding op. Iets ingewikkelder is de vraag of Φ positief definiet is. Laat dus eerst naar een speciale soort van Gram matrices kijken, namelijk diagonale Gram matrices. Voor G met G ii = d i en G ij = voor i j is Φ(v, v) = d a d na 2 n, als a i de coëfficiënten van v met betrekking tot de gekozen basis zijn. Hieruit volgt dat alle d i > moeten zijn, want anders geldt voor een van de basisvectoren dat Φ(v i, v i ). Maar als d i > voor alle i, dan is ook d a d na 2 n > voor elke keuze van a,..., a n, behalve van de -vector. Dus weten we dat in het geval van een diagonale Gram matrix Φ positief definiet is dan en slechts dan als alle diagonaalelementen > zijn. Equivalent hiermee kunnen we ook zeggen: Φ is positief definiet als voor alle links-boven deelmatrices G k van G geldt dat det(g k ) > is. De laatst genoemde eigenschap geldt inderdaad niet alleen maar in het geval van een diagonale Gram matrix maar ook in het algemeen, het bewijs hiervan is niet moeilijk, maar wel iets lastig om op te schrijven, dus laten we het hier bij het aangeven van het criterium: 4

6 Wiskunde voor kunstmatige intelligentie, 2 I. Stelling Een bilineaire afbeelding Φ is positief definiet als voor alle linksboven k k-deelmatrices G k van zijn Gram matrix G geldt dat det(g k ) > is. Een woord van waarschuwing: In de toepassingen zijn niet alleen positief definiete bilineaire afbeeldingen belangrijk. Het meest prominente voorbeeld van een bilineaire afbeelding die niet positief definiet is, is de afstand in de 4- dimensionale ruimtetijd van de relativiteitstheorie. Hier wordt de zogenoemde Minkowski-afstand gebruikt die voor een punt met ruimte-coördinaten (x, y, z) en tijd t de afstand x 2 + y 2 + z 2 ct 2 geeft. Hierbij is c de snelheid van het licht. Het idee is dat twee punten afstand nul hebben als hun posities in de ruimtetijd door een lichtsignaal kunnen worden verbonden. 5. Orthogonale bases We hebben gezien dat voor het standaardinproduct de Gram matrix (met betrekking tot de standaardbasis) de identiteitsmatrix is. Dat is zeker de eenvoudigste situatie die we tegen kunnen komen. Maar ook als de Gram matrix diagonaal is, is hier nog heel goed mee te werken, de inproducten van twee verschillende basisvectoren zijn dan altijd. In de 2-dimensionale vlakte en de -dimensionale ruimte is het duidelijk dat twee vectoren loodrecht op elkaar staan als hun standaardinproduct is. We gaan daarom ook in het algemeen zeggen, dat twee vectoren v, w ten opzichte van een bilineaire afbeelding Φ loodrecht op elkaar staan, als Φ(v, w) = is. We zeggen in dit geval, dat v en w orthogonaal zijn en schrijven dit ook als v w. Een stelsel (v,..., v n ) van vectoren (bijvoorbeeld een basis) heet orthogonaal, als Φ(v i, v j ) = voor alle i j is. Verder is het nog bijzonder handig als de vectoren van een basis lengte hebben, dus als Φ(v i, v i ) = voor alle i is. Zo n basis noemen we orthonormaal. De vraag is nu, of we voor een inproduct, op een vectorruimte V altijd een orthonormale basis kunnen vinden, dat wil zeggen een basis, zo dat de Gram matrix met betrekking tot deze basis de identiteitsmatrix is. Dit is inderdaad het geval en we kunnen zelfs een expliciete methode aangeven, die Gram-Schmidt orthogonalisatie heet. De belangrijke eigenschap van het inproduct die we hierbij gebruiken, is dat het de orthogonale projectie van een vector op de lijn door een andere vector beschrijft. Er geldt namelijk, dat de lineaire afbeelding w v, w π w (v) := v, w = w 2 w, w w de orthogonale projectie op de lijn door w weergeeft. Dit kunnen we goed aan het volgende plaatje aflezen: v v α w v 4

7 Wiskunde voor kunstmatige intelligentie, 2 We schrijven v als v = v + v, waarbij v parallel met w is en v loodrecht op w staat. We weten dat v = v cos(α), maar cos(α) = v,w v w, dus is v = v v,w v w = v,w w. Omdat v een veelvoud λw van w is, zien we dat λ = v,w w 2 = v,w w,w moet zijn. I.2 Gram-Schmidt orthogonalisatie We gaan uit van een basis (v,..., v n ) en willen een nieuwe basis (v,..., v n) vinden, die orthonormaal is. We construeren de orthogonale basis vector voor vector. De eerste vector v kunnen we bijna zo laten, we moeten er alleen maar voor zorgen dat hij lengte heeft. Dit bereiken we door v := v v te kiezen, want dan is v = v v 2, v =. Nu hebben we nodig dat v 2 loodrecht op v staat. Hiervoor trekken we de orthogonale projectie van v 2 op de lijn door v van v 2 af, de rest staat dan loodrecht op v. We zien dat het handig is dat v al lengte heeft, hierdoor wordt de formule voor de orthogonale projectie iets makkelijker. We berekenen v 2 := v 2 v 2, v v. en normeren de tweede basisvector nu weer op lengte door v 2 := v 2 v 2 te definiëren. Op deze manier gaan we nu door. Van de vector v i trekken we de projecties op alle eerder bepaalde basisvectoren in de orthonormale basis af, dus we krijgen algemeen: v i := v i i v i, v j v j, j= v i := v i v i. In het voorbeeld van de veeltermfuncties gaan we nu een orthonormale basis bepalen. We gaan uit van de basis (v, v 2, v ) = (, x, x 2 ). We hebben v =, dus is v = v =. Vervolgens is v 2 = v 2 Ψ(v 2, v )v = x 2. Maar Ψ(v 2, v 2 ) = (x 2 )2 dx = x2 x + 4 dx = = 2. Dus is v 2 = 2(x 2 ). Tenslotte is v = v Ψ(v, v )v Ψ(v, v 2 )v 2 = x2 ( 2( 4 6 ) 2(x 2 ) = x2 (x 2 ) = x2 x+ 6. We hebben Ψ(v, v ) = (x2 x+ 6 )2 dx = x4 + x x + x2 xdx = = 8. Dus is v = 8(x 2 x + 6 ). 5.4 Beste approximatie We kunnen het inproduct ook gebruiken om de coëfficiënten van een vector met betrekking tot een orthonormale basis (v,..., v n ) uit te rekenen. Er geldt namelijk voor v = c v c n v n dat c i = v, v i is, want v, v i = c i v i, v i = c i. Soms worden de coëfficiënten met betrekking tot een orthonormale basis ook Fouriercoëfficiënten genoemd.

8 Wiskunde voor kunstmatige intelligentie, 2 Verder kunnen we met behulp van het inproduct de orthogonale projectie in een deelruimte bepalen. Als (v,..., v r ) een basis voor een deelruimte U is (bijvoorbeeld voor een 2-dimensionaal vlak in de -dimensionale ruimte) dan kunnen we ons voorstellen dat hier nog n r orthonormale vectoren bij komen om een orthonormale basis van de volle ruimte te krijgen. Maar we hebben alleen maar de eerste r vectoren nodig om de orthogonale projectie van een willekeurige vector in de deelruimte U te berekenen, namelijk door v := v, v v v, v r v r. Het aardige aan deze formule is dat we op deze manier de beste approximatie van v in de deelruimte U vinden. Dat wil zeggen: v is degene vector in U waarvoor het verschil v v de minimale lengte heeft. Om dit in te zien schrijven we v = v + w, dan is w, u = voor alle u U omdat w een lineaire combinatie van de n r basisvectoren is die niet in U liggen en dus loodrecht op U staan. Maar als we nu de lengte van het verschil van v met een willekeurige vector u U berekenen, dan is v u 2 = (v v ) + (v u) 2 = (v v ) + (v u), (v v ) + (v u) = v v, v v + v u, v u + 2 v v, v u = v v 2 + v u w, v u = v v 2 + v u 2. Maar dit is minimaal als v u = is, dus als u = v is. Op deze manier kunnen we bijvoorbeeld projecties op een willekeurig 2- dimensionaal vlak in de -dimensionale ruimte uitrekenen. Stel we willen de projectie op het vlak U waarin de vectoren v = en v 2 = 2 liggen. Eerst hebben we dus een orthonormale basis voor U nodig. Dit wordt (met behulp van de Gram-Schmidt orthogonalisatie) v = v en v 2 = v 2 v = v 2 v = 5 en dus is v 2 = De projecties van de eenheidsvectoren in het vlak dat door v en v 2 opgespannen is zijn dus: e v + v = =, e 2 v + 5 v 2 = e v + 4 v 2 = = = ,.

9 Wiskunde voor kunstmatige intelligentie, 2 Maar meestal zijn we inderdaad niet geïnteresseerd in de projecties zelf maar in hun coëfficiënten met betrekking tot de orthonormaalbasis van de deelruimte, bijvoorbeeld als we de projecties in een vlak willen tekenen. We nemen dan de orthonormaalbasis van de deelruimte als de standaardbasis en vinden de componenten van de projecties als de inproducten, dus e ( ), e 2 ( 5 ), e ( 4 We kunnen nu ook functies door veeltermen benaderen door de beste approximatie van een functie door bijvoorbeeld een veelterm van graad 2 te berekenen. De beste approximatie van de sinus-functie op het interval [, ] is dan p(x) = c + c 2 (x 2 ) + c (x 2 x + 6 ) met c = sin(x)dx, c 2 = 2 (x 2 ) sin(x)dx en c = 8 (x2 x + 6 ) sin(x)dx. Dit gaan we hier niet uitwerken maar zien dat we in principe zo n benadering kunnen berekenen. Het principe van een orthogonale projectie in een deelruimte wordt ook in de Fourieranalyse gebruikt die bijvoorbeeld in de analyse en verwerking van geluidssignalen een rol speelt. Hierbij worden periodieke functies (trillingen) beschreven door hun projectie in de deelruimte die door de functies sin(kx) wordt opgespannen. De functies sin(kx) vormen namelijk een orthogonaal stelsel en worden door een geschikte scaling een orthonormale basis. Bij de hoofdcomponenten analyse hebben we de covariantiematrix A = n i= v i vi tr berekend, waarbij elke vector v i het verschil tussen een gemeten vectoren en het gemiddelde van de gemeten vectoren is. De eigenvector van de matrix A voor de grootste eigenwaarde geeft de richting van de grootste spreiding van de resultaten. Het aardige is nu, dat de eigenvectoren voor verschillende eigenwaarden met betrekking tot het standaardinproduct automatisch orthogonaal zijn omdat A een symmetrische matrix is, d.w.z. omdat A tr = A. Neem aan dat v een eigenvector met eigenwaarde λ en w een eigenvector met eigenwaarde µ is en dat λ µ. Er geldt: λ v, w = λv, w = Av, w = (Av) tr w = (v tr A tr )w = v tr (A tr w) = v tr (Aw) = v, Aw = v, µw = µ v, w dus is (λ µ) v, w =, en dus v, w omdat λ µ. We hebben dus de volgende belangrijke stelling gevonden: I. Stelling Voor een symmetrische matrix A = A tr zijn eigenvectoren met verschillende eigenwaarden orthogonaal (met betrekking tot het standaardinproduct). In de hoofdcomponenten analyse hoeven we dus alleen maar de eigenvectoren van de m grootste eigenwaarden te kiezen en deze op lengte te normeren, dan hebben we een orthonormaalbasis voor de m-dimensionale deelruimte met de grootste spreiding van metingen en we kunnen ook meteen de orthogonale projectie van de hoger-dimensionale metingen in deze deelruimte aangeven. 44 ).

10 Wiskunde voor kunstmatige intelligentie, Zoekmachines Een eenvoudige maar wel redelijk efficiënte manier om een zoekmachine in elkaar te zetten is gebaseerd op een variatie van het standaardinproduct. We nemen aan dat we een aantal van documenten D, D 2,..., D n hebben en dat deze de woorden t, t 2,..., t m (t voor term) bevatten. We beschrijven een document of een aanvraag Q (Q voor query) nu door de vector f(q) = (f, f 2,..., f m ) waarbij f i aangeeft hoe vaak het woord t i in Q voorkomt. We zeggen nu dat een aanvraag Q sterk op een document D i lijkt als de hoek tussen de vectoren klein is, dus als het inproduct f(q), f(d i ) tussen de vectoren groot is. Nu komen er nog gewichten bij, omdat sommige woorden belangrijker zijn dan andere: Een woord dat in alle documenten voorkomt geeft geen informatie over de overeenkomst met een aanvraag, terwijl een woord dat alleen in één document voorkomt een heel sterke indicator is. Daarom wordt het inproduct f(q), f(d i ) niet met het standaardinproduct berekend maar door f(q), f(d i ) := m w j f(q) j f(d i ) j, j= w... dus met de diagonale Gram matrix De gewichten w j worden meestal via de inverse document frequency bepaald, namelijk als w j :=... w m log(n/n j ) waarbij n j het aantal documenten in de collectie is, dat het woord t j bevat. Het maat, waarmee een aanvraag Q op een document D i lijkt is dus l(q, D i ) := f(q), f(d i) f(q) f(d i ) waarbij de lengte f(q) weer als f(q), f(q) gedefinieerd is. De documenten worden nu zo gerangschikt dat de waarde l(q, D i ) afneemt. In de praktijk zijn er natuurlijk een aantal trucjes bij de implementatie van zo n zoekmachine. Een van de belangrijkste is de inverse index, die voor een woord t i zegt in welke documenten hij überhaupt voorkomt. Dan hoeft bij een aanvraag alleen maar naar de documenten worden gekeken, waarin een van de woorden in de aanvraag voorkomt en dat zijn meestal niet zo erg veel omdat zinvolle aanvragen alleen maar informatie dragende woorden bevatten. Een lijst van heel onbelangrijke woorden (zogenoemde stopwords) wordt meestal expliciet uit de lijst van woorden uitgesloten. Belangrijke begrippen in deze les bilineaire afbeelding, Gram matrix getransponeerde matrix positief definiet 45

11 Wiskunde voor kunstmatige intelligentie, 2 inproduct orthogonaliteit, Gram-Schmidt orthogonalisatie orthogonale projectie beste approximatie Opgaven 22. Bepaal in een gewone kubus de volgende hoeken tussen vectoren die van het middelpunt van de kubus uit gaan: (i) Tussen de vectoren naar twee hoekpunten die door een ribbe verbonden zijn. (ii) Tussen de vectoren naar een hoekpunt en het middelpunt van een zijvlak die het hoekpunt bevat. (iii) Tussen de vectoren naar de middelpunten van twee ribben die zich op een zijvlak tegenover liggen. 2. Zij Φ een bilineaire afbeelding met Gram matrix (i) Bepaal de deelruimte van vectoren die loodrecht op e = staan. (ii) Bepaal de lijn die loodrecht op het vlak staat waarin e 2 = en e = liggen. 24. Op de 2 2-matrices definiëren we een afbeelding Φ(A, B) := sp(a B tr ). Hierbij betekent sp(x) := X +X 22 de spoor van de matrix X, dus de som van de elementen op de diagonaal. (i) Laat zien dat Φ een bilineaire afbeelding is. (ii) Ga na dat Φ een inproduct is. (iii) Bepaal (met behulp van de Gram-Schmidt orthogonalisatie) een orthonormaalbasis van R 2 2 met betrekking tot Φ. 25. Bereken de orthogonale projectie (met betrekking tothet standaardinproduct) van de vector v = 2 2 in het vlak dat de vectoren v = 2 en v 2 = bevat. 26. Zij V = R 4 met standaardinproduct. De deelruimte U V zij opgespannen door de vectoren v =, v 2 = en v =. Bereken de beste approximatie 46

12 Wiskunde voor kunstmatige intelligentie, 2 2 van v = 2 in U, d.w.z. de vector v U zo dat v v minimaal is. (Let op dat (v, v 2, v ) nog geen orthogonaal stelsel is.) 47