Convexe Analyse en Optimalisering

Transcriptie

1 Convexe Analyse en Optimalisering Bernd Heidergott Vrije Universiteit Amsterdam and Tinbergen Institute WEB: Overzicht Boek: Optimization: Insights and Applications, Jan Brinhhuis en Vladimir Tikhomirov, gaat verschijnen bij Princeton University Press, najaar 005; ook Inleiding in de Analyse, B. Kaper en H. Norde, Academic Service, Schoonhoven, Opbouw: 6 weken college á twee uur en 6 weken practicum á twee uur. Studiepunten 3 (ETCS), aantal uren dat de student wordt geacht voor het vak te studeren is 80 (4 x 6 = 4 contact uren + tentamenvoorbereiding + tentamen + zelfstudie). 1

2 1 Basisbegrippen (Appendix B & C uit B & V) 1.1 Het Limietbegrijp Definitie 1 Zij a IR en ε > 0. De verzameling U ε (a) = {x IR : x a < ε} = (a ε, a + ε) wordt de ε-omgeving van a genoemd. Zij V IR. En getal a V wordt een inwendig punt van V genoemd als er een ε > 0 bestaat zó, dat U ε V. Een getal a V dat geen inwendig punt is wordt randpunt genoemd. Definitie (Limiet) Zij {x(n) : n IN} een rij in IR and a een reëel getal. Het getal a wordt de limiet van de rij {x(n) : n : IN} genoemd als er voor ieder ε > 0 een getal N ε IN bestaat zó, dat voor ieder natuurlijk getal n > N ε geldt Wij noteren dit als x(n) a < ε. lim x(n) = a n of x(n) a als n. Een rij, die een limiet heeft, wordt een convergente rij genoemd. Een rij, die geen limiet heeft, wordt een divergente rij genoemd. De rij {x(n) : n IN} divergeert naar (plus) oneindig als voor iedere u IR een getal N u IN bestaat zó, dat voor ieder natuurlijk getal n > N u geldt x(n) > u. Wij noteren dit als of x(n) als n. lim x(n) = n Schrijfwijzen voor rijen: {x(n) : n IN}, {x(n)}, {x n : n IN}, {x n }, (x(n)) n=1,... Voorbeeld 1 Wij tonen aan dat de limiet van de rij { 1+n n } gelijk aan 1 is. Er geldt: 1 + n 1 n = 1 n = 1 n = 1 n De fractie 1/n wordt klein voor n groot. Zij ε > 0. Neem N ε n > N ε = 1 ε dan volgt 1 + n 1 n = 1 n < 1 1 = ε. ε = 1 ε en vervolgens

3 Voorbeeld [Optional, identiek met Opgave 1, Practicum week 1] (Voorbeeld, p 71 K&N) n Met de definitie van limiet tonen we aan dat lim +3n+4 n n +3 = 1. Zij ɛ > 0. Neem N ɛ = ɛ. Zij vervolgens n > N ɛ. Er geldt achtereenvolgens: n + 3n + 4 n = 3n + 1 n + 3 < 3n + n n = n < = ɛ. n Hiermee hebben we bewezen dat lim +3n+4 n n +3 = 1. Klad: Hoe kom je aan N ɛ = ɛ? We hebben al gezien dat n + 3n + 4 n < n. Dus als n < ɛ, dan is oftewel als n > ɛ, dan is n + 3n + 4 n + 3 n + 3n + 4 n < ɛ, 1 < ɛ. Het probleem is dus opgelost als we nemen N ɛ = ɛ. Rekenregels voor limieten: Als {x n } convergeert naar a en {y n } convergeert naar b, dan (i) convergeert de somrij {x n + y n } naar a + b (ii) convergeert de produktrij {x n y n } naar a b (iii) convergeert de quotiëntrij { xn y n } naar a b (b 0) Opmerking: dit geldt ook voor divergente rijen. Voorbeeld 3 Wij tonen aan dat de limiet van de rij R = { n +4 3 n 3 n +1 } gelijk aan 4 is. Wij gebruiken daarbij de eigenschap dat voor iedere a IR met a < 1 de rij {a n } convergeert naar 0. Als we de teller en noemer van de n de -term delen door 3 n, dan is de n de -term te herschrijven als ( ) n n n 3 n + 1 = 1 + ( ) 1 n. 3 De rij R laat zich ten behoeve van het convergentie-onderzoek als volgt ontleden: (stap 1) lim n ( 3) n = 0 en limn ( 1 3) n = 0 (stap ) volgens de rekenregel voor de somrij geldt: lim n ( ( n 3) + 4) = = 4 en lim n (1 + ( 1 n) 3) = = 1 3 ɛ

4 (stap 3) volgens de quotiëntenregel convergeert de rij R naar 4 1 = 4 Voorbeeld 4 [Optional] (Voorbeeld, p80 K&N) Wij onderzoeken de convergentie van de rij R = { n + n n} en willen, in het geval van convergentie, weten wat de limiet is van de rij. [Om enigszins een idee te krijgen van het gedrag van de rij rekenen wij eerst een aantal termen uit. Het lijkt er inderdaad op dat er rij een plafond bereikt.] Om de limiet daadwerkelijk te berekenen passen we de zogenaamde worteltruc toe. Als we t n = n + n n vermenigvuldigen én tegelijkertijd delen door n + n + n dan komt in de teller een zogenaamd merkwaardig product te staan van de vorm (a b)(a + b) dat gelijk is aan a + b. Laten we eens kijken wat we daarmee opschieten: t n = ( n + n n ) n + n + n n + n + n = n + n n n + n + n = n n + n + n. Delen we tot slot teller en noemer door n krijgen we t n = n + 1. De rij (t n ) n=1 laat zich aan de hand van de laatste uitdrukking voor t n ten behoeve van het convergentieonderzoek als volgt ontleden : de rij (1 + 1 n ) convergeert met limiet 1, de rij n convergeert met limiet 1 = 1 (oefening), de rij n + 1 convergeert met limiet, en t n convergeert met limiet 1. Voorbeeld 5 [Optional] (Voorbeeld, p107 K&N) We tonen aan dat de functie f op [0, ) \ {1} =: D f, gedefinieerd door f(x) = 3x 3 x 1, de limiet 6 in 1 heeft. Er geldt 3x 3 6 x 1 = 3(x 1) x x 1 x + 1 = 3(x 1)( x + 1) 6 x 1 = 3( x + 1) 6 = 3( x 1) = 3 x 1 x x 1. Als x 1 < δ dan geldt 3 x 1 < 3δ. Dus voor ɛ > 0 volgt voor alle x met x 1 < ɛ 3 =: δ ɛ dat 3x 3 6 x 1 < ɛ. Hiermee hebben we bewezen dat lim x 1 3x 3 x 1 = 6. 4

5 Cauchy rij: Een {x(n) : n IN} in IR noemen wij een Cauchy rij als er voor ieder ε > 0 een getal N ε IN bestaat zó, dat voor alle natuurlijke getallen m, n > N ε geldt x(n) x(m) < ε. Een rij {x(n) : n IN} is een Cauchy rij dan en slechts dan als de rij convergent is. N.B.: Opbouw van de reëele getallen. Een getal x IR is de verzameling van alle Cauchy rijen uit de rationele getallen die dezelfde limiet x bezitten Continuïteit Een functie f van een verzameling A naar de verzameling B is een voorschrift dat aan ieder element x van A precies één element f(x) van B toevoegt. De verzameling A wordt het definitiegebied of domein van f genoemd en wordt ook aangegeven met D f. We noteren de functie f van A naar B als f : A B of f : D f B. We noemen f(x) het beeld van x onder f. De verzameling van alle beelden wordt aan waardenverzameling of het bereik van f op A genoemd en aangeduid met R f (van het Engelse Range ) of f(a). Definitie 3 Zij f een functie op een interval I en c I. De functie f wordt continu in Def. 1.5, p. 18 c genoemd als er voor ieder ε > 0 een δ > 0 bestaat zó, dat x I : x c < δ f(x) f(c) < ε. De functie wordt continu genoemd als f continu is in ieder punt van I. Een functie f op een interval I is dan en slechts dan continu in c als voor ieder rij {x n } in I, waarvoor lim n x n = c, geldt lim n f(x n ) = f(c). Voorbeeld 6 We tonen aan dat de functie f op IR, gedefinieerd door { x + 1 als x f(x) = x + 4 als x > niet continu is in. Beschouw de rij {x n = + 1 n }. Dan geldt x n > voor iedere n IN en lim n x n =. Voor de beeldrij geldt f(x n ) = n voor iedere n IN dus lim n f(x n ) = 6. Als f continu was in dan zou volgens het rijencriterium de beeldrij {f(x n )} limiet f() = 5 moeten hebben. Dit is niet het geval dus f is niet continu in. Voorbeeld 7 [Optional] (Voorbeeld p118 in K&N) De functie f op R, gedefinieerd door f(x) = x 3, is continu in omdat f() = 3 = lim x x 3. 5

6 De functie f op [0, ) gedefinieerd door { 3x 3 f(x) x 1 als x 1 6 als x = 1 is continu in 1. Immers, f(1) = 6 = lim x 1 3x 3 x 1, zie voorbeeld 5. Een verzameling V IR wordt een open verzameling genoemd, als ieder punt van V een inwendig punt van V is. Een verzameling V IR wordt een gesloten verzameling genoemd, als het complement van V open is. Een verzameling V IR wordt begrensd genoemd, als er een m > 0 bestaat zó, dat voor iedere x V geldt x m. Een deelverzameling V van IR wordt compact genoemd, als V begrensd én gesloten is. Voorbeelden: intervallen [a, b], a < b en a, b IR, zijn compact. (a, b] en IR zijn niet compact. Theorem 1 (stelling van Weierstrass) Iedere continue functie f op een compact inter- Th. 1.6, p. 18 val I heeft een minimum en een maximum. en uit B & V Bewijs: Zij f een continue functie op een compact interval I = [a, b]. Dan is f be- volgt Derivation, p545 uit grensd. Wij kunnen dus zinvol spreken over B & V inf f(i) = inf{f(x) : x I} en sup f(i) = sup{f(x) : x I}. We moeten laten zien dat er c I bestaat zó, dat f(c) = inf f(i) en een d I zó, dat f(d) = sup f(i). We tonen alleen het bestaan van het maximum aan. Uit de bewering u = sup f(i) volgt dat voor ieder ε > 0 een x I bestaat zó dat u ε < f(x). Bij achtereenvolgens ε = 1, 1/, 1/3,... bestaan dus punten x 1, x, x 3,... met de eigenschap a x n b en u 1 n < f(x n) u voor ieder n IN. De beeldrij {f(x n )} convergeert dus naar u. Omdat a x n b voor iedere n IN heeft de rij {x n } een convergente deelrij 1 met limiet d [a, b]. Omdat f continu is in d convergeert de beeldrij naar f(d). N.B. Voor een rij {x n } is de limiet superior gedefinieerd als en de limiet inferior gedefinieerd als lim sup{x n : n N} N lim inf{x n : n N}. N De lim inf en lim sup bestaan altijd. De rij is convergent dan en slechts dan als lim inf x n = lim sup x n. 6

7 1. De Afgeleide Definitie 4 Zij f een functie op een interval I IR en c I. We noemen de functie f Def. 1.9, p. 9 f(x) f(c) differentieerbaar in c als lim x c uit B & V x c bestaat. In dat geval wordt de waarde van de limiet de afgeleide van f in c genoemd en geschreven als f (c). De functie f wordt differentieerbaar genoemd als f differentieerbaar is in ieder punt van I. In dat geval wordt de functie, die aan ieder punt x I de afgeleide van f toevoegt, de afgeleide functie van f genoemd en genoteerd met f. Andere notaties voor de afgeleide van f in c zijn df dx (c), Df(c), d dx x=c f,... Voorbeeld 8 We tonen aan dat de functie f op (0, ), gedefinieerd door f(x) = 1 x, differentieerbaar is en dat de afgeleide f op (0, ) gegeven wordt door f (x) = 1 x x. Zij c > 0. Er geldt voor 0 ( met c + x > 0) dat zodat f (c) = 1 c+ x 1 c 1 c c x = = = ( ) 1 c c + x x c c + ( 1 x ) c (c + x) c c + ( c + c + ) 1 c c + ( c + c + ). Aangezien dit geldt voor iedere c > 0 is de functie f differentieerbaar en wordt de afgeleide functie f op (0, ) gegeven door f (x) = 1 x x. Voorbeeld 9 (Voorbeeld p138 K&N en Voorbeeld 1.. p. 8 in B&V) De (absolute-waarde) functie f op R, gedefinieerd door f(x) = x, is continu in 0. Laat zien dat f (x) = x x, x 0. Voor x = 0 moten we de limiet onderzoeken. Er geldt Dus de limiet bestaat niet. lim 0 lim = 1 1 = lim 0 0. Rekenregels voor differentieerbare functies: Voor functies f en g op een interval geldt, Sect. B. als f en g differentieerbaar in c I zijn: p uit B & V (i) (somregel) (f + g) (c) = f (c) + g (c) (ii) (productregel) (fg) (c) = f (c)g(c) + f(c)g (c) 1 Bolzano-Weierstrass, ieder begrensde rij in IR heeft tenminste één convergente deelrij. 7

8 (iii) (quotiëntenregel) ( ) f (c) = f (c)g(c) f(c)g (c) g (g(c)) ( iv) (kettingregel) Zij g nu een functie op een interval J zó, dat g(j) I en c J. Als g differentieerbaar in c is en f in g(c), dan is de samengestelde functie f g differentieerbaar in c en (f g) (c) = f ( g(c) ) g (c). Voorbeeld 10 (Voorbeeld 1..1 p. 8 in B&V) (Alternatief practicum) We tonen aan dat voor iedere n 1 de functie f(x) = x n op IR differentieerbaar is en dat f (x) = nx n 1. We maken gebruik van het principe van volledige inductie. De bewering de functie f op IR, gedefinieerd door f(x) = x n, is differentieerbaar en f (x) = nx n 1 voor ieder x IR noemen wij P (n). stap 1 (P (1) is waar) De functie f(x) = x is differentieerbaar op IR en f (x) = 1 = 1 voor ieder h). ( f(x+h) f(x) h stap (voor ieder n IN geldt P (n) P (n + 1)) Zij n IN. Neem aan dat f (x) = nx n 1 voor ieder x IR. De functie g op IR gedefinieerd door g(x) = x n+1 is te schrijven als het product van de functie h op IR, gedefinieerd door h(x) = x en f. Volgens de productregel voor het differentiëren is g, als product van twee differentieerbare functies h en f, differentieerbaar en geldt voor iedere x IR g (x) = h (x)f(x) + h(x)f (x) = x n + xnx n 1 = (n + 1)x n. Daarmee is aangetoond dat de bewering P (n + 1) waar is. Drie visies op de afgeleide: de fysieke interpretatie, de geometrische interpretatie, en de analytische (approximatieve) interpretatie. Alleen de analytische interpretatie kan uitgebreid worden naar functies van meerdere variabelen. Zij r een functie op IR. Wij schrijven r(h) = o(h) als geldt r(h) lim = 0. h 0 h Voorbeeld r(h) = h. Interpretatie: door h klein te kiezen wordt r(h) willekeurig klein. 8

9 Definitie 5 Zij f een functie op een interval I IR en c I. We noemen de functie f differentieerbaar in c als Def. 1.1 p. 7 uit B & V f(c + h) f(c) = ah + r(h) voor r(h) = o(h) en a IR. In dat geval wordt a de afgeleide van f in c genoemd en geschreven als f (c). Alternatief kunnen wij schrijven f(c + h) = f(c) + ah + r(h), of f(c + h) = f(c) + ah + o(h) f(c + h) f(c) ah 0 als h 0. Theorem (de stelling van Taylor) Zij f een tweemaal differentieerbare functie op een open interval I IR en c I. Er geldt: voor iedere x I, x c, bestaat er een punt ξ x tussen c en x zó, dat zie ook Voorbeeld p. 83 uit B & V f(x) = f(c) + f (c)(x c) + 1 f (ξ x)(x c). De functie f(c) + f (c)(x c) wordt het eerste order Taylor polynoom van f in c genoemd. Bewijs: De rest r op I, gedefinieerd door r(x) = f(x) ( f(c) f (c)(x c) ), is tweemal differentieerbaar. Bovendien is r(c) = r (c) = 0 en r (x) = f (x) voor iedere x I. We zullen nu aantonen dat er voor iedere x I {c} een punt ξ x bestaat tussen c en x zó, dat r(x) = r (ξ x ) (x c). Definieer de hulpfunctie h op IR door h(x) = (x c). Zij x I {c}. Neem aan dat x > c. (Het bewijs als x < c gaat analoog.) Volgens de Cauchy middelwaardestelling, toegepast op de rest r en de functie h, beperkt tot het interval [c, x], bestaat er een ξ 1 (c, x) zodat r(x) r(x) r(c) = h(x) h(x) h(c) = r (ξ 1 ) h (ξ 1 ). Passen we nogmaals de Cauchy middelwaardestelling toe, maar nu op de functies r en h beperkt tot het interval [c, ξ 1 ], dan vinden we een ξ (c, ξ 1 ) met r (ξ 1 ) h (ξ 1 ) = r (x 1 ) r (c) h (x 1 ) h (c) = r (ξ ) h (ξ ). stelling van Rolle Cauchy middelwaardestelling 9

10 Omdat h (ξ ) =, is dus r(x) h(x) = r (ξ 1 ) h (ξ 1 ) = r (ξ ) h (ξ ), r(x) = r (x ) h(x) = r (ξ ) (x c). Voor ξ x = ξ hebben we de stelling aangetoond. Optimalisering over IR.1 Fermat s theorema voor een variable Probleem (P 1.1 ) Zij f een functie op IR: Def. 1. p. 14 f(x) extr. uit B & V noemen wij een optimaliseringsprobleem zonder restricties. Definitie 6 Zij f een functie op een interval I IR en c I. Wij noemen de func- Def. 1.3 p. 14 tiewaarde f(c) een lokaal minimum van f als een voor ε > 0 geldt f(x) f(c) voor uit B & V ieder x (c ε, c + ε) I. Het punt c wordt een minimumlokatie van f genoemd en f(c) de waarde van c. Wij noemen de functiewaarde f(c) een lokaal maximum van f als een voor ε > 0 geldt f(x) f(c) voor ieder x (c ε, c + ε) I. Het punt c wordt een maximumlokatie van f genoemd en f(c) de waarde van c. Wij noemen een minimum (maximum) globaal als voor ieder x I geldt f(x) f(c) (f(x) f(c)). Zij f een differentieerbare functie op een interval I IR. Een punt c I heet stationair punt als f (c) = 0. Theorem 3 (Theorem 1.4 p. 15 uit B&V) Zij probleem (P (1.1) ) gegeven en zij f differentieerbaar in c. Als c een lokaal extremum is, dan geldt f (c) = 0. [Ieder extremum is een stationair punt.] Bewijs: Neem aan dat c een inwendig punt is van D f en dat f differentieerbaar is in c. Neem bovendien aan dat f(c) een lokaal maximum is van f. Dan bestaat een ε > 0 zó, dat voor iedere x U ε (c) geldt f(x) f(c), oftewel f(x) f(c) 0. Omdat f(x) f(c) f differentieerbaar is in c, is lim x x c = f (c). Er geldt dus voor iedere rij {x n } in D f, waarvoor x n c voor n IN en lim n x n = c, dat f(x n ) f(c) lim = f (c). n x n c Neem een rij waarvoor c ε < x n < c voor iedere n IN en lim n x n = c. Dan is f(x n ) f(c) x n c 10 0

11 voor iedere n IN, en dus f (c) 0. Neem vervolgens een rij waarvoor c < x n < ε + c voor iedere n IN en lim n x n = c. Dan is f(x n ) f(c) x n c voor iedere n IN, en dus f (c) 0. Samenvattend geldt dus f (c) = 0. Als f(c) een minimum is verloopt het bewijs analoog. 0 Voorbeeld p. 17 uit B&V. (f(x) = x + 5x 1 min). Voorbeeld 1.3. p. 17 uit B&V. f (c) = 0 is niet toereikend voor global extrema (alleen noodzakelijk). Theorem 4 (tweede orde voorwaarde voor extremum) Zij f een tweemaal differentieerbare functie op een interval I en c een inwendig punt van I zó, dat f (c) = 0 en f continu is in c. Er geldt: a) als f (c) > 0, dan is f(c) een lokaal minimum van f b) als f (c) < 0, dan is f(c) een lokaal maximum van f. Bewijs: Deel a). Neem aan dat f (c) > 0. Omdat f continu is in c, bestaat er een ε- omgeving van c, U ε (c), zó, dat f (c) > 0 voor iedere x U ε (c). Zij x U ε (c) {c}. Volgens de stelling van Taylor bestaat er bij x een punt ξ x tussen c en x zó, dat f(x) = f(c) + f (c)(x c) + f (ξ x ) (x c) = f(c) + f (ξ x ) (x c) omdat f (c) = 0. Omdat x U ε (c), behoort het tussenpunt ξ x ook tot U ε (c) en is dus f (ξ x ) > 0. Omdat (x c) > 0, is dus f(x) = f(c) + f (ξ x ) (x c) f(c) + 0 = f(c) en f(c) is een lokaal minimum. Deel b). Neen aan dat f (c) = 0 en f (c) < 0. Dan is ( f) (c) = 0 en ( f) (c) > 0. Volgens onderdeel (a) is ( f)(c) dan een lokaal minimum van f, zodat f(c) een lokaal maximum is van f. Wat betekend het als f (x) = 0? In dit geval kan het punt x een maximumlokatie, een minimumlokatie of een buigpunt zijn. Een buigpunt ˆx is een lokaal extremum van f (x), dat wil zeggen, ˆx is een buigpunt wanneer f (ˆx) = 0 en f (ˆx) 0 is. In het geval f (ˆx) = 0, moet de functie verder onderzoekt worden. Het is niet mogelijk om een gesloten algoritme aan te geven voor het bepalen van de aard van een stationair punt. Bijvoorbeeld heeft de functie {e 1 x f(x) = x 0 0 x = 0, 11

12 ˆx = 0 als stationair punt en ˆx is een buigpunt. Alle afgeleiden zijn echter bij ˆx null, f (n) (0) = 0, n 1. Test via de Nde afgeleide: Zij f N keer differentieerbaar in een punt c zó dat f (n) (c) = 0 voor 1 n < N en f (N) (c) 0. Voor N even (dus N {n : n N}) geldt: c is een lokaal minimum als f (N) (c) > 0, en c is een lokaal maximum als f (N) (c) < 0. Voor N oneven (N {n + 1 : n N}) is c een buigpunt. Voorbeeld nog een keer via tweede orde voorwaarden. Vinden van het globaal minimum: via tweede orde voorwaarden alle (lokale) minima berekenen en door vergelijking van de waarden van de minima het globale minimum identificeren.. De vier stappen methode Eenvoudiger (en numeriek efficiënter) is het eerst aan te tonen dat er een globaal minimum bestaat en dan de waarden van de stationaire punten te checken. Een functie op IR heet coercive ( dwingend ) (voor minimalisering) als lim x f(x) = +. Corollary 1 (Corollary 1.7 p. 19 uit B&V) Zij f een coercive en continue functie op IR, dan heeft f een globaal minimum. De vier stappen methode: 1. wiskundig model voor het probleem. bepaal de noodzakelijke voorwaarden voor een extrema 3. los de vergelijkingen op 4. conclusie Voorbeeld p. 0 (voorbeeld voortgezet) uit B&V p.9. (f(x) = x+5x 1 min). Voorbeeld p. 4 uit B&V (f(x) = ax + bx + c min). Corollary voorbeeld p. 3 uit B&V ((x = cos x) beschrijft globaal minimum.) Remark p. 31 uit B&V [Optional] 1

13 3 Fermat s theorema voor meerdere variabelen 3.1 De n dimensionale ruimte Definitie 7 Zij x IR n. De (euclidische) norm van x, notatie x, is gedefinieerd door x = x x n. Voor het product van een getransponeerde vector uit IR n met een vector uit IR n is geldt: n x y = x i y i. i=1 Verder is de lengte van de vector x gegeven door x = x x. Geometrische interpretatie: gegeven x, y IR n en zij de hoek tussen x en y gelijk aan ϑ, dan geldt x y = x y cos(ϑ) Wij noemen vectoren x, y IR orthogonaal als x y = 0. Er geldt: x + y = x + x y + y. Dit ziet men zó: x + y = (x i + y i ) = (x i + x i + y i + y i ) = x i + x i y i + y i = x + x y + y. Theorem.1 p. 89 uit het boek (Cauchy-Bunyakovskii-Schwartz ongelijkheid en driehoeksongelijkheid) Uitwerking: (1) x y x y x y De linker ongelijkheid is triviaal omdat x y R is. Zij x 0 (x = 0 triviaal). Beschouw het probleem f(α) = αx + y min. Er geldt f(α) = αx + y = α x + αx y + y en f is coercief voor minimaliseering: lim f α f(α) =. f (α) = α x + x y f (α) = 0 α = x y x 13

14 De waarde van het minimum is ( ) f x y x = (x y) x 4 x x y x x y + y Omdat f(α) 0 volgt oftewel worteltrekken = (x y) x (x y) x + y = x y (x y) x. x y (x y) x 0 x y (x y) x y x y let op x y kan negatieve waarden aannemen. Bewijs van onderdeel (): Met onderdeel (1) volgt x + y = x + x y + y x + x y + y (gebruik hier (1)) = ( x + y ). Definitie 8 Zij a IR n en ε > 0. De verzameling U n (a, ε), U n (a, ε) = {x IR n : x a < ε} wordt de ε-omgeving van a in IR n genoemd of de open bal in IR n om a met radius ε. Zij r : IR n IR. Wij schrijven r(h) = o(h) als geldt r(h) lim = 0. h 0 h Een verzameling V IR n wordt een open verzameling genoemd, als ieder punt van V een inwendig punt van V is. Een verzameling V IR n wordt een gesloten verzameling genoemd, als het complement van V open is. Een verzameling V IR n wordt begrensd genoemd, als er een m > 0 bestaat zó, dat voor iedere x V geldt x m. Een deelverzameling V van IR n wordt compact genoemd, als V begrensd én gesloten is. Definitie 9 Een symmetrische n n matrix A heet positief definiet als voor ieder x IR n, x 0, geldt: x Ax > 0 positief semi-definiet als voor ieder x IR n, x 0, geldt: x Ax 0 14

15 negatief definiet als voor ieder x IR n, x 0, geldt: x Ax < 0 negatief semi-definiet als voor ieder x IR n, x 0, geldt: x Ax 0 indefiniet als er een x 1 IR n, bestaat waarvoor x 1 Ax 1 > 0 en een x IR n waarvoor x Ax < 0 Voorbeeld 11 De symmetrische matrix A = is positief definiet. Immers, j a 1jx j x j Ax = (x 1,..., x n ) a jx j. = j a j njx j x 1 a 1j x j + j x a j x j + + j x n a nj x j en de kwadratische functie x Ax = 3x 1 + x + x 3 + x 1 x + x x 3 + x 1 x 3 is door afsplitsen van de kwadraten te schrijven als x 1 + (x 1 + x ) + (x 1 + x 3 ) + (x + x 3 ). De som van kwadraten is > 0 tenzij x 1 = x 1 + x = x 1 + x 3 = 0 oftewel x = Afgeleiden Definitie 10 Zij f een functie op een open bal U n (c, ε). We noemen de functie f differentieerbaar in c als er een rijvector f (c) bestaat zó, dat f(c + h) = f(c) + f (c) h + r(h) voor r(h) = o(h) en c + h U n (c, ε). In dat geval wordt a de afgeleide van f in c genoemd en geschreven als f (c) of Df(c). Voorbeeld..1 p. 93 uit B&V (f(x) = x 1 + x ). Definitie 11 (eerste afgeleide) Zij f : U n (c, ε) IR. Als de snedefunctie g van f in c met betrekking tot de k-de variable x k, gedefinieerd door g(x k ) = f(c 1,..., c k 1, x k, c k+1,..., c n ) differentieerbaar is in c k dan wordt de functie f partieel differentieerbaar naar de k-de variable in c genoemd. De afgeleide g (c k ) wordt de partieële afgeleide van f 15

16 naar de k-de variable in c genoemd en genoteerd als f(c) x k. Wij noemen f partieel differentieerbaar in c als f(c) x k, 1 k n, bestaan: ( f(c) f (c) =,..., f(c) ). x 1 x n De rijvector f (c) wordt gradient genoemd 3. Wij noemen f partieel differentieerbaar als f partieel differentieerbaar in ieder punt van U n (c, ε). Een functie, die differentieerbaar is in een punt, is continu in dat punt. (Dit volgt uit f(c + h) f(c) = f (c) h + r(h).) Voorbeeld 1 De functie f op IR, gedefinieerd door { xy x f(x, y) = +y als (x, y) (0, 0) 0 als (x, y) = (0, 0) is in (0, 0) niet continu en dus ook niet differentieerbaar. De functie f is wel partieel differentieerbaar in (0, 0). De snedefunctie van f in (0, 0) wordt gegeven door { 0 als x 0 g(x) = f(x, 0) = 0 als x = 0. Dus f f x (0, 0) = 0. Op analoge wijze vind je dat y (0, 0) = 0. Dus f (0, 0) = (0, 0). Theorem 5 Zij f : D f IR n IR en c een inwendig punt van D f. Er geldt: als f partieel differentieerbaar is op een omgeving U van c en de partiële afgeleiden zijn continu zijn in c, dan is f differentieerbaar in c en is f (c) is gelijk aan de gradient van f in c. (Zonder bewijs) Definitie 1 (tweede afgeleide) Zij f : U n (c, ε) IR een reëelwaardige functie, die tweemaal continu differentieerbaar is op een omgeving van x U n (c, ε). De n n matrix Hf(x), Hf(x) = f x 1x 1 (x) f x x 1 (x). f x n x 1 (x) f x 1x (x) f x x (x). f x n x (x) wordt de matrix van Hesse of de Hessiaan van f in x genoemd. f x 1x n (x) f x x n (x). f x n x n (x) 3 Als f : U n (c, ε) IR m dan wordt de matrix J met J ij = f i /x j de matrix van Jacobi of de Jacobiaan van f genoemd. 16

17 Onder de voorwaarden in opgave 7 geldt: N.B: Hf(x) = f x ix j (x) = x 1 f (x) x f (x).. x n f (x) ( ) f x i x j (x). Voorbeeld 13 Voor een symmetrische n n matrix A definiëren we de kwadratische functie f op IR n door f(x) = x Ax. We tonen aan dat H(x) = A voor iedere x IR n. Er geldt f(x) = x i a ij x j = a kj x j + x i a ik x k x k i j j i = j x j a jk + i x i a ik Asym. = i x i a ik = x A. Dus, ( n ) n n f (x) = Df(x) = x A = x i a i1, x i a i,..., x i a in, i=1 i=1 i=1 zodat voor iedere x IR n. Hf(x) = a 11 a 1 a 1n a 1 a a n... a n1 a n a nn = A (= A ). 3.3 Fermat s theorema voor meerdere variabelen Probleem (P.1 ) Zij f een functie op IR n : Sect..3 in B & V f(x) extr. noemen wij een n-dimensionaal operationaliseringsprobleem zonder restricties. Definitie 13 Zij f een functie, die partieel differentieerbaar is in een inwendig punt c. Wij noemen c een stationair punt van f als Df(c) = 0. 17

18 Theorem 6 (Theorem.5 p. 97 uit B &V) Zij f een reëelwaardige functie en c D f zó dat f(c) een lokaal extremum is van f. Er geldt: als c een inwendig punt is van D f en f differentieerbaar in c, dan is c een stationair punt van f. Bewijs: Neem aan dat c een inwendig punt van D f is en dat f differentieerbaar is in c D f. Neen een vector u IR met u = 1 (een richtingsvector dus) en beschouw de functie F op een open interval I = ( δ, δ), gedefinieerd door F (t) = f(c + tu). Omdat f(c) een lokaal extremum is van f, is F (0)(= f(c)) een lokaal extremum van F. Omdat F differentieerbaar is in 0 met F (0) = Df(c)u en 0 een inwendig punt is van I, geldt volgens F (0) = 0 oftewel Df(c)u = 0 (dit is Fermat s theorema voor een variabele). De richtingsvector u is willekeurig genomen zodat Df(c)u = 0 voor iedere u. Neem achtereenvolgens u = e i, i = 1,..., n, dan geldt oftewel Df(c) = 0. Voorbeeld.3.1 uit B&V p. 99. Voorbeeld.3. uit B&V p. 99. [Optional] x i f(c) = 0, 1 i n, Theorem 7 (de stelling van Taylor) Zij f een tweemaal continu differentieerbare, reëlwaardige functie met een open convex definitiegebied D f IR n en c D f. Er geldt: voor ieder punt x D f, x c, bestaat er een punt ξ x tussen c en x zó, dat (Zonder bewijs.) f(x) = f(c) + Df(c)(x c) + 1 (x c) Hf(ξ x )(x c). Theorem 8 (tweede orde voorwaarde voor extremum) Zij f een reëelwaardige functie die tweemaal continu differentieerbaar is op een omgeving van een stationair punt c van f (c is inwendig punt). Er geldt: a) als Hf(c) positief definiet is, dan is f(c) een lokaal minimum van f b) als Hf(c) negatief definiet is, dan is f(c) een lokaal maximum van f c) als Hf(c) indefiniet is, dan is c een zadelpunt van f. Bewijs: We volstaan met het geven van een schets van het bewijs van deel a ). Neem aan dat Hf(c) positief definiet is. Omdat de tweede orde partiële afgeleiden van f continu zijn, bestaat er een omgeving U van c zó, dat Hf(c) positief definiet is voor iedere x U. Zij x U, x c. Volgens de stelling van Taylor bestaat er een punt ξ x tussen c en x zó, dat f(x) = f(c) + 1 (x c) Hf(ξ x )(x c), 18

19 (merk op dat Df(c) = 0). Omdat ξ x gelegen is tussen c in x geldt ξ x U. De Hessian Hf(ξ x ) is dus positief definiet zodat (ξ x c) Hf(ξ x )(ξ x c) 0. Bijgevolg is dus f(x) f(c) voor iedere x U. De waarde f(c) is dus een lokaal minimum. Voortzetting van voorbeeld.3.1 p. 99 uit B&V. Er geldt ( ) 0 Hf(x) = 0 is pos. definiet. 3.4 De vier stappen methode Het theorema van Weierstrass geldt ook in IR n, Theorem.6 uit B&V p. 98. Een functie op IR n heet coercive ( dwingend ) (voor mimmalisering) als lim x f(x) = +. Een coercieve en continue functie f op IR n, dan heeft f een globaal minimum. 3.5 Convexe en concave functies Definitie 14 Zij f een reëelwaardige functie met een convex definitiegebied D f IR n. De functie wordt concaaf genoemd als voor ieder tweetal punten a, b D f en voor iedere t [0, 1] geldt f((1 t)a + tb) (1 t)f(a) + tf(b). De functie wordt convex genoemd als voor ieder tweetal punten a, b D f en voor iedere t [0, 1] geldt f((1 t)a + tb) (1 t)f(a) + tf(b). Theorem 9 Zij f een reëelwaardige functie die tweemaal continu differentieerbaar is op een convex verzameling S. Er geldt: a) als Hf positief definiet is op S, dan is f strikt convex op S b) als Hf negatief definiet is, dan is f strikt concaaf op S c) f is concaaf op S dan en slechts dan als Hf positief semidefiniet op S d) f is convex op S dan en slechts dan als Hf negatief semidefiniet op S (Zonder bewijs.) Theorem 10 Zij f een differentieerbare, reëelwaardige functie met een convex definitiegebied D f IR n en c een stationair punt van f. Er geldt: a) als f concaaf is, dan is f(c) het (globale) minimum van f b) als f convex is, dan is f(c) het (globale) maximum van f. (Zonder bewijs.) Sect. B.3 uit B & V 19

20 4 Lagrange Probleem (P 3.1 ) Zij f : D IR, met D IR n : Def. 3.1, p. 140 f 0 (x) extr, f i (x) = 0, 1 i m, noemen wij een n-dimensionaal optimaliseringsprobleem met nevenvoorwaarden in de vorm van een stelsel bestaande uit meer dan één vergelijking. Voorbeeld 14 Voorbeeld 3..1 p. 140 uit B&V. f 0 (x) = x 1 x max, a > 0 f 1 (x) = x 1 + x a = 0, x i > 0 voor i = 1,. Let op dat wij x i = 0 kunnen toelaten zonder de oplossing te beïnvloeden. x i = 0 levert immers f 0 (x) = 0 op en dit is zeker geen maximumlocatie. De verzameling V = {x 1, x 0 : x 1 + x a = 0} is een kwart cirkel met radius a en is dus compact. Met de stelling van Weierstrass volgt dan dat er een maximum bestaat en de randpunten en de stationaire punten kandidaat maxima zijn. Uitwerking via Fermat: x 1 = a x en wij kunnen f 0 herschrijven als f 0 (x ) = x a x. Wij vereenvoudigen de notatie door x = x te schrijven. Differentiëren geeft Bepalen van de stationaire punten: f 0(x) = a x + 1 ( x)x a x = a x x a x. f 0(x) = 0 a x = x a x a x = x x = a. Dus x = a en invullen in f 1 geeft x 1 = a en f 0 ( a, a = x ) a = a. 0

21 De randpunten (a, 0) en (0, a) geven f 0 = 0. Dus ( ) a, a is maximumlocatie. 4.1 De Lagrangemethode Wij voeren op de productruimte D IR m+1 de Lagrangefunctie L in, gedefineerd door m L(x, λ) = λ i f i (x). i=0 De rijvector λ wordt de Lagrange multiplicator genoemd. Wij schrijven L x (y, λ) voor de rijvector van partiële afgeleiden naar x in y: ( L L x (y, λ) = (y, λ),..., L ) (y, λ). x 1 x n Theorem 11 (Theorem 3.3 p. 143 uit B&V.) Zij f 0 differentieerbaar in y D en f i, 1 i m, continu differentieerbaar in y. Zij y een inwendig punt van D zó, dat f(y) een lokaal extremum is van f op de verzameling T = {x D : f i (x) = 0, 1 i m}. Er geldt: er bestaat een Lagrange multiplicator λ 0 m+1 zó, dat y een stationair punt is van L(x, λ), oftewel L x (y, λ) = 0 n m m λ i f i(y) = 0 n = i=0 m i=0 i=0 λ i ( fi x 1 (y),..., f i x n (y) λ i f i x j (y) = 0, 1 j n. N.B.: de vectoren f i (y), 0 i m, zijn lineair afhankelijk. In woorden: een lokaal extremum van het optimaliseeringsprobleem is ook altijd een stationair punt van de Lagrangefunctie. Het is echter niet altijd zo dat een lokaal extremum van het optimaliseeringsprobleem ook een lokaal extremum van de Lagrangefunctie is. ) Voorbeeld 15 Voorbeeld 3..3 p. 144 uit B&V (voorsetting van voorbeeld 14) Weierstrass is al gedaan (minimum lokaaties zijn de randpunten, we zoeken maximum). L(x, λ) = λ 0 f 0 (x) + λ 1 f 1 (x) = λ 0 x 1 x + λ 1 (x 1 + x a ). L x (x, λ) = 0 x 1 L(x, λ) = λ 0 x + λ 1 x 1 = 0 x L(x, λ) = λ 0 x 1 + λ 1 x = 0 1

22 (a) Zij λ 0 = 0, dan λ 1 x 1 = λ 1 x. Omdat λ 1 0 geeft dit x 1 = 0 = x en dat is tegenstrijdig met f 1. (b) Zij λ 0 = 1, dan Dus x + λ 1 x 1 = 0 x 1 + λ 1 x = 0 } λ 1 = x x 1 λ 1 = x 1 x x x 1 = x 1 x x 1 = x. Met f 1 volgt dan x 1 = x = a. Verdeel van Lagrange in vergelijk met Fermat: (i) algebra is makkelijker (no roots ), (ii) n + m vergelijkingen in precies zo veel onbekenden waarvan λ 1,..., λ m niet hoeven berekend te worden. Voorbeeld 3..6 p. 147 uit B&V. (λ 0 = 0) Wij veronderstellen verder dat x f 0. Uitwerking: f 0 (x) min onder f 1 (x) = x 1 x 3 = 0. 1) (Zonder Weierstrass) ) (a) Zij λ 0 = 0, dan λ 1 0 en L(x) = λ 0 f 0 (x) + λ 1 (x 1 x 3 ) L(x) = λ 0 f 0 (x) + λ 1 x 1 x 1 x 1 L(x) = λ 0 f 0 (x) + 3λ 1 x x x x 1 f 0 = invullen in f 1 geeft 9 4 x4 x 3 = (b) Zij λ 0 = 1, dan Omdat λ 1 x 1 = 3λ 1 x x 1 = 3 x ( ) 9 4 x 1 x 3 = 0 x 1 = x = 0 of x = 4 9, x 1 = 8 7. f 0 (x) + λ 1 x 1 = 0 en f 0 (x) + 3λ 1 x = 0 x 1 x x 1 f 0 = x f 0 volgt hieruit Dit leidt tot de zelfde oplossing als (a). x 1 = 3x.

23 4. Werken met de Lagrangemethode Voorbeeld 3..8 p. 149 uit B&V. Uitwerking: a) Herschrijf C 4 x x4 x 1 + x D 4 x x4 als x C 1 + x D. 4 x x 4 Zij y = αx, dan is y 1 + y x = 1 + x 4 y y 4 4 x x 4 Wij kunnen dus volstaan met x x 4 = 1 (de lengte van de x-vector is niet belangrijk). Wij lossen op f 0 (x) = x 1 + x extr. of x x 4 1 = 0 f 0 (x) = x 1 + x extr. x x 4 1 = 0 1) (Weierstrass) f 0 is continu en V = {x : x x 4 1 = 0} is compact: afgesloten: V = g 1 ({0}) met g(x) = x x 4 1 continu niet leeg: (1, 0) V begrensd: voor ieder x V geldt 1 x 1, x 1 ) L(x, λ) = λ 0 (x 1 + x ) + λ 1 (x x 4 1) L(x) x 1 = λ 0 x 1 + 4λ 1 x 3 1 L(x) x = λ 0 x + 4λ 1 x 3 (a) Zij λ 0 = 0, dan λ 1 0 en 4λ 1 x 3 1 = 0 = 4λ 1 x 3. Dus x 1 = 0 = x en dat is in tegenspraak met x x 4 = 1. (b) λ 0 = 1, dan Mogelijke oplossingen: x 1 + 4λ 1 x 3 1 = 0 4λ 1 = x 1 x 3 1 x + 4λ 1 x 3 = 0 4λ 1 = x x 3 x 1 x 3 = x x 3 1 3

24 x 1 = 0 en x = ±1 x 1 = ±1 en x = 0 zij x 1 0 en x 0 (en wij mogen door x 1, x delen) dan x 1 x 3 = x x 3 1 x 1 = x x 1 = x =: C Uit de nevenvoorwaarde volgt C 4 + C 4 = 1 C = 4 1 Uit de bovenstaande analyse volgt voor de extrema ˆx ˆx {(0, 1), (1, 0), ( 1, 0), (0, 1), (C, C), ( C, C), (C, C), ( C, C)} De waarden van f 0 voor ˆx {(0, 1), (1, 0), ( 1, 0), (0, 1)} zijn gelijk aan 1 en de andere waarden zijn gelijk aan > 1. Dus de punten {(C, C), ( C, C), (C, C), ( C, C)} zijn maximumlocaties en de punten {(0, 1), (1, 0), ( 1, 0), (0, 1)} zijn minimumlocaties. Wij hebben dus aangetoond: 1 x 1 + x, voor x x 4 = 1 oftewel en we hebben 1 x 1 + x 4, voor x x 4 = 1 x x 4, x x 4 voor ieder x (wij hebben boven al aangetoond dat we met x x 4 = 1 kunnen volstaan, de lengte van de x-vector is niet belangrijk). Er geldt dus C = 1 en D = Interpretatie van de λ-vector Probleem (P 3.1) Zij f : D IR, met D IR n : f 0 (x) extr, f i (x) = b i, 1 i m, Stel dat de Lagrange methode kan worden toegepast op het bovenstaande probleem met ˆf i = f i b i = 0, 1 i m. De oplossing y is een stationair punt van L(x, λ). De waarde functie f 0 (b) := f 0 (y 1(b),..., y n(b)) hangt van de waarde van de restrictie b af. Veronderstel dat y (b) differentieerbaar is in b, dan is b j f 0 (b) = λ j (b), 1 j m. De Lagrangemultiplicator λ j geeft dus aan hoe de waardefunctie in de optimale oplossing y van de constante b j afhangt. Het getal λ j (b) word ook schaduw prijs of marginale waarde genoemd. Het bovengenoemde resultaat is een voorbeeld van een envelop theorema. In het volgende wordt een volledig envelop theorema gegeven. 4

25 Theorem 1 (Envelop theorema) De voorwaarden in theorema 11 zijn vervult. Voor 1 i m, zij restrictie f i afhankelijk van r i en continu differentieerbaar in b i. De Lagrangefunctie heeft een uniek stationair punt x = x (b ) voor b = b. Er geldt: (Zonder bewijs.) b i f 0 (b) = ( b i L(x, b) 4.4 Bewijs van de Lagrangemethode ) x=x (b),b=b, 1 i m. Zij F gedefinieerd op R. De niveaukromme F (x, y) = c zij differentieerbaar op R. De helling van de niveaukromme in het punt (x, y) is gegeven door F (x, y) = c y = x y De helling van de tangent in het punt (x 0, y 0 ) is dan en de vergelijking voor de tangent is oftewel y y 0 = y = x F (x 0, y 0 ) y F (x 0, y 0 ) F (x, y). F (x, y) x F (x 0, y 0 ) y F (x 0, y 0 ) (x x 0) x F (x 0, y 0 ) y F (x 0, y 0 ) (x x 0) + y 0 (dus (x, y) is een punt op de tangent als (x, y) aan de bovenstaande vergelijking voldoet). Dit kan worden herschrijven als x F (x 0, y 0 )(x x 0 ) + y F (x 0, y 0 )(y y 0 ) = 0 oftewel ( x F (x 0, y 0 ), ) y F (x 0, y 0 ) (x x 0, y y 0 ) = 0 F (x 0, y 0 )(x x 0, y y 0 ) = 0. De gradient staat dus loodrecht (orthogonal) op de tangent. Voorbeeld 16 (Geometrische interpretatie van de gradient) Zij f : IR f(x, y) = xy. Dan is de gradient van f gegeven door IR met f (x, y) = (y, x). 5

26 De tangent van de niveaukromme xy = 1 in het punt ( 1, ) is gegeven door (, 1 ) (x 1 ), 0 oftewel x y 1 y = 4x + 4. Zij x 0 = (x 0 1,..., x 0 n) een punt op het niveau-oppervlak F (x) = C voor F : R n R. Men noemt de verzameling van alle x = (x 1,..., x n ) zó dat F (x 0 )(x 1 x 0 x 1) F (x 0 )(x n x 0 1 x n) = 0 F (x 0 )(x x 0 ) = 0 1 de tangenten hyperruimte van het niveau-oppervlak F (x) = C in het punt x 0. De tangent is een lineaire functie. De tangent raakt daarom de functie in het algemeen ook allen in slechts één punt. De volgende stelling draait dit om en stelt dat men in de buurt van de tangent in een punt, bijvoorbeeld x, een afbeelding vinden kan die in een omgeving van x wél identiek met de functie is. Theorem 13 (Tangent Space Theorem, zie ook Theorem.13 p. 17 uit B & V) Zij ˆx IR n, U IR n een open omgeving van ˆx, f i : U IR, 1 i m, en f 1 (x 1,..., x n ) f (x 1,..., x n ) F (x 1,..., x n ) =.. f m (x 1,..., x n ) een vector afbeelding van U naar IR m zó dat F is continu differentieerbaar in ˆx, rankf (ˆx) = m en F (ˆx) = 0 m. Zij F (ˆx)v = 0, dan bestaat een afbeelding r : IR n IR n zó dat voor (een wat kleinere) omgeving U geldt dat F ( tv + r(tv) ) = 0 m voor v othogonal op de tangenten hyperruimte in ˆx 4, tv U en r(tv) = o(t). Bewijs van Lagrange: De nevenvoorwaarden geven een functie f 1 (x 1,..., x n ) f (x 1,..., x n ) F (x 1,..., x n ) =.. f m (x 1,..., x n ) 4 andere verwoordingen: v kernf (ˆx), of v y voor ieder y in de door F (ˆx) opgespannen ruimte 6

27 Wij veronderstellen dat ˆx = 0 n de lokatie van het globaal minimum is en dat F (0 n ) = 0 m. Merk op F (x 1,..., x n ) = f 1(x 1,..., x n ) f (x 1,..., x n ). f m(x 1,..., x n ) = x 1 f 1 (x 1,..., x n )... x 1 f (x 1,..., x n )... x n f 1 (x 1,..., x n ) x n f (x 1,..., x n )... x 1 f m (x 1,..., x n )... x n f m (x 1,..., x n ) Het niet regulair geval: De rijen van F (0 n ) zijn lineair afhankelijk. Dan bestaat een combinatie λ i, 1 i m, zó dat m λ i f i(0 n ) = 0 n. i=1 Als wij λ 0 = 0 kiezen, geldt dan m i=1 λ if i (0 n ) = 0 n. (Wij vinden dus een oplossing zonder de voorwaarde f 0(0 n ) = 0 n ). Het regulair geval: De rijen van F (0 n ) zijn lineair onafhankelijk. Zij v IR n zó dat F (0 n )v = 0 m. Met het Tangent-Space-Theorem volgt dan dat tv + r(tv) een oplossing is van F (x) = 0 m voor t voldoende klein, en r(tv) = o(t). Wij hebben veronderstelt dat 0 n een minimumlokatie is dus en uit de differentieerbaarheid van f 0 volgt 0 f 0 (tv + r(tv)) f 0 (0 n ) 0 f 0 (tv + r(tv)) f 0 (0 n ) = tf 0(0 n )v + o(t). Omdat t positive en negatieve waarden kan aannemen volgt dat f 0(0 n )v = 0. Omdat F (0 n )v = 0 m volgt uit de theorie der lineaire vergelijkingen dat f 0 een lineair combinatie van de rijen van F (0 n ) is. Omdat de rijen van F de vectoren f i (0 n), 1 i m, zijn volgt het bewijs van de stelling van Lagrange.. 5 Kuhn-Tucker Probleem (P 4.1 ) Zij f 0 : D IR, met D IR n een convexe verzameling: Def. 4.1 in p.06 f 0 (x) extr, f i (x) 0, 1 i m, noemen wij een n-dimensionaal optimaliseringsprobleem met nevenvoorwaarden in vorm van een stelsel bestaande uit meer dan één ongelijkheid. Voorbeeld 4.. uit B&V p.06. 7

28 5.1 Het Karush-Kuhn-Tucker Theorem Wij voeren op de productruimte D IR m+1 de Lagrangefunctie L in, gedefinieerd door m L(x, λ) = λ i f i (x). i=0 De rijvector λ wordt de Lagrange multiplicator genoemd. Wij veronderstellen dat de functies f i, 0 i m, differentieerbaar zijn in ˆx. Wij schrijven L x (y, λ) voor de rijvector van partiële afgeleiden naar x in y: ( L L x (y, λ) = (y, λ),..., L ) (y, λ). x 1 x n De Karush-Kuhn-Tucker voorwaarden (KKT-voorwaarde) in punt ˆx zijn: (α) L x (ˆx) = 0 n stationariteit; (β) λ i 0, 1 i m, niet-negativiteit; (γ) λ i f i (ˆx) = 0, 1 i m, complementair slackness Theorem 14 (Theorem 4.4 p. 10 uit B&V.) Zijn f i 0, 0 i m, differentieerbaar in ˆx IR n en convex. Er geldt: als ˆx een minimumlokatie is dan bestaat er een Lagrange multiplicator λ 0 m+1 zó, dat ˆx aan de KKT voorwaarden voldoet. N.B. Convexiteit levert dat wij geen onderscheid moeten maken tussen globaal en lokaal minimum. Definitie 15 Een punt x IR n wordt Slater punt genoemd als f i (x) < 0, 1 i m. Theorem 4.5 p.11 uit B&V: Zijn f i 0, 0 i m, differentieerbaar in ˆx IR n en convex. (i) Als ˆx aan de KKT voorwaarden voldoet voor λ met λ 0 = 1, dan is ˆx een minimumlokatie van f 0 (het globaal minimum van de Lagrange functie is ook het globaal minimum van de waardefunctie). (ii) Veronderstel dat er een Slater punt x bestaat. Er geldt: iedere vector λ die aan de KKT-voorwaarden voldoet heeft λ 0 0. Bewijs: Volgens (α) is ˆx een stationair punt van de Lagrangefunctie. Omdat L(x, λ) convex is in x voor iedere λ, volgt verder uit (α) dat ˆx een globaal minimum is van L(ˆx, λ): L(ˆx, λ) L(x, λ). (δ) Bewijs (i): Zij x een toegestaan punt. Als wij λ 0 = 1 kiezen geeft dit f 0 (x) (β)+fi 0 L(x, λ) (δ) L(ˆx, λ) (γ) = f 0 (ˆx). 8

29 Bewijs (ii): Zij x een Slater punt. Neem aan dat ˆx aan de KKT voorwaarden voldoet voor λ en dat λ 0 = 0, dan 0 (γ)+λ 0=0 = L(ˆx, λ) (δ) L( x, λ) λ 0 =0 = m i=1 λ i }{{} 0 f i ( x) }{{} 0 def. Slater punt < 0 waarbij we benutten dat uit λ 0 m+1 volgt dat en minstens één λ i, 0 < i m, niet null is. Uit deze tegenspraak volgt λ Werken met het KKT theorema Voorbeeld 4..5 uit B&V p.1. Uitwerking: f 0 (x) = (x 1 ) + (x 3) min f 1 (x) = x 1 + x 0 f (x) = x 1 4 0, x R. Het probleem is convex (zo als in KKT aangegeven wij hebben dus geen Weistrass nodig). Verder is (0, 0) een Slaterpunt: De Lagrangefunctie wordt dan f 1 (0, 0) = < 0 en f (0, 0) = 4 0. L(x, λ) = (x 1 ) + (x 3) + λ 1 (x 1 + x ) + λ (x 1 4) L x1 (x, λ) = (x 1 ) + λ 1 + λ x 1 = 0 L x (x, λ) = (x 3) + λ 1 = 0 Mogelijke gevallen: (f 1, f < 0 en λ 1 = λ = 0), (f 1 < 0, f = 0 en λ 1 = 0, λ 0), (f 1 = 0, f < 0 en λ 1 0, λ = 0) (f 1, f = 0 en λ 1, λ 0). Wij gaan verder met (f 1 = 0, f < 0 en λ 1 0, λ = 0). (x 1 ) + λ 1 = 0 (x 3) + λ 1 = 0 Uit de eerste twee vergelijkingen volgt invullen van de deerde geeft x 1 + x = 0 x 1 = x (x 1 ) = (x 3) ( x ) = (x 3) 6 = 4x x = 3 x 1 = 1. 9

30 Het punt (1/, 3/) is het uniek minimum de waarde van het minimum is f 0 (1/, 3/) = 4 1. Probleem uit B&V p.17. [Optional identiek met opgave 3] Uitwerking: Zij a IR n met a 0 n. onder ax = n a i x i max i=1 x = n x i 1. i=1 (Optimalisering op een sphere) Hiervan maken wij onder f 0 (x) = ax = f 1 (x) = x 1 = n a i x i min i=1 n x i 1 0. i=1 L(x, λ) = λ 0 ( ax) + λ 1 ( x 1) Omdat f 1 (0 n ) = 1 < 0 is 0 n een Slaterpunt, dus λ 0 = 1. De KKT condities zijn dus L x (x, λ 1 ) = a + λ 1 x = ( a 1 + λ 1 x 1, a + λ 1 x,..., a n + λ 1 x n ) = 0 n, λ 1 0. Zij f 1 (x) < 0, dan is λ 1 = 0 en L x (x, λ 1 ) = 0 n = a en dit kan allen als a = 0 n wat een tegenstelling met a 0 n is. Zij f 1 (x) = 0, dan L x (x, λ 1 ) = a + λ 1 x (1) = ( a 1 + λ 1 x 1, a + λ 1 x,..., a n + λ 1 x n ) = 0 n, λ 1 0. Dus, Omdat f 1 (x) = 1 volgt hieruit a i λ 1 = x i, 1 i n n a i 4λ i=1 1 = 1 λ 1 = n i=1 a i 4 = a. 30

31 Naar invullen in (1) volgt dat x = waarde van het maximum(!) is a a a = a a n i=1 a i n i=1 a i (= de vector a op lengte 1 gescaleerd). De = n a i = a i=1 in vector notatie a a a = a a = a. 5.3 Bewijs van het Kuhn-Tucker Theorema Supporting hyperplane theorem (Theorem 4.6 p.31 uit B&V) en Sectie 4.4. uit B&V. Theorem 15 (Supporting Hyperplane Theorem) Zij C IR n een convexe verzameling and 0 n een randpunt van C. Dan bestaat er λ (IR n ) T zó dat λx 0 voor iedere x C. De hypervlakte λx ondersteunt ( supports ) de verzameling C in 0 n : de verzameling C ligt op een kant van de hypervlakte. Bewijs van de stelling: Zij int(c) = dan is C onderdeel van de hypervlakte H = {x IR n λx = 0} voor een niet null vector λ (IR n ). Zij c C en zij ˆx een punt in D = cl(ir + C) 5 met minimale afstand tot het punt c. Dan voldoet λ = (ˆx + c) aan de stelling. N.B.: Waarom bestaat een punt met minimale afstand? Voeg de nevenvoorwaarde x + c c aan C toe en maak de verzameling daardoor begrensd. Ook de nieuwe verzameling Ĉ is weer niet leeg (0 n is een element) en afgesloten. De stelling van Weierstrass levert dan dat er een punt met minimale afstand bestaat: x( c) min, x Ĉ. Bewijs van KKT: Neem aan dat f 0 (ˆx) = 0. Zij C = {y IR m+1 x IR n : y i f i (x), 0 i m}. Nota bene: omdat f 0 (ˆx) = 0 en f i 0 (1 i m) volgt dat 0 m+1 C. De verzameling C is convex: zijn x, y C dan bestaan x en y zó dat Er geldt x (f 0 (x ),..., f m (x )) en y (f 0 (y ),..., f m (y )). αx + (1 α)y α(f 0 (x ),..., f m (x )) + (1 α)(f 0 (y ),..., f m (y )) = (αf 0 (x ) + (1 α)f 0 (y ),..., αf m (x ) + (1 α)f m (y )) en omdat f i, 0 i m, convex zijn geeft dit (f 0 (αx + (1 α)y ),..., f m (αx + (1 α)y )). 5 De verzameling IR + C is gedefinieerd door IR + C = {yc IR n : y IR +, c C}. 31

32 Het definitiegebied van f i (0 i m) is convex, dus als x en y in D liggen dan ook w := αx + (1 α)y voor α [0, 1]. We hebben nu aangetoond dat αx + (1 α)y (f 0 (w),..., f m (w)). De verzameling C is dus convex. Er geldt 0 m+1 intc: Stel dat 0 m+1 intc. Dan bestaat ε > 0 zó dat y = ( ε, 0,..., 0) C. Uit de definitie van C volgt dan dat ε f 0 (y) en dit een contradictie is met de veronderstelling dat f 0 (ˆx) het minimum van f 0 is. Het Supporting-Hyperplane-Theorem levert nu dat er een λ (IR m+1 ) bestaat zó dat y C : λy 0. () (β) Uit de definitie van C volgt dat 0 m+1 met als gevolg dat IR m+1 + C. Dit leidt direct tot het bewijs van (β) [kies (0,..., 1 positie j,..., 0) IR m+1 +, 1 j m, en vul in () in; met dit argument volgt ook λ 0 0]. (γ) Stel dat f i (ˆx) < 0 voor i 1. Dan geldt Uit () volgt dus dat λ i = 0. (α) Er geldt hieruit volgt met () y = (0,..., 0, f i (ˆx), 0,..., 0) C. x IR n : L(x, λ) = (f 0 (x),..., f m (x)) C m λ i f i (x) 0. i=0 Wij hebben veronderstelt dat f 0 (ˆx) = 0, uit (γ) volgt dan dat L(ˆx, λ) = 0. Dus ligt bij ˆx het globale minimum van L(, λ). Het theorema van Fermat geeft in dit geval L x (ˆx) = 0. 6 Lineair Programmeren Voorbeeld 17 Voorbeeld van D.C. Parkes. Geven zij het LP probleem V = min 7x 1 + x + 5x 3 onder x 1 x + 3x x 1 + x x 3 6 oftewel onder V = min ( x ) ( 10 x 6 ) kleinste bovengrens 3

33 oftewel met c = 7 1 5, A = onder min c x Ax b ( ) ( 10, b = 6 De oplossing van dit probleem is V = 16 met x = (7/4, 0, 11/4). Wij bereken nu een maximale ondergrens V voor het probleem. Er geld en het volgt V 6; verder is 7x 1 + x + 5x 3 5x 1 + x x 3 6 ). 7x 1 + x + 5x 3 5x 1 + x x 3 + (5x 1 + x x 3 ) 16. Wij kunnen het probleem als volgt formuleren. Vind λ 1 en λ zo groot mogelijk onder de voorwaarde dat ze aan λ 1 (x 1 x + 3x 3 ) + λ (5x 1 + x x 3 ) 7x 1 + x + 5x 3 voldoen. Dan is V = λ λ 6. Het probleem kunnen wij zo formuleren: V = max 10λ 1 + 6λ grootste ondergrens of onder λ 1 + 5λ 7 λ 1 + λ 1 3λ 1 λ 5 onder max b λ A λ c met oplossing V = 6 en λ = (, 1). Interpretatie: λ i is het gewicht van restrictie i. (LP ) Het primale probleem. minimaliseer onder c x Ax b c IR n, A IR m n, b IR m, x 0 n Opmerking over KKT en LP: Zij ˆx een Slater punt voor (LP). Dan geldt voor het LP L(x, λ) = c x + λ(ax b) en L x (x, λ) = c + λa. Uit de Lagrangestelling volgt dan dat er een rjivector λ bestaat zó, dat c + λa = 0 n en λ i = 0 voor iedere i met (Ax) i < b i. (LP D) Het duale probleem. maximaliseer onder b y A y c c IR n, A IR m n, b IR m, y 0 m 33

34 6.1 Primal-Dual Problemen Probleem (P 4.1 ) kan worden geschreven als Zij Probleem (P 4. ) minimaliseer f 0 (x) onder f 1 (x) 0,..., f m (0) 0 x D G(λ) = inf{l(x, (1, λ)) : x D} { } m = inf f 0 (x) + λ i f i (x). x i=1 maximaliseer G(λ) onder λ 0 = 1, λ 1 0,..., λ m 0 λ IR m De waarde { } { } inf f 0 (x) : x D, f i (x) 0, 1 i m sup G(λ) : λ 0 = 1, λ i 0, 1 i m wordt dualiteitsafstand (duality gap) genoemd. Theorem 16 Zij (P 4.1 ) convex (de f 0 en de nevenvoorwaarden f i, 1 i m zijn convexe functies op IR n ) en zij er een Slater punt voor (P 4.1 ). Dan geldt { } { } inf f 0 (x) : x D, f i (x) 0, 1 i m = sup G(λ) : λ 0 = 1, λ i 0, 1 i m er is geen dualiteitsafstand. Bewijs: Deel (1). Wij tonen aan dat geldt { } inf f 0 (x) : x D, f i (x) 0, 1 i m { } sup G(λ) : λ 0 = 1, λ i 0, 1 i m Zij λ toegelaten. Er geldt voor iedere toegelaten x G(λ) L(x, λ) = f 0 (x) + m λ i f i (x) f 0 (x) i=1 hier wordt benut dat λ i 0 en f i 0, 1 i m. Dus, G(λ) inf{f 0 (x) : x D, f i (x) 0, 1 i m} en omdat voor iedere toegelaten λ, G(λ) begrensd is door inf{f 0 (x) : x D, f i (x) 0, 1 i m} en de grens dus onafhankelijk van λ is, volgt sup{g(λ) : λ i 0, 1 i m} inf{f 0 (x) : x D, f i (x) 0, 1 i m}. (3) 34

35 Deel (). Zij { } M = inf f 0 (x) : x D, f i (x) 0, 1 i m en zij de verzameling C gedefinieerd door C = { } (w 0,..., w m ) : w 0 > f 0 (x) M, w i f i (x). x Omdat f 0 M en f i, 1 i m, convex zijn volgt dat C een convexe verzameling is. Er geldt (0,..., 0) C en (0,..., 0) is geen inwendig punt van C. [Stel (0,..., 0) was een inwendig punt, dan bestaat er w 0 > 0 zó dat w 0 > f 0 (x) M oftewel inf f 0 + w 0 > f 0 (x) voor alle x en dat is in tegenspraak met de definitie van het infimum.] Er geldt dus IR m+1 + C. Met het Supporting Hyperplane Theorem (SHT) volgt dan dat er een vector v = (v 0, v 1,..., v m ) 0 m+1 bestaat zó, dat v w 0 for w C ( the closure of C ). De verzameling C is niet naar boven begrensd en daarom is v i 0, 0 i m. Omdat x D : (f 0 (x) M, f 1 (x),..., f m (x)) C geldt x D : v 0 (f 0 (x) M) + m v i f i (x) 0. (4) Wij tonen aan dat v 0 > 0. Neem aan dat v 0 = 0. Wij hebben veronderstelt dat er een Slater punt ˆx is zó, dat f i (ˆx) < 0, 1 i m. Voor dit punt geldt dan i=1 m v 0 (f 0 (ˆx) M) + v i f i (ˆx) < 0 }{{} i=1 =0 omdat v 0 m+1. Dit is in tegenspraak met (4). Wij hebben dus laten zien dat v 0 > 0. Zij y i gedefinieerd door y i = vi v 0, 1 i m. Dan volgt met (4), Er geldt dus m x D : f 0 (x) + y i f i (x) M. i=1 sup{g(λ) : λ 0 = 1, λ i 0, 1 i m} G(y) = inf{l(x, 1, y) : x D} M = inf{f 0 (x) : f i (x) 0, 1 i m}. Het bewijs volgt met (3). 35