Convee uncties op R (niet in het boe Een unctie : R R heet conve, als voor alle, R en ele λ [0,] geldt dat (λ + (-λ λ( + (-λ(. Voor een unctie op R beteent dit dat als je twee willeeurige punten op de graie met een recht lijnstuje verbindt, de graie tussen die punten nooit boven dit lijnstuje omt. De graie van een convee unctie is hol naar boven, bol naar beneden, bijvoorbeeld (. Een unctie : R R heet strit conve, als voor alle, R en ele λ ]0,[ geldt dat (λ + (-λ < λ( + (-λ(. Een unctie heet (strit concaa als (strit conve is. De graie van een concave unctie is bol naar boven, hol naar beneden. Een lineair unctie is de enige unctie die zowel conve als concaa is, maar is niet strit conve o strit concaa.
Voorbeeld: Bewijs met de deinitie dat ( / conve is als > 0. Hiervoor moeten we laten zien dat voor iedere, > 0 en λ [0,] geldt: λ λ λ + ( λ + λ + ( λ. Omdat, en λ + (-λ allemaal positie zijn unnen we de ongelijheid hiermee vermenigvuldigen en is dit equivalent met aantonen dat λ + λ(-λ( + + (-λ owel dat: -λ ( + - + λ( + - 0. Maar dit is hetzelde als λ(-λ( - 0 en dit is duidelij waar. Als je een net bewijs wilt moet je dit argument achterstevoren opschrijven! De graie van een unctie is de verzameling {(, R (} De epigraie van een unctie is de verzameling {(, R (}. Dat zijn alle punten die op o boven de graie liggen. Het is eenvoudig in te zien dat een unctie conve is precies dan als zijn epigraie een convee verzameling in R is.
Als conve is, dan is oo een veelvoud a conve, voor el getal a 0 (en a is concaa voor el getal a 0. Als en g conve zijn, dan oo + g (maar g meestal niet. Een constante unctie is conve, dus in het bijzonder blijt een unctie conve als je er een constante bij optelt. Als en h conve zijn en h bovendien monotoon niet-dalend, dan is h o weer conve. Bewijs: h((λ+(-λ h(λ(+(-λ(, want is conve en h is niet-dalend h(λ(+(-λ( λh((+(-λh((, want h is conve, dus h is conve. Conveiteit is een behoorlije bepering voor een unctie. Zo an een convee unctie eigenlij geen sprongen maen en is zo goed als continu. Alleen op de rand van het domein unnen er sprongen optreden:
Stelling: Als : C R conve is, dan is continu op het inwendige van C. Bewijs: Kies in het inwendige van C. Het interval [ - ε, + ε] is dan helemaal in C bevat voor een zeere ε >0. Neem voor het gema aan dat 0 en dat (0 0 (Dat is geen restrictie, door schuiven. Beij de uncties ( ( ε en ( ε ( ε ε De unctie ligt tussen deze twee uncties en dat zien we als volgt. Als [0, ε], dan is ( ( (. Dit volgt uit de conveiteitsongelijheid (λs + (-λt λ(s + (-λ(t als je iest: s -ε, t, λ /(+ε, voor de liner ongelijheid en s 0, t ε, - λ /ε voor de rechter. Op dezelde manier geldt dat ( ( ( als [-ε,0]. De graie van ligt dus eigenlij ingelemd tussen de twee rechte lijnen die de graieen van de uncties en vormen. Omdat en continu zijn met (0 (0 0 geldt dat ( (0 (0 0 (0 als 0, dus is continu in 0, waarmee we de stelling hebben bewezen.
De conveiteit van een unctie impliceert niet de continuïteit overal, omdat het op de rand van een gebied mis an gaan. Zo is de unctie waarvoor geldt: (0 ( en ( 0 als 0 < < niet continu in 0 en, maar wel conve. Als een dierentieerbare unctie conve is dan an de ageleide niet dalend zijn. Dat beteent dat de tweede ageleide nooit negatie is. Soms un je van een unctie eenvoudig laten zien dat de tweede ageleide positie is. Dat is dan een simpele manier om de conveiteit van de unctie aan te tonen. Stelling: C (R,R is conve dan en slechts dan als ( 0 voor alle. Bewijs: We moeten aantonen dat de tweede ageleide van een convee unctie overal niet-negatie is. Omdat conve is, geldt er (ies s - h, t + h, λ ½ dat : ½ (+h + ½ (-h ( ½ (+h + ½ (-h (. Voor de tweede ageleide gebruien we nu het volgende dierentiequotiënt, en zien met de vorige ongelijheid direct dat de tweede ageleide niet-negatie is: lim ( + h ( + ( h ''( h 0 h 0. (maa een Talorreesontwieling rond om te zien dat het dierentiequotiënt lopt
Nu laten zien dat een unctie met niet-negatieve tweede ageleide overal conve is. Integreer de tweede ageleide te integreren: '( '( ''( t dt. Als dan is de integraal niet-negatie omdat de integrand het is, dus ( (. We hebben hiermee aangetoond dat de ageleide van niet-dalend is. We halen nu dezelde truc uit en integreren : Als dan is ( ( '( t dt '( dt '( (. Dit lopt omdat niet-dalend is, dus (t ( als t. ( ( Als dan is. '( t dt '( t dt '( dt '( ( Gevolg: ( ( ((. De graie van ligt dus nooit onder de raalijn in het punt. Noem t λ λ + (-λ, dan is: ( (t λ (t λ ( - t λ, ( (t λ (t λ ( - t λ. Vermenigvuldig de eerste ongelijheid met - λ, de tweede met λ en tel ze op (deze getallen zijn niet-negatie: λ( + (-λ( (t λ (t λ (λ + (-λ - t λ 0, want t λ λ + (-λ. Hier staat dat (λ + (-λ (t λ λ( + (-λ(, dus is conve.
Voorbeelden: Door tweemaal te dierentiëren volgt: ( a + b + c is conve als a 0, ( e is conve op R, ( -log is conve als > 0, ( / is conve als > 0 (en concaa als < 0, ( log is conve als > 0, ( p is conve als > 0 en p, o p 0 (en concaa als > 0 en 0 p. Soms un je met de tweede ageleide de conveiteit van een unctie bewijzen en vervolgens via de deinitie van conveiteit ongelijheden opschrijven die op een andere manier veel moeilij o niet te bewijzen zijn. Uit de conveiteit van log volgt bijvoorbeeld dat λ -λ λ + (-λ Voor λ ½ staat hier: +. De linerant heet het meetundig gemiddelde van en, de rechterant is het gewone (reenundige gemiddelde. Het meetundig gemiddelde is dus altijd leiner dan o gelij aan het reenundig gemiddelde. Je unt oo nog een harmonisch gemiddelde deiniëren als + + Het is eenvoudig in te zien dat het harmonisch gemiddelde altijd leiner dan o gelij aan het meetundig gemiddelde is.
Een eenvoudig gevolg van conveiteit is: Stelling: Een minimum van een (strit convee unctie op een conve gebied is (strit absoluut. Strict convee uncties zijn dus simpel in de zin dat ze geen locale minima hebben, er is maar één minimum, dus iteratieve methoden die een locaal minimum vinden, vinden oo het globale minimum. Laat zien dat een convee unctie op een niet-convee verzameling wel locale minima an hebben.
Een unctie : R R heet midpuntconve, als voor alle, R geldt dat (( + / (( + (/. Een unctie die conve is, is duidelij midpuntconve (neem λ ½ Geldt het omgeeerde oo? Antwoord: Nee (Walgelij ingewield voorbeeld Voor de reële getallen bestaat er een Hamelbasis { α R α A} (een overatelbare verz. van reële getallen Voor el reëel getal zijn er eindig veel rationale getallen ξ i zodat ξ i α(i. Deze representatie is unie (basis. Deinieer nu een unctie op alle elementen van de Hamelbasis: α ( α, zodanig dat niet alle getallen ( α / α gelij zijn. Deinieer dan op heel R: ( ( ξ i α(i : ξ i α(i Deze unctie is bijna lineair, want voldoet aan: (+ ( + ( en (λ λ(, maar alleen als λ Q. Hierdoor is oo midpuntconve. is echter in geen enel punt continu:
Kies de unctie bijvoorbeeld zo dat α(0 voor één bepaalde α(0 en α 0 voor alle andere α. Kies R, dan is ξ 0 α(0 + ξ i α(i dus ( ξ 0. Kies nu een willeeurige R. Kies een ξ Q die minder dan ε van - ξ 0 a zit. Nu ligt R\{ α(0 Q} dicht in R, dus je unt oo een z R\{ α(0 Q} iezen die minder dan ε van ξ α(0 a ligt. Dan ligt + ξ α(0 z minder dan ε van a, terwijl ( + ξ α(0 z ( + ξ α(0 (z ξ 0 + ξ < ε. Gevolg: willeeurig dicht bij liggen punten waarvan de unctiewaarde willeeurig dicht bij een willeeurig geozen ligt. De graie ziet er dus ongeveer zo uit: Bij el punt uit het vla ligt een punt van de graie in de buurt, de graie is dus inderdaad helemaal zwart. is dus niet continu en an dus niet conve zijn.
Convee uncties op R n (niet in het boe Een unctie : R n R heet conve, als voor alle, R n en ele λ [0,] geldt dat (λ + (-λ λ( + (-λ(. Hetzelde geldt als de unctie op een conve deel van R n is gedeinieerd. De uitbreidingen naar strit conve en concaa zijn volledig analoog aan het ééndimensionale geval. Voorbeeld: We zullen bewijzen dat de euclidische normunctie ( conve is op R n. Er geldt dat (λ + (-λ λ + (-λ λ + (-λ + λ(-λ(, λ + (-λ + λ(-λ (λ + (-λ [(λ + (-λ(] want volgens de ongelijheid van Schwarz is (,. Hieruit volgt dat conve is. Als conve is, dan is oo a weer conve, voor ele scalar a 0. Als en g conve zijn, dan oo + g (maar g meestal niet. Een constante unctie is conve, dus in het bijzonder blijt een unctie conve als je er een constante bij optelt. Als : R n R en h: R R conve zijn en h bovendien monotoon niet-dalend, dan is h o weer conve.
Er geldt oo weer dat een convee unctie continu is op het inwendige van zijn domein, maar dat er op de rand sprongen unnen optreden. Voor de conveiteit van een tweemaal dierentieerbare unctie is er oo een criterium in termen van zijn tweede ageleide: Stelling: C (R n,r is conve dan en slechts dan als ( 0 voor alle. Hierbij is ( de tweede ageleide van de Hessematri en ( 0 beteent dat deze matri overal niet-negatie deiniet is. Een matri A heet niet-negatie deiniet als voor ele vector geldt dat (A, 0. Een matri A heet positie deiniet als voor ele vector 0 geldt dat (A, > 0. Een matri is positie (niet-negatie deiniet dan en slechts als al zijn eigenwaarden positie (niet-negatie zijn.
Voorbeeld: Beij de unctie ( 3 3,, + voor > 0. De eerste en tweede ageleiden zijn: ( 3 3,,, ( 0 0 0 0,, 3 3 De eigenwaarden van de Hessematri zijn 0,, 3 +. Deze zijn allemaal niet-negatie, dus de matri is niet-negatie deiniet en de unctie is conve. Direct met de deinitie van niet-negatie deiniet is dit oo te zien: 0. 0 0 0 0, 3 3 3 3 +
Niet-lineaire Optimalisering (NLP (Boe H Lineaire doelunctie, niet-lineaire constraints Lineaire constraints, niet-lineaire doelunctie
Lineaire constraints, niet-lineaire doelunctie
Tpen NLP problemen (Boe H.3 - NLP zonder nevenvoorwaarden. Er is alleen een niet-lineaire unctie gegeven, zonder constraints, waarvoor een optimum moet worden gevonden. Noodzaelije voorwaarde is: D( 0. Dit zijn nietlineaire vergelijingen, meestal niet analtisch op te lossen. - NLP met lineaire voorwaarden. De doelunctie is lineair, de constraints zijn lineair. - Kwadratische programmering. De doelunctie is wadratisch, de constraints zijn lineair - Convee programmering. De doelunctie is conve o concaa, de constraints zijn van de vorm g i ( b i, met g i conve (het toegelaten gebied is dan conve. Een optimum is dan absoluut - Separabele programmering. Dit is een conve programmeringsprobleem waarin de doelunctie en de constraint uncties separabel zijn, een som van uncties van de azonderlije coördinaten. - Niet-convee programmering Alle andere niet-lineaire programmeringsproblemen. Er unnen veel locale optima optreden.
- Fractional Programming Doelunctie is van de vorm ( (/ ( Deze problemen unnen soms getransormeerd worden Voorbeeld: Ma ( z.d.d. A b en 0 c d T T + c 0 + d 0 Noem d + d Dan wordt het probleem: T 0, t d T + d 0 Ma Z c T + c 0 t z.d.d. A bt 0 d T + d 0 t en 0, t 0 Dit is een LP probleem en an met simple worden opgelost. - Complementariteitsproblemen Vind een toegelaten oplossing van w F(z, w 0, z 0 w T z 0 (complementariteitsconditie Er moet dan gelden: w i 0 o z i 0 Geen doelunctie.
Eéndimensionale zoemethoden (Boe H.4 De bisectiemethode. Als concaa en dierentieerbaar is met maimum in dan is ( > 0 als <, ( 0 als, ( < 0 als >. Kies nauweurigheid ε > 0. Vind ondergrens - < en bovengrens + >. Bereen nieuw punt ( - + + /. Als ( 0, dan - : 3. Als ( 0, dan + : 4. Als + - ε dan stop, anders ga naar Invariant: ( - 0 en ( + 0, terwijl + - ele iteratie in lengte halveert. Dit convergeert naar.
Voorbeeld: ( 3 4 6 ( ( 3 5 ( -(3 + 5 4 < 0, dus is concaa
Wat als niet concaa? Voorbeeld: ( 3 /3 /, - -, + 3 ( Neem - -, + 3, dan is, ( 0 - : + : Het algoritme vindt een maimum in, maar dat is een minimum. - -, + convergeert naar locaal maimum 0 - -, + 4 convergeert naar absoluut maimum 4
Methode van Newton ( j+ ( j + ( j ( j+ j + ( j ( j+ j / + O( j+ j 3 ( j+ ( j + ( j ( j+ j + O( j+ j Probeer een stationair punt te vinden: ( j+ 0, dus ( j + ( j ( j+ j 0 j+ : j ( j / ( j Voorbeeld: ( 3 4 6 ( ( 3 5 ( -(3 + 5 4 < 0, dus is concaa
Orde van convergentie Hoe hard convergeert een rij? Lineaire convergentie: De out wordt na ele iteratie ongeveer met een vaste actor leiner: α α β α α + voor een zeere constante β. Kwadratische convergentie: α + α β α α voor een zeere constante β. Een rij ( α convergeert met orde p naar een limiet α als limsup α + α p sup q q α α. De convergentieactor bij deze orde is lim sup β α α + α α p. Als p heet de convergentie lineair. Als oo β 0, dan heet de convergentie superlineair (de out wordt telens verleind met een actor die zel steeds leiner wordt. Als daarentegen β, dan heet de convergentie sublineair (de out wordt telens verleind met een actor die steeds dichter bij omt, de convergentie gaat dus steeds trager.
Voorbeeld: De meetundige rij α a voor 0 < a <. Deze rij convergeert naar α 0, dus: α α + + α a a a a p p α a ( p + p ( Als p >, dan is a -p >, dus de rij is niet begrensd als. Als p, dan is a -p, dus de rij is constant a. Als p <, dan is a -p <, dus de rij nadert naar 0. De orde van convergentie is dus p, en de convergentieactor is β a, dus lineaire convergentie. Voorbeeld: De rij α a ( voor 0 < a <. Deze rij convergeert oo naar α 0, maar sneller dan de meetundige. We laten zien dat deze rij wadratisch convergeert door p te nemen: α α + α α ( a K ( a ( ( ( a K ( a ( De orde van convergentie is dus p, en de convergentieactor is β, dus wadratische convergentie. Voorbeeld: De rij α / convergeert naar α 0. Nu geldt: α α + α α +. De limiet van deze getallen is, de orde van convergentie is dus p, en de convergentieactor is β, dus we hebben te maen met (trage sublineaire convergentie...
Voorbeeld: Beij de rij α -. Nu is: ( ( ( ( ( p p p p + + + + + + + α α α α. Er geldt dat e +. Als p >, dan is de bovenstaande rij niet begrensd als. Als p, nadert de bovenstaande rij naar 0. Als p <, nadert de bovenstaande rij naar 0. De orde van convergentie is dus p, en de convergentieactor is β 0, dus superlineaire convergentie. Voorbeeld: Bisectiemethode: lineaire convergentie met actor ½ Newtonmethode: wadratische convergentie met actor (/( ( + ( ( + + + + (( ( ( ( (( ( ( ( ( 3 O O ( ( (( ( (( / ( O O + +
Uniorm zoeen (Niet in het boe Voor de bisectiemethode is in ele iteratie de evaluatie van een ageleide nodig. Voor de Newtonmethode is in ele iteratie de evaluatie van een ageleide en een tweede ageleide nodig. Wat als er geen ageleiden beschibaar zijn, bijvoorbeeld omdat unctie-evaluaties uit computersimulaties omen. Uniorm zoeen: Verdeel in het interval [a,b] uniorm n nieuwe punten: b a a +,,..., n. n + Reen de unctiewaarde uit in el punt en zoe de leinste. Als die wordt aangenomen in vervang je het interval [a, b] door [ -, + ]. Het nieuwe interval heet als lengte ( b a. n + n unctie-evaluaties leveren dus een reductie van /(n+. Per unctie-evaluatie reduceert de lengte dus (worst case met een actor n + n. Deze actor is minimaal is als n 3. De reductieactor per evaluatie is dan -/3 0.793700 Convergentie is dus lineair met actor 0.793700
Gulden snede zoemethode (Niet in het boe De gulden snede zoemethode (golden section search is eiciënter dan uniorm zoeen. Het idee is dat je in het interval [a,b] een etra punt c hebt waarvan de unctiewaarde beend is, en dat (a (c (b. Vervolgens wordt er een nieuw punt d geozen. We nemen aan dat dit tussen a en c ligt, maar tussen c en b gaat het analoog. Als (d (c, dan is (d (c (b. Als (d (c, dan is (a (d (c. Het interval [a,b] met tussenpunt c an worden vervangen door [d,b] met tussenpunt c, o door [a,c] met tussenpunt d, terwijl telens de waarde in het tussenpunt het leinst is. Kies nu de posities van c en d zo dat de lengtes van de nieuwe intervallen gelij zijn, dan is de reductie telens gelij. Kies d op verhouding λ en c op verhouding -λ op het interval [a,b], owel: d a + λ(b-a, d a + (-λ(b-a. De slimme truc van de methode bestaat er nu in dat je λ zo iest dat je na reductie het middelste punt weer unt gebruien. Het punt op verhouding λ an op verhouding (-λ liggen in het nieuwe interval. Omdat het nieuwe interval een actor (-λ leiner is geworden is de nieuwe actor van het tussenpunt nu λ/(-λ. Als deze verhouding gelij is aan -λ, dan is het punt weer te gebruien.
Dit is het geval als λ - λ - 0, dus als 3 5 5 λ 0,38966..., λ 0,68033... Dit is de gulden snede verhouding. Met één unctie-evaluatie wordt het interval dus verleind met een actor -λ 0,68033, dat is beter dan bij de bovenstaande methode.
Meerdimensionale zoemethoden (Boe H.5 Steepest descent. Het idee van deze methode is dat je vanuit een startpunt de steilste richting opzoet en in deze richting een optimum zoet. Vanuit dat punt un je weer verder zoeen. De steilste richting wordt gegeven door de gradiënt: ( ( T, want (+h ( + (h + O( h Kies een startpunt 0. Vind de waarde t waarvoor t ( + t ( maimaal is. + : + t ( 3. Als stopcriterium voldaan, stop, anders :+, ga naar
Voorbeeld: (, + (, ( + 4 Startpunt 0 (0,0 Iteratie : (0,0 (0, Vind het maimum van ((0,0 + t(0, (0, t 4t-8t t ¼ (0,0 + ¼(0, (0,/ Iteratie : (0,/ ( 0 Vind het maimum van ((0,/ + t(,0 (t, / ½ + t t t / (0,/ + /(,0 (/,/
Methode van Newton: + ( ( - ( Voorbeeld: (, + (, ( + 4 ( 4, Startpunt 0 (0,0 0 0 4 De Newtonmethode is met één iteratie laar (want een wadratische unctie! Nadeel van Newton: Per iteratie een ageleide en een tweede ageleide n + n unctie-evaluaties. Andere aanpa: wer met een goedoper te bereenen inverse van tweede ageleide: Quasi-Newtonmethoden.