Optimalisering/Besliskunde 1. College 1 2 september, 2015

Transcriptie

1 Optimalisering/Besliskunde 1 College 1 2 september, 2015

2 Algemene informatie College: woensdag 13:45-15:30: Leiden C1 en C2: Gorlaeus gebouw Zaal DS: De Sitterzaal, Oort gebouw Werkcollege: vrijdag: Leiden en Delft Drie sets huiswerkopgaven Deeltentamen Tentamen Eindcijfer = max{tentamencijfer, 0.55 tentamencijfer deeltentamencijfer huiswerkcijfer} Onder de voorwaarde: tentamencijfer 5.5

3 Algemene informatie Informatie en documenten worden op mijn homepage bijgehouden: Het deeltentamen is op maandag 2 november 2015, 11:00 13:00 in Leiden en Delft. Inleverdata voor het huiswerk zijn: maandag 28 september maandag 26 oktober maandag 7 december

4 Wat is optimalisering? Bepaal de beste oplossing uit een gegeven verzameling oplossingen. Wat is hier moeilijk aan????

5 Voorbeeld: Je moet gaten boren voor componenten en bedrading van een printed circuit board (pcb). De boormachine moet zo snel mogelijk klaar zijn. Hoe kunnen we dit probleem wiskundig modelleren?

6 Een model gebaseerd op een graaf G: Een graaf bestaat uit punten en kanten (verbindingen) De punten representeren de gaten in het pcb. Alle verbindingen tussen punten zijn mogelijk. Als een verbinding wordt gebruikt betekent dit dat de twee verbonden punten (=gaten) achter elkaar worden geboord. Een graaf Een graaf waar we uit alle mogelijke verbindingen mogen kiezen

7 Hoe ziet er een toegelaten verzameling verbindingen uit? Ze vormen een route door de gaten. Elk gat wordt precies één keer geboord.

8 Nog een voorbeeld:

9 Een mogelijke route: Goede route?

10 Deze route is veel korter? Maar is het de beste? Hoeveel routes zijn er in een ongerichte graaf met n punten? Voor ons voorbeeldje: 19,958,400 routes Die zijn makkelijk te bepalen en te vergelijken. Maar dit was maar een klein voorbeeldje...

11 100 gaten: routes Ouch, we moeten iets slimmers bedenken

12 Terug naar ons echte voorbeeld:

13 3038 gaten Beste (=optimale) route:

14 Hoe pakken we dit aan? Formuleer een optimaliseringsprobleem gebaseerd op het grafen-model: Input (wat weten wij?): De graaf lengte van elke verbinding (kant). en de Stap 1: Definieer de beslissingsvariabelen (wat willen we eigenlijk weten?) Stap 2: Formuleer de doelfunctie (wat willen wij maximaliseren of minimaliseren?) Hier: minimaliseer de lengte van de route

15 Stap 3: Formuleer de voorwaarden (Als we niks doen krijgen alle variabelen waarde 0) (i) De boormachine gaat naar een te boren gat en gaat na het boren weer weg. Dat betekent dat elk punt precies twee verbindingen moet hebben (ii) Wij willen geen sub-routes Iets ingewikkelder te formuleren maar kan wel lineair!

16 (iii) Restricties op de variabelwaarden Oftewel,

17 Output: De variabelwaarden 0 of 1 voor elke variabele. De variabelen met waarde 1 behoren bij verbindingen die samen een route vormen! Om output te produceren, laten we een algoritme op het model los. Huidig wereldrecord : punten in een VLSI-toepassing, opgelost in 2006

18 Belangrijke vragen: Wat is een goed wiskundig model voor een gegeven probleem? Hoe ziet er een optimaliteitsbewijs eruit? Wat is een goed algoritme om het probleem, gegeven het model, op te lossen? Zijn er modellen waarvoor we geen efficiënte ( goede ) algoritmes kennen? Zo ja, hoe kunnen we dat verklaren? Het net beschreven probleem is een toepassing van het Handelsreizigersprobleem (Traveling Salesman Problem, TSP) Zie voor een boel info!

19 Wat is optimalisering? Bepaal de beste oplossing uit een gegeven verzameling oplossingen. Wat is hier moeilijk aan???? De oplossingen zijn impliciet gegeven als een verzameling vectoren die voldoen aan gegeven voorwaarden. Hoe kunnen we oplossingen karakteriseren? Oneindig veel oplossingen? Ook in gevallen waar wij de oplossingen expliciet zouden kunnen opschrijven en vergelijken, zou dit in de meeste gevallen veel te lang duren. WIJ HEBBEN WISKUNDE NODIG (algebra, discrete wiskunde, analyse, algoritmiek )!!!

20 OPTIMALISERING Algemene formulering: zijn functies van o.d.v. = onder de voorwaarden In het Engels: s.t. = subject to

21 Speciale gevallen: Zie appendix is convex, concaaf, lineair: convexe optimalisering, en lineair: lineaire optimalisering Als : lineaire geheeltallige optimalisering

22 Focus van dit vak LINEAIRE PROGRAMMERINGS- problemen: LP-problemen LINEAIRE GEHEELTALLIGE PROGRAMMERINGS-problemen: (Eng: INTEGER LINEAR PROGRAMMING): ILP- of IP-problemen Het gebied ontstond in de 1940-er jaren uit de behoefte om grote logistieke operaties te plannen ( programming ) ivm WW II. Toen kwam ook de eerste computers en kon er gerekend worden! Belangrijke artikelen: George B. Dantzig (1951): Maximization of a linear function of variables subject to linear inequalities. Ralph E. Gomory (1958): Outline of an algorithm for integer solutions to linear programs.

23 Voorbeeld Probleem: Facility Location Stel m winkels moeten regelmatig bevoorraad worden. Er zijn n locaties waar distributiecentra (dc) gevestigd kunnen worden. Selecteerd locaties voor distributiecentra zodanig dat de totale kosten zo klein mogelijk zijn. cc jj zijn de kosten om een distributiecentrum te openen op locatie j dd iiii zijn de kosten om winkel i vanuit locatie j te bevoorraden

24 Formuleren als een ILP-probleem (Integer Linear Programming) Stap 1: definieer de beslissingsvariabelen Hoe kun je een oplossing met variabelen beschrijven? Stap 2: formuleer de doelfunctie Wat willen we optimaliseren? Stap 3: formuleer de voorwaarden Zorg er voor dat de beslissingsvariabelen geldige oplossingen beschrijven

25 Facility Location formuleren met ILP Stap 1: definieer de beslissingsvariabelen xx iiii = 1 als klant i vanuit locatie j bevoorraad wordt en anders is xx iiii = 0 yy jj = 1 als op locatie j een distributiecentrum geopend wordt en anders is yy jj = 0 Stap 2: formuleer de doelfunctie min dd iiii xx iiii ii,jj + cc jj Stap 3: formuleer de voorwaarden O.d.v. jj xx iiii = 1 voor alle ii xx iiii yy jj voor alle ii, jj xx iiii, yy jj {0,1} voor alle ii, jj jj yy jj

26 NEIGHBORHOODS Gegeven een toegelaten oplossing van een bepaald probleem, de buurruimte (neighbourhood) van is de verzameling oplossingen die in een bepaalde opzicht dichtbij zijn. Voorbeeld: TSP, 2-exchange neighborhood verzameling oplossingen die kunnen worden verkregen door 2 kanten uit de tour te verwijderen en daarna 2 nieuwe kanten toe te voegen, zodanig dat een nieuwe tour wordt gecreёerd.

27 Een 2-exchange :

28 Een 2-exchange : Def. Een oplossing is een lokaal optimum m.b.t. als voor iedere Een oplossing is een globaal optimum als voor iedere

29 Def. Gegeven een optimaliseringsprobleem met verzameling toegelaten oplossingen en buurruimte. Als elke die locaal optimaal is m.b.t. ook globaal optimaal is, dan noemen we buurruimte exact. Voorbeeld: Voor TSP: is niet exact, maar wel.

30 Grafen Een graaf G is een paar, G=(V,E) V = verzameling knooppunten/knopen (nodes, vertices) E = verzameling kanten (edges); ongeordend paar punten Voorbeeld: vv 1 vv 2 vv 3 vv 4

31 Gerichte grafen Een gerichte graaf D is een paar D=(V,A) V = verzameling knooppunten/knopen (nodes, vertices) A = verzameling pijlen (arcs); geordende paren knopen Voorbeeld: DD = ( vv 1, vv 2, vv 3, vv 4, {[vv 1, vv 2 ], [vv 2, vv 3 ], [vv 4, vv 1 ], [vv 4, vv 3 ], [vv 1, vv 3 ]}) vv 1 vv 2 vv 3 vv 4

32 Een grafenprobleem formuleren met ILP (Integer Linear Programming) Probleem: Kortste Pad Gegeven: gerichte graaf D=(V,A) met lengte ll iiii voor elke pijl aa = [ii, jj] en twee speciale knopen s en t. Vind: een kortste pad van s naar t. ss tt

33 Een grafenprobleem formuleren met ILP (Integer Linear Programming) Probleem: Kortste Pad Gegeven: gerichte graaf D=(V,A) met lengte ll iiii voor elke pijl aa = [ii, jj] en twee speciale knopen s en t. Vind: een kortste pad van s naar t. ss Het kortste pad heeft lengte tt

34 Een grafenprobleem formuleren met ILP (Integer Linear Programming) Probleem: Kortste Pad Gegeven: gerichte graaf D=(V,A) met lengte ll iiii voor elke pijl aa = [ii, jj] en twee speciale knopen s en t. Vind: een kortste pad van s naar t. Formuleer als een ILP-probleem Stap 1: definieer de beslissingsvariabelen Hoe kun je een oplossing met variabelen beschrijven? Stap 2: formuleer de doelfuctie Wat willen we optimaliseren? Stap 3: formuleer de voorwaarden Zorg er voor dat de beslissingsvariabelen geldige oplossingen beschrijven

35 Kortste Pad Probleem formuleren met ILP Stap 1: definieer de beslissingsvariabelen xx iiii = 1 0 Als het pad pijl ii, jj gebruikt Anders Stap 2: formuleer de doelfunctie min ll iiii xx iiii [ii,jj] AA Stap 3: formuleer de voorwaarden O.d.v. jj xx iiii jj xx jjjj xx iiii {0,1} 1 voor ii = ss = 1 voor ii = tt 0 voor alle andere ii voor alle i,j

36 Boom en bos is samenhangend als er een pad bestaat tussen elk tweetal knopen. Een boom (tree) is een samenhangende graaf zonder circuits. Lemma: Zij een ongerichte graaf. De volgende beweringen zijn equivalent: is een boom is samenhangend en heeft kanten heeft geen circuits, maar als een kant aan wordt toegevoegd dan ontstaat er een uniek circuit. Een bos (forest) is een verzameling bomen.

37 Een deelgraaf van een samenhangende graaf is een opspannende boom in als een boom is en.. Probleem: Minimum Spanning Tree (MST) Gegeven: graaf G=(V,E) met lengte dd ii voor elke kant e i EE. Vind: een opspannende boom van G zodanig dat de som van de lengtes van de lijnen in de boom minimaal is. v u w x

38 Een deelgraaf van een samenhangende graaf is een opspannende boom in als een boom is en.. Probleem: Minimum Spanning Tree (MST) Gegeven: graaf G=(V,E) met lengte dd ii voor elke kant e i EE. Vind: een opspannende boom van G zodanig dat de som van de lengtes van de lijnen in de boom minimaal is. v u w x De minimum opspannende boom heeft lengte 6.

39 MST formuleren met LP: voorbeeld Beslissingsvariabelen: xx ii = 1 als lijn ee ii in de boom zit en anders is xx ii = 0 v ee 11 u ee 33 ee 22 w min dd 1 xx 1 + dd 2 xx 2 + dd 3 xx 3 o.d.v. xx 1 + xx 2 + xx 3 = 2 xx 1, xx 2, xx 3 0 xx 1, xx 2, xx 3, 1 (xx 1, xx 2, xx 3 geheeltallig)

40 MST formuleren met LP: voorbeeld u ee 11 ee 22 v ee 33 w Alle hoekpunten zijn geheeltallig, dus de geheeltalligheidseisen kunnen worden weggelaten! min dd 1 xx 1 + dd 2 xx 2 + dd 3 xx 3 o.d.v. xx 1 + xx 2 + xx 3 = 2 xx 1, xx 2, xx 3 0 xx 1, xx 2, xx 3, 1 (xx 1, xx 2, xx 3 geheeltallig)

41 Netwerk Een netwerk is een gerichte graaf samen met een startpunt (source) met in-graad 0, een eindpunt (terminal) met uit-graad 0, bovengrens (capaciteit) op de stroom op elke pijl. ss 7 12 Capaciteit tt

42 Een grafenprobleem formuleren met LP (Linear Programming) Probleem: Max Flow Gegeven: netwerk nn = (ss, tt, VV, AA, bb) Vind: een maximale stroom van s naar t In elke knoop behalve s en t is er behoud van stroom Op elke pijl [u,v] is de stroom maximaal b(u,v). ss 6 (7) 10 (12) Stroom Capaciteit 5 (7) 0(3) 4(4) 0(2) 3(4) 2 (2) 1(1) 5(5) 1 (3) 4(4) 9 (12) tt

43 Max Flow formuleren met LP Stap 1: definieer de beslissingsvariabelen xx iiii is de stroom over pijl [i,j] Stap 2: formuleer de doelfunctie max xx ssss [ss,jj] AA Stap 3: formuleer de voorwaarden O.d.v. jj xx iiii jj xx jjjj xx iiii bb ii, jj xx iiii 0 = 0 voor alle ii VV {ss, tt} voor alle ii, jj VV voor alle ii, jj VV

44 Trucs voor ILP formuleringen Laat xx ii, yy jj {0,1} binaire variabelen zijn als xx ii = 11 dan yy jj = 11 kan gemodelleerd worden als: yy jj xx ii als xx ii = 00 dan yy jj = 00 kan gemodelleerd worden als: yy jj xx ii

45 Trucs voor ILP formuleringen Laat zz {0,1} en xx R variabelen zijn en aa, bb R constantes. als zz = 00 dan aaaa bb kan gemodelleerd worden als: aaaa bb + MMMM oftewel aaaa MMMM bb als zz = 11 dan aaaa bb kan gemodelleerd worden als: aaaa bb + MM(11 zz) oftewel aaaa + MMMM bb + MM met M een heel groot getal.

46 Appendix:

47 CONVEXE FUNCTIES EN VERZAMELINGEN Def. Een convexe combinatie van twee gegeven punten is elk punt dat geschreven kan worden als dat wil zeggen, elk punt dat op het lijnsegment ligt tussen (en inclusief) de punten en. Def. Een verzameling is convex als die alle convexe combinaties bevat van paren punten. xx xx xx yy yy yy convex convex Niet convex

48 Lemma. De doorsnede van convexe verzamelingen convexe verzameling. is een Bewijs. Als en tot behoren, dan behoren ze tot elke deelverzameling. Iedere convexe combinatie van en behoren dan ook tot elke, en daardoor ook tot.

49 Def. Zij een convexe verzameling. De functie is convex in SS als voor ieder paar punten xx, yy SS geldt dat Als zeggen we dat convex is. Def. Een functie gedefinieerd in een convexe verzameling noemen we concaaf in SS als convex is in. Een lineaire functie is convex en concaaf! concaaf convex lineair

50 Begrippen m.b.t. optimaliseringsproblemen Def. Een instantie (geval) van een optimaliseringsprobleem is een paar waarbij is de verzameling toegelaten oplossingen en is de kostenfunctie (doelfunctie): We willen een oplossing bepalen zodanig dat voor iedere. Zo n oplossing noemen we (globaal) optimaal!

51 Def. Een probleem(type) is de verzameling van al zijn instanties. Voorbeelden: 1. Probleem: Het Handelsreizigersprobleem (Traveling Salesman Problem (TSP)) Gegeven zijn steden en een afstandenmatrix. Een tour (of route) is een gesloten pad dat elke stad precies één keer bezoekt. Bepaal de kortste tour. Een instantie wordt bepaald door een gegeven afstandenmatrix. en een specifieke

52 2. Probleemtype: Lineaire optimalisering, LP Gegeven een matrix, een -vector en een -vector, kunnen we een instantie van LP definiëren als: (toegelaten gebied ) (doelfunctie)

53 Begrippen m.b.t grafen Ongerichte grafen grenst aan (is adjacent to) als er een kant bestaat raakt (is incident to) en De graad (degree) dd(vv) van een knoop vv is het aantal kanten dat vv raakt vv 1 vv 2 Hier grenst vv 1 aan vv 2, vv 3 en vv 4. De graad van vv 1 is dus 3. vv 3 vv 4

54 Een wandeling w in G is een aaneenschakeling van knooppunten zodanig dat De wandeling is gesloten als en. v w u y [y,u,v,y,x,z] is een wandeling x z [y,u,v,y,x,z,w,y] is een gesloten wandeling

55 Een wandeling zonder repetities van knopen is een pad (path). v w u y [y,u,v,w,z] is een pad x z Een gesloten wandeling zonder repetities van knopen is een circuit of kring (cycle). v w u y [y,u,v,w,z,x,y] is een circuit x z

56 Gerichte grafen De in-graad (indegree) dd vv van knoop vv, is het aantal pijlen dat vv als eindpunt heeft. De uit-graad (outdegree) dd + vv van knoop vv, is het aantal pijlen dat vv als beginpunt heeft. vv 1 vv 2 dd vv 1 = 1 dd + vv 1 = 2 vv 3 vv 4 Analoog met het ongerichte geval hebben wij gerichte wandeling, gericht pad, gericht circuit

57 Bipartiete grafen Een graaf heet bipartiet als er een partitie van de knopen in en bestaat, zodanig dat elke kant één eindpunt in en één eindpunt in heeft. niet bipartiet bipartiet bipartiet