Algoritmiek 2017 / Algoritmiek 1

Transcriptie

1 2017 /

2 Waarom dit vak? Omdat Mensen ongeduldig zijn Het belangrijk is dat antwoorden (van berekeningen door computers) snel / op tijd komen (en juist zijn) Dus leren we Algoritmische technieken kennen, toepassen, analyseren Belangrijke algoritmen voor centrale problemen kennen en begrijpen 2

3 Docenten Hans Bodlaender Buys Ballotgebouw 503 Maandags afwezig Erik Jan van Leeuwen Buys Ballotgebouw 509 3

4 Team werkcollege en practicum Werkcollegeleider: Tom van der Zanden Studentassistenten (werkcollege, clarifications domjudge): Casper Hagenaars Max Hessey Jelle Kroon Mike de Vries 4

5 Onderdelen College Werkcollege Practicum Tentamens 5

6 Onderdelen College Twee keer per week, belangrijke aanvulling op stof uit boek Powerpoints op website Werkcollege Practicum Tentamens 6

7 Onderdelen College Werkcollege Twee keer per week, na college Belangrijk: oefenen van stof is belangrijker dan er naar luisteren Niet bedoeld voor practicum Steeds wordt 1 opgave aan het eind voorgedaan Practicum Tentamens 7

8 Onderdelen College Werkcollege Practicum 6 opgaven met Domjudge (straks meer) Tentamens 8

9 Onderdelen College Werkcollege Practicum Tentamens Twee deeltentamens, elk over ongeveer helft van de stof Je mag meenemen: 4 kantjes A4 (2 vel A4 aan beide zijden beschreven, 4 vel A4 aan 1 kant beschreven, normaal lettertype, zelfgemaakt) 9

10 Cijfer Beide deeltentamens tellen even zwaar Eindcijfer: Hooguit 3 practicumopgaven goed: onvoldoende 4 practicumopgaven goed: gemiddeld tentamencijfer afgerond 5 practicumopgaven goed: gemiddeld tentamencijfer afgerond practicumopgaven goed: gemiddeld tentamencijfer afgerond + 1 Afronding: 5.5 gaat naar 6, 5.49 naar 5. Boven de 6 op halve punten afgerond. 10

11 Herkansingsregeling Je kan of: 1 practicumopgave inhalen 2 practicumopgaven inhalen Hertentamen doen 1 practicumopgave inhalen en hertentamen doen Hertentamen vervangt laagste deeltentamencijfer en gaat over de hele stof UU-regel: als je een voldoende hebt kan je die niet met een herkansing ophogen 11

12 Practicum 6 opgaven, inleveren via Domjudge 1e opgave niet triviaal, maar veel makkelijker dan de rest Latere opgaven veel moeilijker. Opgave 6 is het moeilijkst Je moet er minstens 4 halen. Let op de deadlines! Te laat is te laat Dus: begin op tijd! 12

13 Alleen werken Je moet de opgaven alleen maken Er wordt gecontroleerd op fraude, en bij een vermoeden van fraude wordt de regeling van de Universiteit Utrecht gevolgd en is het eindcijfer van dit vak een 1 Berisping ; 2e berisping uitsluiting studie 1 jaar Je mag wel kort (1.5 minuut) met elkaar praten over het practicum, maar niet: Code of pseudocode van elkaar bekijken (of inkijken, uitwisselen, geven, in ontvangst nemen, debuggen, inleveren, etc.) Ook niet openbaar maken 13

14 Domjudge Je kan een opgave tot de deadline zo vaak inleveren als je wilt Tot in het redelijke Je ingeleverde code wordt: Gecompileerd en gedraaid met een aantal geheime testinvoeren Je krijgt te horen: Code compileert niet goed Code geeft runerror Code geeft fout antwoord op testinvoer Code gebruikt te veel tijd Correct programma In het algemeen geldt: bij correct programma heb je de opgave gehaald; anders kan je je programma verbeteren en opnieuw inleveren 14

15 Tips en hulp Test je programma ook met eigen testinvoeren en die van de website Clarifications: Vragen over je programma kan je stellen via clarificationssysteem in domjudge aan studentassistenten Verwacht niet altijd en niet direct antwoord Zorg voor leesbare code Hulp door clarifications heeft grenzen Geen clarifications in weekend Programma te langzaam: Gebruik je het goede algoritme? Gebruik je de goede constructies uit C#? (Bijvoorbeeld: ingebouwde functies kunnen grote complexiteit hebben) Let op: Geheime inputs Tijd 15

16 Allerlei vragen Over organisatie van vak, cijfers van tentamens, etc: docent Hans Bodlaender Over practicum (cijfers, inloggen, ): Tom van der Zanden Over inhoud: werkcollege, of docent in de pauze 16

17 Inhoud Algoritmische technieken: Dynamisch programmeren Divide and Conquer Greedy Algorithms Gerandomiseerde algorithms Analyse van algoritmen Geamortiseerde analyse (o.a. Union-Find datastructuur) NP-volledigheid Benaderingsalgoritmen Grafen en netwerken Kortste paden Opspannende bomen Stroming en snedes 17

18 Dynamisch Programmeren I

19 Dynamisch programmeren Een algoritmische techniek Werkt voor veel verschillende problemen Soms snel, soms langzaam Soms makkelijk, soms moeilijk Algoritme wordt gemaakt door volgen van een `stappenplan 19

20 Inhoud Voorbeelden De techniek Het stappenplan Nog meer voorbeelden, en ingewikkelder toepassingen van Dynamisch Programmeren Implementatie details 20

21 Eerste voorbeeld Fibonaccigetallen FF(0) = 0; FF(1) = 1 Als ii > 1, dan is FF(ii) = FF(ii 1) + FF(ii 2) Hoe reken je FF(6) uit? 21

22 Recursief Method Fibonacci (integer ii) if ii == 0 then return 0; if ii == 1 then return 1; Return Fibonacci(ii 1) + Fibonacci(ii 2) 22

23 Beter: een dynamisch programma Method FibonacciDP (integer ii) if ii == 0 then return 0 if ii == 1 then return 1 Maak een integer array FF[0 ii] aan FF[0] = 0; FF[1] = 1; for jj == 2 to ii do FF jj = FF jj 1 + FF jj 2 enddo. Return FF[jj] 23

24 De driehoek van Pascal Function CC(nn, kk) if (kk == 0) or (kk == nn) then return 1 else return CC(nn 1, kk 1) + CC(nn 1, kk) n n! n 1 n 1 = = + k k!( n k)! k 1 k 24

25 Recursief of met Memorisatie? In functionele taal als bijv. Haskell (hangt af van compiler): Iedere term CC(ii, jj) wordt maar 1 keer uitgerekend. Kost OO((nn + 1)(kk + 1)) tijd, zeg OO(nnnn). In imperatieve taal: Verschillende termen worden vaker dan 1 keer uitgerekend Kost veel tijd: berekenen van CC(nn, kk) kost Θ(CC(nn, kk)) tijd!! Function CC(nn, kk) if (k == 0) or (kk == nn) then return 1 else return CC(nn 1, kk 1) + CC(nn 1, kk) 25

26 Driehoek van Pascal Imperatief Function CC(nn, kk) Neem 2-dimensionaal array AA[0 nn, 0 kk] for ii = 0 to nn do for jj = 0 to min (ii, kk) do if (jj == 0) or (jj == ii) then AA[ii, jj] = 1 else AA[ii, jj] = AA[ii 1, jj 1] + AA[ii 1, jj] Return A[n,k] Zelfde stappen als in recursief algoritme, maar 26

27 Equivalent Function CC(nn, kk) Neem 2-dimensionaal array AA[0 nn, 0 kk] for ii = 0 to nn do AA[ii, 0] = 1; for ii = 0 to kk do AA[ii, ii] = 1; for ii = 0 to nn do Initialisatie buiten de hoofdloop gehaald: dit is net iets efficienter for jj = 0 to min (ii, kk) do AA[ii, jj] = AA[ii 1, jj 1] + AA[ii 1, jj] Return AA[nn, kk] 27

28 Analyse dynamisch programmeer OO(nnnn) tijd Kan in OO(kk) geheugenruimte door maar twee regels van array te gebruiken algoritme Function CCC(nn, kk) Neem arrays AA[0 kk] en BB[0 kk] for ii = 0 to nn do for jj = 0 to min (ii, kk) do if (jj == 0) or (jj == ii) then AA[jj] = 1 else AA[jj] = BB[jj 1] + BB[jj] for jj = 0 to kk do Return AA[kk] BB[jj] = AA[jj] 28

29

30 Voorbeeld 2: Simplified Risk Deel van spel: Twee `legers : ii rode steentjes en jj blauwe steentjes. Beide spelers gooien een dobbelsteen. Als de rode speler meer dan de blauwe speler gooit, dan gaat er 1 blauw steentje weg, anders 1 rood steentje. Een speler wint als de tegenstander geen steentjes meer heeft PP(ii, jj) is kans dat rode speler wint. PP(ii, jj) = 15/36 PP(ii, jj 1) + 21/36 PP(ii 1, jj) Function PP(ii, jj) if (ii == 0) then return 0 else if (jj == 0) then return 1 else return 15/36 PP(ii, jj 1) + 21/36 PP(ii 1, jj) 30

31 Simplified Risk (2) Met Memorisatie (functioneel): snel Recursief imperatief: Te veel tijd Function PP(ii, jj) if (ii == 0) then return 0 else if (jj == 0) then return 1 else return 15/36 PP(ii, jj 1) + 21/36 PP(ii 1, jj) 31

32 0 j: aantal steentjes blauwe speler * i: aantal van rode 2 speler /36 85/144 32

33 Berekeningsvolgorde Function SRP(ii, jj) Maak 2 dim array PP[0 ii, 0 jj] for rr = 0 to ii do for bb = 0 to jj do Bereken PP[rr, bb] Return PP[ii, jj] 33

34 Function SSSSSS(ii, jj) DP algoritme voor Simplified Risk Maak 2 dim array PP 0 ii, 0 jj for rr = 0 to ii do for bb = 0 to jj do if (rr == 0) then PP[rr, bb] = 0 else if (bb == 0) then PP[rr, bb] = 1 else PP rr, bb = Return PP[ii, jj] PP rr, bb PP rr 1, bb 34

35 Basisidee Dynamisch Programmeren Reken iets niet voor de tweede keer uit iets : deelprobleem Twee mogelijkheden: `Klassiek DP: vul datastructuur met antwoorden voor deelproblemen, zodat nodige gegevens al eerder zijn berekend Memorisatie: kijk of we t al eerder hebben uitgerekend zo ja, geef dat antwoord; zo nee: reken uit en sla antwoord op in datastructuur (bijvoorbeeld array of hashtabel) 35

36 De ontwerpmethode (1) 1. Identificeer `deelproblemen, waarbij helpt a) Wat is de `rij van keuzes die leidt tot een oplossing? b) Wat is de `top choice (laatste keuze)? 2. Ontwerp een recurrente betrekking voor het probleem: druk het probleem uit in termen van (andere) deelproblemen. Geef ook basisgevallen Top choice helpt (vaak: gevalsonderscheid) 3. Wat is de berekeningsvolgorde? (Mag geen cycle hebben ) 4. Bereken in volgorde de waardes voor de deelproblemen. 5. Eventueel: geheugenbesparing of constructieve versie. 36

37 Voorbeeld 3 Gepast betalen Stel, we hebben munten van waardes aa 1, aaaa en we willen bb betalen. Hoe kunnen we dit doen met zo min mogelijk munten? Euro s kunnen greedy (komt later deze collegeserie), maar andere sets munten niet altijd. Greedy: geef steeds grootst mogelijke munt terug, bijv: 84: 50 (34), 20 (14), 10 (4), 2 (2), 2. Met munten van 1, 10, 25 geeft greedy niet altijd goede antwoord: Greedy geeft voor 30 cent: 25, 1, 1, 1, 1, 1 (6 munten), maar optimaal is: 10, 10, 10 (3 munten) Hier: DP algoritme voor `wisselgeld probleem. 37

38 Gepast betalen: probleemstelling Gegeven: positieve gehele getallen aa 1,, aa rr, niet negatief geheel getal bb Gevraagd: op welke manier kan bb verkregen worden door zo min mogelijk munten van waardes aa 1,, aa rr? 38 Munten mogen ieder niet-negatief aantal keren gebruikt worden. Totale som moet b zijn. We zoeken dus xx 1,, xx rr NN = {0,1, } met r i= 1 x i a i = b en r i= 1 x i zo klein mogelijk

39 Rij van keuzes Hoeveel nemen we van de eerste munt? Hoeveel nemen we van de tweede munt? Hoeveel nemen we van de laatste munt? Oftwel: xx 1,, xx rr Top choice: xx rr 39

40 Hoe ziet de situatie eruit als we al een aantal keuzes gemaakt hebben? Stel we hebben al van de eerste qq munten besloten hoeveel te nemen. Situatie kan je karakteriseren met: qq Aantal munten tot nu toe gebruikt Totaalbedrag van de tot nu toe gebruikte munten q q x i i= 1 i= 1 x i a i Dus: (qq,, ) 40

41 Deelproblemen Gegeven aa 1,, aa rr, bb, schijf WW(ii, cc) als het minimum aantal munten Nodig om bedrag cc te krijgen Als we alleen munten aa 1,, aa ii mogen gebruiken Vb: Munten van waarden 1, 5, 8, 20 WW(1,7) = 7 (we mogen alleen munt 1 gebruiken) WW(2,7) = 3 (beste oplossing is 5, 1, 1) WW(3,7) = WW(4,7) = 3 (nog steeds) WW(1,23) = 23; WW(2,23) = 7; WW(3,24) = 5 (met: 8,8,5,1,1); WW(4,23) = 4 (met: 20,1,1,1) 41

42 Speciale gevallen Munten met waardes 3, 5, 10, 30 WW(, 0) = 0: geen munten nodig om 0 te betalen. WW(4,7) = + (kan niet gemaakt worden) WW(0,5) = + (geen munten dus kan niet gemaakt worden) 42

43 Recurrente betrekkingen WW(ii, 0) = 0 voor alle ii 0. Basisgevallen WW(0, yy) = + voor alle yy > 0. Als ii > 0 en yy > 0 en aa ii > yy, dan WW(ii, yy) = WW( ii 1, yy) Munt aa ii kan niet gebruikt worden om y te betalen. Als ii > 0 en yy > 0 en aa ii yy, dan WW(ii, yy) = min ( WW( ii 1, yy), WW(ii, yy aa ii ) + 1) Munt aa ii kan wel gebruikt worden. Als je de munt niet gebruikt moet je yy maken met de eerste ii 1 munten; anders moet je yy aaaa maken en nog een munt aa ii erbij. Bekijk beide en neem de beste (minimum). 43 Gevalsonderscheid met de top-choice

44 Recursief programma Wissel( Array AA, integers ii, yy) If (yy == 0) then return 0; If (ii == 0) then return maxint; If (aa ii > yy) then return Wissel(AA, ii 1, yy); Return min (Wissel(AA, ii 1, yy), Wissel(AA,ii, yy aa ii ) + 1) 44

45 ii: munten Voor berekeningen nodig: Element met ii 1 en element met yy aa ii yy: bedrag 45

46 Uitrekenen in volgorde Function Wissel(AA[1 rr], bb) Maak 2-dim array WW 0 rr, 0 bb. WW[0,0] = 0. for jj = 1 to bb do WW[0, jj] = +. for ii = 1 to rr do for jj = 0 to bb do Bereken WW[ii, jj]. Return WW[rr, bb] Straks preciezer 46

47 Algoritme Function WisselDP( AA[1 rr], bb) Maak 2-dim array WW[0 rr, 0 bb]. WW[0,0] = 0. for jj = 1 to bb do WW[0, jj] = +. for ii = 1 to rr do for jj = 0 to bb do if (AA[ii] > jj) then WW[ii, jj] = WW[ii 1, jj] else W[i,j] = min (W[i-1,j],W[i,j-A[i])+1] Return W[r,b] 47

48 Analyse WisselDP gebruikt OO(rrrr) tijd. Als bb niet te groot is, is dit snel. 48

49 Niet altijd integer functies Wisselbaar Gegeven munten met waardes aa 1,, aaaa, kan hiermee een bedrag b betaald worden? Wisselbaar({3,5,11}, 6) = true Wisselbaar({3,5,11}, 16) = true Wisselbaar({3,5,11}, 7) = false Zelfde soort algoritme als voor Wissel: nu met Booleans. 49

50 DP algoritme voor Wisselbaar probleem Function Wisselbaar( AA[1 rr], bb) Maak 2-dim array van Booleans WW[0 rr, 0 bb]. WW[0,0]=true. for jj = 1 to bb do WW[0, jj] = false. for ii = 1 to rr do for jj = 0 to bb do if (AA[ii] > jj) then WW[ii, jj] = WW[ii 1, jj] else WW[ii, jj] = WW[ii 1, jj] oooo WW[ii, jj AA[ii]] Return WW[xx, yy] 50

51 Het optimaliteitsprincipe Dynamisch programmeren lukt vaak als: Het niet uitmaakt hoe je er gekomen bent, maar alleen waar je bent Preciezer: Als een oplossing optimaal is, dan zijn diens deeloplossingen ook optimaal. 51

52 Uitwisselargumenten 52

53 Wat is een goede keuze van Vaak werkt dit: deelproblemen 1. Hoe ziet een oplossing voor de hele input eruit? 2. Als we naar een deel (bijv. beginstuk) van de input kijken, wat zien we dan van zo n oplossing (definieer een notie deeloplossing) 3. Wat is essentieel om te weten van een deeloplossing voor mogelijke uitbreiding tot een hele oplossing? 53

54 Eerlijke Boedelverdeling Twee broers moeten een stel voorwerpen verdelen van waarde aa 1, aa 2,, aa nn. Hoe doen ze dat zo eerlijk mogelijk? (D.w.z., verdeel aa 1, aa 2,, aa in nn twee verzamelingen waarvan de som zo weinig mogelijk verschilt.) Neem aan waardes in array AA[1 nn] 1, 5, 8, 10, 11 {8, 10} en {1, 5, 11} is eerlijkste verdeling (verschil 1.) 54

55 Stappenplan voor DP Stap 1: wat is de rij van keuzes? Voor de hand liggend: Welke broer krijgt voorwerp 1? Welke broer krijgt voorwerp 2? Welke broer krijgt voorwerp nn? Top choice: welke broer krijgt voorwerp nn? 55

56 Stappenplan voor DP Stap 3: Identificeer deelproblemen Vaak werkt volgende strategie: Deelprobleem is: Beginstuk van gebeurtenissen of beslissingen + Situatie na een stel gebeurtenissen en beslissingen 56

57 Boedelprobleem Stap 1 1 e poging Beslissingen: welke broer krijgt voorwerp 1; welke broer krijgt voorwerp 2; etc. Idee voor deelproblemen: Wat is de eerlijkste verdeling van de eerste i voorwerpen? Hiermee is geen DP algoritme te maken: optimaliteitsprincipe geldt niet. mislukt Voorwerpen 1, 5, 6: eerlijkste verdeling 1 e twee voorwerpen zegt niets over eerlijkste verdeling alle drie voorwerpen 57

58 Waarom werkt dit niet? Er zijn mogelijke begin-keuzes die tot een optimale oplossing leiden die niet in een deelprobleem `gevangen worden Voorwerpen 1, 5, 6, 10 Begin: (1 en 5, 6) is geen deel van de optimale oplossing (1 en 10, 5 en 6) 58

59 Boedelprobleem Stap 1 Verdeel(ii, cc): is er een verdeling van de eerste ii voorwerpen met verschil in waarde precies cc? 1,5,8,10,11: Verdeel(2,4) = true Verdeel(2,5) = false Verdeel(2,6) = true (1,5 vs niets) Verdeel(3,2) = true (1,5 vs 8) 59

60 Welke deelproblemen zijn relevant? n n i= 1 a i c i= 1 a i 60

61 Stap 3 Ontwerp recurrente betrekking die oplossing van deelprobleem uitdrukt in oplossingen van andere deelproblemen. Verdeel(0,0) = true Voor cc 0: Verdeel(0, cc) = false Voor ii > 0: Verdeel(ii, cc) = Verdeel(ii 1,cc AA[ii]) or Verdeel(ii 1,cc + AA[ii]) ii de voorwerp naar 1e of 2e broer: gevalsonderscheid op de top-choice 61

62 Stap 4 ii: voorwerpen Wat is de berekeningsvolgorde? Hier: kolomsgewijs, d.w.z, stijgend aantal voorwerpen cc: verschil 62

63 Stap 5 Bereken de deelproblemen met behulp van de recurrente betrekking in de gevonden volgorde. 63 Eigenlijk fout: neem een false voor elt die niet in de array zitten Bereken TT = i= 1 Maak array VV[0 nn, TT TT] for ii = 0 to nn do for cc = TT to TT do if ii = 0 and cc = 0, then VV[ii, cc] = true else if ii = 0 and cc 0 then VV[ii, cc]=false else VV ii, cc = VV ii 1, cc aa ii oooo VV[ii 1, cc + aa ii ] Nu nog het antwoord vinden n a i

64 Vervolg stap 5: Antwoord vinden: poging 1 for cc = 0 to TT do if VV[nn, cc] == true then return cc Dit vindt het kleinst mogelijke verschil in de waarde van de verdeling tussen de broers. Maar nog niet de eerlijkste verdeling zelf? Hoe dat te doen is Stap 6. To be continued 64

65 Practicumsom 1: een variant Stel, we hebben (positive gehele) getallen A en BB Wat is het aantal rijtjes van AA naar BB waarbij: Een rijtje is een string met D s en I s D betekent: neem 2 keer het vorige getal I betekent: neem het vorige getal + 1 Bijvoorbeeld: 5 met IIDI geeft 15 (6, 7, 14, 15) Practicumsom: gegeven AA en BB, wat is het aantal (AA, BB)-rijtjes. Vandaag bespreken we: wat is het kortste (AA, BB)-rijtje? 65

66 Lengte van kortste rijtje Kortste rijtje Het kortste (AA, BB)-rijtje 1. Wat is de rij keuzes? Wat is de laatste keuze? 2. Wat zijn de deelproblemen? 3. Recurrente betrekking a) Uitdrukking in kleinere deelproblemen b) Basisgeval(len) 4. Berekeningsvolgorde 5. Programma voor lengte van kortste rijtje 6. Versie voor constructie van het kortste rijtje 66

67 Uitwerking De rij keuzes is de rij met D s en I s De laatste keuze is: wat is de laatste letter? Deelproblemen: Voor CC met AA CC BB, wat is de lengte van het kortste rijtje van AA naar CC? Noem dit LL(CC) Basisgeval: LL(AA) = 0. Recurrente betrekking: Als CC oneven is, dan LL(CC) = LL(CC 1) + 1. Als CC even is, en CC/2 < AA, dan LL(CC) = LL(CC 1) Als CC even is en CC AA, dan 2 LL CC = min{ll CC 1 + 1, LL CC + 1) 2 Kan slimmer

68 Dynamisch programmeren Maak een array LL[AA BB] LL AA = 0 for CC = AA to B do if CC is oneven of CC/2 < AA then LL CC = LL CC else LL CC = min {LL CC 1 + 1, LL CC + 1} 2 Output LL[BB] 68

69 Leveren van het kortste rijtje Nadat we array L gevuld hebben, bijvoorbeeld met volgend recursief programma: GiveShortest(integer AA, BB) If (AA==BB) then return empty string If (LL BB == LL(BB) then return GiveShortest(AA, BB 1) + I Else return GiveShortest(AA, BB/2) + D 69

70 Wordt vervolgd Vinden van oplossingen in plaats van waardes van oplossingen Memorisatie Besparen van geheugenruimte Andere toepassingen van dynamisch programmeren Ingewikkelder structuren 70