Onafhankelijke verzamelingen en Gewogen Oplossingen, door Donald E. Knuth, The Art of Computer Programming, Volume 4, Combinatorial Algorithms

Transcriptie

1 Onafhankelijke verzamelingen en Gewogen Oplossingen, door Donald E. Knuth, The Art of Computer Programming, Volume 4, Combinatorial Algorithms Giso Dal ( ) Pagina s Deelverzameling Representatie We gaan binaire vectoren gebruiken om deelverzamelingen te representeren, zodat we gebruik kunnen maken van Binairy Decision Diagrams. Figuur 1: Cirkelgraaf C 6 We definiëren de cirkelgraaf C n als een graaf met n knopen, waarbij knoop i (1 i n) is verbonden met knopen i 1 en (i+1)%n. De cirkelgraaf C 6 in Figuur 1 representeert een functie met 6 variabelen. De waarde in de nodes is de index van x i. In deze opzet zal de vector x = x 1 x 2 x 3 x 4 x 5 x 6 = staan voor de deelverzameling {1, 4, 5}; de vector x = staat voor de lege deelverzameling, etc. In het algemeen geeft x i aan of i tot de deelverzameling behoort. 1

2 2 Deelverzameling Eigenschappen De deelverzamelingen die we nu kunnen uitdrukken in vectoren, kunnen we kiezen op grond van bepaalde eigenschappen hebben. Een onafhankelijke verzameling S in een graaf G, is een verzamelijk knopen in G, waartussen in de graaf geen takken zijn. De onafhankelijke verzamelingen van een cirkelgraaf C n corresponderen met combinaties van 1 en en 0 en van lengte n, waar geen twee 1 en naast elkaar staan. Hierbij bekijken we de string modulair: het einde plakken we vast aan het begin. We nemen als voorbeeld de cirkelgraaf C 6 in Figuur 1. Stel we nemen de deelverzameling {1, 3}. In de graaf zijn de desbetreffende nodes geen buren van elkaar. Als we kijken naar de bijbehorende vector x = , dan zien we dat er inderdaad geen twee 1 en naast elkaar staan en het dus een onafhankelijke verzameling is in C 6. Ook de lege verzameling is volgens dezelfde logica een onafhankelijke verzameling. Met behulp van de cirkelgraaf C 6 kan ook een Binairy Decision Diagram (BDD) geconstrueerd worden waarvoor geldt f(x) = 1 dan en slechts dan als x een onafhankelijke verzameling is. We nemen voor de wortel, de index van variabele x 1. Omdat er geen twee 1 en achter elkaar mogen staan mogen er geen twee HI branches achter elkaar voorkomen die naar True kunnen leiden. Hierom zie je in Figuur 2 dat de twee achtereenvolgende HI branches vanuit de wortel, naar False wijzen. Dit geldt overigens voor elke twee achtereenvolgende HI branches. Figuur 2: onafhankelijke verzamelingen van C 6 2

3 Een onafhankelijke verzameling is maximaal onafhankelijk als de verzameling niet verder uitgebreid kan worden door het toevoegen van een node, zonder de eis te verliezen die voor onafhankelijke verzamelingen geldt. Neem bijvoorbeeld de verzameling {1, 3, 5}. Deze verzameling is maximaal onafhankelijk, omdat er geen node meer toegevoegd kan worden zonder dat er in de corresponderende vector x = twee of meer 1 en naast elkaar zullen komen te staan. Maximaal onafhankelijke verzamelingen worden ook wel kernels genoemd. Kernels kunnen op dezelfde manier gevonden worden als onafhankelijke verzamelingen, door een BDD te construeren. Omdat een kernel een extra restrictie heeft ten opzichte van een onafhankelijke verzameling, moet het BDD niet alleen naar de False sink node wijzen na twee actereenvolgende HI branches, maar ook na drie achtereenvolgende LO branches. De logica hierachter is dat als je een vector hebt waarin de substring 000 voorkomt, dan kun je van de middelste 0 een 1 maken zonder de eis voor onafhankelijke verzamelingen te verliezen. Een string correspondeerd met een kernel precies dan als nergens twee 1 en naarst elkaar staan en nergens drie 0 en naast elkaar staan. Ook hier kan van de cirkelgraaf C 6 uit Figuur 1 een BDD geconstrueerd worden waarvoor geldt f(x) = 1 wanneer x een kernel is. Het resultaat hiervan staat in Figuur 3. Figuur 3: Kernels van C 6 3

4 3 Oplossingen Tellen en Random Oplossingen Genereren Om random oplossingen te kunnen genereren hebben we Algoritme C nodig, welke het aantal oplossingen telt voor de booleaanse vergelijking f(x) = 1. De True sink node is worden met 1 geïnitialiseerd en naar boven gepropageerd door de waardes in de kinderen bij elkaar op te tellen. Dit gaan we toepassen op Figuur 2 om te kijken naar het aantal onafhankelijke verzamelingen en op Figuur 3 om te kijken naar het aantal kernels voor de cirkelgraaf C 6. Er zijn geen speciale gevallen als we algoritme C toepassen op het BDD voor kernels. We initialiseren iedere True sink node op 1 en iedere False sink node op 0. Vervolgens propageren we deze waardes naar boven. De waarde in iedere ouder, is de optelling van de waardes van zijn kinderen, zoals te zien is in Figuur 4. Figuur 4: Algoritme C toegepast op de kernels van C 6 In de wortel staat het totaal aantal kernels, oftewel het totaal aantal verschillende paden van de wortel tot de True sink node. Het algoritme gaan we ook toepassen op het BDD uit Figuur 2 voor de onafhankelijke verzamelingen. Hier komt wel een speciaal geval in voor. In een aantal gevallen is de index i van het kind van een ouder met index i, niet gelijk i+1. Dit zijn de zogeheten don t care momenten. Iedere keer als j niet gelijk is aan i + 1, wordt de waarde van het kind dat naar boven gepropageerd wordt, vermenigvuldigd met 2 j (i+1). Hierbij staat j (i + 1) voor al de tussenliggende nodes van ouder i naar kind j. De reden voor deze vermenigvuldiging is gemakkelijk te 4

5 verklaren. Voor iedere don t care node zijn er twee mogelijke paden om te bewandelen: de HI of de LO branch. Voor iedere opeenvolgende don t care node wordt het aantal paden naar een True sink node verdubbeld, waardoor de factor 2 j (i+1) ontstaat. Als we Algoritme C dus volgen voor onafhankelijke verzamelingen zien we in Figuur 5 dat C 6 18 oplossingen heeft. Figuur 5: Algoritme C toegepast op onafhankelijke verzamelingen van C 6 Nu we voor iedere node weten hoeveel paden er naar een True sink node leiden, kunnen we een random oplossing genereren. Neem bijvoorbeeld vector x = x 1 x 2 x 3 x 4 x 5 x 6. Als we kijken naar de wortel node in Figuur 5, zien we dat er 13 paden overblijven als we de LO branch nemen en dat er 5 paden over blijven als we de HI branch nemen. Omdat er in de wortel 18 paden zijn, maken we de kans dat we een LO branch nemen Als we de LO branch nemen wordt x 1 op 0 gezet en als we de HI branch kiezen wordt x 1 op 1 gezet. Stel dat we de HI branch nemen en x 1 = 1, dan wordt afgedwongen dat x 2 gelijk is aan 0. Vervolgens kan x 3 wel beide kanten op gaan. Stel dat we kiezen x 1 = 1, x 2 = 0, x 3 = 0, x 4 = 0. De kans dat dit optreedt is dan = Nu is er een branch van node 4 naar 6, dus gooien we een eerlijke munt een geven x 5 een compleet random waarde. In het algemene geval geldt, als er een branch van node i naar node j gaat, dat de tussenliggende j (i + 1) nodes x i+1 x j 1 onafhankelijk en met gelijke kans de waarde 0 of 1 gegeven moeten worden. Natuurlijk zijn er makkelijkere manieren om een random keuze te maken tussen oplossingen in een combinatorisch probleem. De manier waarop de 5

6 kernels van C 6 gerepresenteerd worden door het BDD in Figuur 4 is complexer dan nodig. We kunnen de kernels namelijk aan de hand van Figuur 1 makkelijk zo opschrijven. Dit zijn , , , en ! Maar, het punt is dat de gegeven methode werkt voor onafhankelijke verzamelingen en kernels voor C n, zelfs als n heel groot is. Neem bijvoorbeeld de cirkelgraaf C 100, bestaande uit 100 variabelen. Deze heeft maar liefst 1, 630, 580, 875, 002 kernels en het BDD die de kernels representeert heeft maar 855 nodes. Met de hand geen beginnen aan dus. In 100 stappen kunnen wij een volledig random kernel genereren met behulp van het BDD, uit deze enorme collectie. 4 Algoritme B: Oplossingen voor Maximaal Gewicht Een bottom-up algoritme analoog aan Algoritme C kan de optimale gewogen oplossingen voor de booleaanse vergelijking f(x) = 1 vinden. Het idee is dat het makkelijke is om een optimale oplossing voor een willekeurige bead van f te vinden, als we de optimale oplossingen voor de LO en HI beads weten die er direct onder liggen. In feite combineer je hun resultaten. Volgens de formulering van Knuth is het algoritme niet-recursief. Algoritme B (Oplossingen voor maximaal gewicht). Laat I s 1,, I 0 een reeks branch instructies zijn die een BDD representeert voor de booleaanse functie f, waarbij I gedefinieerd is door (v?l : h) en betekend als x v = 0, ga naar instructie I l, anders ga naar instructie I h. Hierbij is s het aantal branch instructies nodig om het BDD te beschrijven. Verder is (w 1,, w n ) een arbitraire reeks gegeven integer gewichten. Het algoritme vindt een binaire vector x = x 1 x n zodat de vergelijking x 1 w w n x n maximaal is, met f(x) = 1. We nemen aan dat s > 1; anders is f(x) gelijk aan 0. Hulp integer-vectoren m 1 m s 1 en W 1 W n+1 worden gebruikt bij de berekeningen, evenals het hulp bit-vector t 2 t s 1. B1. [initialisatie] initialiseer W n+1 0 en W j W j+1 + max(w j, 0) waarbij n j 1. B2. [loop k] initialiseer m 1 0 en doe stap B3, waarbij 2 k < s. Ga verder met stap B4. 6

7 B3. [verwerk I k ] initialiseer v v k, l l k, h h k, t k 0. als l 0, dan m k m l + W v+1 W vl. als h 0, dan m m h + W v+1 W vk + w v als l = 0 of m > m k, dan is m k = m en t k = 0. B4. [verwerk de x en] initialiseer j 0, k s 1. Doe de volgende operaties totdat j = n. zolang j < v k 1, j j + 1 en x j [w j > 0]; als k > 1, dan j j + 1 en x j t k en k (t k = 0?l k : h k ). Aan de hand van een voorbeeld zal het algoritme uitgelegd worden. Gaandeweg wordt het gebruik van bepaalde variabelen uitgelegd. We gaan het algoritme toepassen op het BDD in Figuur 6, welke zich vertaalt naar de branch instructies daaronder. Figuur 6: Voorbeeld BDD voor Algoritme B We nemen als gewichten (w 1, w 2, w 3, w 4 ) = (1, 2, 3, 4). We beginnen met stap B1 en zien dat W 0..W n+1 = (5, 4, 4, 4, 0). De vector W houdt rekening met de positieve gewichten, welke gebruikt gaan worden in gedeelte B3. We 7

8 gaan door naar B2. Iedere node in het BDD in Figuur 6 krijgt een variabele m. Bij iedere node hoort een branch instructie I k en hulpvariabele m k. De False sink node krijgt geen m toegewezen en m 1 (voor de True sink node) wordt geïnitialiseerd op 0. Het deel B3 ziet er ingewikkeld uit, maar doet berekeningen die niet ingewikkeld zijn. Het hele deel valt te vertalen in de operatie m k max(m l + W v+1 W vl, m h + W v+1 W vh + w v en de maximum bit-waarde wordt opgeslagen in t k. Deze vergelijking is als volgt te verklaren. De bijdrage van de LO branch is m l + W v+1 W vl. m l is de m waarde van het LO kind. W v+1 W vl kijkt of het kind van een ouder de eerstvolgende variabele representeert. Dit is niet altijd het geval. Als we kijken naar de meeste linkse node met 3 gelabeld, dan gaat deze node meteen door naar sink nodes en slaat de node met labeling 4 over. In het geval dat er variabelen worden overgeslagen, moeten die gezien worden als don t cares. Aangezien we op zoek zijn naar de maximale uitkomst voor de vergelijking x 1 w 1 +x 2 w 2 +x 3 w 3 +x 4 w 4, willen we al de positieve gewichten van die nodes meenemen. Als w i > 0, met i de index van een overgeslagen variabel, moet x i gelijk gesteld aan 1 worden en anders 0. De bijdrage van de HI branch is m h + W v+1 W vh + w v. Deze is analoog aan de vergelijking voor de LO branch, maar neemt het gewicht w v mee. Als een LO branch wordt gekozen wordt de bijbehorende variabele namelijk op 0 gezet en 1 als de HI branch gekozen wordt. Met de HI branch wordt bijvoorbeeld x i w i veranderd in 1 w i. Volgens een bottom-up wijze lopen we het BDD af door de instructies af te lopen van I 2 naar I s 1 en de bijbehorende m k en t k in te vullen. Zo verkrijgen we het volgende: m 2 = w 4 = 2 en t 2 = 1; m 3 = t 3 = 0; m 4 = max(m 3, m 2 + w 3 ) = 1, t 4 = 1; m 5 = W 4 W 5 = 4, t 5 = 0; m 6 = w 2 + W 3 W 5 = 2, t 6 = 1; m 7 = max(m 5, m 4 + w 2 ) = 4, t 7 = 0; m 8 = max(m 7, m 6 + w 1 ) = 4, t 8 = 0. Om de oplossing nu te kunnen opschrijven beginnen we bij de wortel en volgen B4. De waarde van x 1 wordt gelijk aan t 8. Als t i gelijk is aan 0 nemen we de LO branch en anders de HI branch, dus in het geval van t 8 nemen we de LO branch. Dit gaat verder, zolang het kind van een ouder de eerst volgende variabele representeert. Dit herhaalt totdat de meest linkse node met labeling 3 meteen door gaat naar de True sink node en de node met labeling 4 overslaat. We willen natuurlijk dat de vergelijking die we aan het oplossen zijn een zo hoog mogelijke waarde krijgt. Als w i positief is moet x i gelijk worden aan 1 en anders 0. x 4 zal gelijk worden aan 1, omdat w 4 positief is. De oplossing voor de vergelijking wordt dus x 1 x 2 x 3 x 4 =