INHOUDSOPGAVE LEERGANG BESLISKUNDE L.C.M. KALLENBERG UNIVERSITEIT LEIDEN

Transcriptie

1 INHOUDSOPGAVE LEERGANG BESLISKUNDE L.C.M. KALLENBERG UNIVERSITEIT LEIDEN

2

3 TEN GELEIDE Deze Leergang Besliskunde bevat de dictaten die ik heb geschreven voor de diverse besliskundecolleges die door mij zijn gegeven. Het betreft de colleges: I. Caleidoscoop (onderdeel besliskunde) II. Besliskunde 1 III. Besliskunde 2 IV. Besliskunde 3 V. Besliskunde 4 VI. Markov Decision Processes Hieronder een overzicht met enkele gegevens over deze colleges. Vak Jaar EC s Pagina s Vragen Opgaven Caleidoscoop 1-ste jaar Besliskunde 1 2-de jaar Besliskunde 2 3-de jaar 6 of Besliskunde 3 3-de of 4-de jaar 6 of Besliskunde 4 3-de of 4-de jaar 4 tot Markov Decision Processes Master of PhD 4 tot De oplossingen van de vragen staan achterin de dictaten. De oplossingen van de opgaven staan in aparte dictaten die voor docenten op aanvraag beschikbaar zijn. 6 EC als alleen de eerste drie hoofdstukken worden gedaan. 6 EC als alleen de eerste vijf hoofdstukken worden gedaan. Het aantal EC s is afhankelijk van het aantal hoofdstukken dat wordt gedaan. Het geheel bevat 2239 pagina s, 1775 pagina s stof inclusief de oplossingen van de vragen en 464 pagina s met oplossingen van de opgaven. De stof is deels ontleend aan een groot aantal boeken, dictaten en ander materiaal dat door de auteur is geraadpleegd. De auteur stelt verbeteringen, aanvullingen en opmerkingen zeer op prijs. Leiden, december 2009 Lodewijk Kallenberg kallenberg@math.leidenuniv.nl

4

5 DEEL I: ONDERDEEL BESLISKUNDE IN CALEIDOSCOOP (45 pagina s) 1. INLEIDING (7 pagina s) 1.1 Wat is besliskunde? 1.2 Geschiedenis 1.3 Voorbeeld 1.4 Overzicht van een aantal besliskundige modellen 1.5 Opgaven 2. MATHEMATISCHE PROGRAMMERING (17 pagina s) 2.1 Lineaire programmering 2.2 Geheeltallige lineaire programmering 2.3 Niet-lineaire programmering Onbeperkte optimalisering Beperkte optimalisering 2.4 Opgaven 3. NETWERK OPTIMALISATIE (7 pagina s) 3.1 Dijkstra s algoritme voor het kortste pad probleem 3.2 Ford-Fulkerson algoritme voor het maximale-stroom-probleem 3.3 Opgaven 4. MARKOV (BESLISSINGS)KETENS (14 pagina s) 4.1 Markov ketens 4.2 Markov beslissingsketens 4.3 Opgaven DEEL II: BESLISKUNDE 1 (265 pagina s) 1. COMPLEXITEITSTHEORIE (16 pagina s) 1.1 Inleiding 1.2 De klassen P en N P 1.3 Opgaven 2. GRAFENTHEORIE (50 pagina s) 2.1 Inleiding Niet-gerichte grafen Gerichte grafen Opgaven 2.2 Bomen Algemeen Binaire bomen 1

6 2.2.3 Huffman code Depth-first Search en Breadth-First Search Streng samenhangende componenten Minimale opspannende boom Opgaven 2.3 Euler en Hamilton grafen Euler grafen Hamilton grafen Opgaven 3. COMBINATORIEK EN ENUMERATIE (52 pagina s) 3.1 Permutaties, combinaties, rangschikkingen en partities Permutaties Combinaties Rangschikkingen Partities Opgaven 3.2 Recurrente betrekkingen en voortbrengende functies Homogene recurrente betrekkingen Fibonacci-getallen Inhomogene recurrente betrekkingen Voortbrengende functies Opgaven 3.3 Het principe van inclusie en exclusie Zeefformule Torenveelterm De functies van Euler en Möbius Opgaven 3.4 Het tellen van grafen; multinomiaalcoëfficiënten Grafen met genummerde knooppunten Multinomiaalcoëfficiënten Opspannende bomen met genummerde knooppunten Opgaven 3.5 Burnside s Lemma en de theorie van Polya Het Lemma van Burnside De theorie van Polya Het tellen van niet-isomorfe grafen Opgaven 2

7 4. LINEAIRE OPTIMALISERING (56 pagina s) 4.1 Model en toepassingen Het model Enkele toepassingen Opgaven 4.2 Lineaire (on)gelijkheden en polyhedra Theorie van de lineaire (on)gelijkheden Polyhedra Opgaven 4.3 Dualiteit Zwakke en sterke dualiteit Stricte complementariteit Gelijkheden en vrije variabelen Complexiteit Economische interpretatie Enkele resultaten afgeleid via dualiteit Opgaven 4.4 De simplex methode Inleiding en voorbeeld Fase I - fase II techniek Degeneratie: de regel van BLand Complexiteit Opgaven 5. DISCRETE MARKOV KETENS (42 pagina s) 5.1 Inleiding en voorbeelden 5.2 Klassificatie van toestanden 5.3 Het limietgedrag van de overgangsmatrix Opgaven 6. VERNIEUWINGSTHEORIE (18 pagina s) 6.1 Inleiding 6.2 Vernieuwingsvergelijking en Vernieuwingsstelling 6.3 Markov ketens met aftelbare toestandsruimte (vervolg) 6.4 Opgaven OPLOSSING VAN DE VRAGEN (26 pagina s) INDEX (5 pagina s) 3

8 DEEL III: BESLISKUNDE 2 (272 pagina s) 1. LINEAIRE OPTIMALISERING (deel 2) (30 pagina s) 1.1 Inleiding 1.2 Implementatie aspecten Begrensde variabelen Herziene simplex methode en de productvorm Opgaven 1.3 Gevoeligheidsanalyse Veranderingen in één coëfficiënt van de doelfunctie Veranderingen in één coëfficiënt van het rechterlid Veranderingen in meer coëfficiëntenan het rechterlid (of de doelfunctie) Veranderingen in een kolom van een niet-basisvariabele Toevoegen van een nieuwe activiteit/variabele Parametrische programmering Opgaven 1.4 De duale en de primale-duale simplex methode De duale simplex methode De primale-duale methode Opgaven 2. GEHEELTALLIGE LINEAIRE OPTIMALISERING (44 pagina s) 2.1 Model, formuleringen en voorbeelden Model en formuleringen Voorbeelden Opgaven 2.2 Branch-and-bound Het generieke algoritme Behandeling van en opsplitsing in deelproblemen Opgaven 2.3 Sneden Gomory s fractie-snede algoritme Gomory s snede voor gemengd geheeltallige optimalisering Opgaven 2.4 Handelsreizigersprobleem Inleiding en formuleringen Branch-and-Bound methode Heuristieken Opgaven 4

9 3. NIET- LINEAIRE OPTIMALISERING (64 pagina s) 3.1 Inleiding Klassificatie van niet-lineaire optimaliseringsproblemen Voorbeelden Afgeleiden Optimaliteitsvoorwaarden Convexiteit OPgaven 3.2 Onbeperkte optimalisering Inleiding Eéndimensionale optimalisatie Meerdimensionale optimalisatie Opgaven 3.3 Beperkte optimalisering: theorie Inleiding Lagrange multipliers bij gelijkheidsbeperkingen Karush-Kuhn-Tucker voorwaarden bij gelijkheden en ongelijkheden Fritz John voorwaarden Convexe optimalisering en dualiteit Opgaven 3.4 Beperkte optimalisering: methoden Kwadratische optimalisering Methode van toelaatbare richtingen Gereduceerde gradiënt methode Gegeneraliseerde gereduceerde gradiënt methode Barrièrre methode Opgaven 4. NETWERK OPTIMALISERING (50 pagina s) 4.1 Kortste paden Inleiding Methode van Dijkstra Methode van Bellman en Ford Methode van Floyd en Warshall De kortste gemiddelde ronde Enkele toepassingen Opgaven 4.2 Netwerkstromen Maximale stromen Minmale kostenstromen 5

10 4.2.3 Enkele toepassingen Opgaven 5. SCHEDULING (24 pagina s) 5.1 Inleiding 5.2 Eén machine Model A: 1 L max Model B: 1 n j=1 w jc j Model C: 1 n j=1 w ju j 5.3 Twee machines Model D: O 2 C max Model E: F 2 C max Model F: J 2 C max 5.4 Parallelle machines 5.5 Verbanden met het handelsreizigersprobleen Model K: 1 s jk C max Model L: F m no wait C max 5.6 Opgaven 6. SPELTHEORIE (20 pagina s) 6.1 Inleiding 6.2 Tweepersonen nulsomspel 6.3 Bi-matrix spelen 6.4 Coöperatieve spelen 6.5 Opgaven OPLOSSING VAN DE VRAGEN (35 pagina s) INDEX (5 pagina s) DEEL IV: BESLISKUNDE 3 (253 pagina s) 1. SPECIALE LINEAIRE MODELLEN (34 pagina s) 1.1 Unimodulariteit en totaal unimodulariteit 1.2 Grafen en lineaire algebra 1.3 Transportprobleem Inleiding Tableau en startoplossing Algemene iteratiestap Gevoeligheidsanalyse Toepassing 6

11 1.3.6 Het overslagprobleem 1.4 Toewijzingsprobleem Probleemstelling en LP-formulering Huwelijksstelling en transversalen De Hongaarse methode 1.5 Opgaven 2. KNAPZAKPROBLEEM (28 pagina s) 2.1 Inleiding 2.2 Het fractionele knapzakprobleem 2.3 Het 0-1 knapzakprobleem Complexiteit Dynamische programmering Branch-and-bound Het gretige algoritme Polynomiale approximaties 2.4 Het begrensde knapzakprobleem Transformatie tot een 0-1 knapzakprobleem LP-relaxatie Dynamische programmering Branch-and-bound Approximaties 2.5 Het onbegrensde knapzakprobleem 2.6 Bin-packing probleem Inleiding De Next-Fit heuristiek De First-Fit en Best-Fit heuristieken De First-Fit Decreasing en Best-Fit Decreasing heuristieken 2.7 Opgaven 3. PROJECT PLANNING (18 pagina s) 3.1 Probleemstelling en modellering 3.2 Berekening van het kritieke pad 3.3 Bepaling van het kritieke pad met lineaire programmering 3.4 Het PERT-model 3.5 Projectplanning met kosten 3.6 Een alternatief model 3.7 Opgaven 7

12 4. DYNAMISCHE PROGRAMMERING (12 pagina s) 4.1 Inleiding 4.2 Terminologie 4.3 Deterministische dynamische programmering 4.4 Stochastische dynamische programmering 4.5 Opgaven 5. CONTINUE MARKOV KETENS (24 pagina s) 5.1 Inleiding 5.2 Differentiaalvergelijkingen en transiënt gedrag 5.3 Geboorte-sterfte processen 5.4 Stationair gedrag 5.5 Reversibiliteit 5.6 Uniformizatie 5.7 Opgaven 6. WACHTTIJDTHEORIE (34 pagina s) 6.1 Inleiding 6.2 Wachttijdparadox 6.3 De formule van Little en PASTA 6.4 Geboorte-sterfte processen (vervolg) 6.5 Modellen gebaseerd op het geboorte-sterfte proces 6.6 Met M/G/1 model 6.7 Netwerken van wachtrijen De tandem wachtrij Open netwerk van wachtrijen (Jackson netwerken) Gesloten netwerken van wachtrijen 6.8 Opgaven 7. MARKOV BESLISSINGSTHEORIE (48 pagina s) 7.1 Inleiding Het model Strategiën en optimaliteitscriteria Voorbeelden 7.2 Eindige horizon en totale opbrengsten 7.3 Oneindige horizon en verdisconteerde opbrengsten Contraherende en monotone afbeeldingen Strategie verbetering Lineaire programmering Waarde iteratie 7.4 Oneindige horizon en totale opbrengsten 8

13 7.4.1 Inleiding Rood-zwart casino model Optimaal stoppen 7.5 Gemiddelde opbrengsten over een oneindige horizon Inleiding Optimaliteitsvergelijking Strategie verbetering Lineaire programmering Waarde iteratie 7.6 Opgaven 8. SIMULATIE (24 pagina s) 8.1 Inleiding 8.2 Statistische verwerking van gegevens 8.3 Voorbeelden van simulaties 8.4 Aselecte getallen en aselecte trekkingen 8.5 Variantie reducerende technieken Stratificatie Complementaire aselecte getallen 8.6 Opgaven OPLOSSING VAN DE VRAGEN (23 pagina s) TABELLEN (5 pagina s) INDEX (3 pagina s) DEEL V: BESLISKUNDE 4 (509 pagina s) 1. GRAFENTHEORIE (deel 2) (86 pagina s) 1.1 Grafen en matrices Grafen en vectorruimtes De incidentiematrx De kringenmatrix De snedenmatrix De padenmatrix De structuurmatrix Opgaven 1.2 Vlakke en duale grafen Vlakke grafen en Euler s veelvlakkenformule Scheidingspunten Separabiliteit en blokken 9

14 1.2.4 Stelling van Kuratowski Algoritme om te bepalen of een graaf vlak is Rechte grafen en driehoeksgrafen Minimum en maximum aantal snijpunten Duale grafen Opgaven 1.3 Kleurproblemen Het kleuren van takken Het kleuren van knooppunten Het kleuren van gebieden in een vlakke graaf: het vierkleurenprobleem Het kleurenpolynoom Opgaven 2. NETWERK OPTIMALISERING (deel 2) (50 pagina s) 2.1 Netwerkstromen Disjuncte paden en de Stelling van Menger Maximale stromen en minmale sneden Circulatiestromen met minimale kosten Opgaven 2.2 Netwerk simplex methode Inleiding Bases en opspannende bomen Algoritme voor problemen zonder capaciteiten Problemen met onder- en bovengrenzen Duale netwerk simplex methode De netwerk simplex methode voor het kortste pad probleem Maximale stroom probleem Opgaven 3. KOPPELINGEN (52 pagina s) 3.1 Algemene theorie Eigenschappen in algemene grafen Eigenschappen in bipartiete grafen Equivalente combinatorische resultaten Opgaven 3.2 Algoritmen voor bipartiete grafen Koppeling met maximale cardinaliteit in een bipartiete graaf Koppeling met maximaal gewicht in een bipartiete graaf Gilmore-Gomory en Gale-Shapley koppelingen Opgaven 3.3 Algoritmen voor algemene grafen 10

15 3.3.1 Koppeling met maximale cardinaliteit in een willekeurige graaf Koppeling met maximaal gewicht in een willekeurige graaf Opgaven 4. MATROÏDEN (50 pagina s) 4.1 Inleiding en definities 4.2 Duale matroïde 4.3 Voorbeelden van matroïden 4.4 Grafen en matroïden 4.5 Het gretige algoritme 4.6 Onafhankelijkheidssystemen 4.7 Doorsnede van matroïden Inleiding Onafhankelijke verzameling met maximale cardinaliteit Onafhankelijke verzameling met maximaal gewicht 4.8 Grafoïden 4.9 Representeerbaarheid van matroïden 4.10 Polymatroïden 4.11 Opgaven 5. INWENDIGE PUNT METHODEN (66 pagina s) 5.1 Inleiding 5.2 De methode van Karmarkar Het idee van projectieve schaling Het algoritme 5.3 De affiene schaling methode De primale affiene schaling methode De duale affiene schaling methode De duale-primale affiene schaling methode 5.4 Potentiaal reductie methode 5.5 Pad-volgende methoden Primale pad-volgende methode Primale-duale pad-volgende methode Predictor-corrector methode Vergelijking van de richtingen van diverse inwendige punt methoden 6. VOORAADTHEORIE (34 pagina s) 6.1 Inleiding 6.2 Continue deterministische modellen met één product 6.3 Continue deterministische modellen met meer producten De afwegingskromme 11

16 6.3.2 Een cyclisch productieproces 6.4 Periodieke deterministische modellen Geen tekorten toegestaan Wel tekorten toegestaan Silver-Meal heuristiek 6.5 Continue stochastische modellen 6.6 Periodieke stochastische modellen Eén periode en geen vaste bestelkosten:(krantenjongenprobleem) Eén periode, vaste bestelkosten en een beginvoorraad Oneindig veel perioden en geen vaste bestelkosten 6.7 Opgaven 7. BESLISSINGSTHEORIE (10 pagina s) 7.1 Inleiding 7.2 Beslissen zonder kansen 7.3 Beslissen met kansen 7.4 Beslissingsbomen 7.5 Opgaven 8. BETROUWBAARHEIDSTHEORIE (24 pagina s) 8.1 Structuurfuncties 8.2 Betrouwbaarheidsfuncties 8.3 Levensduur van het systeem 8.4 De verwachte levensduur 8.5 Systemen met reparatie 8.6 Opgaven 9. SPECIALE TECHNIEKEN (50 pagina s) 9.1 Decompositie technieken Dantzig-Wolfe decompositie Benders decompositie Opgaven 9.2 Lagrange relaxatie Inleiding en voorbeelden Beste Lagrange relaxatie Opgaven 9.3 Kolomgeneratie voor geheeltallige problemen Inleiding Dantzig-Wolfe decompositie van een geheeltallig LP-probleem LP-relaxatie van het masterprobleem Branch-and-price agoritme voor 0-1 problemen 12

17 9.3.5 Opgaven 10. BOMEN (deel 2), SORTEREN EN HET CHINESE POSTBODEPROBLEEM (48 pagina s) 10.1 Bomen (deel 2) Boomwandelingen Binaire zoekbomen Steiner bomen 10.2 Sorteren Bubble sort Insertion sort Merge sort Quick sort 10.3 Het Chinese postbodeprobleem Ongerichte versie Gerichte versie Gemengde versie 10.4 Opgaven OPLOSSING VAN DE VRAGEN (52 pagina s) TABELLEN (2 pagina s) INDEX (5 pagina s) DEEL VI: MARKOV DECISION PROCESSES (437 pagina s) 1. INTRODUCTION (28 pagina s) 1.1 The MDP model 1.2 Policies and optimality criteria Policies Optimality criteria 1.3 Examples Red-black gambling Gaming: How to serve in tennis Optimal stopping Replacement problems Maintenance and repair Production control Optimal control of queues Stochastic scheduling 13

18 1.3.9 Multi-armed bandit problem 1.4 Bibliographic notes 1.5 Exercises 2. FINITE HORIZON (10 pagina s) 2.1 Introduction 2.2 Backward induction 2.3 An equivalent stationary infinite horizon model 2.4 Monotone optimal policies 2.5 Bibliographic notes 2.6 Exercises 3. DISCOUNTED REWARDS (50 pagina s) 3.1 Introduction 3.2 Monotone contraction mappings 3.3 The optimality equation 3.4 Policy iteration 3.5 Linear programming 3.6 Value iteration 3.7 Modified policy iteration 3.8 Bibliographic notes 3.9 Exercises 4. TOTAL REWARD (36 pagina s) 4.1 Introduction 4.2 Equivalent statements for contracting 4.3 The contracting model 4.4 Positive MDPs 4.5 Negative MDPs 4.6 Convergent MDPs 4.7 Special models Red-black gambling Optimal stopping 4.8 Bibliographic notes 4.9 Exercises 5. AVERAGE REWARD - GENERAL CASE (42 pagina s) 5.1 Introduction 5.2 Classification of MDPs Definitions Classification of Markov chains 14

19 5.2.3 Classification of Markov decision chains 5.3 Stationary, fundamental and deviation matrix The stationary matrix The fundamental matrix and the deviation matrix 5.4 Extension of Blackwell s theorem 5.5 The Laurent series expansion 5.6 The optimality equation 5.7 Policy iteration 5.8 Linear programming 5.9 Value iteration 5.10 Bibliographic notes 5.11 Exercises 6. AVERAGE REWARD - SPECIAL CASES (36 pagina s) 6.1 The irreducible case Optimality equation Policy iteration Linear programming Value iteration Modified policy iteration 6.2 Unichain case Optimality equation Policy iteration Linear programming Value iteration Modified policy iteration 6.3 Communicating case Optimality equation Policy iteration Linear programming Value iteration Modified policy iteration 6.4 Bibliographic notes 6.5 Exercises 7. MORE SENSITIVE OPTIMALITY CRITERIA (44 pagina s) 7.1 Introduction 7.2 Eqiuvalence between n-discount and n-average optimality 7.3 Stationary optimal policies and optimality equations 7.4 Lexicographic ordering of Laurent series 7.5 Policy iteration for n-discount optimality 15

20 7.6 Linear programming and n-discount optimality (irreducible case) Average optimality Bias optimality n-discount optimality 7.7 Blackwell optimality and linear programming 7.8 Bias optimality and linear programming The general case The unichain case 7.9 Overtaking and average overtaking optimality 7.10 Bibliographic notes 7.11 Exercises 8. SPECIAL MODELS (86 pagina s) 8.1 Replacement problems A general replacement model A replacement model with increasing deterioration Skip to the right model with failure A separable replacement model 8.2 Maintenance and repair problems A surveillance-maintenance-replacement problem Optimal repair allocation in a series system 8.3 Production and inventory control No backlogging Backlogging Inventory control and single-critical-number policies Inventory control and (s, S)-policies 8.4 Optimal control of queues The single-server queue Parallel queues 8.5 Stochastic scheduling Maximizing finite-time returns on a single processor Optimality of the µc-rule Optimality of threshold policies Optimality of join-the-shortest-queue policies Optimality of LEPT and SEPT policies Maximizing finite-time returns on two processors Tandem queues 8.6 Multi-armed bandit problems Introduction A single project with a terminal reward 16

21 8.6.3 Multi-armed bandits Methods for the computation of the Gittins indices 8.7 Separable problems Introduction Examples (part 1) Discounted rewards - unichain case Discounted rewards - general case Examples (part 2) 8.8 Bibliographic notes 8.9 Exercises 9. OTHER TOPICS (32 pagina s) 9.1 Additional constraints Introduction Infinite horizon and discounted rewards Infinite horizon and average rewards 9.2 Multiple objectives Discounted rewards Average rewards 9.3 Mean-variance tradeoffs Formulations of the problem A unifying framework Determination of an optimal solution Determination of an optimal policy 9.4 Bibliographic notes 9.5 Exercises 10. STOCHASTIC GAMES (54 pagina s) 10.1 Introduction The model Optimality criteria Matrix games 10.2 Discounted rewards Value and optimal policies Mathematical programming Iterative methods Finite methods 10.3 Average rewards Value and optimal policies The Big Match Mathematical programming 17

22 Perfect information and irreducible games Finite methods 10.4 Bibliographic notes 10.5 Exercises BIBLIOGRAPHY (16 pagina s) INDEX (3 pagina s) 18

23

24