Toetsbundel Deel 2 Concurrency 25 oktober 2017, Gerard Tel, Niet verspreiden 1!.

Transcriptie

1 Toetsbundel Deel 2 Concurrency 25 oktober 2017, Gerard Tel, Niet verspreiden 1!. Deze bundel bevat een collectie toetsvragen over het tweede deel van Concurrency. Behalve dat goede antwoorden worden gegeven, worden ook de foute besproken, met korte uitleg waarom het niet klopt. Je kunt deze bundel gebruiken voor je toetsvoorbereiding, maar enige voorzichtigheid is geboden. Doordat de inhoud van Concurrency soms verandert, kunnen sommige opgaven minder relevant zijn of sommige onderwerpen onderbelicht zijn! De toetsen, met een duur van twee uur, zijn meestal genormeerd op 20 tot 25 punten. 1 Work-Span-Model 1. Uitleg over Efficient en Optimaal: Een parallel algoritme heeft twee complexiteitsparameters, work en span, beide uitgedrukt als functie van de invoergrootte n. Van een goed parallelliseerbaar algoritme accepteren we soms, dat de work hoger is dan de tijd van het beste sequentiële algoritme. De verhouding van (work) gedeeld door (beste sequentiële tijd) is de (parallelliserings-) overhead. Een algoritme heet efficient wanneer de span polylogaritmisch is en de overhead ook polylogaritmisch. Een algoritme heet optimaal wanneer de span polylogaritmisch is en de overhead constant. 2. Uitleg over Greedy Schedule: Brent s Lemma zegt dat een berekening met work w en span s, op p cores kan worden uitgevoerd in tijd T p w s p + s. Dit bereik je met een Greedy Schedule: het runtime-system moet ervoor zorgen dat in elk timeslot, zoveel mogelijk cores een berekening uitvoeren. Een timeslot waarin alle ready stappen worden verwerkt, maakt de berekeningsgraaf een laag korter en dit gebeurt s keer. Een timeslot waarin de berekeningsgraaf niet in hoogte afneemt, voert p stappen uit en dit gebeurt hoogstens (w s)/p keer. Asymptotisch zijn Θ( w s p + s) en Θ(max( w p, s)) aan elkaar gelijk. 3. Het Kleinste Verschil: We willen in een oplopend gesorteerde array A van n getallen, het kleinste verschil, KV, van twee opeenvolgende weten. Voorbeeld: in de rij (1, 3, 5, 7, 8, 12, 14, 25) is het KV 1 (namelijk het verschil tussen 8 en 7). Het best mogelijke sequentiële algoritme kost Θ(n) stappen. (a) Kun je het KV berekenen uit het KV van de linkerhelft en het KV van de rechterhelft? (b) Geef een parallel algoritme dat KV berekent. (c) Analyseer work en span van je algoritme met de Master Theorem. (d) Is het algoritme efficient en optimaal? 4. Alternatieve Prefix Sum: De prefix sum van een rij X[0..n 1] is de rij Y [0..n 1], gedefinieerd door Y [k] = k i=0 X[i]. Als alternatief voor het behandelde algoritme bekijken we deze methode: (1) bereken de prefix sum van de linkerhelft en de rechterhelft; (2) tel bij elke uitkomst van de rechterhelft, het totaal van de linkerhelft op. (a) Hoeveel rekenstappen kost het om de prefix sum met een sequentieel algoritme te bepalen? (b) Laat zien, hoe de alternatieve methode werkt, wanneer toegepast op de cijfers van je collegekaart (F=6 als die voorkomt). (c) Stel vergelijkingen op voor de span en het work van de alternatieve methode. (d) Wanneer is een parallel algoritme efficient? Is de alternatieve methode efficient? (e) Wanneer is een parallel algoritme optimaal? Is de alternatieve methode optimaal? 1 Op deze bundel geldt namelijk auteursrecht. Je mag het bestand bekijken en ook afdrukken, en iemand naar dit bestand verwijzen, maar niet het bestand of de afdruk aan iemand anders geven.

2 5. Inverse Prefix Sum: Gegeven is een array B. Gevraagd wordt een array A te berekenen, zodanig dat B de PrefixSum is van A. (a) Geef een zo goed mogelijk parallel algoritme hiervoor. (b) Wat zijn work en span van je algoritme? 6. Work en Span vergelijken: Arnold heeft een parallel algoritme ontworpen met work Θ(n 2 ) en span Θ(lg 2 n). Bert zegt dat zijn eigen algoritme voor deze taak beter is. Bert heeft weliswaar een hogere span, namelijk Θ(lg 3 n), maar zijn work is lager, namelijk Θ(n 1,5 ). (a) Welk algoritme zal beter presteren bij een lineair aantal, dus Θ(n), processors? Leg uit! (b) Welk algoritme zal beter presteren bij een kwadratisch aantal, dus Θ(n 2 ), processors? Leg uit! (c) Voor welke aantallen van processors is Arnolds algoritme sneller? 7. Parallelle Eennummers: Gegeven een reeks A van nullen en enen. Het eennummer van een positie met waarde 1 geeft aan, de hoeveelste opeenvolgende 1 het is. Een positie met waarde 0 heeft eennummer 0. Voor zijn de eennummers Piets Recursieve Eennummeraar berekent eerst de PRE van het linker- en rechterdeel: PRE(A,p,r) { // Zet A[p,...,r-1] om naar eennummers q=(p+r)/2 ; Invoke (PRE(A,p,q), PRE(A,q,r)) ; (a) Hoe ziet de voorbeeldrij er hierna uit, en wat moet er dan nog gebeuren? (b) Maak Piets programma af. (c) Analyseer work en span (met de Master Theorem). (d) Is Piets algoritme efficient en optimaal? 8. Parallel MaxOneRow: De MaxOneRow van een rij bits is het maximale aantal aaneengesloten 1-en; bv van is de MaxOneRow 5 (zie posities 7 en 14). Je kunt de MaxOneRow berekenen met een recursieve module die van een rij bits deze drie waarden oplevert: p: het aantal 1-en waarmee de rij begint; i: de MaxOneRow; s: het aantal 1-en waar de rij op eindigt. (a) Wat is de beste sequentiele tijd om de MaxOneRow te berekenen? (b) Hoe vind je de p, i en s van een rij uit die van de linker- en rechterhelft? (c) Analyseer de work van het resulterende algoritme. (d) Analyseer de span van het resulterende algoritme. (e) Is het parallelle algoritme efficient en is het optimaal? Leg uit! 9. Parallelle Polynoom-evaluatie: Een polynoom van graad n is een expressie van de vorm n k=0 a k x k. Onder het evalueren verstaan we het uitrekenen van de waarde, gegeven de coëfficiënten a 0 t/m a n en het argument x. Sequentieel kan dit met n vermenigvuldigingen en n optellingen. Je kunt een snel parallel algoritme krijgen, door de expressie te herschrijven tot een polynoom van graad n/2 in de parameter x 2 : a + b.x 1 +c.x 2 + d.x 3 +e.x 4 + f.x 5 +g.x 6 + h.x 7 = (a + b.x) +(c + d.x).(x 2 ) 1 +(e + f.x).(x 2 ) 2 +(g + h.x).(x 2 ) 3 (a) Geef expressies voor de coëfficiënten a 0 t/m a n/2 en de parameter x van het nieuwe polynoom. (b) Geef een recurrente betrekking voor de work en span van een parallel algoritme dat zo het polynoom evalueert. (c) Los de vergelijkingen voor work en span op met de Master Theorem. (d) Is deze methode efficient? En is hij optimaal? Leg uit!

3 10. Parallelle Plip-King: Plipper is een nieuw sociaal netwerk waar deelnemers maar 1 ding kunnen doen namelijk andere deelnemers plippen (je kunt niet jezelf plippen). In een groep A van deelnemers is x een Plip-King als hij door alle anderen in A geplipt is, maar zelf niemand in A plipt. Een verzameling van n 2 deelnemers kan nul of een Kings bevatten, maar niet meer. Hoewel de informatie over onderling plipgedrag van n deelnemers in totaal bijna n 2 bits bevat, is het mogelijk om sequentieel in lineaire (dwz., O(n)) tijd te bepalen of die groep een Plip-King heeft. Deze opdracht kijkt naar een parallel Plip-King algoritme. Voor identifiers i en j kun je in O(1) (dus constante) tijd opvragen of i j plipt. Om te bepalen of groep A van n personen een King heeft, splitsen we A in twee groepen A 1 en A 2, en bepalen recursief of die een Plip-King hebben. (a) Als A een King heeft, dan moet dat de King van A 1 of A 2 zijn. Wat moet je doen om te controleren of de deel-kings inderdaad King van A zijn? (b) Stel vergelijkingen op voor de Work en Span van dit algoritme. (c) Wat is de uitkomst van de Work en Span? (d) Is dit algoritme efficient? Is het optimaal? 11. Integer vermenigvuldigen: Gegeven integers A en B, als rijen van n cijfers. Je moet het product C berekenen, als rij van 2n cijfers. Sequentieel kan dit in O(n 2 ) tijd door elk cijfer van A te combineren met elk cijfer van B. (a) Geef een parallel algoritme met kwadratische work en lineaire span. (b) Is dit algoritme efficient, en is het optimaal? (c) Is een beter algoritme dan onder (a) mogelijk? 12. Sink: Gegeven is een verzameling van n punten, waarbij voor de meeste een ander punt als opvolger is gegeven. Een punt zonder opvolger heet een sink; de opvolger-relatie heeft geen cykel; de opvolger van i staat in p[i]. Interpretatie: een druppel water in punt i rolt naar punt p i, uiteindelijk verzamelen alle druppels zich in sinks. Het stroomgebied van sink a is de verzameling punten met een pad naar a. Doel: bereken een array s zodanig dat s[i] = a voor alle i in het stroomgebied van a. (a) Geef een sequentieel algoritme dat alle stroomgebieden berekent. Hint: dit kan in lineaire tijd. (b) Voor een parallel stroom-algoritme, kopieren we eerst p[i] naar s[i] en laten sinks naar zichzelf wijzen met if (s[i]==-1) s[i]=i;. Bedenk en leg uit, wat er gebeurt in een ronde van pointer doubling: pfor (0, n, (i)=>s[i]=s[s[i]]). (c) Geef nu een parallel algoritme dat stroomgebieden uitrekent. (d) Analyseer het algoritme en benoem of het efficient en/of optimaal is. 13. Goed en slecht Greedy Schedule: De lengte van een Greedy Schedule kan variëren, afhankelijk van welke ready stappen de scheduler kiest. Geef een voorbeeld van een berekeningsgraaf en twee Greedy Schedules, elk op drie cores, waarbij het ene schedule minstens anderhalf keer zo lang duurt als het andere. 14. Greedy Schedule: Een paralelle berekening met work w en span s moet worden uitgevoerd op een machine met p cores en je wilt dit doen volgens een Greedy Schedule. (a) Beschrijf hoe een greedy schedule tot stand komt. (b) Waarom is de lengte t van dit schedule begrensd door w p + s? (c) Je baas vindt dit niet snel genoeg, volgens hem werkt de computer van jullie concurrent viermaal zo snel. Kun je de concurrent inhalen met een betere scheduling? 15. Omslagpunt work en span: Voor zekere taak heb je een parallel algoritme A1 met work

4 w 1 en span s 1. Er is een alternatief algoritme A2 met slechter work w 2 > w 1 maar betere span s 2 < s 1. Voor welke aantallen cores, p, verwacht je van A2 een lagere rekentijd dan van A1? (Geef je antwoord asymptotisch, dus in grote-o of Θ.) 2 Patterns 16. Collectives: Onderstaande code is een voorbeeld van een stencil operatie. Beschrijf kort drie mogelijke bronnen van inefficiency, en stel voor elk daarvan een verbetering voor: for(int x=0; x<8192; x++) for(int y=0;y<8192; y++) set(x,y,(get(x-1,y)+get(x+1,y)+get(x,y-1)+get(x,y+1))/4); Hierbij implementeert get toegang tot array A en set toegang tot array B. Beide arrays hebben een grootte van 8192x8192 floats. Method get levert 0 voor coordinaten buiten array A. 17. GPGPU: Op een GPU kan conditional code leiden tot een verlaging van occupancy. (a) Wat is occupancy in dit verband? (b) Hoe kan conditional code leiden tot een verlaging van occupancy? 18. Terminologie: Wat is het verschil tussen: (a) Scan en reduction? (b) Inclusive en exclusive scan? (c) Stencil en recurrence? 19. SIMD/Reductie: Geef schematisch weer hoe een input set van 4 elementen a 0 t/m a 3 efficiënt met 2-wide SIMD gereduceerd kan worden tot een enkele waarde door herhaalde toepassing van een binaire operatie. Leg uit wat in dit geval de eigenschappen moeten zijn van de binaire operatie, en waarom. 20. GPU hardware: Waarom is op een GPU de cache minder belangrijk dan op een CPU? 21. Associativiteit: Laat met een voorbeeld zien dat floating point addition niet associatief is. 22. Begrippen: Wat is het verschil tussen: (a) SIMD en SIMT? (b) Stencil en map? 23. Vectorizatie: Twee vormen van paralellisme zijn instruction level paralellism en thread level paralellism. (a) Wat is het verschil tussen beide vormen? (b) Wat is het verschil tussen een thread en een stream (of lane)? (c) Op welke manier past een GPU thread level en instruction level paralellism toe? 24. Heterogeen: In een heterogeen systeem werken CPU en GPU samen om een probleem op te lossen. (a) In bepaalde gevallen kan code die sneller door een GPU uitgevoerd kan worden toch beter op de CPU uitgevoerd worden. Leg uit in welke gevallen, en waarom. (b) In een hypothetische heterogene renderer wordt het beeld opgedeeld in tiles. CPU en GPU gebruiken work stealing om deze set tiles te renderen. Waarom is dit een slecht idee?

5 25. Parallel Reduction: In de slides wordt uitgelegd dat voor een parallel reduction de combiner functie associatief moet zijn. (a) Leg uit waarom de combiner functie associatief moet zijn. (b) Laat zien dat floating point addition niet associatief is. (c) Laat zien hoe parallel reduction efficiënt met vector operaties uitgevoerd kan worden. Leg uit waarom de combiner functie bij gebruik van vector operaties, naast associatief ook commutatief moet zijn. 26. Monte Carlo: Deze toets bestaat uit zes opgaven. (a) Leg uit waarom deze vorm van toetsen gezien kan worden als een Monte-Carlo proces. Wat is de integraal in dit verband? (b) Is er sprake van stratificatie? 3 Synchronisatie 27. Pulse en PulseAll: Wat doet de methode Pulse (in Java heet deze: Notify)? Wat is het verschil tussen Pulse en PulseAll? 28. Synchronisatiehulpmiddelen: Een thread0 gebruikt een waarde B, die initieel undef is en wordt berekend door thread1: Thread0: Thread1:..;..; s = s+b; B = pp+qq;..;..; (a) Thread0 mag de waarde van B niet gebruiken voordat die door Thread1 is uitgerekend en ingevuld. Welke statement(s) zou je hiervoor aan de code toevoegen? (b) Waarom wordt het gebruik van een wait statement binnen een loop van een Monitor, niet gezien als spinnen? (c) Stel dat de berekening en het gebruik van B onderdeel zijn van een herhaling: Thread0: Thread1: s = 0; while (..) while (..) { pp = "bereken iets"; {.. qq = "bereken iets"; s = s+b; B = pp+qq; } } Elke nieuwe waarde van B moet exact eenmaal worden bijgeteld bij s. Wat kun je toevoegen aan de code om dat voor elkaar te krijgen? 29. Synchronisatie met Barrier: Een barrier (voor n threads) kent een methode await() die door alle threads kan worden aangeroepen. In deze opgave kijken we naar een implementatie waarin elke thread i een eigen semafoor s[i] heeft. (a) Wat is de eigenschap waaraan de methode await() moet voldoen? (b) Beschrijf een situatie waarin je de barrier zinvol kunt gebruiken. Aan het eind van de await() doet thread i P-operaties op zijn eigen semafoor: void await() {... for (int j=0; j<n; j++) s[i].p; }

6 (c) Welke V-operaties kun je op de stippeltjes invullen om aan de barrier-eis te voldoen? (d) Je collega zegt: Je kunt deze semafoor-barrier maar eenmaal gebruiken. Bij hergebruik kan een thread te vroeg door de await() komen door een V die een thread doet in de volgende ronde. Wat kun je doen om de barrier herhaald te kunnen gebruiken? 30. Synchronisatie: Barrier met Semafoor: Een barrier (voor n threads) kent een methode signalandwait() (in Java: await) die door alle threads kan worden aangeroepen. In deze opgave kijken we naar een implementatie waarin elke thread i een eigen semafoor s[i] heeft. Aan het eind van de await() doet thread i een reeks van n Acquires op zijn eigen semafoor: void signalandwait() {... for (int j=0; j<n; j++) s[i].acquire; } (a) Wat is de eigenschap waaraan de methode signalandwait() moet voldoen? (b) Welke Release-operaties kun je op de stippeltjes invullen om aan de barrier-eis te voldoen? 4 Combinaties en Kansen 31. Sommatie: Bewijs dat n k=0 k ( n k ) = n 2 n Permutatie en Combinatie: Geef de formule voor de berekening van P (n, k). Hoeveel rijtjes van 13 speelkaarten uit een pak van 52 zijn er (geef een getal)? Geef de formule voor de berekening van C(n, k). Hoeveel deelverzamelingen van 12 kaarten uit een set van 32 zijn er (geef een getal)? 33. Schoppen: Klaverjassen wordt gespeeld met 32 kaarten, waarvan 8 van type Schoppen. Je begint met een hand van acht kaarten. Wat is de kans dat je begint met precies zes Schoppen-kaarten? 34. Combinaties en kansen: Uit een vaas met 12 rode en 8 blauwe ballen worden 4 ballen willekeurig getrokken (zonder terugleggen). (a) Wat is de kans dat alle vier deze ballen rood zijn? (b) Wat is de kans dat de trekking 3 rode ballen en 1 blauwe bal oplevert? (c) Wat is n k=0 3k+1 ( n k )? (d) Wat is n k=0 (2k + 1) ( n k )? 35. Pepernoten: Een tutorklas van twaalf studenten is verdeeld in twee introductieprojectgroepjes van zes studenten. Van hun tutor krijgen ze allemaal een pepernoot uit een goed geschudde zak. Helaas blijken vier pepernoten bedorven, waardoor er vier random studenten ziek worden. Hoe groot is de kans dat er drie uit één groep ziek zijn en één uit de andere groep? 36. Carré: Je trekt vijf kaarten uit een goed geschud pak van 52. Hoe groot is de kans op een carré? (Bij een carré heb je allevier de tweeën, of drieën, etc.) 37. Celebrities in Bier: Twaalf studenten drinken elk drie flesjes bier. Elk biertje bevat een plaatje van een random artiest, waarbij de kans op Jan Smit 0,10 is en de kans op Patty Brard 0,20.

7 (a) Hoe groot is de kans dat er op het feest minstens 1 Jan Smit is? (b) Hoe groot is de kans, voor een willekeurige student, om zowel Patty als Jan te krijgen? (c) Wat is de verwachting van het aantal Patty Brards dat op deze avond gevonden wordt? 5 Kansproblemen 38. Drie waarden gooien: Je gooit herhaald met een dobbelsteen (zes-kantig) en gaat hiermee door totdat je drie verschillende uitkomsten hebt gezien. Wat is het verwachte aantal keren dat je moet gooien? 39. Leuke DVDs: Mark heeft een verzameling van 9 DVDs; hij besluit, elke dag aselect (dwz., random) een film te kiezen en te bekijken met zijn moeder, waarna de film wordt teruggelegd. Marks moeder vindt maar twee van de negen films leuk. (a) Wat verstaan we in de kansrekening onder de verwachting van een stochast? (b) Marks moeder definieert T als het nummer van de dag waarop ze voor de tweede maal een leuke film ziet en B als de dag waarop ze beide leuke films heeft gezien. Bereken de verwachtingen E[T ] en E[B]. (c) Wat is de kans dat T = 7? Dat T = k? 40. Gloeilampen: Doos A bevat 80 lampen; het is bekend dat er 20 kapot zijn. Doos B bevat ook 80 lampen; elke lamp heeft een kans van 1 4 om kapot te zijn. Uit beide dozen pakken we 12 lampen. (a) Wat is de kans dat er van de lampen uit doos A, precies 3 kapot zijn? (b) Wat is de kans dat er van de lampen uit doos B, precies 3 kapot zijn? (c) Wat is het verwachte aantal kapotte lampen in de trekking uit doos A? (d) Wat is het verwachte aantal kapotte lampen in de trekking uit doos B? 41. De reservesleutel: Je bent je fietssleutel kwijt! Gelukkig heb je een bak met 26 oude sleutels, daar zit hij zeker bij, maar ze zien er allemaal hetzelfde uit (roestig en vies). Je probeert ze een voor een tot je de passende gevonden hebt. Wat is het verwachte aantal sleutels dat je proberen moet? 42. Ballenvraag: Uit een bak die 20 rode en 20 gele ballen bevat, pak je in het donker willekeurig acht ballen. Wat is de kans dat je hierbij precies vijf rode ballen pakt? 43. De kaartenkijker: De Kaartenkijker trekt steeds een kaart uit een pak van 52 met teruglegging, dus steeds wordt de kaart teruggelegd en het pak geschud. (a) Hoeveel kaarten moet de Kaartenkijker verwacht trekken totdat hij een rode zeven ziet? (b) Hoeveel kaarten moet de Kaartenkijker verwacht trekken totdat hij alle 52 kaarten een keer gezien heeft? (c) Hoeveel kaarten moet de Kaartenkijker verwacht trekken totdat hij 51 verschillende kaarten gezien heeft? 6 Randomisering 44. Probabilistische correctheid: (a) Wat is het verschil tussen terminatie en terminatie met kans 1? (b) Geef de definities van een Monte Carlo algoritme en van een Las Vegas algoritme.

8 45. BenOrs tijdcomplexiteit: In het Consensus algoritme van Ben-Or kiest een station dat geen PROPOSE ontvangt, een random bit als stem voor de volgende ronde. 1 (a) Bewijs dat na elke ronde de kans minstens is dat alle stations dezelfde waarde als 2 n 1 stem hebben. (b) Geef een zo nauwkeurig mogelijke schatting voor het verwachte aantal berichten (in een run zonder crashes). 46. Ben-Or en meerderheid: Een ronde in Ben-Or s algoritme begint met het shouten van een waarde (0 of 1) en een collect van n t waarden. Als een station meer dan n/2 keer dezelfde waarde ziet, zal het een propose daarvoor rondsturen. Als een station meer dan t proposes voor een waarde ziet, zal het beslissen op die waarde. (a) Stel dat meer dan n/2 + t processen een ronde beginnen met dezelfde waarde v; is een beslissing voor v zeker in die ronde? (b) Stel dat precies n/2 + t processen een ronde beginnen met dezelfde waarde v; is een beslissing voor v mogelijk in die ronde? (c) Waarom werkt het algoritme sneller naarmate t kleiner is? 47. Gerandomiseerde renaming: In een systeem van vijf stations moet elk station een unieke vier-bits identiteit krijgen. De gekozen strategie is: Elk station kiest een random getal, de getallen worden uitgewisseld en geteld of er vijf verschillende zijn. Als vijf verschillende getallen gekozen zijn, is het klaar. Bij minder dan vijf wordt de procedure herhaald (zo vaak als nodig). (a) Is dit een Monte Carlo of een Las Vegas strategie? Waarom? (b) Wat is de complexiteit (uitgedrukt in aantal ronden)? (c) Vanwege een limiet op de tijd wordt besloten, het algoritme in ieder geval na drie ronden te stoppen (en de stations het laatstgetrokken nummer te laten houden). Wat is de kans dat de uitkomst correct is? 48. Ronden herhalen: Steven wil dat zijn drie servers elk een verschillend identificatienummer krijgen van slechts twee bits. Een ronde bestaat uit een random keuze van een nummer door elke server, en een check of de drie keuzen verschillend zijn. Ronden worden net zolang herhaald totdat het gewenste doel bereikt is. (a) Bewijs, dat elke ronde die begint, kans meer dan 1/4 heeft om het doel te bereiken. (b) Wat is de kans dat het algoritme na k ronden nog niet is getermineerd? (c) Wat is de (verwachte) complexiteit? Is dit een Monte Carlo of een Las Vegas algoritme? Leg uit!