Concurrency. Gerard Tel / Jacco Bikker - november 2015 januari Welkom!

Transcriptie

1 Concurrency Gerard Tel / Jacco Bikker - november 2015 januari 2016 Welkom!

2 Agenda: Concepten en patronen Multi-threading in C#

3 Concurrency college 1 3 Alles Parallel Opteron cores i7 4 cores Atom 2 cores

4 Concurrency college 1 4 Alles Parallel iphone 5 / A6 2 cores Snapdragon 4 cores Exynos 8 cores

5 Concurrency college 1 5 Alles Parallel NVidia Tesla Wii-U Latte (AMD)

6 Concurrency college 1 6 Alles Parallel LG Gwatch R Nintendo DS

7 Concurrency college 1 7 Alles Parallel

8 Concurrency college 1 8 Alles Parallel

9 Concurrency college 1 9 Alles Parallel Wet van Moore: Het aantal transistors in een geïntegreerde schakeling verdubbelt elke 2 jaar. David House (Intel): Performance van processoren verdubbelt iedere 18 maanden. Dennard schaling: Wanneer transistoren kleiner worden blijft het energieverbruik per mm 2 constant. Sinds ~2005 zijn transistoren zo klein dat weglekkend vermogen er voor zorgt dat Dennard schaling niet langer opgaat.

10 Concurrency college 1 10 Alles Parallel Tot 2005 nam niet alleen het aantal transistoren toe: kloksnelheid (Z80: 4Mhz; i7: 4Ghz) energieverbruik (Z80: ~0.6 Watt; Itanium: 130 Watt) IC oppervlakte (Z80: 25mm 2 ; Itanium: 544mm 2 ) dichtheid (Z80: 5000 nm; Itanium: 32 nm) geheugenbandbreedte (Z80: 32Mbit/s; Itanium: 272Gbit/s) Bandbreedte: x15 in 10 jaar Kloksnelheid en energieverbruik hebben een maximum bereikt. Rekencapaciteit: x75 in 7 jaar

11 Concurrency college 1 11 Alles Parallel Na 2005: verdere verkleining van transistoren superscalar pipeline vector instructies multi-core heterogene architectuur: GPUs Haswell + Iris Pro 5200

12 Concurrency college 1 12 Alles Parallel Multi-threading op de GPU: Deze processors hebben een groot aantal (eenvoudige) cores. Om de capaciteit van een GPU te benutten is een groot aantal identieke taken nodig streaming. De GPU gebruikt parallellisme om vertragingen (mn. geheugen) te maskeren.

13 Concurrency college 1 13 Alles Parallel Consequenties van de ontwikkelingen op hardwaregebied: optimaal gebruik van rekencapaciteit vereist parallellisme.

14 Concurrency college 1 14 Van serieel naar parallel

15 Concurrency college 1 15 Van serieel naar parallel Quake 4 (2005): single core Source Engine: single core tot 2007 Unreal 3 (tot 2012): gebruikt maximaal 2 cores

16 Concurrency college 1 16 Van serieel naar parallel Xbox 360: 3.2Ghz tri-core Xeon CPU Optimaliseren van NBA 2K6 voor Xbox 360: Core 1: Rendering Core 2: AI, physics Core 3: Audio Probleem: geen oplossing voor 4+ cores taken duren niet even lang NBA 2K6 (2K Sports) Xbox, Xbox 360

17 Concurrency college 1 17 Van serieel naar parallel Optie 1: overlaten aan compiler Optie 2: OpenMP / Effectief gebruik van concurrency vereist significante wijzigingen van algoritmen en data.

18 Concurrency college 1 18 Van serieel naar parallel Bij correct gebruik: 7 TeraFlops in off-the-shelf hardware.

19 Concurrency college 1 19 Literatuur: Structured Parallel Programming Patronen: Structuren voor efficiënte parallelle programma s Schaalbaar: Voor een variabel aantal cores Snelheid: Doel is om beschikbare processorcapaciteit te benutten.

20 Concurrency college 1 20 Docenten: Gerard Tel g.tel@uu.nl Kamer 504 Hoorcollege op dinsdag Jacco Bikker j.bikker@uu.nl Kamer 424 Hoorcollege op maandag Assistenten: Tom van der Zanden, Yorick Kooij, Menno Kain, Sander Vanheste, Jan Posthoorn

21 Concurrency college 1 21 Praktikum Voor Concurrency dragen 3 programmeeropgaven bij aan je eindresultaat. De weging hiervan is 1:2:2. Opdracht P1: deadline zaterdag 5 december, 23:59 Opdracht P2: deadline zaterdag 9 januari, 23:59 Opdracht P3: deadline zaterdag 30 januari, 23:59 Reparatie P1, P2 of P3: deadline 26 maart, 23:59.

22 Concurrency college 1 22 Toetsen Voor Concurrency dragen 2 deeltoetsen bij aan je eindresultaat. De weging hiervan is 1:1. Donderdag 17 december, : stof t/m week 49. Donderdag 28 januari, : stof week 50-3.

23 Concurrency college 1 23 Eindresultaat Het eindresultaat is het gemiddelde van je praktikumcijfer en je toetsgemiddelde. Dus: P = (P1 + 2 * P2 + 2 * P3)/5 T = (T1 + T2)/2 A = (P + T)/2 Je eindcijfer is nu A, mits T >= 5 en P >= 5. Wanneer je praktikumgemiddelde of toetsgemiddelde lager is dan een 5 dan geldt dat A=MIN(5,A). Voor gedetailleerde voorwaarden: zie de website.

24 Agenda: Concepten en patronen Multi-threading in C#

25 Concurrency college 1 25 Concepten en patronen Parallel Applicatie Ontwerp Parallellisme in NBA 2K6 is geïmplementeerd met 3 expliciete threads: mandatory parallelism. Een betere aanpak is om een aantal taken te definiëren die parallel uitgevoerd kunnen worden, dat wil zeggen: in willekeurige volgorde onafhankelijk van elkaar eventueel op verschillende cores Deze opdeling biedt mogelijkheden voor parallellisme, maar laat de daadwerkelijke uitvoering open: optional parallelism.

26 Concurrency college 1 26 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. User input Physics AI Game logic Sound Rendering Networking

27 Concurrency college 1 27 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. User input Physics AI Game logic Meestal zijn individuele taken niet even groot. Networking Sound Rendering

28 Concurrency college 1 28 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. core 1 core 2 User input Game logic AI Rendering Physics Networking Sound Meestal zijn individuele taken niet even groot. De opdeling in taken maakt het dan mogelijk om de uitvoering af te stemmen op de beschikbare hardware. De mogelijkheden nemen toe wanneer we grote taken onderverdelen in kleinere taken.

29 Concurrency college 1 29 Concepten en patronen Parallel Applicatie Ontwerp Opdeling in taken kan op een gestructureerde manier. We gebruiken patronen zoals: nesting: een hierarchische functionele opdeling; map: opdeling in een aantal identieke taken; fork-join: recursieve opdeling in subtaken. Deze patronen zijn in principe onafhankelijk van de gebruikte ontwikkeltools (waaronder de gekozen programmeertaal).

30 Concurrency college 1 30 Concepten en patronen Parallel Applicatie Ontwerp In het gebruik van de patronen streven we naar: Performance: schaalbare prestaties, een ontwerp dat efficiënt gebruik kan maken van een toenemend aantal cores. Productiviteit: het ontwerp moet correct, duidelijk, voorspelbaar en onderhoudbaar zijn. Portability : het ontwerp moet werken (en schalen) op verschillende systemen en compilers.

31 Concurrency college 1 31 Concepten en patronen Parallel Applicatie Ontwerp Programming should focus on the decomposition of the problem and the design of the algorithm rather than the specific mechanisms by which it will be parallelized. Specifieke mechanismen: threads (door het OS toegewezen aan cores) devices (een of meerdere CPUs, GPUs, via een netwerk verbonden apparaten) vectors (instruction level parallelism)

32 Concurrency college 1 32 Concepten en patronen Parallel Applicatie Ontwerp Programming should focus on the decomposition of the problem and the design of the algorithm rather than the specific mechanisms by which it will be parallelized. Het niet zelf toewijzing van taken aan threads geeft het system meer vrijheid in het verdelen van bronnen maakt het mogelijk de werklast dynamisch te verdelen (load balancing ) voorkomt problemen met overhead door te kleine taken Zie ook: E. A. Lee. The Problem with Threads, Technical Report UCB/EECS

33 Agenda: Concepten en patronen Multi-threading in C#

34 Concurrency college 1 34 Multi-threading in C# Parallel Applicatie Ontwerp Deze patronen zijn in principe onafhankelijk van de gebruikte ontwikkeltools (waaronder de gekozen programmeertaal). In the cursus Concurrency maken we gebruik van de programmeertaal C#.

35 Concurrency college 1 35 Multi-threading in C# Praktisch Parallellisme in C# In C# kunnen we een thread starten via de Thread class: class ThreadTest { static void Main() { Thread t = new Thread (WriteY); t.start(); for (int i = 0; i < 1000; i++) Console.Write ("x"); t.join(); } static void WriteY() { for (int i = 0; i < 1000; i++) Console.Write ("y"); } }

36 Concurrency college 1 36 Multi-threading in C# Praktisch Parallellisme in C# Multithreading via de Thread class: Een thread wordt gestart middels de Start() method Uitvoer kan gescynchroniseerd worden met het oorspronkelijke process middels Join() Threads worden beheerd door het OS Het starten van een thread kost tijd (milliseconden!) en geheugen (~1MB). Merk op dat het expliciet aanmaken van een thread direct tegen het advies van het boek ingaat*. * Zie voor details: Threading in C#, Joseph Albahari, 2011.

37 Concurrency college 1 37 Multi-threading in C# Praktisch Parallellisme in C# Een alternatief is Thread Pooling: static void Main() // The Task class is in System.Threading.Tasks { var task = Task.Factory.StartNew (Go); task.wait(); } static void Go() { Console.WriteLine ("Hello from the thread pool!"); } Deze keer laten we het creëren van threads over aan de thread pool.

38 Concurrency college 1 38 Multi-threading in C# Praktisch Parallellisme in C# Lees in voorbereiding op het werkcollege: Threading in C#, Part 1 Getting Started Lees uit het boek Chapter 1 Introduction Voor het werkcollege is er vanaf morgen een oefenopdracht beschikbaar via de website.

39 Concurrency college 1 39 Multi-threading in C# Werkcollege Vanaf donderdag 12 november: Maandag : BBG-061, 023, 083 Donderdag : BBG-161, 065, 169, 001, 079

40 Concurrency college 1 40 Multi-threading in C# Volgende week: Hardware data parallellisme versus functionele decompositie thread parallellisme versus vector parallellisme machine model geheugen hierarchie Amdahl, Gustafson & Barsis. Be there.

41 Concurrency Gerard Tel / Jacco Bikker - november 2015 januari 2016 EINDE van volgende college: Hardware