college 2: Introductie

Transcriptie

1 Concurrency Gerard Tel / Jacco Bikker - november 2017 februari 2018 college 2: Welkom!

2 Agenda: Concepten en patronen Multi-threading in C#

3 Concurrency college 2 3

4 Concurrency college 2 4 Jacco Bikker j.bikker@uu.nl Kamer 424 Hoorcollege op donderdag Literatuur: Structured Parallel Programming Patronen: Structuren voor efficiënte parallelle programma s. Schaalbaar: Voor een variabel aantal cores. Snelheid: Doel is om beschikbare processorcapaciteit te benutten.

5 Concurrency college 2 9 Alles Parallel Zepplin (Ryzen) 8 cores i7 4 cores E v3 18 cores Atom 2 cores

6 Concurrency college 2 10 Alles Parallel iphone X / A11 6 cores Snapdragon 8 cores (653 model) Exynos 8 cores (Samsung / ARM)

7 Concurrency college 2 11 Alles Parallel NVidia Tesla Wii-U Latte (AMD) Pascal GPU (NVidia)

8 Concurrency college 2 12 Alles Parallel LG Gwatch R (quad-core) Nintendo DS (2 CPUs)

9 Concurrency college 2 13 Single-core Z80 processor (o.a. Spectrum) 3.5Mhz 0.6 Watt 25 mm nm transistors 6510 processor (o.a. C64) ~1Mhz

10 Concurrency college 2 14 De Wet van Moore Moore s Law: Het aantal transistors in ICs verdubbelt elke 2 jaar. Let op: performance wordt niet genoemd. Maar: kleinere transistoren schakelen sneller; klokfrequentie is dus gekoppeld aan de Wet van Moore. We zien exponentiële groei in: geheugen- en harddiskcapaciteit; klokfrequentie van CPUs; rekenkracht van CPUs; energieverbruik door processoren.

11 Concurrency college 2 15 IBM 704: 1954 Cray CDC 7600: 1969 Source: Expert Exchange

12 Concurrency college 2 16 Cray-1: 1975 X10: 2010

13 Concurrency college 2 17 TMC CM-2: 1985 GameCube: 2002 S6: 2015

14 Concurrency college 2 18 ASCI Red 2000: 1996

15 Concurrency college 2 19

16 Concurrency college 2 20 Einde Het aantal transistors in ICs verdubbelt elke 2 jaar. Waar, maar: kloksnelheid heeft een piek bereikt; energieverbruik vlakt af; performance per kloktik vlakt af.

17 Concurrency college 2 21 AMD FX-8370 nearly breaks world s clock-rate record at 8.7GHz (source: kitguru.net, 2014) (wereldrecord: 8.8Ghz op een enkele core van een AMD FX-8350; de 8370 werkte met alle cores)

18 Concurrency college 2 22 Einde Moore: Het aantal transistors in ICs verdubbelt elke 2 jaar. Dennard: kleinere transistoren gebruiken minder energie; Watt/mm 2 blijft dus constant. En: performance per Watt groeit exponentieel.

19 Concurrency college 2 23 Einde Kleinere transistoren gebruiken minder energie; Watt/mm 2 blijft dus constant. Een kleinere transistor heeft minder spanning nodig, en kan op een hogere kloksnelheid functioneren. Echter: voor zeer compacte schakelingen is dit niet meer waar: er treedt lekkage op in de schakeling, waardoor de chip warmer wordt; de spanning die nodig is om een transistor te laten schakelen neemt niet (meer) zo snel af als de basisspanning op het circuit. De energie per mm 2 is nu niet meer constant, maar neemt toe naarmate de transistoren (nog) kleiner worden.

20 Concurrency college 2 24 Einde Hoeveel energie kunnen we van de chip afvoeren? Veel, maar niet oneindig. Dit is de Power Wall. Oplossing: maak de chip groter. Dit heeft alleen zin wanneer de grotere chip ook meer werk kan doen. Dus: grotere cores die meer werk per kloktik doen.

21 Concurrency college 2 25 Einde Hoeveel (zinvol) werk kan een core per kloktik doen? Veel, maar niet oneindig. Dit is de ILP Wall. ILP: Instruction Level Paralellism. Voorbeelden: Super-scalar pipelines Multiply-add instructies Single Instruction Multiple Data (SIMD)

22 Concurrency college 2 26 Bandbreedte: x15 in 10 jaar Rekencapaciteit: x75 in 7 jaar

23 Concurrency college 2 27 Einde Kunnen we een core die veel werk per kloktik doet eigenlijk wel van data voorzien? Ja, met caches. Maar ook daar zit een grens aan. Dit is de Memory Wall.

24 Concurrency college 2 28 Einde De enige uitweg: Meerdere cores, met eigen caches: Multi-core architecturen.

25 Concurrency college 2 29 En toen... Wat dus blijft: het aantal transistoren neemt toe, tot nu toe volgens de Wet van Moore. Maar ook: de oppervlakte van een CPU neemt toe; het energieverbruik van een CPU neemt (licht) toe; het aantal cores per CPU loopt op; vertraging bij lezen uit geheugen wordt langer. En daarnaast: zuinige (maar minder krachtige) CPUs; specialistische hardware zoals GPUs; heterogene architecturen (CPU + GPU).

26 Concurrency college 2 30 Alles Parallel Consequenties van de ontwikkelingen op hardwaregebied: optimaal gebruik van rekencapaciteit vereist parallellisme. Dit raakt het werk van de programmeur: programma s zijn niet langer serieel, maar verdeeld over threads; binnen een thread dient gebruik gemaakt te worden van instruction level parallelism; werk dient deels uitbesteed te worden aan de grafische processor.

27 Concurrency college 2 31 Van serieel naar parallel

28 Concurrency college 2 32 Van serieel naar parallel Quake 4 (2005): single core Source Engine: single core tot 2007 Unreal 3 (tot 2012): gebruikt maximaal 2 cores

29 Concurrency college 2 33 Van serieel naar parallel Xbox 360: 3.2Ghz tri-core Xeon CPU Optimaliseren van NBA 2K6 voor Xbox 360: Core 1: Rendering Core 2: AI, physics Core 3: Audio Probleem: geen oplossing voor 4+ cores taken duren niet even lang NBA 2K6 (2K Sports) Xbox, Xbox 360

30 Concurrency college 2 34 Van serieel naar parallel Optie 1: overlaten aan compiler Optie 2: OpenMP / Effectief gebruik van concurrency vereist significante wijzigingen van algoritmen en data.

31 Concurrency college 2 35 Van serieel naar parallel Bij correct gebruik: 7 TeraFlops in off-the-shelf hardware.

32 Agenda: Concepten en patronen Multi-threading in C#

33 Concurrency college 2 37 Concepten en patronen Parallel Applicatie Ontwerp Parallellisme in NBA 2K6 is geïmplementeerd met 3 expliciete threads: mandatory parallelism. Deze aanpak heeft veel nadelen: we kunnen niets met een vierde core; audio is een relatief kleine taak core 3 is vaak idle; rendering moet gebruik maken van de physics van het vorige frame; Core 1: Rendering Core 2: AI, physics Core 3: Audio

34 Concurrency college 2 38 Concepten en patronen Parallel Applicatie Ontwerp Parallellisme in NBA 2K6 is geïmplementeerd met 3 expliciete threads: mandatory parallelism. Een betere aanpak is om een groot aantal taken te definiëren die parallel uitgevoerd kunnen worden, dat wil zeggen: Core 1: Rendering Core 2: AI, physics Core 3: Audio in willekeurige volgorde onafhankelijk van elkaar eventueel op verschillende cores Deze opdeling biedt mogelijkheden voor parallellisme, maar laat de daadwerkelijke uitvoering open: optional parallelism.

35 Concurrency college 2 39 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. User input Physics AI Game logic Sound Rendering Networking

36 Concurrency college 2 40 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. User input Physics AI Game logic Meestal zijn individuele taken niet even groot. Networking Sound Rendering

37 Concurrency college 2 41 Concepten en patronen Parallel Applicatie Ontwerp In de praktijk bestaat een applicatie uit componenten die parallel uitgevoerd kunnen worden, terwijl er ook afhankelijkheden zijn. core 1 core 2 User input Game logic AI Rendering Physics Networking Sound Meestal zijn individuele taken niet even groot. De opdeling in taken maakt het dan mogelijk om de uitvoering af te stemmen op de beschikbare hardware. De mogelijkheden nemen toe wanneer we grote taken onderverdelen in kleinere taken.

38 Concurrency college 2 42 Concepten en patronen Parallel Applicatie Ontwerp Opdeling in taken kan op een gestructureerde manier. We gebruiken patronen zoals: nesting: een hiërarchische functionele opdeling; map: opdeling in een aantal identieke taken; fork-join: recursieve opdeling in sub-taken. Deze patronen zijn in principe onafhankelijk van de gebruikte ontwikkeltools (waaronder de gekozen programmeertaal).

39 Concurrency college 2 43 Concepten en patronen Parallel Applicatie Ontwerp In het gebruik van de patronen streven we naar: Performance: schaalbare prestaties, een ontwerp dat efficiënt gebruik kan maken van een toenemend aantal cores. Productiviteit: het ontwerp moet correct, duidelijk, voorspelbaar en onderhoudbaar zijn. Portability : het ontwerp moet werken (en schalen) op verschillende systemen en compilers.

40 Concurrency college 2 44 Concepten en patronen Parallel Applicatie Ontwerp Programming should focus on the decomposition of the problem and the design of the algorithm rather than the specific mechanisms by which it will be parallelized. Specifieke mechanismen: threads (door het OS toegewezen aan cores) devices (een of meerdere CPUs, GPUs, via een netwerk verbonden apparaten) vectors (instruction level parallelism)

41 Concurrency college 2 45 Concepten en patronen Parallel Applicatie Ontwerp Programming should focus on the decomposition of the problem and the design of the algorithm rather than the specific mechanisms by which it will be parallelized. Het niet zelf toewijzing van taken aan threads geeft het system meer vrijheid in het verdelen van bronnen maakt het mogelijk de werklast dynamisch te verdelen (load balancing ) voorkomt problemen met overhead door te kleine taken Zie ook: E. A. Lee. The Problem with Threads, Technical Report UCB/EECS

42 Agenda: Concepten en patronen Multi-threading in C#

43 Concurrency college 2 47 Multi-threading in C# Parallel Applicatie Ontwerp Deze patronen zijn in principe onafhankelijk van de gebruikte ontwikkeltools (waaronder de gekozen programmeertaal). In the cursus Concurrency maken we gebruik van de programmeertaal C#.

44 Concurrency college 2 48 Multi-threading in C# Praktisch Parallellisme in C# In C# kunnen we een thread starten via de Thread class: class ThreadTest { static void Main() { Thread t = new Thread( WriteY ); t.start(); for (int i = 0; i < 1000; i++) Console.Write ("x"); t.join(); } static void WriteY() { for (int i = 0; i < 1000; i++) Console.Write ("y"); } }

45 Concurrency college 2 49 Multi-threading in C# Praktisch Parallellisme in C# Multithreading via de Thread class: Een thread wordt gestart middels de Start() method Uitvoer kan gesynchroniseerd worden met het oorspronkelijke process middels Join() Threads worden beheerd door het OS Het starten van een thread kost tijd (milliseconden!) en geheugen (~1MB). Merk op dat het expliciet aanmaken van een thread direct tegen het advies van het boek ingaat*. * Zie voor details: Threading in C#, Joseph Albahari, 2011.

46 Concurrency college 2 50 Multi-threading in C# Praktisch Parallellisme in C# Een alternatief is Thread Pooling, via de Task Parallel Library: static void Main() // The Task class is in System.Threading.Tasks { var task = Task.Factory.StartNew (Go); task.wait(); } static void Go() { Console.WriteLine ("Hello from the thread pool!"); } Deze keer laten we het creëren van threads over aan de thread pool.

47 Concurrency college 2 51 Multi-threading in C# Praktisch Parallellisme in C# Of: static void Main() { Parallel.Invoke( () => Go( 1 ), () => Go( 2 ) ); } static void Go( int id ) { Console.WriteLine ( This is thread + id ); } Deze keer laten we het creëren van threads over aan de thread pool.

48 Concurrency college 2 52 Multi-threading in C# Praktisch Parallellisme in C# Lees in voorbereiding op het werkcollege: Threading in C#, Part 1 Getting Started Lees uit het boek Chapter 1 Introduction Voor het werkcollege is er een oefenopdracht beschikbaar via de website.

49 Concurrency college 2 53 Multi-threading in C# Werkcollege Vanaf donderdag 12 november: Maandag Donderdag

50 Concurrency college 2 54 Multi-threading in C# Volgende week: Hardware data parallellisme versus functionele decompositie thread parallellisme versus vector parallellisme machine model geheugen hiërarchie.

51 Concurrency Gerard Tel / Jacco Bikker - november 2017 februari 2018 EINDE van volgende college: Hardware