Computerarchitectuur. Hoofdstuk 1: Introductie

Transcriptie

1 Computerarchitectuur Hoofdstuk 1: Introductie Kristian Rietveld

2 Inhoud Bestuderen van de opbouw van moderne computerarchitecturen. Wat gebeurt er allemaal binnen een Central Processing Unit (CPU)? Wat voor technieken worden er gebruikt om instructies en processen steeds sneller te kunnen verwerken? Op welke verschillende niveau's wordt parallellisme toegepast?

3 Voorkennis We bouwden een 4-bit microprocessor bij Digitale Technieken. Bij computerarchitectuur bouwen we hier op voort.

4 Die & Floor plan Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig

5 Die & Floor plan (2) Taken from Computer Architecture: A Quantitative Approach, fifth edition.fig

6 Waarom? Inzicht in computerarchitectuur is een vereiste voor het kunnen ontwikkelen en optimaliseren van complexe softwaresystemen. - Het is ook een vereiste voor het kunnen uitvoeren van onderzoek in het vakgebied computersystemen. Ontwikkelen nieuwe producten, systemen: wat voor keuzes maken voor we voor de computerarchitectuur? - Hoe maken we deze keuzes? Op basis waarvan? - Anders verwoord: we hebben dataverwerkingsprobleem X, wat voor systeem hebben we nodig om tot een oplossing te komen? Embedded? FPGA? GPU? Combinatie?

7 Een greep uit de leerdoelen Kunnen onderscheiden verschillende klassen computers. Inzicht hebben in kwantitatieve principes van het ontwerp van computersystemen. Kunnen werken met verschillende instruction set architectures. Het kunnen omschrijven van een moderne memory hierarchy. Het kunnen uitleggen van verschillende technieken die worden gebruikt voor het verkrijgen van instruction-level parallelisme en hun beperkingen.

8 Raakvlakken

9 Toetsing De toetsing bestaat uit twee delen: - Theoretisch deel, afgesloten met een schriftelijk tentamen aan het einde van het semester. Gesloten boek. 2/3 van het eindcijfer. - Praktisch deel. Schriftelijk tentamen over de kennis en vaardigheden opgedaan bij het practicum. Open boek. Enkele inleveropgaven. 1/3 van het eindcijfer. Iedereen wordt dus individueel beoordeeld. Inleveropgaven: voldaan / niet voldaan. Beide delen moeten voldoende zijn om te kunnen slagen voor het vak.

10 Tekstboek Boek: Computer Architecture: A Quantitative Approach, Fifth Edition. John Hennessy, David Patterson Morgan Kaufmann. ISBN-13: Een klassieker. Kwantitatieve methode: effectiviteit technieken beoordelen aan de hand van meetresultaten verkregen op echte systemen (getallen).

11 Praktische deel Doel: opgedane kennis in de praktijk brengen. We zorgen voor interessante opgaven om je in vast te bijten. Werkcolleges ter ondersteuning. - Aanwezigheid wordt bijgehouden. Aantal inleveropgaven: voldaan / niet voldaan. Houd een lab-boek bij over opgedane kennis! Uiteindelijke toetsing: schriftelijk tentamen, details volgen nog.

12 Praktische deel (2) Plannen: - Verdiepen in assembly language. Decoderen machine instructies. Bestuderen werking pipeline. Caching optimalisaties. Gebruik van vectorinstructies (SIMD). Werken met hardware performance counters. Als het lukt: intro tot GPGPU programming.

13 Hoofdstuk 1: Introductie

14 Waar staan we nu? Taken from Computer Architecture: A Quantitative Approach, fifth edition.fig. 1.1.

15 Microprocessor Trends

16 Microprocessor Trends Moore's law

17 Moore's law Het aantal transistoren in een integrated circuit verdubbelt ongeveer iedere twee jaar. Vaak, onjuist, vertolkt als: Chip performance verdubbelt elke 18 maanden. - In de grafiek zien we in de periode dat performance wel de groei in aantal transistoren volgde. Fundamenteel limiet: een transistor zal niet kleiner kunnen worden dan de grootte van een atoom.

18 Microprocessor Trends Stagnatie!

19 Trends in power and energy Voornaamste gebruik van energie zit in het schakelen van transistoren => dynamic power. 1 2 Power dynamic = Capacitive load Voltage Frequency switched 2 Power kan praktisch gezien niet boven de ~150 watt uitkomen dit kan niet meer met ventilatie worden gekoeld. Gebruikte voltage al drastisch verlaagd over de jaren (van 5V naar onder 1V), verder verlagen technisch niet mogelijk. Daarnaast vereist een hogere klokfrequentie een hoger voltage (transistoren schakelen dan sneller). Dit alles stelt dus limieten aan de klokfrequentie! Power wall!

20 Microprocessor Trends Begint te stagneren

21 Stagnatie single-core performance Als de klokfrequentie niet meer toeneemt, kan de verwerking van instructies nog steeds worden versneld. Slimme trucs worden toegepast. We zullen verschillende hiervan gaan bestuderen. - ILP: Instruction-Level Parallelism. Ook hiervan zijn de limieten in zicht, op een gegeven moment kan er niet meer parallelisme uit een enkele stroom instructies worden gehaald. ILP wall.

22 Memory wall De performance van processoren neemt in een veel hoger tempo toe dan dat van het interne geheugen (RAM). Verbetering van latency blijft achter. Relatief gezien moeten nieuwe processoren dus steeds langer wachten op data uit het geheugen. Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig. 1.9.

23 Latency vs. bandwidth In de vorige figuur is te zien dat bandwidth veel harder toeneemt dan latency. - Vaak makkelijker te bereiken: extra transistoren inzetten, extra pins, bredere databussen... Vuistregel: bandwidth groeit met tenminste het kwadraat van de verbetering in latency

24 Microprocessor Trends Groeit!

25 Parallellisme Het verder versnellen van computers gaat niet meer gebeuren op basis op single-core performance. - Software wordt dus niet meer vanzelf sneller. Om software in de toekomst te versnellen, moet er worden gekeken naar expliciet parallellisme. De bal ligt nu bij de programmeur! Het boek speelt hier op in door verschillende vormen van parallellisme in computerarchitecturen te bespreken.

26 Hoofdstuk 1: Introductie Classificatie van computersystemen.

27 Klassen van computers De grote voortuitgang heeft veel veranderingen voortgebracht. - Tien jaar terug: geen smartphones, geen tablets. Laptops 1,5 2 cm dik. Cloud computing nog maar net begonnen. - Twintig jaar terug: klokfrequentie ~150 MHz Mobiele telefoontijdperk nog niet begonnen. Internet? Inbellen via telefoonlijn.

28 Klassen van computers (2) Computertechnologie komt tegenwoordig op veel verschillende plekken voor. Het boek onderscheidt 5 klassen van computers. - Figuur 1.2, blz. 5. Klassen verschillen in: - prijsklasse, - design objectives / design issues / optimization target.

29 Klasse 1: PMD PMD: Personal Mobile Device - Smartphone, tablet,... Price of system: $100 - $1000. Price of microprocessor: $10 - $100. Design issues: - Cost Energy Media performance Responsiveness

30 Klasse 2: Desktop Bureaucomputer, laptop. Price of system: $300 - $2500. Price of microprocessor: $50 - $ Intel Core i7 verkrijgbaar vanaf ~350 EUR. Design issues: - price-performance - energy - graphics performance

31 Klasse 3: Server Dit schaalt van een server op kantoor (2 CPU) tot grootschalige machines voor high-end transaction processing (tientallen CPUs). Price of system: $ $ Price of microprocessor: $200 - $ Serverlijn Intel (Xeon), vanaf EUR voor 8 core CPU. Design issues: - throughput availability scalability performance

32 Klasse 4: clusters/warehousescale computer Kleine clusters (~16 nodes) tot een gevuld datacentrum. Price of system: $ $ Price of microprocessor: $50 - $ Merk op: in geval warehouse-scale computer vaak goedkope componenten, availability wordt opgelost dmv softwarelaag. Design issues: - price-performance - throughput - energy proportionality (cost of power, cooling)

33 Klasse 5: Embedded Wasmachine, tandenborstel, USB stick, auto, kabel/adsl modem, netwerkrouter. Price of system: $10 - $ High-performance netwerkapparatuur, zeer duur. Price of microprocessor: $ $100. Design issues: - price - energy - application-specific performance

34 Klassen van parallellisme Twee soorten van parallellisme worden onderscheiden: - Data-level parallelism: er zijn vele data items die tegelijkertijd kunnen worden verwerkt. Vaak gaat het hier om dezelfde operatie voor elk item. Voorbeeld: foto + image filter, op elke pixel moet dezelfde operatie worden toegepast. - Task-level parallelism: er zijn verschillende taken die onafhankelijk van elkaar kunnen worden uitgevoerd. Voorbeeld: het simpelweg draaien van verschillende programma's.

35 Klassen van parallellisme Computersystemen kunnen deze vormen van parallellisme op verschillende manieren aanpakken: - Instruction-level parallelism (ILP): data-level parallellisme dat is te vinden in een enkele instructiestroom, bijv. pipelining: het werken aan meerdere instructies tegelijk. - Vector architectures, GPUs: maken gebruik van data-level parallellisme door dezelfde instructie tegelijkertijd toe te passen op vele verschillende data items. - Thread-level parallelism: zowel data-level/task-level parallellisme door gebruik te maken van threads. - Request-level parallelism: miljoenen gebruikers maken tegelijkertijd gebruik van Google Search. Merk op: het boek heeft een hoofdstuk over elk van deze manieren.

36 Taxonomie van Flynn Michael Flynn bedacht in 1966 een classificatie van de manier waarop instructies en data worden verwerkt. Deze afkortingen worden tot op heden nog steeds gebruikt. - SISD: Single instruction, single data. - SIMD: Single instruction, multiple data. - MISD: Multiple instruction, single data. (Nooit gebouwd in de praktijk). - MIMD: Multiple instruction, multiple data.

37 Hoofdstuk 1: Measuring & Reporting Performance Hoe kwantificeren we de performance van computer systemen?

38 Performance Computer A is sneller dan computer B. - Altijd benoemen in welk opzicht. Execution time, response time. - (Gaming: FPS / framerate). Throughput: hoeveelheid werk gedaan binnen bepaalde tijd. - Bijv. aantal transacties per seconde. X is n keer sneller dan Y: Execution time Y =n Execution time X

39 Execution time Hoe meten we execution time? - wall-clock time / response time / elapsed time. De echte verstreken tijd. Telt ook wachttijd mee op I/O, enz. Dus telt ook tijd terwijl het proces niet op de CPU actief is (en de CPU wat anders aan het doen is). - CPU time Tel alleen die tijd mee dat de CPU werkt aan ons programma. Welke tijd je wilt meten hangt helemaal af van de vraag.

40 Benchmarks Waarvan gaan we dan de execution tijd meten? Liefst van een echte, representatieve applicatie, maar vaak is dat lastig. - Past niet handig in een testomgeving. - De applicatie draait niet op verschillende platformen (in het geval we deze platformen met elkaar willen vergelijken).

41 Benchmarks (2) Vaak zie je dat er eenvoudigere programma's worden gebruikt. - Kernels: kleine stukjes van een echt programma. Probleem: eventuele negatieve effecten van de code eromheen worden niet meegenomen. - Toy programs: kleine, simpele programma's om snel wat testen. Probleem: niet representatief. - Synthetic benchmarks: programma's dat het gedrag van echte programma's proberen na te doen. Probleem: Compiler writer, systeemarchitect optimaliseren voor een dergelijke benchmark en niet de echte programma's. (Voorbeeld: graphics driver die de executable naam van de benchmark herkent).

42 Benchmarks (3) Meer vragen... Gegeven een benchmark, mogen we spelen met compileropties om het sneller te maken? Mogen we misschien de source code aanpassen? Misschien mogen we wel een deel van de benchmark dat niet zo snel draait weglaten, dat is goed voor de eindscore. Conclusie: benchmarking is helemaal niet zo eenvoudig!

43 SPEC benchmark Meest succesvolle standaard benchmark: SPEC. Sinds jaren 80, evolueert mee. Bestaat uit een collectie van echte programma's: - bijv. compiler (gcc), schaakspel, videocompressie, quantum computer simulatie. Hier rolt een score uit, relatief aan een vastgestelde referentiemachine. Voor transactieverwerking (database systemen) zijn de TPC benchmarks de standaard.

44 Hoofdstuk 1: Quantitative Principles Een aantal observaties met betrekking tot ontwerp van computers. - Later te kwantificeren. Twee vergelijkingen om alternatieven te evalueren.

45 Take advantage of parallelism Gebruik maken van parallellisme is nu de belangrijkste methode om performance verder te verbeteren. Voorbeeld 1: verbeteren throughput in geval server benchmark. - Gebruik meerdere processoren en disken. - Scalability systeem opschalen. - Behaalde throughput wordt verhoogd.

46 Take advantage of parallelism (2) Voorbeeld 2: uniprocessor. - Werk aan meerdere instructies tegelijk, dus maak niet eerst 1 hele instructie af voordat je met de volgende verder gaat. - Pipelining, denk aan lopende band.

47 Principle of locality Computerprogramma's hergebruiken vaak data en instructies die kortgeleden nog zijn gebruikt. - Vuistregel: 90% van execution time wordt besteed in 10% van de code. Locality: voorspellen welke instructies en data in de toekomst zullen worden gebruikt op basis van het verleden. - Temporal locality: een item zal spoedig worden hergebruikt. - Spatial locality: items die dicht bijelkaar liggen worden vaak kort na elkaar gebruikt.

48 Focus on the common case In het geval van een design trade-off, geef de voorkeur aan het geval dat vaak voorkomt in tegenstelling tot gevallen die niet vaak voorkomen. We hebben transistoren over? Waar zullen we die voor gebruiken? Als je een vaak voorkomend geval kunt verbeteren, zal de impact groter zijn. - Voorbeeld: instruction fetch en decode unit worden vaker gebruikt dan de multiplier, dus verbeter die eerst. - Voorbeeld: bij optel-instructies, maak het geval geen-overflow snel ook al gaat dit ten koste van geval overflow. Overflows komen niet veel voor.

49 Speedup Als we een verbetering hebben geïmplementeerd voor een architectuur of stuk software, willen we graag weten hoeveel winst we hiermee behalen. Dit wordt vaak gerapporteerd als speedup : Speedup= Execution time zonder verbetering Execution time met de verbetering Het laat dus zien hoeveel sneller het systeem is met de verbetering ten opzichte van het origineel.

50 Amdahl's law Amdahl's law vertelt ons dat de te behalen performance verbetering van (bijv.) een nieuwe functionaliteit wordt gelimiteerd door het deel van de tijd waarin de nieuwe functionaliteit kan worden gebruikt. Stel we hebben een stuk programma geoptimaliseerd, maar dat deel van het programma was maar verantwoordelijk voor 2% van de originele executietijd. - Dan met deze verbetering, is 98% van de originele tijd niet verbeterd. - De verbetering is verwaarloosbaar.

51 Amdahl's law (2) Samenvattend: Speedupoverall = Execution timeold = Execution timenew 1 (1 Fractionenhanced )+ Fractionenhanced Speedupenhanced Aan de hand hiervan kun je dus verschillende ontwerpalternatieven met elkaar vergelijken.

52 Processor Performance Equation Elke computer wordt aangedreven door een klok: - ticks, clock ticks, clock cycles, clocks, cycles - Voorbeeld: de kloksnelheid is 1 GHz, of een clock cycle (klokcyclus) duurt 1 ns. CPU Time= CPU clock cycles for a program Clock rate

53 Processor Performance Equation (2) Ook van belang is het aantal instructies dat in deze tijd wordt uitgevoerd. De Instruction Count (IC). Hiermee berekent men de CPI: (average) clock cycles per instruction. CPI = CPU clock cycles for a program Instruction count De inverse hiervan, Instructions Per Clock (IPC), wordt ook gebruikt.

54 Processor Performance Equation (3) Totaaloverzicht: Instructions Clock cycles Seconds Seconds = =CPU time Program Instruction Clock cycle Program We gebruiken deze formules om inzicht te krijgen in de effectiviteit van verschillende stylen van instructies, implementaties, optimalisaties, enz. Zaken die een rol spelen bij processor performance: - Duratie clock cycle of klokfrequentie (seconden per cycle) - Clock cycles per instructie - Instruction count (Instructies per programma)

55 Processor Performance Equation (4) Stel voor elke instructie i (of groep van instructies) weten we de CPI. We kunnen dan het totaal aan clock cycles berekenen: n CPU clock cycles= IC i CPI i i=1 En de totale CPI als volgt: n CPI = i=1 IC i CPI i Instruction count Deze formules kunnen bijvoorbeeld worden gebruikt om de speedup te berekenen van een verbetering voor een bepaalde klasse van instructies.