Computerarchitectuur. Terugblik / discussie / oefenopgaven

Transcriptie

1 Computerarchitectuur Terugblik / discussie / oefenopgaven Kristian Rietveld

2 Trends & Performance

3 Voorkennis We bouwden een 4-bit microprocessor bij Digitale Technieken. Bij computerarchitectuur bouwen we hier op voort.

4 Microprocessor Trends

5 Amdahl's law (2) Samenvattend: Execution timeold Speedup overall = = Execution timenew 1 (1 Fractionenhanced )+ Fractionenhanced Speedup enhanced Aan de hand hiervan kun je dus verschillende ontwerpalternatieven met elkaar vergelijken.

6 Processor Performance Equation (3) Totaaloverzicht: Instructions Clock cycles Seconds Seconds = =CPU time Program Instruction Clock cycle Program We gebruiken deze formules om inzicht te krijgen in de effectiviteit van verschillende stijlen van instructies, implementaties, optimalisaties, enz. Zaken die een rol spelen bij processor performance: - Duratie clock cycle of klokfrequentie (seconden per cycle) - Clock cycles per instructie - Instruction count (Instructies per programma)

7 Processor Performance Equation (4) Stel voor elke instructie i (of groep van instructies) weten we de CPI. We kunnen dan het totaal aan clock cycles berekenen: n CPU clock cycles= IC i CPI i i=1 En de totale CPI als volgt: n CPI = i=1 IC i CPI i Instruction count Deze formules kunnen bijvoorbeeld worden gebruikt om de speedup te berekenen van een verbetering voor een bepaalde klasse van instructies.

8 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

9 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

10 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

11 Caching

12 Memory hierarchies Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig.. B.1.

13 Cache performance Om te kunnen redeneren over cache performance, breiden we onze CPU performance equations uit met memory stall cycles. - Een memory stall cycle is een clock cycle waarin de processor aan het wachten is op geheugentoegang. CPU execution time=(cpu clock cycles+ Memory stall cycles) Clock cycle time Het aantal memory stall cycles hangt af van het aantal cache misses en de kosten van een miss (miss penalty). Memory - stall cycles = Number of misses Miss penalty=ic = IC Misses Miss penalty Instruction Memory accesses Miss rate Miss penalty Instruction Miss penalty is hier een gemiddelde, houd in de gaten dat dit een vereenvoudiging is van de werkelijkheid. - Eigenlijk zou je miss rate en miss penalty apart moeten bepalen voor reads en writes.

14 Cache architecture (2) Taken from Computer Architecture: A Quantitative Approach, fifth edition.fig. B.2.

15 Multi-level caches (2) avg. memory access time=hit time L1 + Miss rate L1 Miss penalty L 1 =Hit time L1 + Miss rate L1 ( Hit time L 2 + Miss rate L 2 Miss penalty L 2 ) Miss rate tweede niveau is gebaseerd op wat overblijft na het eerste cache-niveau. Onderscheid maken: - Local miss rate: de miss rate binnen een bepaald cache niveau. Dit is de miss rate zoals in de formule hierboven. - Global miss rate: aantal misses in een cache gedeeld door het totaal aantal geheugenoperaties gegenereerd door de processor. Voor tweede niveau komt dit uit op Miss rate L1 maal Miss rate L2. Local miss rate is hoog voor tweede niveau, het eerste niveau behaalt al een hoge hit rate. Moeilijke gevallen blijven over.

16 10 advanced optimizations of cache performance Gezien het belang van het optimaliseren van de geheugenhiërarchie, bekijken we nog 10 geavanceerde optimalisaties. We zagen al optimalisaties voor: hit time, miss rate en miss penalty. We voegen toe: increasing cache bandwidth, reducing miss rate via parallelism.

17 Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig

18 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

19 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

20 Pipelining and ILP

21 Implementatie RISC ISA We bekijken een eenvoudige implementatie van een RISC ISA. - In dit ontwerp heeft elke instructie ten hoogste 5 cycles nodig. - We bekijken alleen integer operaties. De stappen zijn als volgt: - Instruction Fetch (IF) - Instruction Decode, Register fetch (ID) - Execution (EX) - Memory (MEM) - Write-back (WB)

22 Pipeline voorbeeld Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

23 Pipeline CPI De CPI voor een pipeline processor is als volgt opgebouwd: Pipeline CPI=Ideal pipeline CPI +Structural Stalls+ Data hazard Stalls+Control stalls De ideale CPI is zoals we deze berekenden bij Appendix C. - Dit is een maat voor de theoretisch maximaal behaalbare performance.

24 Hazards Een hazard verhindert de volgende instructie in het programma om de pipeline te betreden. We onderscheiden 3 klassen van hazards: Structural hazards. Veroorzaakt door resource conflicts. Data hazards. Veroorzaakt door afhankelijkheden tussen instructies. Control hazards. Veroorzaakt door branches en andere instructies die de PC aanpassen.

25 Data hazards Formeel worden data hazards als volgt onderscheiden. We gebruiken instructies i en j, waarbij i voor j komt in tijd. RAW (Read after write). Vergl. true dependence. WAW (Write after write). Vergl. output dependence. - Komen alleen voor in pipelines die in meer dan één stage kunnen schrijven, of out-of-order executie toestaan. WAR (Write after read). Vergl. anti-dependence - Komen in static issue pipelines niet voor, omdat alle reads in het begin worden gedaan en writes aan het eind. RAR (Read after read) is geen hazard.

26 Aanpak Er zijn in feite twee manieren om dit probleem aan te pakken (vergelijk branch prediction): 1) Bouw hardware die in staat is parallelisme dynamisch te ontdekken en hier gebruik van te maken (run-time). 2) Vertrouwen op software technologie om dit te doen, dus compilers instructies laten roosteren (compile-time). Op dit moment wordt de dynamische aanpak het meest toegepast.

27 Compilertechnieken voor ILP Voor eenvoudige single issue, static pipeline computers, zijn compilertechnieken zeer belangrijk. Aan de hand van informatie over de pipeline (diepte, aantal functional units en latencies) kan de compiler de instructies zo pogen te roosteren dat de pipeline altijd blijft gevuld. Loop: L.D ADD.D S.D DADDUI BNE F0,0(R1) F4,F0,F2 F4,0(R1) R1,R1,#-8 R1,R2,LOOP

28 Instruction scheduling Loop: L.D stall ADD.D stall stall S.D DADDUI stall BNE F0,0(R1) F4,F0,F2 F4,0(R1) R1,R1,#-8 Source Target Latency FP ALU op FP ALU op 3 FP ALU op Store double 2 Load double FP ALU op 1 Load double Store double 0 R1,R2,LOOP

29 Instruction scheduling Loop: Loop: L.D stall ADD.D stall stall S.D DADDUI stall BNE F0,0(R1) Source Target Latency F4,F0,F2 FP ALU op FP ALU op 3 FP ALU op Store double 2 Load double FP ALU op 1 Load double Store double 0 L.D DADDUI ADD.D stall stall S.D BNE F0,0(R1) R1,R1,#-8 F4,F0,F2 F4,0(R1) R1,R1,#-8 R1,R2,LOOP F4,8(R1) R1,R2,LOOP ; 1 ; 2 ; 7

30 Tomasulo overview Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig. 3.6.

31 Speculative Execution (4) Taken from Computer Architecture: A Quantitative Approach, fifth edition. Fig Leiden. Universiteit Bij ons leer je de wereld kennen

32

33 Source: John Hennessy, David Patterson. Computer Architecture: A Quantitative Approach, fifth edition.

34