De Parallelle Revolutie van GPU's en CPU's

Transcriptie

1 De Parallelle Revolutie van GPU's en CPU's George van Venrooij Organic Vectory BV Bits&Chips Embedded Systemen 18 November 2011 Eindhoven

2 Een nieuw speelveld Desktop PC anno GHz CPU (1 core, 6 GFLOP/s) MB RAM Fixed-function GPU Desktop PC vandaag 2.5 GHz CPU (4 cores, 200 GFLOP/s) 4 GB RAM 1 GHz GPGPU (338 cores, 1200 GFLOP/s) ipad 2 1 GHz CPU (2 cores, 170 MFLOP/s) 512 MB RAM 200 MHz GPU (2 cores, 8 pipelines, 14 GFLOP/s)

3 De desktop-super-computer Supercomputer Veel rekenkracht Veel geheugen Gedistribueerd Software performance schaalt mee met de hardware performance!

4 De Revolutie Aanpassingen in het volledige software ontwikkel traject Doel: Schaalbare performance van software die de curve van Moore's wet (weer) gaat volgen

5 Data-Explosie Grootte van het data universum in Mei 2011: 1.2 zettabytes

6 Rekenintensievere Processen Spraakherkenning Computer Vision 3D Analyse Simulaties Navigatie... etcetera

7 Parallel = de nieuwe standaard? DirectCompute

8 Noise Mapping op GPU's

9 Complexiteit per update Standaard Reken Methode 2 (SRM-2) Geluidsoverlast in woongebieden 3 x 3 km stadscentrum (Rotterdam) 300x300 grid cellen met bodemgegevens Maximale pad lengte: 1 km gevels (in 1x1 km gebied) weg segmenten (in 3x3 km gebied) gebouwen & obstakels (in 3x3 km gebied) Single-threaded rekentijd: 87 minuten

10 Doelstelling: interactiviteit

11 Project Traject Analyse Platform keuze Hardware Software Design Implementatie Bibliotheken Ontwikkeltools Algoritme ontwerp Testen & Oplevering

12 Analyse Parallelle paden Onafhankelijk te berekenen GPGPU-geschikt!

13 Platform Keuze Windows PC NVidia CUDA VS 2008 Geen OpenCL NVidia GTX cores, 1 GB RAM

14 CUDA OpenCL nvidia-hardware Generiek GPU's CPU's, GPU's & meer Volwassener (v4.0) Jonger (v1.1) Veel bibliotheken & resources Toolchain integratie is eenvoudig Kernel taal bevat C++ features Visual Studio Debugger op source-niveau Kleine, maar snel groeiende community Toolchain integratie vergt wat denkwerk Kernel taal gebaseerd op C99 met extensies Debugger als aparte applicatie

15 Design Dataflow Diagram

16 GPU-Programma Flow GPU Input Data Kernel 1 Input Data Start Kernels Tussen resultaat Kernel 2 Eind resultaat Eind resultaat CPU

17 Libraries: Thrust Geen diepe kennis van CUDA nodig Makkelijk om mee te beginnen Goede prototyping omgeving Veel algorithmen beschikbaar: Zoeken Reducties Sorteren Sommaties Transformaties

18 Zoek de 10 verschillen

19 Overlap Bepaling Sweep & Prune algoritme Geen malloc() in een kernel (CUDA 2.3) Versie 1: tellen malloc() (host-code) opslaan Versie 2: opslaan tot buffer vol is hervatten met nieuw buffer

20 Geheugen-gebruik lawine Brondata < 6 MB Resultaat < 1 MB Tussenresultaten > 60 GB 8.8 miljoen directe paden 49.9 miljoen reflectie paden

21 Hardware Threading Model Cores Hardware threads 8800 GTX x 768 GTX x 1024 = GTX x 1536 = GTX x 1536 = = 12288

22 Depth-first proces graaf 1 Proces Stappen

23 Development & Debugging CUDA Toolkit/nvcc Niet bijster snel (lees: erg traag) Niet 100% compatible met C++ standaard Makkelijk in te passen in workflow Visual Profiler Gedetailleerd overzicht van de GPU Combinatie met Thrust werkt minder lekker NSight Debugger Heel handig (als het werkt) Nog niet echt af

24 Beren op de weg Geen debugger (begin 2010) Driver stabiliteit Windows time-outs Systeem lock-ups Custom debugging

25 Resultaat Type Cores CPU 1 CPU Tijd (s) vs 1 core vs 16 cores GPU GPU

26 Parallel Design Ga uit van de toekomst: N cores (N > 8) Integreer in een framework wat taakverdeling beheert Conversie van maximum gebruik (alle cores op 100%) naar minimum idle-time (geen core op 0%) Ontwerp software met behulp van component-gebaseerde taken Voordelen van deze approach Designen in componenten wordt gemeengoed Makkelijker testen Meer hergebruik Minder kennis nodig voor implementatie Kortere doorlooptijd per unit

27 OpenCL Parallel Framework Taak/dependency gebaseerd executie model Mogelijkheid om verschillende (soorten) devices aan te spreken Native function optie maakt integratie met bestaande code eenvoudig Beschikbaar voor GPU's, CPU's, CELL en mobiele/embedded platformen

28 Parallel Design voor GPU's Zoek naar data-parallellisme Voldoende rekenwerk per element Niet alle algoritmen lenen zich voor parallel gebruik Her-ontwerp sequentiele algoritmen GPU Kernels: Geheugen access patronen hebben veel impact Maak gebruik van on-chip geheugen waar mogelijk Vermijd divergerende code (condities) Gebruik standaard functies (hardware acceleratie)

29 Parallel Design Retro-actief

30 Parallel Design Pro-actief

31 Bedankt voor jullie aandacht! Zijn er nog vragen?

32 Afbeeldingen (1) Achtergronden: GPU, 2011 NVidia Corporation, slide 2 Een nieuw speelveld : Beige PC: Gaming PC: 2011 Dell, ipad 2: 2011 Apple Corporation, slide 3 De desktop super-computer : W.O.P.R.: 1983 MGM Studios Inc., wopr.jpg K Computer: 2011 ITP Digital Ltd., Tesla Personal Supercomputer: 2011 NVidia Corporation, slide 4 De Revolutie : CPU Trends, 2009 Herb Sutter, slide 5 Data-Explosie : Data Universe & Causes, 2009 EMC Corporation, slide 6 Rekenintensievere Processen : Speech Recognition: 1999 Oregon Graduate Institute of Science and Technology, 3D Analyse: 2011 Pitney Bowes Software Inc., Computer Vision: Flight Simulator 4: 1989 Microsoft Corporation, inavi: 2011 Thinkwaresys, slide 7 Parallel = de nieuwe standaard : OpenCL Logo: 2009 Apple Corporation, OpenMP Logo: 2011 OpenMP Architecture Review Board, CUDA Logo: 2011 NVidia Corporation Intel TBB: 2011 Intel Corporation slide 8 Noise Mapping op GPU's : Urban Strategy, 2010 TNO Bouw & Ondergrond, Milieu en Leefomgeving slide 10 Doelstelling: Interactiviteit : Urban Strategy, 2010 TNO Bouw & Ondergrond, Milieu en Leefomgeving

33 Afbeeldingen (2) slide 12 Analyse : Geluidspaden (boven), p. 46, Bijlage III, Behorende bij hoofdstuk 3 Weg van het Reken- en meetvoorschrift geluidhinder 2006 Geluidspaden (onder), p. 9, Bijlage 3 behorende bij artikel 8 van de Regeling omgevingslawaai slide 13 Platform Keuze : Windows logo: 2011 Microsoft Corporation NVidia CUDA logo: 2011 NVidia Corporation GeForce GTX 285: 2009 NVidia Corporation slide 15 Design Dataflow Diagram : Dataflow diagram: 2011 Organic Vectory B.V. slide 16 GPU-Programma Flow : GPU program flow: 2011 Organic Vectory B.V. slide 17 Libraries: Thrust : Thrust logo: slide 19 Overlap Bepaling : Sweep & Prune: Copyright 2009, Václav Šmilauer, slide 21 Depth-first proces graaf : Proces Graaf: 2011 Organic Vectory B.V. slide 24 Beren op de weg : Beren op de weg: slide 25 Resultaat : Noise Map: 2011 Organic Vectory B.V. slide 27 OpenCL Parallel Framework : OpenCL Devices: 2010 Advanced Micro Device Inc., slide 29 Parallel Design Retro-actief : Gewone tractor: Diederik vd Krol, High-speed tractor: slide 30 Parallel Design Pro-actief : F1 Wireframe: 2011 adriantnt, Ferrari F1: