College 11: Game Engines

Transcriptie

1 Concurrency Gerard Tel / Jacco Bikker - november 2016 februari 2017 College 11: Game Engines Welkom!

2 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

3 Concurrency college 11 Game Engines 3 History Vroege games * Strikt seriële game loop: while (1) { UpdateGameState(); RenderGameState(); }; *: Gebaseerd op:

4 Concurrency college 11 Game Engines 4 History Vroege games De introductie van de GPU verandert de seriële loop in een concurrent loop. CPU Frame 1 Update Frame 1 Render Frame 2 Update Render commands Frame 2 Render Frame 3 Update Render commands GPU V.Sync V.Sync

5 Concurrency college 11 Game Engines 5 History Vroege games Met de introductie van optische media werd concurrency op de CPU belangrijk. N64: Cartridge, 4-64MB 250MB/s transfer rate (max. 00:04:16) Playstation 1: CD, 650MB 0.31MB/s transfer rate (max. 00:32:30) Playstation 3: Blu-Ray, 50GB 9MB/s transfer rate (max. 01:32:40)

6 Concurrency college 11 Game Engines 6 History Vroege games Met nieuwe generaties consoles kwamen de multi-core CPUs: PS3 (2006): PS4 (2013): XBox360 (2005): 1 CPU core, 8 SPE 2x quad core Tripple core + HT

7 Concurrency college 11 Game Engines 7 History Game Engines 1998: Unreal Engine : ID Tech 3 (Quake 3) 2001: Unreal Engine 2 (America s Army) 2004: ID Tech 4 (Doom 3) Unreal Engine 3 (Gears of War) Source (Counter-Strike) 2005: Unity 2006: Rockstar Advanced Game Engine 2007: CryEngine 2 (Crysis) 2008: Frostbite (Bad Company) 2009: CryEngine 3 (Crysis 2) 2011: ID Tech 5 (Rage) Frostbite 2 (Battlefield 3) 2012: Unreal Engine : Dunia 2 (Far Cry 3) Hardware 1997: Pentium P5 (MMX) 1999: Pentium 3 (SSE) (2002: DirectX9) 2005: XBox360, AMD X2 2006: PS3, Intel Core 2 Duo (En: DirectX10/Vista) 2007: Intel Core 2 Quad 2008: Core i7 2009: Core i5 (En: DirectX11/W7) 2010: Core i3 2013: PS4, Xbox One

8 Concurrency college 11 Game Engines 8 History Concurrency in Game Engines Multi-core processors zijn een recente ontwikkeling. Engine development is een lange termijn investering Engines zijn gebaseerd op single-threaded code Teams zijn gewend aan seriële code Onderliggende APIs zijn serieel Gevolgen: Na een periode van patchwork zijn de AAA developers pas zeer recent begonnen aan hoogwaardige parallelle engines.

9 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

10 Concurrency college 11 Game Engines 10 Valve: Source

11 Concurrency college 11 Game Engines 12 Valve: Source 07 Multi-core Support voor Source * Meest significante ontwikkeling sinds de GPU Parallellisme in software: een hardware probleem wordt een software probleem. Doel: Concurrency beschikbaar maken voor developers, klanten en MOD authors. Schalen naar een willekeurig aantal cores. Probleem: Jaren ervaring met het seriële model Miljoenen regels seriële code *: Gebaseerd op: Dragged Kicking and Screaming: Source Multicore, Tom Leonard, Valve

12 Concurrency college 11 Game Engines 13 Valve: Source 07 Modellen voor Multi-threading Coarse threading Fine-grained threading Hybrid threading Coarse: grote functionele blokken per thread. Fine grained: bijvoorbeeld Parallel.For. Hybrid: beide toepassen in de engine.

13 Concurrency college 11 Game Engines 14 Valve: Source 07 Eerste Experimenten Idee: client en server ieder op een eigen core. Client: User input Rendering Graphics simulatie (bijv. particles). Server: AI Physics Game logic.

14 Concurrency college 11 Game Engines 15 Valve: Source 07 Eerste Experimenten Idee: client en server ieder op een eigen core. Probleem: shared data access : Client en server maken beide gebruik van (deels dezelfde) global data. Oplossing: mutex / critical section. Conclusie: multithreading is makkelijk!

15 Concurrency college 11 Game Engines 16 Valve: Source 07 Eerste Experimenten Idee: client en server ieder op een eigen core. Probleem: shared data access. Client en server maken beide gebruik van (deels dezelfde) global data. Oplossing: mutex / critical section. Conclusie: slechte multithreading is makkelijk. Traag Snel fouten Schaalt niet

16 Concurrency college 11 Game Engines 17 Valve: Source 07 Eerste Experimenten Conclusie: slechte multithreading is makkelijk. Oplossing: geef iedere thread een kopie van de benodigde data. Eisen: Threads moeten aan onafhankelijke problemen werken Globals worden vervangen door thread private data

17 Concurrency college 11 Game Engines 18 Valve: Source 07 Eerste Experimenten Client en server op een eigen core, wait free : Beter gebruik van een multi-core processor Prestatiewinst: 2x, maar alleen op speciaal geprepareerde maps Typische winst: 1.2x Schaalt niet naar meer cores. Deze vorm van multithreading is toegepast op Team Fortress voor XBox360.

18 Concurrency college 11 Game Engines 19 Valve: Source 07 Hybrid Threading Sommige systemen krijgen een eigen core (sound) Andere systemen worden intern gesplitst in functionele blokken Dure operaties worden opgedeeld en verspreid over de cores. Probleem: Developers zijn goed in game development, maar niet in threading. Oplossing: Custom work management system Function threading ( Invoke ) Array parallelism ( Parallel.For ) Queued execution (Tasks).

19 Concurrency college 11 Game Engines 20 Valve: Source 07 Conclusies We verwachten iedere 18 maanden een verdubbeling van het aantal cores CPU/GPU/SPE heeft niet de toekomst Veel gelijkwaardige cores Verdeling van werk over cores is een software probleem. Suggesties: We hebben krachtige tools en nieuwe technieken nodig Wen aan het opdelen van functionaliteit over cores Zorg voor eenvoudige oplossingen voor alle programmeurs.

20 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

21 Concurrency college 11 Game Engines 22 id Tech 5

22 Concurrency college 11 Game Engines 24 id Tech 5 09 Hardware vooruitzichten: * GPU is stabiel: programmeerbaar, eenduidige architectuur. CPU is van alles en nog wat : Enkele snelle core is verleden tijd Homogene processoren op PC en Xbox Heterogene processoren voor PS3 Streaming processors: GPUs, Larrabee Hoe ontwerpen we een engine die geschikt is voor alle platformen? *: Gebaseerd op: id Tech 5 Challenges, J.M.P. van Waveren, SIGGRAPH 2009

23 Concurrency college 11 Game Engines 25 id Tech 5 09 Opties voor Parallellisatie Threading via het OS: Goed voor een klein aantal cores Impact op code valt mee Complexiteit groeit niet-lineair Load balancing is lastig Niet geschikt voor de CELL processor. Opdelen in jobs: Grote impact op code Schaalbaar Geschikt voor CELL processor Geschikt voor heterogene processors.

24 Concurrency college 11 Game Engines 26 id Tech 5 09 Jobs in id Tech 5 duidelijke input en output volledig onafhankelijk geen stalls worden nooit onderbroken Jobs worden tijdens een frame aangemaakt; resultaten worden in het volgende frame gebruikt door seriële code. Consequenties van dit model: 1 frame vertraging significant serieel werk in een frame jobs kunnen gedeelde bronnen alleen lezen seriële code (in het volgende frame!) is verantwoordelijk voor de verwerking van resultaten van jobs jobs kunnen zelf geen jobs aanmaken. frame n frame n + 1 Process Job Results Generate Jobs Job Job Job Job Process Job Results Generate Jobs Job Job Job Job serieel parallel serieel parallel

25 Concurrency college 11 Game Engines 27 id Tech 5 09 Jobs in id Tech 5 Collision detection Animation blending Obstacle avoidance Virtual texturing Transparency processing Cloth / water simulation Detail model generation

26 Concurrency college 11 Game Engines 28 id Tech 5 09 Jobs voor Collision Detection Parallel: bepaal collisions voor objectparen Serieel: bepaal eerste collision collision detection voor speler (frame latency is hier ongewenst)

27 Concurrency college 11 Game Engines 29 id Tech 5 09 Jobs voor Obstacle Avoidance Parallel: job per entiteit

28 Concurrency college 11 Game Engines 30 id Tech 5 09 Jobs voor Transparency Parallelle jobs: begroeiing verzamelen begroeiing genereren particles genereren transparante polygonen sorteren

29 Concurrency college 11 Game Engines 31 id Tech 5 09 Conclusies id Tech 5 doet een eerste poging om serieel werk op te delen in concurrent tasks. Door jobs resultaten in thread-space te laten genereren en in seriële code af te handelen wordt contention vermeden. De parallelle taken zijn relatief groot, en daardoor ongeschikt voor verwerking op een GPU.

30 Concurrency college 11 Game Engines 32 History 09 Game Engines 1998: Unreal Engine : ID Tech 3 (Quake 3) 2001: Unreal Engine 2 (America s Army) 2004: ID Tech 4 (Doom 3) Unreal Engine 3 (Gears of War) Source (Counter-Strike) 2005: Unity 2006: Rockstar Advanced Game Engine 2007: CryEngine 2 (Crysis) 2008: Frostbite (Bad Company) 2009: CryEngine 3 (Crysis 2) 2011: ID Tech 5 (Rage) Frostbite 2 (Battlefield 3) 2012: Unreal Engine : Dunia 2 (Far Cry 3) Hardware 2005: XBox360, AMD X2 2006: PS3, Intel Core 2 Duo (En: DirectX10/Vista) 2007: Intel Core 2 Quad 2008: Core i7 2009: Core i5 (En: DirectX11/W7) 2010: Core i3 2013: PS4, Xbox One

31 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

32 Concurrency college 11 Game Engines 34 Destiny

33 Concurrency college 11 Game Engines 36 Destiny 14 Destiny * Level 1: Coarse-Grained Parallelism Observatie: het produceren van een frame bestaat uit een aantal stappen: 1. Simulatie 2. Visibility Determination 3. Produceren van commando s voor de GPU 4. Uitvoeren van commando s door GPU 5. Display. Deze pipeline leent zich voor System on a Thread parallellisme. *: Gebaseerd op: Destiny s Multithreaded Rendering Architecture, Natalya Tatarchuk, Bungie

34 Concurrency college 11 Game Engines 37 Destiny 14 Halo Reach: System on a Thread HW thread 0 HW thread 1 HW thread 2 HW thread 3 HW thread 4 HW thread 5 SIMULATION LOOP MISC JOBS RENDER LOOP AUDIO LOOP JOB KERNEL, DEBUG LOGGING ASYNC TASKS, I/O, MISC

35 Concurrency college 11 Game Engines 38 Destiny 14 Halo Reach: System on a Thread Game Tick N Game Tick N + 1 Simulation N Render N - 1 Mirror Simulation N + 1 Render N Mirror

36 Concurrency college 11 Game Engines 39 Destiny 14 Halo Reach: System on a Thread Game Tick N Game Tick N + 1 Simulation N Mirror Simulation N + 1 Mirror Vis Render N - 1 Vis Render N

37 Concurrency college 11 Game Engines 40 Destiny 14 Halo Reach: System on a Thread HW thread 0 HW thread 1 HW thread 2 HW thread 3 SIMULATION LOOP: % MISC JOBS: 20-30% RENDER LOOP: % AUDIO LOOP: 50-80% HW thread 4 HW thread 5 JOB KERNEL, DEBUG LOGGING: 20-30% ASYNC TASKS, I/O, MISC: 10-30%

38 Concurrency college 11 Game Engines 41 Destiny 14 Halo Reach: System on a Thread Problemen met de gekozen aanpak: schaalt niet naar toekomstige architecture met meer cores; de game state bevat veel data die niet nodig is in de volgende fase; visibility determination maakt dat de GPU moet wachten. Maar: de aanpak lost problemen met data access op; de aanpak kan uitgebreid worden; de aanpak is makkelijk in gebruik; het threading model is eenvoudig.

39 Concurrency college 11 Game Engines 42 Destiny 14 De Renderer voor Destiny Doelen: Complexere werelden, betere graphics, vloeiende gameplay Schaalbaarheid Wisselende werklast Volledige benutting van de GPU Eenvoudig Loskoppelen van simulatie en rendering Data-driven rendering pipeline

40 Concurrency college 11 Game Engines 43 Destiny Extract game state Simulatie Prepare GPU data Visibility Submit to GPU

41 Concurrency college 11 Game Engines 44 Destiny

42 Concurrency college 11 Game Engines 45 Destiny 14 De Renderer voor Destiny Stap 1: Loskoppelen van game- en render objecten. Doelen: verkleinen van de data die na simulation naar de renderer gaat; verzwakken van de link tussen de renderer en simulatie. We gebruiken visibility om te bepalen wat we naar de renderer sturen.

43 Concurrency college 11 Game Engines 46 Destiny 14 De Renderer voor Destiny We gebruiken visibility om te bepalen wat we naar de renderer sturen. Game Tick N Game Tick N + 1 Simulation N Vis Mirror Simulation N + 1 Vis Mirror Render N - 1 Render N - 1 We sturen de renderer alleen de data die relevant is voor rendering.

44 Concurrency college 11 Game Engines 47 Destiny 14 De Renderer voor Destiny Elk systeem heeft dus zijn eigen data representatie: Simulatie: game objects; Rendering: render objects; Visibility: visibility objects. Elk systeem cached data die niet veranderd. Double-buffering van de game state is nu niet meer nodig.

45 Concurrency college 11 Game Engines 48 Destiny 14 De Renderer voor Destiny Door de ontkoppeling van game object data en visibility data kunnen we nu ook visibility voor statische geometrie vroegtijdig bepalen: Op basis van het nieuwe camera standpunt op basis van simulatie van de speler op basis van controller input. Game Tick N Game Tick N + 1 Simulation N Vis Mirror Simulation N + 1 Vis Mirror Static vis N Static vis N + 1 Render N - 1 Render N

46 Concurrency college 11 Game Engines 49 Destiny 14 Conclusie: De subsystemen van Halo Reach zijn terug te zien in de Destiny renderer. Maar: Elk subsysteem heeft nu een eigen kopie van de data die relevant is voor dat systeem; Communicatie tussen systemen gebeurd op duidelijke synchronisatiepunten, en alleen voor veranderde data; Door het verzwakken van de link tussen systemen ontstaan nieuwe mogelijkheden om delen in parallel uit te voeren. Net als id Tech 5 rendert Destiny altijd de data van de vorige simulatiestap.

47 Concurrency college 11 Game Engines 50 Destiny 14 Conclusie: Het opdelen van de game engine in jobs is de cruciale stap. Opdelen in jobs is invasive. Jobs moeten zelfstandig zijn Iedere programmeur in het team moet met jobs kunnen omgaan

48 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

49 Concurrency college 11 Game Engines 52 The Last of Us

50 Concurrency college 11 Game Engines 54 The Last of Us 14 Naughty Dog s The Last Of Us * Engine: gebaseerd op PS3 engine. PS3 engine: 30Hz Single threaded SPUs als worker threads Limitaties: Jobs worden nooit onderbroken Jobs kunnen geen resources claimen / vrijgeven *: Gebaseerd op: Parallelizing the Naughty Dog Engine using Fibers, Christian Gyrling

51 Concurrency college 11 Game Engines 55 The Last of Us 14 Naughty Dog s The Last Of Us Doelen nieuwe PS4 engine: jobs maken van code die niet naar de SPUs kan; mogelijkheid tot pauzeren van een job (bijvoorbeeld omdat een job zelf een job wil uitvoeren en het resultaat nodig heeft); makkelijk in gebruik voor gameplay programmers; geen memory management; eenvoudige manier om jobs te synchroniseren en schakelen. Niet zo belangrijk: performance.

52 Concurrency college 11 Game Engines 56 The Last of Us 14 Naughty Dog s The Last Of Us Systeem: JOB JOB JOB 1. 6 worker threads, vast op een eigen core 2. 3 global job queues: low, normal, high priority Jobs kunnen zelf nieuwe jobs toevoegen aan het systeem. Jobs kunnen wachten op andere jobs: hiervoor wordt een wait list gebruikt met een atomic counter. De wait list is het enige mechanisme dat gebruikt wordt voor synchronizatie. Het kunnen pauzeren van een job om andere jobs uit te kunnen voeren is een erg krachtig mechanisme. The Last of Us Remastered: jobs per frame. counter Wait list

53 Concurrency college 11 Game Engines 57 The Last of Us 14 Naughty Dog s The Last Of Us Wat is een job? Updates van game objecten Animatie en blending Rays Het genereren van GPU commando s

54 Concurrency college 11 Game Engines 58 The Last of Us Threads Jobs Per-job call stack

55 Concurrency college 11 Game Engines 59 The Last of Us 14 Voorbeeld: Alle Objecten Animeren Object g_objects[100]; JOB_ENTRY_POINT(AnimateObjectJob) { } void AnimateAllObjects() { JobDecl jobdecls[100]; for (int jobindex = 0; jobindex < 100; ++jobindex) { jobdecls[jobindex] = JobDecl(AnimateObjectJob, &g_objects[jobindex]); } Counter* pjobcounter = NULL; RunJobs(&jobDecls, 100, &pjobcounter); WaitForCounterAndFree(pJobCounter, 0); }

56 Concurrency college 11 Game Engines 60 The Last of Us 14 Job System: Evaluatie Voordelen: Makkelijk in gebruik, en geschikt voor game code Jobs op elkaar laten wachten is eenvoudig

57 Concurrency college 11 Game Engines 61 The Last of Us Stage 1: Job systeem, nieuwe rendering engine

58 Concurrency college 11 Game Engines 62 The Last of Us Stage 2: game object updates & command buffer generation now jobified.

59 Concurrency college 11 Game Engines 63 The Last of Us Stage 3: rendering engine optimizations.

60 Concurrency college 11 Game Engines 64 The Last of Us Stage 4: meer optimalisaties, diminishing returns. Three months from shipping.

61 Concurrency college 11 Game Engines 65 The Last of Us 14 Reality Check Bijna alles is nu jobified GPU werk is geoptimaliseerd De CPU heeft te veel werk: kritieke pad is ~25ms Maar: veel idle time op CPU cores Nog drie maanden voor de deadline.

62 Concurrency college 11 Game Engines 66 The Last of Us

63 Concurrency college 11 Game Engines 67 The Last of Us

64 Concurrency college 11 Game Engines 72 The Last of Us 14 Conclusies Multithreading wordt volwassen in The Last of Us Remastered: Consistent gebruik van jobs Eenvoudige job synchronisatie Overlap van rendering en simulatie, zoals in eerdere engines Slim geheugenmanagement met efficiënte synchronisatie Geschikt voor architecturen met veel cores.

65 Agenda: A Brief History Of Valve s Source Engine, 2007 id Tech 5, 2009 Bungie s Destiny, 2015 Naughty Dog s The Last of Us, 2015

66 Concurrency Gerard Tel / Jacco Bikker - november 2016 februari 2017 EINDE van Game Engines volgende college: Heterogeen