Workshop Deep Learning

Transcriptie

1 Wrkshp Deep Learning 10/05/2017 Evlun Eindhven Ir. Steven Puttemans EAVISE Research Grup, KU Leuven, Campus De Nayer, Sint-Katelijne-Waver, Belgium

2 Wie ben ik? 2

3 3 Steven Puttemans PhD nderzeksmedewerker Opleiding Industrieel ingenieur Elektrnica- ICT KHBO Brugge/Ostende Master na Master in Artificial Intelligence KU Leuven Actief binnen OpenCV cmmunity Open-surce beeldverwerkingspakket Actief als develper/mderatr +- 6 jaar nderzekservaring 2 jaar p IWT-TETRA prject TOBCAT: industriële tepassingen van bject categrisatie 5 jaar als dctraatstudent: ptimale bject categrisatie nder applicatie specifieke vrwaarden

4 EAVISE Onderzeksgrep? 4

5 5 Valley f death industrie

6 EAVISE: Embedded and Artificially Intelligent Visin Engineering 6 Vertalen van state-f-the-art algritmes naar plssingen vr industrie specifieke prblemen, dit zwel vanuit de beeldverwerking als de artificiële intelligentie. Optimalisatie algritmes m te vlden aan industriële eisen: Real-time perfrmantie: 1-2 FPS is vaak nvldende Rbuuster en accurater: 95% accuraatheid nvldende Implementeren van geavanceerde algritmes en applicaties p embedded systemen zals FPGA, DSP, GPU, multicre CPU, clusters,

7 7 Onderzekstpics Object detectie Persnsdetectie en tracking Real-time (embedded) implementatie Visuele lcalisatie 3D systemen Visie gebaseerde rbtsturing (bvb. drnes)

8 8 EAVISE Prf. Tn Gedemé research leader Cmputer Visin Prf. Jst Vennekens research leader AI & KR Stijn De Beugher Eyetracking Inge Cudrn Visuele navigatie Wiebe Van Ranst GPU & Mbile Steven Puttemans 2D Objectdetectie Dries Hulens Rbtic UAV Kristf Van Beeck Blindehekcamera Maarten Vandersteegen IR persnsdetectie Bram Aerts Kennisrepresentatie vr cinematgrafie Shana Van Dessel Timetabling Wim Abbels 3D Bin Picking Timthy Callemein AR & Aut. Cinematgraphy Kristf Van Engeland AI Surveillance

9 Vrbeeldprjecten 9

10 10 DEEL 1: Wat is deep learning? Presentatin based n deep learning presentatin given by Alisn B Lwndes f Campus De Nayer during Internatinal Days 2017

11 Situering deep learning 11

12 Situering deep learning 12

13 13 Situering deep learning We prpse that a 2 mnth, 10 man study f artificial intelligence be carried ut during the summer f 1956 at Dartmuth Cllege

14 14 Situering deep learning Waarm heeft deep learning nu pas een drbraak? Yann Le Cun: A theretical framewrk fr back-prpagatin 1998 Theretisch <-> praktische haalbaarheid Sftware ng niet matuur geneg In 2012 eindelijk een drbraak Vldende publieke datasets Vldende tegankelijke architecturen Ndige hardware wrd betaalbaar

15 15 Shallw/classical learning vs deep learning Deep learning is slechts een nderdeel van machine learning. Omdat deep learning mmenteel een echte `hype` is, merken we een drastische wijziging in educatieve pakketten. Klassieke technieken SVM, NaiveBayes, Gaussian Mixture Mdels, Randm Frests, krijgen steeds minder aandacht. Om mee te zijn met de trend fcust men steeds meer p neurale netwerken (ANN, CNN, DNN, RNN, AutEncders, GAN, ). We mgen echter niet vergeten dat klassieke machine learning ng steeds zijn plaats kent, en k belangrijk is tt het bekmen van krachtige en rbuuste beeldverwerkingsalgritmes. We meten deep learning als buwsteen beschuwen.

16 16 Deep learning, he werkt dit? Deep learning = autmatisch neurale netwerken parametriseren. Neurale netwerken bestaan al heel lang, en werden eigenlijk k in de klassieke beeldverwerken reeds gebruikt: SLP = single layer perceptrn MLP = multilayer perceptrn Pas wanneer we heel wat cmplexe lagen van perceptrnen gaan cmbineren met tussenliggende peraties (cnvlutie, maxpling, ) kunnen we spreken ver deep learning.

17 17 Deep learning, he werkt dit? SLP = Single Layer Perceptrn Simpelste mdel van een neurn gebruikt in beeldverwerking Del: herkennen van patrnen in lineair scheidbare klassen Neurn + aanpasbare gewichten per input + bias

18 18 Deep learning, he werkt dit? SLP = Single Layer Perceptrn Verschillende activatiefuncties mgelijk 1. Threshld f(x) = 1 if x >= 0 f(x) = 0 if X < 0 2. Piecewise linear f(x) = 1 if x >= 0,5 f(x) = x + 0,5 if -0,5 <= x <= 0,5 f(x) = 0 if x <= -0,5 3. Sigmid f(x) = 1 / (1 + e^(-x)) (1) (2) (3)

19 19 Deep learning, he werkt dit? MLP= Multi Layer Perceptrn Een netwerk van aan elkaar geschakelde perceptrnen Feedfrward netwerk (geen feedback tijdens inferentie) Backprpagatin (supervised learning technique) vr het trainen van het netwerk Bepalen van de gewichten van de nderlinge ndes Bepalen van de activatiefunctie gekppeld aan elke nde Cmbinatie van input & utput layers Inputlayer = 1 nde per inputwaarde / feature Outputlayer = 1 nde per klasse / label Daartussen verschillende hidden layers Fully cnnected netwerk Elke nde in laag T gelinkt aan elke nde van laag T+1

20 20 Deep learning, he werkt dit? MLP= Multi Layer Perceptrn Kunnen vergeleken met SLP niet lineair scheidbare prblemen plssen dr hun cmplexere structuur

21 21 Deep learning, he werkt dit? Tepassingen van SLP & MLP Optical Character Recgnitin (OCR) Speech recgnitin Image recgnitin MLP zijn tt de enige vrm van Deep Learning netwerken die actief gebruikt werden vr heel wat tepassingen. Met een beperkt aantal hidden layers tch heel accurate resultaten. Je kan aan deze neurale netwerken ng steeds je eigen hand-crafted features meegeven, en het netwerk enkel als classifier gebruiken.

22 22 Deep learning, he werkt dit? Grtste nadeel aan shallw learning is dat features vr classificatie hand-crafted zijn. In heel wat prcessen is dit een tijdsrvend en intensief gegevens. Deep learning Past cnvlutiefilters te p de gehele afbeelding. Het netwerk leert zelf intern cmplexe representaties vanuit de pixelinfrmatie die aan het netwerk aangebden wrd. Ontstaan van Cnvlutinal Neural Netwrks (CNN), die tt p heden een van de frequentst gebruikte architectuur is in cmputer visie plssingen.

23 Deep learning, he werkt dit? 23

24 24 Deep learning, he werkt dit? Cnvlutin layers gaan p zek naar gemeenschappelijke patrnen ver de trainingsdata, die steeds tenemen in cmplexiteit. Na elke cnvlutin layer vlgt een subsampling layer. Verdere reductie van de dimensinaliteit. Wrdt k wel een pling layer genemd. Zrgt vr invariantie tegen rtatie en translatie.

25 25 Deep learning, he werkt dit? Er zijn verschillende types pling/subsampling layers, maar meest gebruikte zijn max-pling en average-pling.

26 26 Deep learning, he werkt dit? De reductie in dimensinaliteit (aantal cnvlutinal layers) heeft rechtstreeks verband met De inputgrtte van de data: we starten immers p pixel niveau De gewenste finale feature grtte: eerste deel ttale netwerk Uiteindelijk kunnen we het geheel psplitsen in een feature extractin netwerk en een classificatin netwerk, meestal bestaand uit fully cnnected layers.

27 27 Vrbeeld van een CNN Eerste CNN van Yann Le Cun (LeNet), gebruikt vr classificatie van digits:

28 28 Data versus accuraatheid Deep learning = ptimalisatie van een cmplex systeem Elke neurn in het cmplexe netwerk heeft een gewicht per cnnectie. Dit leid al snel tt miljenen parameters die geptimaliseerd dienen te wrden. Hiervr is veel trainingsdata ndig, m een relatie te kunnen pbuwen tussen input (image pixels) en utput (labels). Er zijn heel wat publieke datasets Pascal VOC challenge ( Micrsft COCO dataset ( KITTI visin benchmark ( Jammer geneg fcussen deze ng steeds p de cmmn classes: persnen, vertuigen, dieren,

29 29 Data versus accuraatheid He meer data beschikbaar, he accurater we het mdel kunnen trainen. Een vuistregel = (#number_f_weights)^2. Echter een gemiddeld netwerk heeft al snel weights Je merkt dus he snel de ndige datavereiste kan ntplffen. Om dus zelf je eigen mdel te trainen, heb je (ls van de hardware) uiteraard k deze data ndig. Er met vldende variatie in de data zitten. Het capteren van al deze data kan een tijdsintensief prces zijn. Al deze data met finaal k manueel geannteerd wrden met labels.

30 30 Data versus accuraatheid Wanneer er weinig data beschikbaar is, dan is het trainen van een CNN mgelijk, maar de accuraatheid zal hiernder lijden. Klassieke technieken zals een SVM vinden hier met veel minder data beter een ptimale scheiding. Vral mdat klassieke technieken veel minder parameters heven te ptimaliseren. We meten de hp echter niet pgeven, want m dit prbleem aan te pakken maakt men heel vaak gebruik van data augmentatin.

31 31 Data augmentatin Data augmentatin is het principe waarbij we zveel mgelijk variatie in het prces intrduceren p basis van de beschikbare trainingsdata. Hrizntale en vertikale flips Rtaties rnd het centerpunt Randm crps uit de anntaties (rbuustheid tegen cclusie) Translaties van de inputdata tv anntaties Kleurcasting + cnvertie naar andere clr spaces Relighting van beelden Gemetrische vervrmingen

32 Data augmentatin 32

33 33 Data augmentatin Maar het gaat ng veel verder! Nieuwste trend in cmputer visin is data augmentatin via cmputer generated cntent. Cmputer graphics slaagt erin uiterst realistische scenes na te buwen. Dit laat ns te m bjecten te plaatsen, exact waar we het willen. Grte bedrijven zals Ggle & Facebk betalen werknemers m b.v.b. GTAV te spelen, m scenes te capteren, waarvan ze via de engine eigenlijk weten waar elk bject zich bevindt. Intrduceren van uiterst meilijke cndities wrdt nu gemakkelijk (regen, mist, nacht/dag, crwds, ) Miljenen frames wrden z gecmbineerd t efficiente trainingsdata. Er zijn geen manuele anntaties meer ndig!

34 Data augmentatin 34

35 35 He maak ik nu de keuze? De keuze tussen traditinele machine learning en deep learning hangt af van heel wat parameters, maar tch vral van heveelheid data. Opgelet! Dit klpt in uncnstrained bject detectin scenaris. Maar industriele tepassingen hebben net het vrdeel heel wat cnstraints te bevatten. Klpt deze vergelijking dan wel atijd?

36 36 He maak ik nu de keuze? Traditinele Machine Learning Je kent de descriptieve features vr je applicatie. Je hebt een beperkte heveelheid data beschikbaar. Het tepassingsveld is drastisch verschillend van huidige deep learning nderzek. Een duidelijke scheiding tussen de verschillende klassen. Deep Learning Je kent de descriptieve feature vr je applicatie NIET. Je hebt nbeperkte trainingsdata ter beschikking. Je tepassingsveld valt midden in het tepassingsveld van huidig deep learning nderzek. Opgelet! Tt was dit vrijwel een geie psplitsing. Tegenwrdig kunnen deze standpunten met nieuwere technieken weerlegd wrden.

37 37 He maak ik nu de keuze? `Tepassingsveld applicatie = tepassingsveld deep learning nderzek.` Op dat mment Vervalt de nd aan beschikbare trainingsdata. Heel wat nderzekers stellen immers hun getrainde mdellen ter beschikking, zals de Caffe mdel z. ( Meest gebruikte klassen - 20 klassen van Pascal VOC challenge: persn, bird, cat, cw, dg, hrse, sheep, aerplane, bicycle, bat, bus, car, mtrbike, train, bttle, chair, dining table, ptted plant, sfa, tv/mnitr - 90 klassen van COCO dataset: zie cmpetitie klassen van IMAGENET: zie cmpetitie

38 38 He maak ik nu de keuze? `Tepassingsveld applicatie = tepassingsveld deep learning nderzek.` De uitdaging ligt hem dan vral in het aan de praat krijgen van de nderzeks- / pensurce sftware. Training znder GPU is nmgelijk - Dr de grte heveelheid data - Gemiddeld mdel zu weken tt maanden trainen vr ptimale gewichten p alle ndes van het mdel Inferentie znder GPU is wel mgelijk, puur CPU gebaseerd - Het uitveren van een getrained mdel p CPU werkt als je geen real-time vereisten hebt binnen je tepassing. - B.v.b. een 640x480 pixel afbeelding kan je dr een deep learning segmentatie techniek laten nderverdelen in segmenten CPU: 2-3 min per afbeelding GPU: 100 msec per afbeelding

39 39 He maak ik nu de keuze? `Tepassingsveld applicatie =/= tepassingsveld deep learning nderzek.` Op dat mment Heb je trainingsdata ndig Wil dat dan zeggen dat je geen deep learning kan uitveren? NEEN! Deep learning is ng steeds mgelijk via een techniek genaamd transfer learning. Je vertrekt vanuit een bestaand mdel, met bestaande weights vr alle parameters, die je inlaad in je trainingsprtcl. Je vegt extra kennis te vanuit een beperkte gelabelde dataset, specifiek gekppeld aan de klassen die je wilt terugvinden.

40 40 Transfer learning Algemeen gaan we ervan uit dat deep learning In zijn cnvlutinal layers p zek gaat naar universele bject features. In zijn fully cnnected layers deze features `verbind` tt een bject. Vanuit dat gpunt kunnen we extra kennis tevegen aan een reeds getrained mdel, f de kracht van een bestaand mdel gebruiken Cnvlutinal neural netwrk als feature extractin techniek Fine-tuning van een cnvlutinal neural netwrk

41 41 CNN als feature extractin techniek Hier gebruiken we de kracht van een CNN m features te filteren uit een inputbeeld van pure pixels, p basis van de getrainde klassen. Verwijder fully cnnected layers van het mdel. Hierdr krijg je een cnvlutinal feature vectr van 32x32 = 1024 feature values. Gebruik dit in een klassieke machine learning classifier zals SVM, bsting, randm trees,

42 42 CNN als feature extractin techniek Vrdelen van CNN als feature extractin techniek Feature representatie van een bject znder manual crafted features. CNN features hebben mmenteel een grte perfrmance bst t..v. meeste cmbinaties van hand crafted features. Dr trainen van mdel ver heel wat verschillende klassen, abstraheer je eigenlijk het cncept bject, en splits je dit p als een cmbinatie van nderdelen. Nadelen van CNN als feature extractin techniek Znder de ndige hardware ter ndersteuning (GPU) is dit een traag prcess, wat niet aan real-time prcessing eisen vldet. Kunnen een makkelijk scheidbaar prces k vercmplex maken. Is dus zeker niet altijd het beste alternatief!

43 43 Fine-tuning van een CNN Hier gaan we het bestaande mdel verder finetunen via het backprpagatin trainings algritme p de beschikbare data. De te vlgen stappen 1. Aanpassen van de fully cnnected layers aan het aantal klassen specifiek vr de applicatie waar je het netwerk wil gebruiken. Vrzien van een extra fully cnnected layer Laatste fully cnnected layer vervangen 2. Beslissen welke weights van welke lagen je gaat blkkeren. OF vaste gewichten vr de cnvlutinal layers EN fully cnnected layers OF vaste gewichten vr de cnvlutinal layers znder FC layers OF alle gewichten updaten aan nieuwe classificatie prbleem

44 44 Fine-tuning van een CNN Aanpassen van de fully cnnected layers via extra FC layer

45 45 Fine-tuning van een CNN Aanpassen van de fully cnnected layers via wijzigen van de laatste fully cnnected layer naar ndig aantal klassen.

46 46 Fine-tuning van een CNN Opletten met vastzetten f verder updaten van weights Cnvlutinal layers zijn er vral m generische features te halen uit de input samples, terwijl de fully cnnected layers meer dienen m de klasse specifieke cmbinaties te maken. Alle lagen verder updaten zu kunnen leiden tt verfitting van de trainingsdata. Vrdeel aan gebruik van fine-tuning Mderne CNN s p ImageNet trainen 2-3 weken ver meerdere GPU s. Hiervr wrden 1,2 millien trainingsbeelden gebruikt, waarp data augmentatin wrdt tegepast. Fine-tuning kan drastisch sneller. Op een vlledig nieuwe klasse kan je een mdel finetunen p enkele uren.

47 47 Fine-tuning van een CNN Nieuwe kleine dataset + data is gelijkaardig aan trainingsdata Finetuning weights kan snel leiden tt verfitting trainingsdata. Vral mdat de higher level features van riginele mdel relevant zijn tv de nieuwe trainingsdata. Beste plssing lineaire classifier p CNN features / cdes. Nieuwe grte dataset + data is gelijkaardig aan trainingsdata Meer data geeft ns zekerheid dat we het mdel niet verfitten. Finetuning van vlledige netwerk is mgelijk. Nieuwe kleine dataset + data is verschillend aan trainingsdata De data staat enkel te een lineaire classifier te leren p basis van CNN features. Omdat data echter heel verschillend is nemen we beter utput van wat vregere layers, waar ng geen klasse specifieke features geleerd wrden. Nieuwe grte dataset + data is verschillend aan trainingsdata Aangezien de data zeer verschillend is, finetunen we best alle weights van het netwerk. Vrgetrainde weights heeft ng steeds zin, in plaats van randm initialisatie te nemen.

48 48 Fine-tuning van een CNN Belangrijk m te nthuden bij fine-tuning De input data met steeds vlden de eisen van de riginele trainingsdata. Dit mede dr het feit dat de cnvlutinal layers en de fully cnnected layers afgestemd zijn p een bepaalde reslutie (initieel aantal pixels). Het kan dus zijn dat je een grter input beeld, sliding windw-gewijs, zal meten psplitsen in sub-beelden, zdanig dat je elk deel afznderlijk classificeert via het cnvlutinal neural netwrk. In het trainingsprces met je een learning rate pgeven. Het is bij finetuning belangrijk m de learning rate lager te nemen dan bij het rigineel mdel. We gaan er immers van uit dat de weights reeds iets betekenisvl den en dus willen we die niet te snel drastisch veranderen.

49 49 Deep learning als black bx Een neuraal netwerk, wat det dat nu exact? He kmen we te weten wat er intern in elke laag gebeurt? He zien de gevnden features in een netwerk er nu juist uit? Heel wat ntwikkelaars / academici gebruiken dit argument ng steeds m aan te geven dat deep learning heel cmplex is, en dat het meilijk is m vrbij de therie te kijken. Daarm gebeurt er heel wat nderzek rnd de visualisatie van de verschillende stappen binnen deep learning.

50 50 Visualisatie van deep learning Een eerste stap is het visualiseren van de layer activatins. In begin blbby en dense, naar eind van mdel steeds specifieker en lkaler. Als we merken dat veel activatin maps leeg zijn, kan dit een indicatie zijn van `dead filters`, wat zrgt vr grte learning rates. CONV1 & CONV5 layer bij bekijken van kat via AlexNet

51 51 Visualisatie van deep learning Een eerste stap is het visualiseren van de layer activatins. Deep Inside Cnvlutinal Netwrks: Visualising Image Classificatin Mdels and Saliency Maps Karen Simnyan, Andrea Vedaldi, Andrew Zisserman

52 52 Visualisatie van deep learning Een tweede mgelijkheid is het visualiseren van de weights Deze zijn het duidelijkst in de beginnende lagen, en geven een duidelijke filterstructuur weer. He smther de structuren, he beter de lagen gecnvergeerd zijn naar een ptimale plssing. CONV1 en CONV2 layers vr AlexNet

53 53 Visualisatie van deep learning Een tweede mgelijkheid is het visualiseren van de weights Visualizing and Understanding Cnvlutinal Netwrks Matthew D Zeiler, Rb Fergus

54 54 Visualisatie van deep learning De derde mgelijkheid is de activatie van een bepaalde nde gaan bekijken terwijl we data drheen het netwerk prpageren. Z weten we waar de neurnen naar p zek zijn. Beelden met maximale triggering p 5 th max-pling layer van AlexNet

55 55 Fling CNN s Dr diepgaand nderzek naar visualisaties van de interne lagen van een deep learning mdel, werd de vraag gesteld f we artificiele data kunnen genereren die specifiek triggered waar ndig. 99,6% certainty

56 56 Is GPU altijd beter dan CPU? NEE dat is het niet! Is een veelgehrde mythe binnen cmputervisie cmmunities, dat alles beter plsbaar is met een GPU. Heel afhankelijk van de hardware naast de GPU, beschikbaar in je systeem. Heveel CPU cres heb je beschikbaar? Kan het systeem gebruiken van ptimalisaties zals SSE, AVX, NEON, Heb je parallelle framewrks ter beschikking p je systeem? Veel cmputer visie biblitheken maken gretig gebruik van deze CPU instructie sets. Maak er dus gebruik van. Er is immers altijd een bttleneck, wanneer je data van CPU naar het GPU geheugen brengt en terug.

57 57 Is GPU altijd beter dan CPU? Een tepassing van gezichtsdetectie p CPU en GPU, gevlgd dr facial landmark detectie en tracking. CPU Intel(R) Xen(R) CPU E5 GPU TitanX(P)

58 58 DEEL 2: Deep learning technieken en tepassingen

59 59 Originele insteek deep learning Deep learning = vertaling van een patch pixels label Oplssing vr classificatietaken Geen (halve) plssing vr lcalisatietaken Sliding windw gewijs kan je dr het beeld lpen en p elke patch bepalen he grt de kans is dat er een bject vrkmt Om geen bjecten te missing is verlap tussen patches ndig, maar dat maakt het heel traag Geen (ruwe) plssing vr segmentatietaken Opnieuw kan een patch based apprach gebruikt wrden. Deze patches meten nadien echter efficient geclustered wrden, wat pnieuw een zeer cmplex gegeven is. Daarm heeft men drheen de tijd heel wat nieuwe en cmplexere architecturen uitgevnden m aan de bvenstaande vraag te vlden.

60 60 Deep learning architecturen Er bestaat een wildgrei aan architecturen binnen het deep learning dmein. Vlledig verview: Asimv institute Neural Netwrk Z Niet alle mdellen/architecturen zijn bruikbaar vr beeldverwerking Basis van heel wat mdellen ligt in de speech recgnitin and textual analysis. Elke architectuur heeft heel wat tepassingen, we bespreken alvast de belangrijkste architecturen binnen de beeldverwerking.

61 61 Deep learning architecturen De basisnetwerken - SLP & MLP (zie eerste blk) - Deep Feed Frward Netwrk (fully cnnected netwrk) - Geen data cycles/lps mgelijk - Training via backprpagatin (meest ppulaire techniek) (errr per patch terug dr netwerk) - Optimalisatie gewichten via gradient descent

62 62 Deep learning architecturen Deep cnvlutinal neural netwrks - Een cmbinatie van cnvlutin filters en pling filters. - Van daaruit kmen we tt een feature representatie. - Daarp wrd een reeks van fully cnnected hidden layers gekppeld. - Deze dienen als classificatie tt de eindklassen.

63 63 Deep learning architecturen Gevaren bij feed frward netwerking - Backprpagatin werkt enkel als het vldende keren herhaald wrdt (aantal trainings cycli) en met wat `geluk` bij gezette stappen. ---> Hierdr kan cnvergentie naar minima lang duren - Netwerk cnvergeert wanneer de errr p samples+label vldende klein is. - Gradient descent (weights aanpassen zdat we dalen p de errr curve) heeft als gevaar vast te zitten in een lkaal minima. ---> Oplssing: herhalen met verschillende randm initialisaties

64 64 Deep learning architecturen Aut-encders - Leren van efficiente cdering / representaties van data. - Wrdt dikwijls gebruikt als dimensinaliteitsreductie. - Altijd zelfde aantal input en utput ndes, waardr het netwerk zelf prbeert zijn input te hercnstrueren. - Opgesplitst in encder en decder deel, waarbij de ptimale encdering tussen encder en decder te vinden is.

65 65 Deep learning architecturen Aut-encders: srten - Denising AE: p basis van crrupte input, prberen het rigineel signaal te recnstrueren. Wrdt ingetrained p manueel gecrrupteerde data. - Sparse AE: dr meer hidden ndes te gebruiken dan inputndes, frceren we het `sparse` gedrag van de data. Hierdr kan een AE belangrijke structuren uit inputdata filteren. - Wanneer je weinig gelabelde data hebt, dan tnt nderzek aan dat een AE getrained p die data, met daarbvenp een lineaire SVM als classificatie, betere resultaten geeft dan CNN.

66 66 Deep learning architecturen Aut-encders remving artefacts frm images

67 67 Deep learning architecturen Aut-encders enhancing images

68 68 Deep learning architecturen Recurrent neural netwrks - In de hidden layers van het mdel, zijn gestuurde cycles/lps tegestaan. - Op die manier gebruiken ze hun state als een srt geheugen. - Dit staat ns te m relaties in sequenties te leren, waardr ze meer kunnen dan enkel per pixelset een utput leveren. - LSTM is een specifieke vrm van RNN Dr backprpagatin training, kunnen errrs bij RNN sms incrrect terug dr het netwerk geduwd wrden. [verdwijnen/explderen] Dr inveren van frget gates, wrdt dit prbleem vermeden.

69 69 Deep learning architecturen Recurrent neural netwrks - RNN en LSTM zijn vral ppulair in speech recgnitin, waar ze ng steeds state-f-the-art resultaten behalen. Ggle text-t-speech synthesis: andrid assistant / ggle vice search Baidu speech recgnitin - Haalde k heel nauwkeurige resultaten bij written digit recgnitin. - Gecmbineerd met CNN haalt dit state-f-the-art resultaten vr image captining.

70 70 Deep learning architecturen Recurrent neural netwrks (Ggle street view) Herkennen van huisnummers Een nummer laten genereren dr hetzelfde netwerk

71 71 Deep learning architecturen Decnvlutinal netwrks - Laat ns in eerste plaats te m een visualisatie te maken van de cnvlutie filters tegepast in een netwerk. - Maar laat ns k te een stap verder te gaan dr CNN te kppelen met een DN, en z een netwerk te krijgen die een cmplete mapping leert. - End t end deep learning vr bijvrbeeld segmentatie.

72 72 Deep learning architecturen Decnvlutinal netwrks - Decnvlutinal neural netwrks vlgen de structuur van hun tegenhangende cnvlutinal neural netwrks. - Zwel de cnvlutin als de pling filters meten geinverteerd wrden.

73 73 Deep learning architecturen Decnvlutinal netwrks - segmentatin

74 74 Deep learning architecturen Decnvlutinal netwrks - segmentatin

75 75 Prblemen bij deep learning Cnvlutinal neural netwrks zijn veelbelvend, zeker in cmbinatie met andere netwerkstructuren. Er zijn echter ng veel nadelen aan deze techniek verbnden: Je met een grt inputbeeld ng steeds drkruisen via een set van verlappende patches waarna elke patch een classificatie krijgt. Hierdr is de memry ftprint vr een enkel afbeelding gigantisch. Zeker als je dit ng eens in een multi-scale cntext gaat bekijken. Hierdr lijken cnvlutinal neural netwrks geen ptie wanneer bject detectie het del van applicatie wrdt f wanneer men real-time prcessing als basisvereiste heeft.

76 76 Regin prpsal netwrks Om dit prbleem aan te pakken, werden regin prpsal netwrks in het leven gerepen (RCNN, Faster RCNN) Een regin prpsal netwrk (RPN) Neemt een beeld als input en geeft een set van rechthekige bject prpsals terug elk met hun eigen bjectness scre. Idee is gebaseerd p een FCN. Regin prpsal netwrks pikken in na de cnvlutinal layers, en vr de fully cnnected layers, zdat de cnvlutie niet dubbel heft te gebeuren.

77 77 Regin prpsal netwrks Gevlg is dat in plaats van meerdere duizenden tt miljenen kandidaat windws geprcessed wrden, er een selecte heveelheid regin prpsals dr de CNN geduwt wrden. Faster RCNN 2000 best scring regin prpsals. Onderzek tnt echter aan dat met prpsals en een sterk netwerk, vldende accuraadheid behaald kan wrden. Het verlies in accuraatheid t..v. evalueren van alle regins is minimaal.

78 RPN + CNN fr bject detectin 78

79 79 Zelf aan de slag met deep learning Om zelf aan de slag te gaan met deep learning 1. Geie hardware die het mgelijk maakt m real time prcessing te den. 2. Nd aan een sftwarepakket dat een geie interface aanlevert met de nderliggende deep learning biblitheken. 3. Datasets / pretrained mdellen m via transfer learning zelf een plssing p te buwen.

80 80 Deep learning hardware NVIDIA dmineert het deep learning landschap. Z wat elk deep learning pakket maakt gebruik van NVIDIA sftware CUDA: NVIDIA parallel cmputing platfrm vr GPU CUFFT: Fast Furier transfrm library vr GPU CUDNN: NVIDIA deep learning primitives vr GPU De alternatieven in OpenCL zijn Minder perfrmant Onbestaand Minder actief ntwikkeld Dit zrgt ervr dat b.v.b. AMD GPU s mmenteel geen waardig alternatief zijn vr deep learning.

81 81 Deep learning hardware Wij den geen deep learning wegens de hge kst aan nieuwe hardware. Een veelgehrd argument bij industriele partners die in beeldverwerking / image prcessing aan de slag zijn. Tt 2015 was dit een geldig excuus, GPU setup s die krachtig geneg waren m deep learning te den, waren zeer duur. De dag van vandaag is dit argument echter niet meer geldig.

82 82 Deep learning hardware NVIDIA vrziet verschillende lijnen, geschikt vr deep learning, maar zelfs de gedkpere GeFrce lijn is een ptie.

83 83 Deep learning hardware Waar met je rekening mee huden bij het aanschaffen van deep learning hardware? Op vrhand weten welke applicatie je wil uitwerken! Ga je aan de slag met bject training? Of kies je enkel vr inferentie? Inclusief mdel training Algemeen Zrg vr minimaal 4 GB dedicated n bard RAM Enkel mdel inferentie Cmpacte mdellen kunnen uitgeverd wrden p een GPU met 2GB Zrg vr een vldende zware veding! Die en je GPU en je andere hardware nderdelen van vldende strm kan vrzien. Zrg vr vldende airflw in je testel. He meer CUDA cres, he sneller je kaart rekent!

84 84 Deep learning hardware Interessante hardware indien je een cmpact embedded deep learning systeem wil pbuwen. Jetsn TX1 en TX2 Supercmputer ter grtte van een bankkaart Bevat 256 CUDA cres (Maxwell TX1, Pascal TX2) 4GB (TX1) / 8GB (TX2) n bard memry Vral de develper kits zijn interessant! TX1 /TX2 450 eur

85 85 Deep learning hardware Interessante hardware indien je een desktp systeem hebt m testen p uit te veren: NVIDIA Titan X (Pascal) 1370 eur 12GB dedicated memry 3584 CUDA cres NVIDIA Gefre GTX eur 8GB dedicated memry 2560 CUDA cres

86 86 Deep learning hardware Eigenlijk stuurt NVIDIA aan p een interactie tussen hun verschillende structuren, m z een multi-platfrm plssing te bieden.

87 87 Deep learning sftware Deep learning sftware is gelaagd pgebuwd:

88 88 Deep learning sftware De framewrks laag is de laag die ns interesseert. Dit is namelijk de interface laag die je telaat p een intuitieve manier met deep learning m te gaan.

89 89 Deep learning sftware Vrdelen van een framewrk / abstractin layer Vldende tutrials en dcumentatie beschikbaar. In de meeste gevallen een cmmunity waar je als user bij terecht kunt. Nadeel: zelfs abstracties blijken sms vrij cmplex wanneer je wilt afstappen van de standaard vrbeelden / tepassingen. Daarnaast is er k een veelbelvend pakket rnd deep learning, dat een interface vrziet via C en CUDA, namelijk darknet. YOLO mdel bject detectie ImageNet mdel bject classificatie RNN mdel time series analyse TinyYOLO bject detectie p embedded hardware

90 90 Deep learning via OpenCV OpenCV - Open surce cmputer visin dr Intel Beeldverwerkingsbiblitheek die heel wat functinaliteit bevat. Zrgt via wrappers (abstractie) een interface naar het bekende CAFFE pakket vr deep learning Tiny-DNN - Een lightweight deep learning biblitheek Puur via header files, waardr je niet met cmpileren Bevat mmenteel enkel deep learning inferentie, via CPU Belft in tekmst deep learning inferentie en training, via GPU

91 91 Deep learning via OpenCV Snelste manier m deep learning p te starten in OpenCV Zrg vr de laatste OpenCV 3.2 master branch Zrg vr de cntributed repsitry ( Zrg vr een werkende CAFFE installatie ( Zrg er vr dat bvenstaande pakketten met CUDA en CUDNN supprt gebuild zijn Via de Caffe mdel z dwnlad je het mdel waarmee je deep learning wil den (segmentatie/detectie/classificatie/ )

92 92 Deep learning via OpenCV Via de vrbeeld samples, krijg je een zicht p he de deep learning mdellen aan te spreken (

93 93 Meest gebruikte architecturen/mdellen Binnen de deep learning cmmunity zijn een aantal mdellen afkmstig van nderzeksinstellingen tnaangevend en cmmn practice. LeNet: 5 layer CNN ntwikkeld vr digit recgnitin AlexNet: een stacked 9 stage CNN vr ImageNET classificatie GgLeNet: ging even deeper 22 layer deep CNN, f which 9 inceptin mdules, leading t ver 100 layers in ttal Oxfrd grup: VGG mdels large scale visual recgnitin VGG16, VGG19, VGGfusin De trend was m steeds dieper te gaan, meer cmplexiteit te te vegen, m dan uiteindelijk een zeer hg perfrmant netwerk te bekmen, dat zeer rekenintensief is en bijna nbruikbaar.

94 94 Meest gebruikte architecturen/mdellen GgLeNet architectuur

95 95 Deep learning memry ftprint Drdat de meeste beschikbare pen surce mdellen vrij cmplex en vrij diep zijn (veel peenvlgende layers), zijn de resulterende weight files heel grt. Cnfiguratie files (pbuw layers), zijn cmpact. De weight files daarentegen zijn gigantisch (VGG 350 MB) Uiteraard is dit prblematisch p embedded systemen. Daarm werden verscheidene technieken uitgevnden m data van krachtige diepe mdellen te cmprimeren.

96 96 Deep learning memry ftprint Vrgestelde plssingen vr mdel cmpressie Mdel cmpressie via mdel hashing: encdering van mdel Tepassen van singular value decmpsitin p CNN mdels Netwrk pruning: wegnemen van weights nder een threshld, p 0 zetten m tt een sparse matrix representatie te kmen Tevegen van quantizatie aan het netwrk pruning Deep cmpressin: gebruik van huffman encding in deep netwrks SqueezeNet: Vervangen van cnvlutin filters met kleiner equivalent Verminderen van het aantal inputkanalen Dwnsamplen pas laat in het netwerk, zdanig dat we grte activatiemapping krijgen in het netwerk in de cnvlutin layers. This all lead t a tremendus decrease in size, resulting in mdels between 4 10MB, pening deep learning fr embedded hardware!

97 97 Deep learning examples Transfer learning using Ggle s Inceptin v3 mdel n nly 35 class and nn bject class samples (n verlapping windws)

98 98 Deep learning examples Transfer learning using Ggle s Inceptin v3 mdel n nly 35 class and nn bject class samples (verlapping windws)

99 99 Deep learning examples Decnvlutin mdel p een schilderij, wat ziet het mdel intern?

100 100 Deep learning examples Decnvlutin mdel p een veranda, wat ziet het mdel intern?

101 101 Deep learning examples YOLOv2 bject detectie in uitdagende situaties (belichting, clutter, camerastandpunten, ) waar andere detectren falen.

102 102 Deep learning examples YOLOv2 bject detectie in een verkeersanalyse tepassing.

103 103 Deep learning examples YOLOv2 bject detectie in een eyetracker pname, detecteren van persnen in elke mgelijke pstelling.

104 104 Laatste nieuwtjes in deep learning GAN = Generative Adversarial Nets - bvb. pix2pix

105 105 Laatste nieuwtjes in deep learning GAN = Generative Adversarial Nets - bvb. pix2pix

106 Integratie van cnvlutinal utputs vr crwd cunting / analysis 106

107 Bedankt vr uw aandacht! Meer inf: stevenputtemans.github.i - steven.puttemans@kuleuven.be