Neurale Netwerken en Deep Learning. Tijmen Blankevoort

Transcriptie

1 Neurale Netwerken en Deep Learning Tijmen Blankevoort

2 De toekomst - Internet of Things

3 De toekomst - sluiertipje Je gezondheid wordt continue gemonitored Je dieet wordt voor je afgestemd -> Stroomversnelling onderzoek

4 Big Data Heel veel data Wat te doen met de data? Nu al: youtube/facebook

5 Probleemstelling - Machine learning Classificatie

6 Classificatie definitie Wereld, targets Voorbeelden random getrokken Targets Extrapolatie? Vind:

7 Classificatie - Wat voor vragen Wat is dit plaatje? Wat is dit geluid? Wat is de kans dat klant klikt? (Regressie)

8 Big data classificatie Veel data Mogelijkheden! Weinig informatie

9 Big data algoritme? Gebruik veel data schaalt Parallelizeerbaar Complexe verbanden

10 Classificatie - Vroeger Support Vector Machines Random Forests

11 Classificatie plaatjes - Vroeger De oude computer vision manier

12 Eigen features bouwen De oude computer vision manier: Bouw je eigen features. Schaalt niet Kost veel tijd Expert systemen 1970s?

13 Big data algoritme? Gebruik veel data schaalt Parallelizeerbaar Complexe verbanden Mogelijkheid big data: Zelf features vinden!

14 Begrijp een plaatje! Leer concepten, geen truukjes!

15 Deep Learning Machine learning Gebruik Neurale Netwerken! - Big Data - Leer extreem complexe problemen - Leert features automatisch Een nieuw machine learning tijdperk

16 Deep learning wint alle competities - IJCNN 2011 Verkeersborden - ISBI 2012 Cel segmentatie - ICDAR 2011 Chinese handschrift herkenning

17 Applications Veel state of the art systemen gebruiken tegenwoordig Deep Learning - IBMs Watson: Jeopardy Google s zelf-rijdende auto - Google Glasses - Facebook gezichtsherkenning - Facebook modelleren gebruikers - Netflix recommender

18 Google Brain (2011) - 10 miljoen youtube plaatjes - 1 miljard parameters processoren - Unsupervised stap! categorieen % correct

19 Biologische inspiratie Neuron

20 Neuron computer model

21 Activatie functie Sigmoid activation function

22 Neuron computer model

23 Simpele functies met een neuron

24 Complexere Functies - XOR

25 Elke functie is te representeren! Combinatie van logische functies - Elke logische functie Netwerk met 1 hidden layer en sigmoid activatie - Elke continue functie

26 Trainen van een neuraal netwerk - Gewichten random initialiseren - Geef de datapunten 1 voor 1 - Bereken verschil tussen output netwerk en gegeven output - Update de gewichten (gradient descent) - Doe dit meerdere keren voor de hele dataset - Eind resultaat: Gegeven nieuwe input, netwerk geeft output Trainen is een zoektocht naar de goede gewichten.

27 Neurale netwerken in de jaren 90 - Leren meerdere lagen - Back propagation - Netwerk kan theoretisch gezien elke functie leren Maar... Erg langzaam en inefficient - Machine learning vergeet neurale netwerken en aandacht op SVM s, random forests etc.

28 Big Data - Deep learning (2006) - Feature representatie! - Erg grote netwerken (complex) - Groot netwerk = veel data Probleem: Normale backpropagation werkt niet goed voor grote netwerken!

29 Deep learning (2006) - Precies dezelfde netwerken als voorheen, alleen veel groter! - Combinatie van drie factoren: - (Big data) - Betere algoritmes - Parallel computing (GPU)

30 Betere train methode Restricted Boltzmann machine Pre-training: Initialiseer het netwerk slim Daarna normaal trainen. We knippen het grote netwerk in paartjes.

31 Restricted Boltzmann Machine Twee verbonden lagen (bipartiet) Zelfde als twee lagen neuraal netwerk Generatief stochastisch neuraal netwerk dat een probabiliteits distributie leert over de inputs Deze gaan we unsupervised trainen

32 Restricted Boltzmann Machine Eindresultaat: Resultaten dienen hetzelfde te zijn

33 Restricted Boltzmann Machine Input Kans hidden input

34 Restricted Boltzmann Machine Input Kans hidden input

35 Contrastive Divergence Pak een input uit je data Start met binary train input op de visible vector Trek alles random Bereken de weight update Rinse and repeat Unsupervised!

36 Contrastive Divergence It relies on an approximation of the gradient (a good direction of change for the parameters) of the log-likelihood (the basic criterion that most probabilistic learning algorithms try to optimize) based on a short Markov chain (a way to sample from probabilistic models) started at the last example seen.

37 Layer 1 Richar Socher, Yoshua Bengio and Chris Manning. Deep Learning for NLP (without magic), ACL 2012

38 Toepassen op elke laag

39 Next Layers Layer 3 Layer 2 Layer 1 Richar Socher, Yoshua Bengio and Chris Manning. Deep Learning for NLP (without magic), ACL 2012

40 De beste feature extractor?!

41 De beste feature extractor?!

42 Na pre-trainen Na unsupervised pre-trainen: Back propagation toepassen en klaar!

43 Deep learning (2006) - Combinatie van drie factoren: - (Big data) - Betere algoritmes - Parallel computing (GPU)

44 Gebruik de GPU

45 Parallel (GPU) power - Elke set weights kunnen we opslaan als een matrix (w_ij) - Alle neurale netwerk berekeningen gebeuren parallel per laag (15-80 keer sneller op GPU dan op enkele CPU) - Batch updates - CPU parallelizing ook mogelijk

46 Deep Learning = de toekomst Complexe verbanden Zelf features vinden Gebruik veel data schaalt Parallelizeerbaar

47 Toekomst van Deep Learning - Explosie aan nieuw onderzoek - Hessian-Free networks (2010) - Long Short Term Memory (2011) - Large Convolutional nets, max-pooling (2011) - Nesterov s Gradient Descent (2013) - Dropout

48 Toekomst door Deep Learning Veel intelligentere systemen Verregaande automatisering