Over Machines die Leren. Luc De Raedt Dept. Computerwetenschappen

Transcriptie

1 Over Machines die Leren Luc De Raedt Dept. Computerwetenschappen

2 De Kunstmatige Intelligentie 1956: de eerste meeting rond kunstmatige intelligentie in Dartmouth de kernvraag: Kunnen we intelligente machines bouwen? John McCarthy

3 Intelligentie Heeft veel aspecten en facetten Het onderzoek richt zich meestal op deelproblemen Wij : machinaal leren Kunnen machines leren? Kunnen we lerende machines bouwen?

4 Overzicht A. Wat is machinaal leren? B. Waarom is het interessant? C. Hoe werkt het? D. Waar leidt dit alles toe? Toekomstverwachtingen

5 A. Wat is Machinaal Leren?

6 Machinaal Leren Een machine leert wanneer zijn performantie (zijn prestaties) op een bepaalde taak verbetert met ervaring

7 Dammen Arthur Samuel Dammen

8 Dammen Machine = computerprogramma Taak = dammen Performantie = percentage gewonnen partijen Ervaring = gespeelde partijen

9 Spam

10 Spam Machine = programma, spamfilter Taak = s classificeren Performantie = nauwkeurigheid van classificaties Ervaring = voorbeelden van spam en niet-spam

11 Recommender Systeem

12

13 Recommender Systeem Machine = website (en programma) Taak = boeken aanbevelen Performantie = behaalde omzet Ervaring = voorbeelden van voorbije aankopen

14 Machinaal Leren Een machine leert wanneer zijn performantie (zijn prestaties) op een bepaalde taak verbetert met ervaring

15 B. Waarom Machinaal Leren?

16 Waarom? Kunstmatige intelligentie Machinaal leren is gewoon erg praktisch sommige programma s (software) kunnen niet met de hand geprogrammeerd worden analyse van data (data mining) Inzicht in de aard van het leren en het verwerven van kennis welke wetten gelden voor lerende systemen? cognitieve wetenschappen en wetenschapsfilosofie

17 Data Mining Machinaal leren analyseert gegevens/ervaring Nauw verwant met data mining zoekt naar nieuwe nuttige kennis in mogelijk complexe datasets Data mining is erg populair Het is makkelijk om data te genereren maar moeilijk om ze te interpreteren We are drowning in data but starving for knowledge

18 C. Hoe werkt het?

19 Principes van Leren Een functie wordt geleerd Dammen f( ) = 9-13 P( Q(,9-13) = kans dat zet gespeeld wordt,9-13) = verwachte beloning Spam f( ) = spam of geen spam Recommender systeem f(boek) = (geordende) verzameling boeken

20 Dammen De Ervaring leren uit voorbeelden goede/slechte zetten uit tekstboeken of van damleraar? leren uit imitatie (Eng. behavioral cloning) imiteer de wereldkampioen leren uit beloningen het AI probleem in het klein speel het spel, beloning = gewonnen stukken/partijen

21 Drie Leertechnieken 1. Het leren uit beloningen 2. Het leren van associaties 3. Het leren van beslissingsbomen + toepassingen en inzichten

22 C. Hoe werkt het? 1. Leren uit beloningen

23 Donald Michie s Menace Donald Michie (2007) Menace (1961) Machine Educable Noughts And Crosses Engine

24 O X O O X O X aan Zet X X X Kies doosje op basis van huidige positie Voer de zet uit Menace 287 luciferdoosjes Kies at random een parel uit het doosje Slide naar Johannes Fuernkranz

25 Menace Machine = 287 luciferdoosjes + parels Codeert probabilistische functie P(doosje, kleur) geeft kans weer op zet Leren van functie Q (s, a) = R(s, a) + γ s P (s s, a) max a Q (s, a ) bij verlies: bewaar alle gebruikte parels bij winst: stop gebruikt parels terug en voeg extra parel van zelfde kleur toe Richard Belmann Q (s, a) =R(s, a)+γ s P (s s, a) max a Q (s,a )

26 Exploratie versus Exploitatie Exploratie : de ruimte van mogelijke strategieën voldoende doorzoeken Exploitatie : de geleerde kennis zoveel mogelijk gebruiken Two armed-bandit probleem

27 Leren uit Beloningen Toepassingen in Games

28 AI en Games AI is meer dan Spelletjes Die worden vooral gebruikt omdat ze makkelijk te controleren omgevingen opleveren Tal van andere toepassingen robotica, controle, internet,... Robocup

29 C. Hoe werkt het? 2. Leren van associaties

30 Spam-filter

31

32 Associaties Welke producten worden frequent samen gekocht? 4/5=80% 4/5=80% 4/5=60%

33 Associaties 4/5=80% 3/5=60% ALS DAN met KANS 60% 80% = 75%

34 Toepassingen Dit zijn lokale patronen, ze zeggen iets over sommige gegevens Marketing, o.a. supermarkt, bank,... Data mining in wetenschappelijke domeinen Analyse van (sociale) netwerken

35 Structuur-Activiteits-Relaties Figuur: Siegfried Nijssen Interpreteerbare kennis/patronen

36 C. Hoe werkt het? 3. Leren van beslissingsbomen

37 Classificatie en Regressieproblemen Classificatie voorspel de klasse Regressie bvb. spam of niet spam bij voorspel een numerieke waarde bvb. de temperatuur morgen Belangrijkste probleem in machinaal leren en data mining Tal van technieken; wij: beslissingbomen

38 Illustratie fortis dexia kbc... Bel20 nee nee nee... stijgt nee nee ja... daalt ja nee nee... stijgt nee ja ja... daalt ja ja nee... daalt nee ja nee... stijgt nee ja nee... stijgt ja nee nee... stijgt nee nee ja... daalt Kan ik voorspellen of de BEL 20 morgen stijgt of daalt? performantie = nauwkeurigheid

39 Een Beslissingsboom nee dexia ja kbc fortis stijgt daalt stijgt daalt

40 Een Illustratie Gegeven de vorm Voorspel de kleur rond hol driehoek klasse nee nee nee groen nee nee ja rood ja nee nee groen nee ja ja rood ja ja nee rood nee ja nee groen nee ja nee groen ja nee nee groen nee nee ja rood

41 nee? ronde?? driehoek holle ja groen rood groen rood

42 Beslissingsbomen Essentieel : nauwkeurigheid geleerde boom (schatten a.d.h.v. test-data -- hangt ook af van kenmerken) criterium selectie kenmerken is essentieel (entropie) interpreteerbaarheid geleerde boom Heel wat alternatieve methodes (o.a. probabilistische modellen) Toepassingen in allerlei domeinen: medisch, financieel, wetenschappelijk, marketing, engineering, controle,...

43 D. Toekomstverwachtingen

44 Verschillende Domeinen Wetenschap Robot Scientist Engineering & Control Darpa Grand Challenge Activiteitsherkenning Sociale Netwerken analyse

45 Wetenschap In heel wat domeinen : machinaal leren, data mining, essentieel bvb. bioinformatics & computerlinguïstiek De toekomst? The Robot Scientist (King et al. Nature 2004)

46 De Robot Scientist Kunstmatige intelligentie toegepast op de wetenschap zelf Kunnen machines wetenschappelijke werk verrichten?

47 Robot Scientist (2004) Domein van microbiologie pathway rond gist (Saccharomyces cerevisiae); Experimenten opzetten om hypothesen te testen, te verfijnen, te bevestigen Werd geautomatiseerd Vergelijking met doctoraatstudenten Nature 2004

48 Discussie Geen gevaar voor jobverlies in de wetenschap Het gaat om minder creatieve taken Wel? Meer tijd vrij voor creatieve kant wetenschap Nieuwe vragen en antwoorden voor wetenschapsfilosofie? Donald Gillies, AI and Scientific Method, 1996

49 Darpa Grand Challenge Stanley -- Stanford Team o.l.v. Sebastian Thrun

50 Leren door Imitatie Voor sommige taken kan men geen controle programma s schrijven met de hand De DARPA Grand Challenge sommige controle programma s geleerd o.a. classificatie terrein en snelheid bepalen. Zie YOUTUBE: Sebastian Thrun -- Google Talks -- Grand Challenge

51 Leren door Imitatie Snelheid Sebastian Slide Sebastian Thrun

52 Leren door Imitatie Sebastian Stanley Snelheid Sebastian en Stanley Slide Sebastian Thrun Bestuur de wagen een tijdje Registreer waarden sensoren & snelheid Leer een functie die sensorwaardes afbeeldt op acties

53 Leren Terrein Slide en video Sebastian Thrun

54 Activiteitsherkenning their utility as general purpose day-to-day activity recognizers. Given that producing each Electronica sensoren GPS, GSM, Smart Phone, video, PDA, RFID,... bevatten informatie over gebruik en 1 cm gebruikers Kan die gebruikt worden om de gebruiker te assisteren? However, this profusion of options has not translated into an activity inferencing system capable of recognizing large numbers of day-to-day activities in natural environments. A key underlying problem is that no existing combination of sensors and feature selector has been shown to detect robustly the features necessary to distinguish between thousands of activities. For instance, objects used during activities have long been thought to be a crucial discriminator. However, existing object recognition and tracking systems [6] tend not to work very well when applied to a large variety of objects in unstructured environments. Activity recognition systems based on tracking objects therefore tend to be customized for particular environments and objects, and restricted in customized detector is itself a research task, the goal of general-purpose recognition has not surprisingly remained unattained. A new class of small, wireless sensors to individual objects seems likely to provide a practical means of detecting objects used in many day-to-day activities [3, 4]. Given this stream of objects, recent work has shown that even simple symbolic inference techniques are sufficient for tracking the progress of these activities. Detecting Object Use with RFID-Based Sensing Intel Research Figure 3 Radio Frequency Identification tags (left). A tagged toothbrush and toothpaste (right). A passive Radio Frequency Identification (RFID [1]) tag is a postage-stamp-sized wireless, battery free transponder that, when interrogated (via radio) by an ambient reader, returns a unique identifier (see Figure 2). Each tag consists of an antenna, some protocol logic and optional non-volatile memory. Tags use the energy of the interrogating signal to return a 64 to 128-bit identifier unique to each tag, and when applicable, data stored in on-tag memory. Short-range tags, which are inductively coupled, have a 2 to 30 cm range, whereas long-range backscatter based tags have a 1 to 10 m range. Tags are available off the shelf for less than 50 cents a tag. Short range readers are priced in the Francois Bremond

55 Mogelijke Toepassingen Ondersteuning gebruikers Calo Project -- automatische office assistent? Smart phones -- automatisch instellen Shopping -- niets vergeten, juiste prijs? Transport -- juiste bus? Intelligent huis -- fornuis uitgezet? Surveillatie allerhande -- assistentie ouderen Ondersteuning bij job -- bvb. hulp rapportering agent of verpleegster

56 Netwerken I1 P1 A1 P2 P4 P3 Internet Sociaal Bibliografisch Wetenschappelijk Communicatie...

57 Sociale Netwerken Heel wat informatie over personen en hun relaties beschikbaar informeel: kring van kennissen, vrienden, collega s en familie. vandaag de dag: websites zoals Facebook, LinkedIn, Netlog,... het grote verschil Men beschikt over informatie over IEDEREEN in het netwerk Data kan geanalyseerd worden en gebruikt voor o.a. aanbevelingen, marketing

58 Analyse van Netwerken Voor bvb. aanbevelingen / marketing Facebook: nieuwe kennissen; LinkedIn: jobs; Commercieel: nieuwe producten Interessante problemen Wie een product eerst aanbevelen? Verspreiding? Koopt iemand het product? Classificatie. Welke relaties bestaan er tussen personen? Wie zijn de autoriteiten, de hubs?

59 Data Mining en Privacy Analyse activiteiten en sociale netwerken gevaar voor privacy, misbruiken, fouten,... combinatie informatie op verschillende sociale netwerken Het data mining onderzoekt ook privacy preserving technieken Het grote probleem is natuurlijk de beschikbaarheid van bepaalde informatie

60 Besluit Machines kunnen leren en hebben interessante toepassingen; veelbelovend ook in de toekomst

61 Referenties Youtube: Winning the Darpa Grand Challenge, Google Talks, Sebastian Thrun ook artikels in o.a. Scientific American, Robot Scientist (Aberystwyth), Ross D. King artikels in Wired, Nat. Geographic, etc. Dammen en andere spelletjes -- Activiteitsleren bvb. via Wikipedia -- Activity Recognition

62 Basiswerken Stuart Russel en Peter Norvig. Artificial Intelligence: A Modern Approach, 2de uitgave, Prentice Hall, Tom Mitchell, Machine Learning, McGraw-Hill, Ian Witten en Eibe Frank. Data Mining. Morgan Kaufmann: Practical Machine Learning Algorithms and Tools, 2de uitgave, Morgan Kaufmann, 2005.