Transparanten bij het vak Inleiding Adaptieve Systemen: Introductie Machine Leren. M. Wiering

Transcriptie

1 Transparanten bij het vak Inleiding Adaptieve Systemen: Introductie Machine Leren. M. Wiering Lerende Machines Verbeter in taak T, Voorbeeld: je ziet de karakteristieken (Features) van een aantal dieren en krijgt te horen welk dier Met respect tot prestatie maat P, het is. Gebaseerd op ervaring E. Je bent geinteresseerd om een concept te leren welke olifanten van andere dieren onderscheid. Voorbeeld: Leren te schaken Dier gegeven als [Gewicht, Kleur, Aantalpoten, Lengte] T: Speel Schaak Nu hebben we een aantal (leer)voorbeelden: P: % of spelletjes gewonnen in toernooi [16kg, bruin, 4, 37cm, Hond] [560kg, bruin, 4, 200cm, P aard] E: Gelegenheid om N spelletjes tegen zichzelf te spelen [5100kg, grijs, 4, 310cm, Olif ant] [5420kg, grijs, 4, 320cm, Olif ant] Welke concepten zouden nu de olifant onderscheiden van de rest? [?, grijs,?,?, Olifant] [> 5000kg,?, 4,?, Olifant] [> 5099kg, grijs, 4, > 309cm, Olifant] Vraag: welk concept zou jij kiezen? Waarom passen we leren toe? Het kan veel werk zijn om kennis te eliciteren en in een computer in te voeren. Voorbeeld: een expertsysteem welke bomen classificeert. Voor bepaalde domeinen heeft een mens onvoldoende kennis om alles uit te programmeren. Voorbeeld: spraakherkenning. Wat is het leerprobleem? Leren = verbeteren een taak uit te voeren door middel van ervaring Voorbeeld: Leren spraak te herkennen T: Zet spraak om in tekst P: % goed geclassificeerde woorden E: Luister naar gesproken bekende tekst van spreker Vraag: Wat zijn T, P, E voor piano leren spelen Waaruit bestaat een lerend programma? We onderscheiden een leerelement welke verbeteringen maakt en een prestatieelement welke acties of outputs selecteert. Het ontwerp van leerelementen wordt bepaald door de volgende zaken: Welke componenten van het prestatie element moeten verbeterd worden? Een omgeving kan a priori volledig onbekend zijn. Voorbeeld: Een robot die in een onbekende omgeving een taak moet uitvoeren. Menselijke kennis kan imperfect zijn. Voorbeeld: maken van een schaakprogramma: hoe ziet de evaluatie functie eruit? Continue automatische adaptie aan gebruiker: lerende zoekprogramma s, intelligent information retrieval. Welke representatie is gekozen voor die componenten? Wat voor feedback is aanwezig? Welke prior informatie is aanwezig? 3 vormen van leren Aan de hand van aanwezige feedback onderscheiden we 3 vormen van leren: 1

2 Agent Prestatie Element Leer Element Inputs Outputs Acties Feedback Prior Informatie Supervised leren: de agent krijgt de input en de gewenste output binnen. Het doel is een functie te leren die de inputoutput mapping goed benadert. Reinforcement leren: de agent krijgt enkel een evaluatie van zijn gekozen actie binnen, maar niet de optimale actie. Het doel is een optimale actieselectie policy te leren. Unsupervised leren: de agent krijgt enkel inputs en geen outputs. Door middel van een objectieve (afstands) functie kan de agent patronen in de input leren zoals clusters in de inputspace. Vaak worden bepaalde optimalisatie (zoek) algoritmen zoals genetische algoritmen ook als lerend beschouwd. Enkele voorbeelden: Supervised: Handgeschreven tekst herkenning, Spraakherkenning, Bepalen of iemand een lening krijgt, Gezichtsherkenning. Reinforcement Leren: Spelletjes leren door tegen jezelf te spelen, Robot Controle, Kortstepad bepalen, Lift Controle Unupervised Leren: Compressie van data (voorbeeld images), data analyse (Wat zijn belangrijkste kenmerken?), market basket (Associatie regels: Als iemand zuurkool koopt, koopt deze dan ook fles rode of witte wijn?) Optimalisatie (GA s): Robot Controle, Functie optimalisatie (hoe moeten parameters bepaald worden voor optimaal resultaat?), Combinatorische problemen (Scheduling, TSP). Vraag: Welke leervorm is geschikt voor het vertalen van een document? Vormen van Supervised leren Er bestaan 3 verschillende leerproblemen in supervised leren: Binary Classification. De data heeft 2 mogelijke uitkomsten. Het doel is de ene categorie van de andere te scheiden. Als dit niet perfect lukt (consistent) dan moet het aantal fouten geminimaliseerd worden. Multiclass Classification. In dit geval zijn er meerdere mogelijke output klassen en moet voor elke input de optimale klasse teruggeven worden. Regression. In dit geval moet de output een reële waarde zijn. Nu moet de (kwadratische) fout tot de gewenste output geminimaliseerd worden. NB. Regression problemen kunnen niet door alle leeralgoritmen opgelost worden. Ingredienten van een Lerend Systeem Om te leren hebben we allereerst een representatie nodig. Voorbeeld: een neuraal netwerk, beslisboom. De representatie bepaald welke hypotheses (functies) geleerd kunnen worden. Een hypothese is een invulling van een representatie (vb. Een geleerd neuraal netwerk). Verder hebben we een evaluatie functie (prestatie functie) nodig, om een bepaalde hypothese te kunnen evalueren (vb. tel het aantal fouten). Tenslotte hebben we leervoorbeelden nodig. In het geval van reinforcement leren hebben we een leeromgeving nodig de leervoorbeelden worden door het systeem zelf gegenereerd. In de leervoorbeelden kan ruis (noise) zitten: dit kan het leren aanzienlijk moeilijker maken. We moeten de ruis dus niet perfect leren, maar ons concentreren op de generalisatie eigenschappen. Inductief supervised leren In Supervised leren krijgt de agent een aantal inputoutput voorbeelden en moet deze een func 2

3 tie leren welke de voorbeelden goed benadert (inductie). Een functie kan een continue wiskundige functie zijn, maar ook een logische functie bestaande uit proposities etc. Een leervoorbeeld is een paar: (x, f(x)). Soms gebruiken we y = f(x) om de outputfunctie weer te geven. De inductieve inferentie taak is als volgt: gegeven een aantal voorbeelden van f(x), geef een functie h terug welke f benadert. De functie h wordt ook wel een hypothese genoemd. Inductieve Bias: Een leeralgoritme heeft een preferentie over bepaalde hypotheses vergeleken met andere hypotheses. Verschillende soorten inductieve bias Genereer een hypothese welke consistent is met de leervoorbeelden Meest specifieke consistente hypothese Testen van een hypothese Meest algemene consistente hypothese De totale verzameling voorbeelden wordt meestal gesplitst in een leerverzameling en een testverzameling. De testverzameling wordt gebruikt om de geleerde hypothese te evalueren op haar generalisatie mogelijkheden (naar andere onbekende voorbeelden). Het kan gebeuren dat de fout op de leerverzameling 0 is, terwijl deze op de testverzameling vrij hoog is. 5 fouten 6 fouten Voorbeeld van genereren hypothese Gegeven de volgende leervoorbeelden: Root learning Root learning is eigenlijk niets anders dan het onthouden van alle leervoorbeelden. De Hypothese is in dit geval de gehele verzameling geziene voorbeelden met hun classificaties. Hoewel het nuttig is om telefoonnummers te leren heeft root learning de volgende grote nadelen: 3

4 Het systeem kan enkel voorbeelden goed classificeren als deze al een keer gezien zijn. Voor (bijna) perfecte classificatie moeten alle voorbeelden gezien worden E R R O R Het aantal leervoorbeelden (leertijd) en de opslagruimte voor de hypothese zijn enorm groot. Leren is eigenlijk compressie! Ockham s razor Als er meerdere hypotheses zijn die dezelfde leervoorbeelden goed classificeren, prefereren we de kleinste (met de minste parameters). De kleinste kan het beste generaliseren Voorbeeld: Stel we hebben de volgende leervoorbeelden voor gezichten: [baard, mond, neus, snor, 2 blauwe ogen, 2 oren, bruin haar, gezicht] [ baard, mond, neus, snor, 2 groene ogen, 2 oren, bruin haar, gezicht] [ baard, mond, neus, snor, 5 witte ogen, oren, haar, dobbelsteen] Aantal inputattributen State : W Soort inputs: continu of discreet (hoeveel mogelijkheden) Zijn er missende waarden voor inputattributen Is er ruis in input attributen (waarde van attribuut is gewijzigd) Aantal outputattributen Soort outputs: continu of discreet Zijn er missende waarden voor outputattributen We kunnen nu bv. de volgende 2 concepten voor een gezicht maken: [mond, neus, 2 oren, 2 ogen] of [mond, neus, 2 oren, 2 ogen, bruin haar] De eerste generaliseert duidelijk beter Leren is zoeken naar parameters Leren kan gezien worden als het zoeken naar parameters welke de fout minimaliseren. De parameters zijn afhankelijk van de gebruikte representatie. B.v. logische proposities voor beslisbomen, reële gewichten voor neurale netwerken. Door gebruik te maken van een leeralgoritme krijg je een gestuurde zoektocht in het fout landschap: Is er ruis in output attributen Hoe ziet het proces achter de leervoorbeelden eruit (a priori kennis) Stappen voor Gebruik Machine Learning Bepaal de leertaak Taak T Verzamel voorbeelden voor deze taak Leervoorbeelden Run leeralgoritme Selecteer representatie voor functie Representatie Hoe zien de leervoorbeelden eruit? Hypothese We leren een mapping van: Input [x 1, x 2,..., x n ] naar Output [y 1,..., y m ] voorbeelden Testvoorbeelden Test Evaluatie Voor het karakteriseren van de leertaak is van belang: 4

5 Sommige topics in Machine Learning Welke algoritmen kunnen welke functies goed representeren? Hoe beinvloedt het aantal leervoorbeelden de nauwkeurigheid? Hoe beinvloedt de complexiteit van de hypothese de nauwkeurigheid? Hoe beinvloedt ruis de nauwkeurigheid? Wat zijn theoretische limieten van leerbaarheid? Hoe kan a priori kennis gebruikt worden? Welke ideeën verschaffen biologische systemen ons? Hoe kan de representatie door het algoritme veranderd worden? Wat voor lerende algoritmen bestaan er? Supervised Learning: Version Spaces Decision Trees Naieve Bayes classifiers Neurale Netwerken knearest Neighbors / Locally weighted learning Zelforganiserende maps Bayesian belief networks Support vector machines Reinforcement Leren Optimale controle, dynamisch programmeren Reinforcement leren (RL) algoritmes Exploratie Functie approximatie en RL, multiagent RL Unsupervised learning: Clustering KMeans Clustering Principale Component Analyse Independent Component Analyse Kohonen netwerk/ Zelforganiserende netwerken Evolutionary Computation Genetische Algoritmen Genetisch Programmeren Probabilistic Incremental Program Evolution (PIPE) Evolutionary approaches to optimize Neural networks Evolutionary Markov Chain Monte Carlo (EMCMC) Gerelateerde disciplines Kunstmatige Intelligentie Statistiek Computationele Complexiteits theorie Controle Theorie Cognitieve Psychologie Biologie Filosofie Neurofysiologie Economie... Conclusie Er zijn drie vormen van leren: supervised, unsupervised, en reinforcement leren. 5

6 Om te leren hebben we leervoorbeelden (of een leeromgeving) nodig. Leren is het zoeken naar een hypothese (invulling van een representatie) welke goed presteert op de leervoorbeelden. Om om te gaan met ruis en te kunnen generaliseren, prefereren we meestal de kleinst mogelijke (consistente) hypothese. Om de generalisatie van een hypothese te meten, gebruiken we testvoorbeelden welke nog niet gezien zijn door het leeralgoritme. 6