LESSEN VOOR DE EENENTWINTIGSTE EEUW

Transcriptie

1 LESSEN VOOR DE EENENTWINTIGSTE EEUW

2 In de reeks Lessen voor de eenentwintigste eeuw zijn verschenen: Lessen voor de 21ste eeuw (1995) Een nieuw wereldbeeld voor een nieuwe mens? (1996) Nieuwe inzichten voor een samenleving in verandering (1997) Denken voor morgen (1998) De mens en zijn wereld morgen (1999) Krachten voor de toekomst (2000) Moeten, mogen, kunnen. Ethiek en wetenschap (2001) De horizonten van weten en kunnen (2002) Wetenschap op nieuwe wegen (2003) Wetenschappelijk denken: een laboratorium voor morgen? (2004) Hoe dichtbij is de toekomst? (2005) Weten in woorden en daden (2006) Ruimte voor kennis (2007) Denken en weten over de wereld (2008)

3 Visie en vooruitgang XXI Lessen voor de eenentwintigste eeuw Redactie Bart Raymaekers Universitaire Pers Leuven 2009

4 Visie en vooruitgang. Lessen voor de eenentwintigste eeuw, volume Bart Raymaekers en Universitaire Pers Leuven / Leuven University Press / Presses Universitaires de Louvain, Minderbroedersstraat 4, B-3000 Leuven. Alle rechten voorbehouden. Behoudens de uitdrukkelijk bij wet bepaalde uitzonderingen mag niets uit deze uitgave worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand of openbaar gemaakt, op welke wijze ook, zonder de uitdrukkelijke voorafgaande en schriftelijke toestemming van de uitgevers. D/2009/1869/6 ISBN NUR: 740

5 Inhoud Voorwoord 9 De crisis en de toekomst van de welvaartsstaat 11 Bea Cantillon Inleiding 11 De welvaartsstaat gaat over welvaart en verdeling 12 Welvaart en verdeling doorheen de tijd: een U-curve? jaar crisis en heroriëntering: naar de investeringsstaat 24 Terug naar welvaart en verdeling: de paradox van de investeringsstaat 33 Inkomensongelijkheid in rijke welvaartsstaten: is dat nog een probleem? 41 De crisis en de toekomst van welvaartsstaten: samenvatting en besluit 43 Over machines die leren 47 Luc De Raedt Inleiding 47 Wat is machinaal leren? 48 Waarom machinaal leren? 49 Hoe werkt machinaal leren? 51 Machinaal leren nu en in de toekomst 60 De aard van het machinaal leren 64 Besluit 66 Literatuur 66

6 6 inhoud Wat is zien? 69 Lutgarde Arckens Kijken doen we met onze ogen, zien met onze hersenen 70 De visuele waarneming 70 Het visuele systeem 71 Bedrogen ogen 75 Iedere soort levert zijn bijdrage aan onze kennis 77 Enkele stoornissen in visuele perceptie 78 Herstel na schade? 79 Literatuur 80 Ethos, retoriek en marketing 81 Bart Pattyn Mediagebruik als groepsparticipatie 82 De cultivatie van een virtuele groepsaffiniteit 84 Retoriek en ethos 86 Ethos en marketing 91 Besluit 96 Noten 98 Een wetenschap van het geluk? 101 Antoon Vandevelde Een test van onze intuïties 102 Geld en geluk 105 Wat maakt ons (on)gelukkig? 108 Filosofen over de economie van het geluk 111 Aristoteles als alternatief 115 Eudaimonia 117 Een zinvol leven 119 Besluit 120 Literatuur 122 Nature en nurture 125 Koen Devriendt Inleiding 125

7 inhoud 7 Het nature-nurturedebat: nature of nurture? 125 Nature én nurture 128 Nature via nuture 129 Nature bepaalt nurture (nature-nurture correlatie) 132 Nurture bepaalt nature 133 Besluit 136 Literatuur 136 Hoe sterk gelijken we op wormen en insecten? 139 Een (r)evolutionaire blik in de hersenen Liliane Schoofs Inleiding 139 De code van het leven 140 De evolutionaire stamboom van het dierlijk leven 140 Kijk en vergelijk: de fruitvlieg en de worm als modelorganisme 143 Het brein 145 De fruitvlieg als model voor menselijke ziekten 157 Niet-coderend DNA en biologische complexiteit? 159 Conclusie 160 Literatuur 161 Hoe zwart is Obama? 163 Theo D haen Hoe zwart is Obama? 163 Literatuur 182 Is er nog voldoende water om ons voedsel te produceren? 183 Dirk Raes, Sam Geerts en Eline Vanuytrecht De watervraag 183 Het wateraanbod 186 Het verhogen van de opbrengst per eenheid water 190 Softwaremodellen om richtlijnen te formuleren 197 Lijst van gebruikte afkortingen 202 Literatuur 202

8 8 inhoud Willen voetbalclubs winnen of winst maken? 205 En maakt dit enig verschil? Stefan Kesenne Inleiding 205 Winst- of winmaximalisatie? 206 Impact van marktreguleringen 209 Conclusie 218 Literatuur 218 China s milieuproblemen vanuit een globaliserings-perspectief 221 Hans Bruyninckx Inleiding 221 China s economisch mirakel 222 De milieugevolgen van China s economische groei: een stedelijk perspectief 224 De globale dimensie van China s milieuproblemen 227 Chinese steden als spaces voor globaal milieubeleid 233 Conclusie: China als een spiegel voor de wereld 235 Noot 236 Literatuur 237 Hersenen, neuronen en evolutie 239 Wat is er met de ziel gebeurd? Taede A. Smedes Inleiding: het gewicht van de ziel 239 Een (zeer) korte geschiedenis van de ziel 241 Natuurwetenschap en de ziel 249 Christelijke theologie en de ziel 255 Besluit 260 Literatuur 263 Lijst van de auteurs 265

9 Voorwoord Het boek dat u vandaag in handen houdt, is het vijftiende in de reeks Lessen voor de XXIste eeuw. Niemand kon destijds vermoeden dat de reeks het zo lang zou volhouden. In de loop der jaren is aan de formule weinig veranderd, wat er allicht op wijst dat die oorspronkelijke formule beantwoordde aan een reële verwachting. De basisgedachte is dan ook verrassend eenvoudig. In de alsmaar toenemende stroom aan kennis allerhande, willen mensen heldere, betrouwbare informatie. Tegelijk moet ze ook synthetisch, overzichtelijk en up-to-date zijn. En als het even kan, goed gepresenteerd. Dat laatste betekent niet noodzakelijk met veel toeters en bellen, met de laatste nieuwe technische hoogstandjes. Het omgekeerde is waar: een goede presentatie betekent dat inhoud en verpakking met elkaar in evenwicht zijn. Op het eerste gezicht lijken dit eenvoudige recepten, maar om ze werkelijk goed uit te voeren is grote deskundigheid vereist. Want wie overziet een wetenschapsdomein, wie is op de hoogte van de recente ontwikkelingen, wie is in staat om de trends voor de komende jaren te duiden, wie kan doorheen de hype van het ogenblik de grote lijnen zien en kan dit dan nog overbrengen naar een breed publiek? In de voorbije vijftien jaar hebben de Lessen voor de XXIste eeuw telkens opnieuw geprobeerd om deze moeilijke combinatie gestalte te geven. Hier ligt dan ook het bijzondere van de formule: een goede spreker die vanuit eigen expertise en enthousiasme iets wil vertellen aan een publiek, een aandachtig en kritisch gemengd publiek van studenten uit alle richtingen en belangstellenden uit alle hoeken en met diverse achtergronden. Als die twee elkaar vinden, spreker en publiek, over een onderwerp dat iedereen zou kunnen boeien, dan is een geslaagde les verzekerd.

10 10 voorwoord Vanuit die vaststelling blijkt al vlug dat geen enkel onderwerp te moeilijk, achterhaald, voorbijgestreefd, uit de mode of te gewoon is. Ook de reeks onderwerpen die dit jaar op de agenda staan, bieden een overtuigende illustratie van deze stelling: van de zorg om de welvaartsstaat tot de globalisering en China, van lerende machines tot voedselproductie, van voetbalclubs tot geluk, van wormen en insecten tot hersenonderzoek Ogenschijnlijk een willekeurige opsomming, maar telkens krijgt de toehoorder en lezer een introductie tot een thema dat vooraan staat in wetenschappelijke of maatschappelijke actualiteit. Uiteraard kan elke bijdrage op zichzelf gelezen worden, toch is elke editie, ook deze, tegelijk een staalkaart van het hedendaagse wetenschappelijke onderzoek. Nu vijftien edities zijn verschenen, vormt het geheel een indrukwekkende reeks. De vijftien volumes bieden samen in meer dan honderdvijftig teksten een markant overzicht van het onderzoek aan de K.U.Leuven uit de voorbije decennia. Op het ogenblik dat de vijftiende editie verschijnt, past het om dankbaar terug te blikken op de afgelopen vijftien jaar. Eerst en vooral gaat onze waardering naar de auteurs-lesgevers. Zij hebben het graag gedaan en goed gedaan, naast de vele bezigheden die van een academicus verwacht worden. Oprechte en welgemeende dank gaat verder naar de academische overheid van de K.U.Leuven en naar het faculteitsbestuur van het Hoger Instituut voor Wijsbegeerte. Beiden hebben van bij de allereerste idee dit project ruimhartig gesteund. Zeer gewaardeerde steun werd tijdens de voorbije jaren geleverd door de Universiteit Derde Leeftijd en haar voorzitter, prof. Emma Vorlat. Graag bedank ik ook AV-Net (de audiovisuele dienst van de K.U. Leuven) die met dit project gestalte geeft aan het multicampusonderwijs. Grote dank gaat naar de Universitaire Pers Leuven: vijftien jaar lang is de uitgever erin geslaagd om dit boek telkens opnieuw bij de laatste les het levenslicht te laten zien. Wie de wereld van de uitgeverij kent, weet dat dit een prestatie is om u tegen te zeggen. Na de voorbije vijftien jaar heeft het concept Lessen voor de XXIste eeuw zijn deugdelijkheid bewezen. Met de nodige herbronning en bijsturing waar nodig, zal de reeks ook de volgende jaren op de ingeslagen weg kunnen voortgezet worden! Bart Raymaekers Organisator van de Lessen voor de XXIste eeuw

11 Over machines die leren Luc De Raedt Inleiding Sinds het prille begin van de informatica en de computerwetenschappen is de mens gefascineerd door de vraag of machines intelligent kunnen zijn. Dit is het domein van de kunstmatige intelligentie (zie ook Russell en Norvig), een term die voor het eerst gebruikt werd door John McCarthy, toen hij in Dartmouth in 1956 de nu legendarische eerste workshop rond dit thema organiseerde. De kunstmatige intelligentie heeft dus onlangs zijn vijftigste verjaardag gevierd. Ze wil een antwoord bieden op de bovenstaande vraag door daadwerkelijk machines (zeg maar robots of computers) te ontwikkelen die op een of andere manier intelligent gedrag vertonen. Daardoor wordt deze discipline vaak beschouwd als de avant-garde van de informatica. Omdat intelligentie zoveel facetten en complexiteit vertoont, concentreert het onderzoek in de kunstmatige intelligentie zich meestal op één of enkele deelaspecten. Over de aard en definitie van intelligentie (en ook de kunstmatige intelligentie) is al veel geschreven en gedebatteerd en de meningen zijn vaak verdeeld. Over één aspect is men het echter eens, namelijk dat de mogelijkheid tot leren essentieel is voor intelligentie. Eén van de belangrijkste vragen in deze context blijft dan ook of machines kunnen leren. In deze bijdrage beantwoorden we deze vraag positief door een concreet overzicht te geven van het machinaal leren, een prominent deelgebied van de kunstmatige intelligentie en de informatica. We gaan daarbij in op wat machinaal leren is, waarom het van belang is, en ook hoe het werkt. We

12 48 luc de raedt nemen daarbij vooral het standpunt van de informaticus en de ingenieur in, die machines willen ontwikkelen die praktisch bruikbaar zijn. Vandaar dat we onze antwoorden illustreren met voorbeelden van reële toepassingen. We formuleren ook nog een aantal toekomstverwachtingen rond de invloed van het machinaal leren op onder andere het wetenschapsbedrijf en het dagelijkse leven. Wat is machinaal leren? Om de vraag of machines kunnen leren te beantwoorden moeten we het natuurlijk eerst eens zijn over wat bedoeld wordt met lerende machines. De definitie die nu algemeen aanvaard wordt binnen het vakgebied, wordt door Tom Mitchell als volgt samengevat: een machine leert, indien zijn prestaties op een welbepaalde taak beter worden met ervaring. Deze definitie vermeldt verschillende elementen. Met de term machine wordt hier een robot, een computer, of zelfs een computerprogramma bedoeld. De machine moet een bepaalde taak vervullen, en de prestaties van die machine (de performantie) moeten meetbaar zijn. Naarmate de machine meer ervaring opdoet, worden de prestaties van lerende machines beter. Eén van de eerste en nog steeds meest fascinerende voorbeelden van machinaal leren is het damprogramma van Arthur Samuel. Dit programma speelde het damspel (de taak), en naarmate het meer spelletjes speelde (de ervaring) werd het sterker. Dat was meetbaar aan de hand van het aantal partijen dat het spelprogramma won of de rangschikking die het in toernooien behaalde. Het programma werd ontwikkeld in de jaren 1950 en 1960 en vormde één van de allereerste demonstraties van de kunstmatige intelligentie. Het slaagde er in die tijd al in om te winnen van één van de betere Amerikaanse damspelers. Sinds het begin van de jaren 1990 is het damprogramma Chinook beter dan alle menselijke spelers. Er bestaan nu ook programma s die optimaal spelen, wat betekent dat het beste resultaat dat een tegenspeler ertegen kan behalen een gelijkspel is (zie ook Jonathan Schaeffer et al.) Een ander, meer hedendaags voorbeeld van een leersysteem is een spamfilter, die ervoor zorgt dat ongewenste automatisch gedetecteerd en gefilterd wordt. Omdat erg persoonlijk is, en ook welke s als ongewenst beschouwd worden, zijn spamfilters adaptief; ze passen zich aan

13 over machines die leren 49 hun gebruiker aan. De gebruiker wordt daarom de kans geboden om ongewenste s te identificeren. Die vormen dan de voorbeelden waaruit programma s kunnen leren. Aan de hand van kenmerken van die s, zoals de afzender, de opmaak en de gebruikte woorden, kunnen spamfilters dan voorspellen of een nieuwe al dan niet in de categorie spam valt. Hoe meer voorbeelden de gebruiker geeft, hoe nauwkeuriger de classificatie en hoe beter de performantie van het leersysteem. Een derde illustratie betreft zogenaamde recommender systems, die gebruikt worden door internet bedrijven om hun klanten bepaalde producten aan te bevelen. Als bijvoorbeeld blijkt dat de meeste klanten die de film Jackie Brown van Quentin Tarantino gekocht hebben, ook de film Kill Bill kopen, dan kan die informatie gebruikt worden om potentiële kopers van Jackie Brown ook Kill Bill aan te bevelen. De evaring bestaat hierin uit de aankopen die klanten in het verleden gemaakt hebben en de performantie kan gemeten worden door de totale omzet van het bedrijf. Deze voorbeelden tonen aan dat leertechnieken gegevens moeten analyseren om te leren. Ze analyseren namelijk de opgedane ervaring (de spelsituaties, voorbeelden of aankopen) om er interessante patronen in te vinden, of modellen op te stellen, die dan op hun beurt gebruikt kunnen worden om de prestaties van het systeem te verhogen. Het machinaal leren is daarom ook nauw verwant met datamining. Datamining is een vorm van intelligente data-analyse, die toelaat om nieuwe en nuttige kennis uit grote en mogelijke complexe verzamelingen gegevens af te leiden. Het wordt in tal van toepassingen gebruikt (zie ook Witten en Frank). Waarom machinaal leren? De interesse in het machinaal leren kan vanuit verschillende perspectieven verklaard worden. Ten eerste is er de algemene interesse voor de ontwikkeling van intelligente systemen vanuit de kunstmatige intelligentie, waaruit het machinaal leren gegroeid is. Ten tweede is er hoop dat een beter begrip van het machinaal leren nieuwe inzichten kan bieden rond het menselijke leergedrag en de intelligentie. Ten derde, en vanuit een informaticastandpunt is dit de belangrijkste reden, zijn machines die leren erg praktisch. Ze worden vooral gebruikt bij de analyse en interpretatie van gegevens en datamining. Daar is meer en meer nood aan, omdat het veel makkelijker is om gegevens te genereren dan om ze te interpreteren. Dit geldt

14 50 luc de raedt zeker in wetenschappelijke domeinen. Of om het met een bekende slogan te zeggen: We are drowning in data but starving for knowledge. Machinaal leren en datamining zijn dan ook niet meer weg te denken uit veel wetenschappelijke disciplines, zoals de bio- en de chemo-informatica en de computerlinguïstiek. Machinaal leren is ook erg praktisch bij de ontwikkeling van complexe software die niet met de hand geprogrammeerd kan worden. Een mooi voorbeeld hiervan zijn de al vermelde spamfilters. Het is onmogelijk om voor elke gebruiker een apart programma te schrijven en daarom is adaptiviteit dus noodzakelijk. Ook bij complexe controlesystemen, bijvoorbeeld voor auto s, kan machinaal leren essentieel zijn. Bij een van de meest recente competities voor intelligente systemen, namelijk de DARPA Grand Challenge, werd machinaal leren toegepast. De Grand Challenge bestond erin een auto volledig autonoom een route van een tweehonderd kilometer door een verlaten bergachtig woestijnlandschap langs zogenaamde dust roads te laten afleggen. De DARPA Grand Challenge werd opgezet als een race waar in 2004 een honderdtal teams en in 2005 een tweehonderdtal teams aan deelnamen. Terwijl in 2004 zelfs de beste teams moesten opgeven na minder dan tien kilometer, waren er in 2005 vijf teams die het volledige traject aflegden. De winnaar in 2005 was Stanley, een auto ontwikkeld onder leiding van Sebastian Thrun van de universiteit van Stanford. Omdat een auto besturen op een complex terrein zo moeilijk is, is het zo goed als onmogelijk om volgens traditionele methodes software te ontwikkelen voor deze taak. Bepaalde componenten van Stanley werden dan ook met behulp van machinaal leren ontwikkeld, zoals het programma dat de snelheid op het terrein bepaalde en ook een programma dat bepaalde welke delen van de weg berijdbaar zijn. Deze programma s werden ontwikkeld volgens de principes van het leren door imitatie (behavioural cloning). Hierbij werd Stanley op een vergelijkbaar terrein bestuurd door een mens (Sebastian Thrun), waarbij de nodige camera s, lasers en sensoren registreerden in welke situaties de bestuurder welke snelheid en welke weg nam. Uit die gegevens werden dan functies geleerd die zowel de snelheid voorspelden als welk deel van de weg bereden kon worden. Deze manier van softwareontwikkeling is veel makkelijker dan de traditionele manier, waarbij programmeurs zelf de functies moeten definiëren en programmeren omdat er te veel aspecten zijn waar men rekening moet mee houden. Tot slot is het machinaal leren ook relevant vanuit een wetenschapsfilosofisch standpunt, omdat technieken van machinaal leren en datamining nieuwe kennis extraheren uit gegevens en daarmee nieuwe inzichten kunnen leveren in hoe kennis tot stand komt. Dit thema zal besproken worden aan de hand van The Robot Scientist Project van Ross King. De Robot

15 over machines die leren 51 Scientist zet zelfstandig experimenten op, evalueert hypothesen en herziet zijn theorie vanuit de resultaten van die experimenten. Hoe werkt machinaal leren? De voorbeelden in de inleiding tonen aan wat leren inhoudt voor machines. Meestal leren programma s een functie. Voor het damspel gaat het daarbij om een functie die elke spelsituatie met een zet verbindt. Bij spamfilters wordt een functie gebruikt die voor elke aangeeft of het al dan niet spam is. Bij een recommendersysteem verbindt de functie aan elk product een aantal andere, gerelateerde producten. Men kan nu een onderscheid maken tussen verschillende leerproblemen, al naargelang de functie die geleerd moet worden en de aard van de ervaring die hiervoor beschikbaar is. Bij dammen kan men een functie leren die spelsituaties afbeeldt op zetten. Men vertrekt van voorbeelden van goede en slechte zetten die men in tekstboeken vindt, of die men uit de interactie met een grootmeester kan optekenen. Een andere mogelijkheid, die door Arthur Samuel onderzocht werd, is het leren uit beloningen. Hierbij leert het programma zelf te spelen door uit de beloningen (gewonnen en verloren stukken of partijen) af te leiden welke zetten gunstig of ongunstig zijn. Dit alles leidt tot een aantal verschillende leertechnieken die we hieronder zullen bespreken: het leren uit beloningen, het leren classificeren en het vinden van associatieregels in gegevens. Leren van beslissingsbomen Als eerste leertechniek bespreken we hoe beslissingsbomen kunnen afgeleid worden uit voorbeelden. Dit is nuttig voor classificatieproblemen, die voorkomen bij de analyse van gegevens in tal van toepassingen. De bedoeling is om, uitgaande van voorbeelden die geclassificeerd zijn in verschillende categorieën, een functie af te leiden die toelaat om de categorie van nieuwe, niet-geclassificeerde voorbeelden te voorspellen. Eén mogelijke toepassing werd al vermeld. Het gaat om de classificatie van als spam of niet-spam. Nauw verwant met classificatieproblemen zijn regressieproblemen. Daar wil men geen categorie voorspellen maar wel een numerieke waarde, zoals de temperatuur. Een voorbeeld daarvan is het aanleren van een module voor de controle van het stuur of de snelheid van een wagen, waarbij men niet alleen moet voorspellen of men moet vertragen, versnellen, naar links of naar rechts moet rijden, maar ook in welke mate. Andere

16 52 luc de raedt standaardtoepassingen vindt men in medische domeinen, waar men uitgaande van gegevens over patiënten kan leren een diagnose te stellen. Fortis Dexia KBC BEL-20 nee nee nee daalt nee nee ja daalt ja nee nee stijgt nee ja ja stijgt ja ja nee daalt nee ja nee daalt nee ja ja stijgt ja nee ja stijgt nee nee ja daalt Figuur 1. Een tabel met gegevens. Elke dag vormt een voorbeeld dat beschreven is door een aantal kenmerken. De kenmerken stellen de verschillende aandelen in de BEL-20 voor en of ze op die dag al dan niet gestegen zijn in waarde. De categorie geeft aan of de BEL-20 in zijn totaliteit op de volgende dag al dan niet in waarde gestegen is. (In de praktijk zouden natuurlijk waarden voor alle twintig aandelen aangegeven zijn.) De literatuur rond machinaal leren is doorspekt met technieken om classificatie- en regressieproblemen op te lossen. Het is dan ook het meest bestudeerde probleem uit het machinaal leren. Hier bespreken we een populaire en eenvoudige techniek voor classificatie die gebruik maakt van beslissingsbomen. We vertrekken hierbij van een tabel van voorbeelden, waarbij elk voorbeeld een rij is en elke kolom een kenmerk van die voorbeelden voorstelt. De klasse van de voorbeelden vindt men dan in een speciale kolom van die tabel. Beschouw bijvoorbeeld de tabel in Figuur 1. Die tabel bevat (sterk vereenvoudigde) gegevens over de BEL-20. Elk voorbeeld duidt aan of bepaalde aandelen (in dit geval Dexia, KBC en Fortis) op een bepaalde dag al dan niet gestegen zijn in waarde. De klasse van het voorbeeld is dan of de waarde van de BEL-20 op de volgende beursdag al dan niet gestegen is. De bedoeling is natuurlijk om de evolutie van de BEL-20 te leren voorspellen. Een beslissingsboom is nu een boomstructuur, waarbij de knopen van die boom kenmerken bevatten, de takken van de boom overeenstemmen met mogelijke waarden voor die kenmerken, en de bladeren overeenstemmen met classificaties. Voor het voorbeeld van de BEL-20 vinden we één mogelijke beslissingsboom in Figuur 2. Om de klasse van een voorbeeld te bepalen vertrekt men bovenaan de boom en kijkt men welke waarde het voorbeeld voor het kenmerk in de wortel van

17 over machines die leren 53 die boom heeft. Op basis van die waarde wordt dan beslist welke tak in de boom gevolgd wordt. Op die manier komt men in een nieuwe knoop van de boom terecht. Die knoop is dan ofwel een blad die de klasse bevat, ofwel een deelboom, waarop men deze procedure kan herhalen. Zo wordt het voorbeeld (Fortis=nee; Dexia=nee; KBC=nee) geclassificeerd in het meest rechtse blad van de boom met klasse BEL-20=daalt. Dexia ja nee KBC Fortis ja nee ja nee stijgt daalt stijgt daalt Figuur 2. Een beslissingsboom voor de BEL-20. Om beslissingsbomen te leren gaat men als volgt te werk. Het algoritme vertrekt van een beslissingsboom met één knoop die alle gegeven voorbeelden bevat, schat dan (met behulp van een heuristiek) welk kenmerk het best onderscheid maakt tussen de gegeven klassen, creëert vervolgens nieuwe takken voor elke mogelijke waarde van dat kenmerk, en propageert de voorbeelden naar die nieuwe knopen. Daarna wordt voor elke nieuwe knoop nagegaan of hij (bijna) alleen voorbeelden van één klasse bevat. Indien zo, dan wordt die knoop een blad die de meerderheidsklasse van zijn voorbeelden bevat. Indien niet, dan wordt de procedure op die knoop herhaald. Dit proces wordt geïllustreerd in Figuur 3. Beslissingsbomen hebben het voordeel dat ze makkelijk en snel te leren zijn, dat ze vaak nauwkeurige classificaties opleveren en ook dat de resultaten ervan te interpreteren zijn door de eindgebruiker, wat kan bijdragen tot het vertrouwen en de inzet van de geleerde resultaten in kritische domeinen zoals de geneeskunde. De nauwkeurigheid van de gemaakte voorspellingen kan geschat worden op basis van gegevens en is uiteraard een cruciaal gegeven. In het algemeen zal de nauwkeurigheid stijgen naarmate er meer voorbeelden beschikbaar zijn en de kwaliteit van de kenmerken van die voorbeelden beter wordt. Het bepalen (en verkrijgen) van de juiste kenmerken is één van de praktische uitdagingen bij de toepassing van leersystemen. Bovendien is de rol van de heuristiek of het criterium dat gebruikt wordt om te bepalen welk kenmerk eerst gebruikt wordt van cen-

18 54 luc de raedt? Fortis Dexia KBC BEL-20 nee nee nee daalt nee nee ja daalt ja nee nee stijgt nee ja ja stijgt ja ja nee daalt nee ja nee daalt nee ja ja stijgt ja nee ja stijgt nee nee ja daalt ja Dexia nee Fortis KBC BEL-20 nee ja stijgt ja nee daalt nee nee daalt nee ja stijgt Dexia Fortis KBC BEL-20 nee nee daalt nee ja daalt ja nee stijgt ja ja stijgt nee ja daalt ja nee KBC Fortis ja nee ja nee Fortis BEL-20 Fortis BEL-20 KBC BEL-20 KBC BEL-20 nee nee stijgt stijgt ja nee daalt daalt nee ja stijgt stijgt nee ja ja daalt daalt daalt Figuur 3. De beslissingsboom wordt opgebouwd. In een eerste stap bestaat de beslissingsboom uit een boom met alleen een wortel en die boom bevat alle voorbeelden. Na selectie van het meest interessante kenmerk (in dit geval Dexia) wordt een partiële boom die test op dit kenmerk, gecreëerd. In een tweede stap worden de voorbeelden waarvoor Dexia als waarde ja heeft, naar de linkse deelboom gepropageerd. De voorbeelden met waarde nee, worden naar de rechtse deelboom doorgeschoven. Omdat de resulterende deelbomen nog voorbeelden van beide klassen bevatten, wordt de procedure herhaald, en worden nieuwe kenmerken voor deze deelbomen bepaald in de derde stap. Na het doorschuiven van de voorbeelden zijn de bladeren (in de meest rechtse beslissingsboom) homogeen en kan de klasse van de voorbeelden bepaald worden, wat resulteert in de beslissingsboom van Figuur 2.

19 over machines die leren 55 traal belang. Men streeft ernaar om compacte bomen af te leiden door de meest informatieve kenmerken eerst te gebruiken. Het streven naar compacte of eenvoudige bomen sluit aan bij het principe van de middeleeuwse filosoof William Van Ockham. Dit principe staat gekend als het scheermes van Ockham (Ockham s Razor) en stelt ruwweg dat, wanneer verschillende alternatieve theorieën bepaalde observaties verklaren, de beste theorie het minst veronderstellingen maakt. Empirisch onderzoek in het machinaal leren heeft ook aangetoond dat de toepassing van dit principe vaak leidt tot meer nauwkeurige beslissingsbomen en het heeft ook aanleiding gegeven tot wiskundige theorieën rond dit principe (minimum description length). Leren van associaties Als tweede casus beschouwen we het leren van associaties, dat vooral bekend werd door het gebruik ervan voor recommendersystemen van commerciële websites zoals Amazon. Dergelijke bedrijven verkopen producten, bijvoorbeeld films of boeken, en bieden de klant advies over vergelijkbare producten. Vaak krijgen de klanten zelfs een speciale aanbieding bestaande uit combinaties van producten tegen een sterk gereduceerde verkoopsprijs. Het systeem is gebaseerd op associaties. Dit zijn regels van de vorm: ALS X en Y gekocht worden, DAN wordt ook Z gekocht. X, Y en Z stellen hier specifieke boeken of films voor, bijvoorbeeld X=Jackie Brown, Y=Kill Bill en Z=Pulp Fiction. In de praktijk worden soms eenvoudige regels gebruikt, met slechts één aankoop in het ALS-gedeelte van de associatie omdat dit makkelijker is. Associaties worden afgeleid uit de aankopen die klanten in het verleden gemaakt hebben en die dus bewaard worden. Uit die verzamelingen van aankopen worden dan frequente verzamelingen afgeleid. De frequentie van een verzameling producten is het aantal keren dat die productcombinatie samen voorkomt in de aankopen. Een verzameling producten is dan frequent als ze een minimale frequentie van x% heeft en dus in minstens x% van alle aankopen voorkomt. De associaties worden uit de frequente verzamelingen geconstrueerd. Veronderstel dat de verzameling producten {X,Y,Z} frequent is en voorkomt in 15% van alle aankopen. Dan weet men ook dat de verzameling {X,Y} frequent is en dat die moet voorkomen in minstens 15% van alle aankopen. Als we aannemen dat de frequentie van {X,Y} 20% is, dan kan men ook een soort

20 56 luc de raedt kans toekennen aan de associatieregel. De kans dat Z gekocht wordt als we weten dat X en Y gekocht worden, kan geschat worden door: frequentie({x,y,z})/frequentie({x,y}) = 0.15/0.20 = 75% De frequente verzamelingen en associatieregels laten toe om aanbevelingen te sorteren. Als men aanbevelingen bij product X wil maken, gebruikt men gewoon alle eenvoudige frequente verzamelingen van de vorm {X,Y} en ordent men de producten Y volgens stijgende frequentie van de verzameling {X,Y}. Het leren van associaties is nuttig in tal van situaties. Het kan bijvoorbeeld gebruikt worden bij de analyse van gegevens in supermarkten. Wanneer producten X en Y vaak in combinatie met elkaar gekocht worden, dan kan men de plaatsing van die producten optimaliseren. Een klantvriendelijke strategie plaatst dan de producten X en Y dicht bij elkaar, terwijl een meer agressieve marketingstrategie ze net ver uit elkaar plaatst in de hoop dat de klant onderweg nog andere producten koopt die hij eigenlijk niet nodig heeft. Het leren van associaties wordt ook actief gebruikt in wetenschappelijke domeinen, zoals de bio- en chemo-informatica. Eén van die toepassingen is de analyse van structuuractiviteitsrelaties. Die analyse vertrekt van een verzameling van substanties (moleculen) en hun activiteiten (bijvoorbeeld kankerverwekkend, toxisch...). Van die moleculen zijn dan een aantal eigenschappen, zoals hun structuur, gegeven. De bedoeling is dan om in die gegevens patronen te identificeren die goede indicatoren vormen voor de beschouwde activiteit. Dat is van belang bij de ontwikkeling van medicijnen en het bepalen van allerlei eigenschappen van moleculen. Het wordt geïllustreerd in Figuur 4. Leren uit beloningen Het leren uit beloningen (reinforcement learning) wordt gebruikt om te bepalen welke acties de systemen het best ondernemen in welke situaties. Deze techniek werd door Arthur Samuel ontwikkeld en werd sindsdien geperfectioneerd. We illustreren deze techniek aan de hand van het programma Menace (1961) van Donald Michie voor het spelen van Tic Tac Toe (Boter, kaas en eieren). Alhoewel we een spelletje gebruiken om het leren uit beloningen te illustreren, is deze techniek natuurlijk ook toepasbaar in industrieel en wetenschappelijk relevante contexten.

21 over machines die leren 57 Figuur 4. (met dank aan Siegfried Nijssen) Een voorbeeld van associaties in structuuractiviteitsrelaties. De figuur bevat drie mutagene molecules en twee niet-mutagene. Met behulp van datamining werd een patroon afgeleid, aangegeven in grijs, dat voorkomt in de drie mutagene molecules maar niet in de andere molecules. Dit soort van patronen kan inzicht geven in de onderzochte activiteit, en ook (samen met andere patronen) gebruikt worden om te voorspellen of een molecule al dan niet actief is. Tic Tac Toe wordt gespeeld op een bord van drie bij drie. Er zijn twee spelers, X en O, die om de beurt een zet doen. Speler X kan alleen een X spelen en speler O alleen een O. De speler die wint is diegene die er als eerste in slaagt om een volledige rij, kolom of diagonaal met zijn letter te vullen. De opdracht van het leersysteem bestaat erin te leren welke zetten men het best neemt in welke situaties. Bovendien is de enige feedback die hierbij beschikbaar is of het spel gewonnen of verloren is. Voor andere strategiespelen zoals dammen of schaken vormt winst of verlies van stukken natuurlijk ook een beloning of een bestraffing. Het leren uit beloningen verschilt daarom in belangrijke mate van classificatie- en regressieproblemen, omdat men nu niet meer voor elk voorbeeld de juiste categorie kent. Bij leren uit beloningen maakt het bepalen of een voorbeeld of een zet gunstig of ongunstig is deel uit van het probleem. Daarom is het leren uit beloningen ook moeilijker.

22 58 luc de raedt O X O O X O blauw X groen blauw X groen rood geel wit rood X wit Figuur 5. Het Menace systeem van Donald Michie. Eerst wordt gezocht naar het luciferdoosje dat overeenkomt met de linkse positie. Daar wordt dan een parel uitgenomen. Als men veronderstelt dat de parel geel is, doet X een zet op de positie in het midden linksonder, wat resulteert in de rechtse positie. Donald Michie heeft Menace ontworpen vanuit de observatie dat er maar 287 relevante posities voor Tic Tac Toe zijn, als men rekening houdt met de symmetrie. Een aantal daarvan zijn geïllustreerd in Figuur 5. Omdat Donald Michie niet beschikte over de nodige computerapparatuur ontwikkelde hij zelf de nodige hardware. Die bestond uit 287 luciferdoosjes, één voor elke mogelijke positie van het bord. Omdat er voor speler X negen mogelijke zetten zijn één voor elke mogelijke vrije positie op het bord voorzag hij ook een groot aantal parels in negen verschillende kleuren, waarbij elke kleur een zet van X op één van de negen posities voorstelde. Deze parels werden dan in de luciferdoosjes gestopt, waarbij de parels gelijkmatig verdeeld werden over de verschillende doosjes (en waarbij alleen kleuren in een doosje gestopt werden die overeenkwamen met mogelijke zetten vanuit die positie). Menace bepaalde zetten op de volgende manier: a. bepaal het luciferdoosje dat overeenkomt met de huidige bordsituatie b. neem een willekeurige parel uit dat luciferdoosje c. speel de corresponderende zet Eigenlijk stelt Menace dus een functie voor die voor elke positie en mogelijke zet de kans aangeeft dat die zet gespeeld wordt vanuit die positie. Die kansen worden gegeven door het relatieve aantal parels van een bepaalde kleur op het totaal aantal parels in het luciferdoosje. Het leren gebeurt dan als volgt. Als het spel gewonnen wordt door X, dan worden in elk doosje waaruit een parel is genomen, twee parels van diezelfde kleur gelegd. Als X het spel verliest, dan worden er geen parels bijgelegd. Het gevolg van die operaties is dat de kans van de zetten die in winnende partijen gespeeld werden, verhoogd wordt, en die van verliezende partijen verlaagd wordt.

23 over machines die leren 59 Als gevolg hiervan krijgen betere zetten een hogere kans, naarmate het spel meer gespeeld wordt. De beloningen waaruit Menace leert zijn dus de gewonnen en verloren partijen, waarbij verloren partijen eigenlijk negatieve beloningen of bestraffingen zijn. Bij het leren uit beloningen is de juiste balans tussen exploratie en exploitatie van belang. Exploratie moet ervoor zorgen dat de ruimte van mogelijke strategieën voldoende onderzocht wordt, terwijl exploitatie er moet voor zorgen dat na verloop van tijd de geleerde kennis inderdaad gebruikt wordt om beter te presteren. Menace gebruikt hiervoor stochastische strategieën, die kansen verbinden aan het nemen van bepaalde zetten in bepaalde situaties. Initieel werkt Menace volledig willekeurig (belangrijk voor exploratie), maar na verloop van tijd convergeert het naar een goede strategie en gebruikt het die ook om het spel te spelen (belangrijk voor exploitatie). Het leren uit beloningen gebeurt vandaag niet langer via luciferdoosjes, maar wel volgens wiskundig verantwoorde principes die analoog verlopen met Menace. Het geheel wordt geformaliseerd als een Markov Decision Process en vaak wordt er een Q-functie geleerd. Hierbij duidt Q(s,a) de beloning aan die men vertrekkende vanuit een toestand s kan verwachten na het uitvoeren van actie a (en het selecteren van acties volgens de Q-functie door telkens de best mogelijke actie te selecteren). De Q-functie wordt geleerd door gebruik te maken van de gekende Belmannvergelijking (Q(s,a) = R(s,a) + γ max a Q(s,a ), waarbij R(s,a) de onmiddellijke beloning voorstelt na het nemen van actie a in situatie s, γ een getal tussen 0 en 1 is dat aangeeft hoe toekomstige beloningen zich verhouden tot de onmiddellijke, en s de toestand is waarin men terechtkomt na het nemen van actie a in s). De Q-functie wordt ook gebruikt om acties te selecteren. De beste actie in een toestand s is de actie a waarvoor Q(s,a) maximaal is. Leren uit beloningen heeft bijgedragen tot een aantal belangrijke toepassingen. Bekende voorbeelden zijn het programma TD-gammon van Gerald Tesauro, dat door zelfstandig een groot aantal spelen tegen zichzelf te spelen een niveau bereikte dat vergelijkbaar is met dat van de beste menselijke backgammonspelers, en Knightcap van Jonathan Baxter et al. dat schaakte op het internet en er in een duizendtal spelletjes in slaagde om zijn niveau van 1600 ELO-punten naar 2150 te verhogen. Een puike prestatie, als men weet dat 1600 overeenkomt met het niveau van een gemiddelde clubspeler en 2150 met dat van een zeer gevorderde speler. Uiteraard bestaan er ook nog tal van uitdagingen voor het leren uit beloningen, zoals bij Poker en Go. Poker is moeilijk voor kunstmatige intelligentie, omdat het vooral een psy-

24 60 luc de raedt chologisch spel is, waarbij men de strategie van de tegenspelers moet kunnen inschatten. Go is moeilijk, omdat het aantal mogelijke zetten gemiddeld 200 is, wat vanuit combinatorisch standpunt niet haalbaar is. Nog een uitdaging op dit vlak zijn de vele interactieve computerspelletjes, waarin nieuwe aspecten zoals realtime, grote aantallen spelers, het dynamisch ontstaan van teams en allianties, en enorm complexe werelden voorkomen. Natuurlijk bestudeert het machinaal leren en de kunstmatige intelligentie niet alleen spelletjes, alhoewel spelletjes historisch gezien een belangrijke rol voor de kunstmatige intelligentie gespeeld hebben. Ze werden vooral gebruikt, omdat ze makkelijk te controleren situaties opleveren waarvoor normaal gezien intelligentie vereist is. De kunstmatige intelligentie heeft echter vandaag vooral de bedoeling om nuttige systemen te ontwikkelen die ingezet kunnen worden voor tal van problemen. Ook daar heeft het leren uit beloningen belangrijke bijdragen geleverd, onder andere bij het aanleren van taken door robots, het aansturen van liften in gebouwen, en de controle en optimalisatie van complexe industriële processen. Machinaal leren nu en in de toekomst Er worden inderdaad meer en meer toepassingen van machinaal leren ontwikkeld, die volgens ons een grote invloed zullen hebben op zowel het wetenschapsbedrijf zelf als op het dagelijkse leven. We illustreren dit aan de hand van een aantal observaties en huidige onderzoekstrends. Machinaal leren in wetenschappelijke domeinen De nood aan en de mogelijkheden van machinaal leren en datamining zijn enorm in wetenschappelijke domeinen. Voorbeelden van disciplines waarin machinaal leren niet meer weg te denken is, zijn de levenswetenschappen en de taalkunde. In beide wetenschappelijke disciplines zijn deeldisciplines ontstaan die niet alleen een sterke informaticacomponent bezitten, maar waar aspecten van intelligente data-analyse, machinaal leren en datamining essentieel zijn om tot nieuwe inzichten en resultaten te komen. Zo zijn de bio- en de chemo-informatica ontstaan op de grens tussen de levenswetenschappen en de informatica, en de computerlinguïstiek op de grens tussen de taalkunde en de informatica. Ook de computerlinguïstiek evolueert meer

25 over machines die leren 61 en meer in de richting van machinaal leren. Ze leidt vaak nieuwe kennis en systemen af uit zogenaamde corpora, geannoteerde teksten. Het Robot Scientist project (Ross King et al.) is één voorbeeld van waar die trend naartoe gaat. Het ultieme doel van dit project is om na te gaan welke aspecten van het wetenschapsbedrijf kunnen geautomatiseerd worden. De aandacht in de Robot Scientist gaat daarbij uit naar één van de kerntaken in wetenschappelijk onderzoek: het vormen van een theorie, het testen van hypothesen rond die theorie aan de hand van experimenten, en waar nodig het aanpassen van die theorie. King et al. beschrijven een experiment met een laboratoriumrobot in het domein van de microbiologie, waarbij technieken van de kunstmatige intelligentie en het machinaal leren gebruikt werden. De robot vertrok hierbij van de kennis rond een gekende pathway voor gist. De beschikbare theorie werd opzettelijk verstoord, zodat die onvolledig en incorrect werd. De taak van de robot bestond er dan in experimenten voor te stellen (via abductief redeneren, cf. infra), die uit te voeren en de resultaten ervan te interpreteren om de correcte theorie te reconstrueren. Bij elk experiment werd een bepaald gen van gist (S. Cerevisiae) uitgeschakeld en werd het effect ervan op de groei van gist geëvalueerd. Het voorstellen van experimenten en het gebruik van de resultaten ervan wordt in het machinaal leren actief leren genoemd. De prestaties van de Robot Scientist werden vergeleken met die van doctoraatsstudenten in hetzelfde domein. Ook zij kregen de opdracht om de door te voeren experimenten te kiezen en hieruit lessen te trekken. De prestaties van de Robot Scientist waren vergelijkbaar met die van de doctoraatsstudenten, wat aangeeft dat de Robot Scientist de juiste experimenten selecteerde. De Robot Scientist illustreert dat het machinaal leren enorme mogelijkheden biedt met een potentieel grote impact. Anderzijds moeten we dergelijke resultaten ook nuanceren en in de juiste context plaatsen, in die zin dat we niet meteen moeten verwachten dat wetenschap in de toekomst vooral door machines zal bedreven worden. Wel kan verwacht worden dat meer en meer taken zullen kunnen geautomatiseerd worden, waardoor wetenschappers uiteraard meer tijd zullen kunnen vrijmaken om zich te concentreren op de meer creatieve aspecten van wetenschap. Ook bieden zulke resultaten mogelijk nieuwe inzichten in en roepen ze nieuwe vragen op voor de wetenschapsfilosofie. De wetenschapsfilosofie is namelijk geïnteresseerd in de manieren waarop kennis en wetenschappelijke theorieën kunnen ontstaan en evolueren. Ook de studie van logische redeneervormen is hierbij een interessepunt (cf. infra).

26 62 luc de raedt De analyse van netwerken De analyse van netwerken is momenteel erg populair in datamining. Netwerken bestaan uit twee componenten: entiteiten en verbanden (Eng. links) tussen entiteiten. Netwerken vindt men overal. Het bekendste voorbeeld is waarschijnlijk het internet, waar de entiteiten de webpagina s zijn en de verbanden de hyperlinks om van de ene webpagina naar de andere te surfen. Een ander voorbeeld zijn sociale netwerken waar de entiteiten personen zijn en de verbanden de onderlinge relaties tussen die personen. Ook hier is heel wat informatie beschikbaar in elektronische vorm bijvoorbeeld, via webservices zoals Facebook, MySpace, LinkedIn, en zelfs . Die informatie kan natuurlijk geanalyseerd worden. Verschillende typen van patronen kunnen gedetecteerd worden en die kunnen op hun beurt voor allerlei doeleinden gebruikt worden, zoals marketing, het vergelijken van profielen van gebruikers, het classificeren van gebruikers in categorieën enzovoort. Zo bestaan er toepassingen van datamining die, al naargelang de website, nieuwe producten of diensten suggereren aan hun gebruikers. Stel bijvoorbeeld dat in een sociaal netwerk 30% van de kennissen van Bob Ann als kennis hebben, maar dat Bob Ann nog niet kent, dan kan men Ann als interessante potentiële kennis suggereren. Ook als men weet dan Bob en Jan goede vrienden zijn, en Bob net de film Jackie Brown uitgeleend heeft, kan men deze informatie ook gebruiken om die film aan Jan aan te bevelen. Zeker wanneer data-analisten verschillende bronnen van gegevens omtrent specifieke personen met elkaar kunnen combineren, kan heel wat private informatie over het gedrag van die personen afgeleid worden. Vaak is dit niet eens zo moeilijk. De zoektermen die personen ingeven in zoekmachines zoals Google kunnen informatie bevatten die toelaat om die personen te identificeren (veel mensen zoeken wel eens op hun eigen naam). Gelukkig is dit soort informatie beschermd door privacywetten. In ieder geval noopt de populariteit van sociale netwerken op het internet en het spontaan ter beschikking stellen van persoonlijke gegevens op het internet door (vooral jonge) gebruikers tot bezinning. Zulke gegevens zijn vaak voor grote groepen van personen of zelfs het gehele internet zichtbaar en ze kunnen ook gebruikt worden om gegevens met elkaar in verband te brengen. Zo is het bekend dat tal van werkgevers wel eens het profiel van kandidaat-werknemers onderzoeken in een selectieprocedure. Ook datamining kan daarbij gebruikt worden. De onderzoekswereld is zich bewust van deze problematiek. Ze proberen o.a. zogenaamde privacy-preserving data mining technieken te ontwikkelen, die sterke garanties rond privacy bieden. Anderzijds tonen verschillende veiligheids- en politiediensten een

27 over machines die leren 63 grote interesse voor deze mogelijkheden en wordt er steeds meer informatie over personen bijgehouden. Machinaal leren voor het herkennen van activiteiten Een illustratie van een totaal andere aard betreft de elektronica en sensoren die vandaag de dag in allerlei apparaten ingebouwd worden. Deze maken het mogelijk om een rijk gamma aan informatie over de toestand van de gebruiker, zijn toestel en de omgeving te genereren. Een zogenaamde smart phone bevat typische informatie over contacten, agenda, en hij kan ook gebruikt worden om de positie van de persoon te bepalen. Met andere technologie zoals RFID, GPS en videocamera s kan allerlei informatie over een omgeving of personen geregistreerd worden. Deze informatie kan dan geanalyseerd worden. Als men patronen vindt in dergelijke gegevens, dan kunnen die gebruikt worden om de personen te assisteren bij hun activiteiten. Er bestaan verschillende experimenten rond het herkennen van menselijke activiteiten (human activity recognition) in deze context. Zo is er het MIT Reality Mining Project, waarbij de gegevens van een honderdtal personen die een smart phone gebruikten, geregistreerd werden (zie ook Eagle en Pentland); er is een project op Intel Research waarbij men allerlei menselijke activiteiten (zoals het nemen van medicijnen, het afwassen, het koffiezetten) wil herkennen; en er zijn verschillende projecten die willen voorspellen waar personen zich naartoe bewegen. We kunnen er dan ook van uitgaan dat dit onderzoek zal leiden tot interessante toepassingen die ons dagelijkse leven zullen beïnvloeden. Zo zullen personen die de verkeerde bus nemen of hun sporttas vergeten op weg naar hun wekelijkse training, kunnen gewaarschuwd worden door hun elektronische assistent. Verwarming, licht en andere toestellen in een huis zullen semi-automatisch kunnen geregeld en aangezet worden op basis van de vroegere voorkeuren van hun bewoners. En voor routinerapporten van bijvoorbeeld agenten of verplegers zullen automatisch voorstellen kunnen gegenereerd worden. Ook vergeetachtige of licht demente mensen zullen langer alleen kunnen blijven wonen door het gebruik van intelligente assistenten die hun activiteiten in het dagelijkse leven zullen ondersteunen (cf. Martha Pollack).

28 64 luc de raedt De aard van het machinaal leren Het leren van functies Als we nu terugblikken op de leerproblemen die we hier al vermeldden, dan valt het op dat die allemaal geformaliseerd kunnen worden als het leren van functies. -- Bij het leren uit beloningen wordt een functie geleerd die een toestand afbeeldt op een actie, of een toestand en een actie afbeeldt op de kans waarmee die actie geselecteerd wordt (zoals bij Menace), of op de te verwachten beloning na het uitvoeren van die actie in die toestand (zoals bij het leren van de Q-functie). -- Een beslissingsboom stelt een functie voor die een voorbeeld afbeeldt op zijn klasse bij een classificatieprobleem of op een numerieke waarde bij een regressieprobleem. -- Ook een verzameling van associaties kan gebruikt worden als functie. Dit is duidelijk wanneer men alleen eenvoudige associaties van de vorm ALS X gekocht wordt, DAN wordt Y gekocht beschouwt. Zo n verzameling regels stelt dan een functie voor die één boek afbeeldt op een verzameling gerelateerde boeken. -- Een ander geval betreft het leren van een functie die opnieuw voorbeelden afbeeldt op klassen, maar waarbij die klassen niet vooraf gekend zijn. De taak bestaat er dan in om interessante klassen of clusters van voorbeelden te vinden, d.w.z. de voorbeelden in te delen in interessante groepen, waarbij voorbeelden die tot dezelfde groep behoren zo gelijkaardig mogelijk zijn en voorbeelden die tot verschillende groepen behoren zo verschillend mogelijk zijn. Dit probleem staat ook wel gekend in de literatuur als clustering. Het machinaal leren bestudeert nu of en hoe verschillende soorten van functies geleerd kunnen worden uitgaande van verschillende soorten ervaring (gegevens of voorbeelden). Ook worden daarbij vragen onderzocht als: -- Hoeveel voorbeelden heeft men nodig om een goede benadering van een functie te kunnen leren? -- Welke klassen van functies kunnen (efficiënt) geleerd worden? -- Welke soorten van ervaring kunnen daarbij gebruikt worden? -- Kan men voor een specifiek probleem een nauwkeurige functie leren uitgaande van een bepaalde verzameling van gegevens? -- Kan men de geleerde functie interpreteren, m.a.w. levert ze nieuwe kennis op voor de eindgebruiker?

29 over machines die leren Welk leersysteem is beter geschikt voor een bepaald probleem? En onder welke voorwaarden? De complexiteit en de aard van de vragen vergt een multidisciplinair antwoord. In de eerste plaats is de informatica daarbij van belang, omdat men algoritmen en programma s wil ontwikkelen die gegevens analyseren of uit ervaring leren. Verder zijn gebruikersinterfaces en visualisatietechnieken belangrijk om gebruikers te ondersteunen bij de interpretatie van de geleerde kennis. Ook gegevensbank- en informatiesystemen zijn noodzakelijk om met grote hoeveelheden complexe gegevens te kunnen omgaan. Ook wiskundige en statistische aspecten komen aan bod, bijvoorbeeld bij de analyse van de convergentie- en predictie-eigenschappen van leersystemen. Hier bestaan ook belangrijke fundamentele inzichten in de mogelijkheden en beperkingen van het machinaal leren (zie ook Poggio et al.) Andere aspecten van het machinaal leren worden vooral empirisch onderzocht. Hiertoe worden experimenten met verschillende verzamelingen gegevens en vaak ook systemen opgezet. Dit laat dan toe om bijvoorbeeld die systemen (of componenten ervan) onderling te vergelijken. Logische redeneervormen Vanuit een meer logisch standpunt kan men ook de redeneervormen waarop het machinaal leren gebaseerd is, onderzoeken. Het automatiseren van die redeneervormen is ook een thema van onderzoek binnen de kunstmatige intelligentie, vandaar dat we het hier kort bespreken. Terwijl het klassiek logisch redeneren gebaseerd is op deductie, maakt datamining en het machinaal leren vaak gebruik van inductief redeneren. Bij deductief redeneren vertrekt men van bepaalde premissen van waaruit men conclusies kan afleiden. Als de premissen waar zijn, dan garandeert deductief redeneren ook dat de conclusies die afgeleid worden, geldig zijn. Bijvoorbeeld, als men weet dat alle zwanen wit zijn, en men observeert een zwaan, dan kan men hier ook uit afleiden dat die zwaan wit zal zijn. Bij inductief redeneren vertrekt men van specifieke observaties en leidt men algemene wetmatigheden af. Bijvoorbeeld, als men twee witte zwanen ziet, kan men besluiten dat alle zwanen wit zijn. Inductief redeneren garandeert, in tegenstelling tot het klassieke deductief redeneren, niet dat de conclusies waar zijn als de premissen waar zijn. Het kan namelijk zo zijn dat de volgende zwaan die men observeert, zwart is, wat aanduidt dat inductief redeneren (en het machinaal leren dat erop gebaseerd is) niet noodzakelijk tot algemeen geldende wetmatigheden leidt. Daarom worden dergelijke inductief afgeleide wetmatigheden vaak gecombineerd met sta-