Samenvatting De complexiteit van de problemen waarmee een ingenieur heden in contact komt, neemt steeds toe. Hierdoor wordt de verleiding om een aanta

Transcriptie

1 Samenvatting De complexiteit van de problemen waarmee een ingenieur heden in contact komt, neemt steeds toe. Hierdoor wordt de verleiding om een aantal concepten uit de biologie te lenen en zo het probleemoplossend vermogen van de ingenieur aan te scherpen, groter. Reeds vanaf 1960 probeert men computationele systemen te ontwerpen volgens de principes van Charles Darwin. De achterliggende reden waarom men zo geïnteresseerd is in het gebruik van evolutionaire principes bij de organisatie van kunstmatige intelligentie systemen is de verbazende eigenschappen van natuurlijke (biologische) systemen. Darwin s theorie over natuurlijke selectie toonde zeer duidelijk aan dat men met behulp van een verzameling van eenvoudige grondbeginselen in staat is een compleet zelforganiserend, en steeds zichzelf verbeterend systeem te bouwen: een (r)evolutionair algoritme. Genetisch programmeren (GP) is, in essentie, een evolutionaire optimalisatiemethode voor het automatisch creëren van computerprogramma s. Een kandidaat-oplossing is een uitvoerbaar computerprogramma, vaak voorgesteld als een boom, zonder vaste afmetingen. Structuren met variabele lengte zoals computerprogramma s bieden een groot voordeel: ze zijn immers zeer flexibel en passen zich dynamisch aan in functie van de moeilijkheidsgraad van de voorliggende toepassing. Door het vrijwel onbeperkte aantal mogelijke functies die aan de knopen kunnen toegewezen worden, kan genetisch programmeren toegepast worden in een zeer groot aantal toepassingsgebieden. Helaas kent het gebruik van structuren met variabele lengte ook een belangrijk nadeel: codegroei. Wanneer GP wordt gebruikt om steeds complexere taken op te lossen, vertonen de geëvolueerde kandidaat-oplossingen een steeds sterker wordende drang om te groeien. De toename in grootte is vaak niet in verhouding met een verbetering van de kwaliteit. Codegroei vormt dan ook een ernstige bedreiging wanneer men GP wenst in te zetten voor comvii

2 plexere en meer realistische taken. Zo nemen computerprogramma s met een groot aantal knopen meer geheugenruimte in beslag waardoor het aantal geheugentoegangen drastisch zal oplopen en de benodigde rekentijd zal stijgen. Bovendien laat de leesbaarheid van de bekomen oplossing sterk te wensen over. Een ander minstens even belangrijk nadeel is de uitvlakking van een verder positief verloop van de kwaliteit (survival of the fattest). Grote individuen dragen tevens veel code met zich mee die enkel geschikt is voor de evaluatieomgevingen op basis waarvan de kwaliteit werd toegekend. Verandert men iets aan deze voorbeelden dan zal de kwaliteit vaak negatief worden beïnvloed. Deze individuen zijn met andere woorden niet robuust in functie van verandering in de evaluatieomgeving. De bestrijding van codegroei in al zijn facetten is dan ook de rode draad die doorheen dit proefschrift loopt. De belangrijkste doelstellingen van dit proefschrift zijn: 1. De ontwikkeling van een nieuwe methode om codegroei te bestrijden zonder de kwaliteit van de geëvolueerde computerprogramma s negatief te beïnvloeden. 2. Het ontwerpen van een nieuwe methode om structurele diversiteit op te meten. Deze methode houdt rekening met het fenomeen codegroei en de aanwezigheid van een groot aantal niet-functionele knopen. Deze methode wordt gebruikt om de invloed van de nieuwe codegroeibegrenzer op de structurele diversiteit te evalueren. 3. De ontwikkeling van adaptieve methoden om een aanvaardbare instelwaarde voor p lose te vinden. Deze sturingsalgoritmen hebben als primair doel de instellingen voor de gebruiker te beperken en te vereenvoudigen alsook om de probleem- en deelboomselectiemethodeafhankelijkheden weg te werken. 4. De implementatie van een algemeen toepasbaar raamwerk waarmee de robuustheid kan opgemeten worden. Verder wensen we tevens de invloed die de nieuw ontwikkelde codegroeibegrenzer uitoefent op de robuustheid van de bekomen oplossingen te evalueren. De methode die in dit proefschrift wordt ontwikkeld, is de lokale optimalisatieoperator, of kortweg LOSE. LOSE gaat op zoek naar geschikte deelbomen binnen de volledige boomstructuur. Zeer belangrijk hierbij zijn de voorwaarden die worden opgelegd aan een geschikte deelboom. Zo moet de wortel van een deelboom steeds een interne knoop zijn, verschillend van de root viii

3 van de volledige boom. Bovendien moet de fitheid van de deelboom, bepaald aan de hand van probleemspecifieke kennis (fitness cases), minstens gelijk zijn aan de fitheid van de volledige boom. Tot op heden bestaat er geen enkele methode die codegroei bestrijdt door hiervan gebruik te maken. Het opzoeken van een geschikte deelboom kan op twee verschillende manieren gebeuren. Enerzijds zal beste deelboomselectie steeds alle deelbomen bezoeken en evalueren, op zoek naar de deelboom met de hoogste fitheid. Anderzijds ontwerpen we een aantal methoden die stoppen zodra een deelboom wordt gevonden waarvan de fitheid minstens gelijk is aan de fitheid van de volledige boom. We introduceren vier verschillende dergelijke methoden: breedte-eerst zoeken, omgekeerd breedte-eerst zoeken, preorde zoeken en tenslotte postorde zoeken. Alle methoden verschillen onderling afhankelijk van de volgorde waarin ze deelbomen bezoeken. Dankzij de voorwaarden opgelegd aan een deelboom, zal de gemiddelde boomgrootte gereduceerd worden. Hierdoor wordt de vereiste geheugenruimte om de individuen op te slaan drastisch gereduceerd. Minder benodigde geheugenruimte betekent ook minder geheugentoegangen die nodig zijn om en deel van de boomstructuur in te lezen. Bovendien leidt het gebruik van probleemspecifieke informatie bij de keuze van een geschikte deelboom tot een verdere positieve evolutie van fitheid. LOSE werd uitgetest op drie verschillende benchmarktoepassingen. Hieruit blijkt dat de lokale optimalisatieoperator er glansrijk in slaagt om de gemiddelde boomgrootte te beperken en de kwaliteit te verbeteren. Het gebruik van probleemspecifieke kennis om de fitheid van de deelboom te bepalen en het bezoeken van een groot aantal deelbomen maakt LOSE een rekenintensieve operatie. Daarom besteden we ook bijzondere aandacht aan de beperking van de benodigde rekentijd. Met behulp van een algoritmische optimalisatie voor het opzoeken van een geschikte deelboom, slagen we erin om deze rekentijd sterk te reduceren. Aan de hand van enkele extra datastructuren worden steeds de fitheidswaarden van alle deelbomen bijgehouden. De verschillende genetische operatoren worden aangepast zodat, naast de structurele wijzigingen, ook de corresponderende stukken uit de rij van fitheidswaarden van een deelboom correct worden gekopieerd. Hierdoor worden er elke generatie, behoudens de initiële generatie, slechts een handvol deelbomen per individu opnieuw geëvalueerd. Vroegtijdige convergentie is een belangrijk en vaak voorkomend probleem bij verschillende codegroeibegrenzers, ook bij LOSE. Vooreerst introduceren we een verbeterd algoritme om de structurele diversiteit nauwkeurig te kwantificeren. Codegroei beïnvloedt immers het aantal pseudo-isomorfen in de ix

4 populatie. Door de boomstructuur eerst te ontdoen van alle niet-functionele code en pas dan het aantal pseudo-isomorfen te berekenen, krijgen we een accurater beeld van de aanwezige genotypische diversiteit. Toch is er nog een belangrijke hindernis die we moeten overwinnen indien we wensen te spreken van een autonoom werkend GP systeem: de starre statische instelling van de frequentie waarmee LOSE wordt toegepast. Om de invloed van deze parameterinstelling na te gaan, analyseren we eerst de samenstelling van de omvangrijkere zoekruimte van geschikte deelbomen en onderzoeken we de invloed van LOSE op de diversiteit binnen de populatie. Met deze kennis op zak stellen we twee adaptieve modellen voor om de frequentie van LOSE automatisch te bepalen. Een eerste sterk geparametriseerde methode is gebaseerd op het gebruik van vaaglogische verzamelingen. Deze strategie bleek gelijkaardige resultaten op te leveren dan het gebruik van een vaste instelling. Dit model bleek bovendien complex en vereiste een aantal extra parameterinstellingen zoals het aantal vaagverzamelingen, de vage regels, etc. Om goede waarden voor deze parameters te kiezen, moet de applicatieprogrammeur nog steeds beschikken over voldoende kennis vanuit het probleemdomein. Bovendien bleef er een zekere toepassingsafhankelijkheid bestaan. De tweede univariate methode gebaseerd op het aantal beschikbare deelbomen in de populatie, bleek bijzonder effectief. Deze methode biedt tal van voordelen zoals zijn eenvoud, de probleemonafhankelijkheid, en parametervrij. Resultaten op twee gekende benchmarktoepassingen hebben aangetoond dat het gebruik van het aantal deelbomen als voortplantingsfrequentie voor LOSE, een duidelijke meerwaarde betekent. Dankzij codegroei hebben programma s de neiging om overgespecialiseerd te raken op het (meestal enige) voorbeeld dat tijdens de leerfase wordt aangeboden. De geëvolueerde kandidaat-oplossingen kunnen moeilijk overweg met soortgelijke ongeziene fitness cases en zijn niet robuust. Tot dusver is er weinig onderzoek gedaan naar robuustheid. Meestal gaat men ervan uit dat GP vanzelf robuuste programma s oplevert, maar dit wordt nooit gemeten. In dit proefschrift ontwikkelen we eerst een strategie om nieuwe testvoorbeelden aan te maken. Voorbeelden die verwantschap vertonen met de reeds aanwezige leervoorbeelden. Deze technieken zijn uiteraard probleemspecifiek. Goede en representatieve testvoorbeelden worden bekomen via bouwblokken bij de kunstmatige mier (gebaseerd op de mogelijkheden van de functie- en terminalen verzameling!) en willekeurige selectie uit intervallen bij de 11-bit multiplexer. x

5 Verder zijn we bijzonder geïnteresserd in de invloed van de lokale optimalisatieoperator op de robuustheid van de kandidaat-oplossingen. Specifiek voor de kunstmatige mier zijn we benieuwd naar het spoorvolggedrag van de geëvolueerde oplossingen bij gebruik van LOSE. Bij het multiplexerprobleem zijn we eerder benieuwd of met behulp van een kleiner aantal leervoorbeelden toch hetzelfde resultaat kan worden behaald. Zoals blijkt uit de resultaten verbetert LOSE, door rechtstreeks in te werken op het genotype, op een significante manier de fitheid en, belangrijker nog, ook de robuustheid (onder de vorm van de testfitheid). Ook het aantal leervoorbeelden dat noodzakelijk is om een goed resultaat te bekomen ligt beduidend lager dan wanneer LOSE niet wordt toegepast. We beëindigen dit proefschrift met een algemeen besluit. xi