Reducing catastrophic interference

Maat: px
Weergave met pagina beginnen:

Download "Reducing catastrophic interference"

Transcriptie

1 Reducing catastrophic interference in FeedForward BackPropagation networks Stan Klabbers & Anne Doggenaar Bachelor project Kunstmatige Intelligentie Universtiteit van Amsterdam Begeleider: Jaap Murre Juni 2004

2 Voorwoord Toen bleek dat de opdrachten van de bachelor projecten vanuit specialisatievakken kwamen, hadden wij al een vermoeden dat er voor ons niet echt iets interessants bij zou zitten, aangezien wij ons specialisatievak (Connectionistische modellen in de psychologie) bij psychologie volgen. Dan maar zelf op zoek naar een opdracht. Ons eerste idee was om dan maar zelf bij Connectionistische modellen om een opdracht te vragen en dat pakte gelukkig meteen goed uit. Dit project bouwt voort op theorie uit de colleges over neurale netwerken. Met de in de bijbehorende practica gebruikte simulatieomgeving Walnut konden we goed simulaties van verschillende netwerken uitvoeren. Ook al komt dit project voort uit een psychologievak, het is naar onze mening toch een echt AI project geworden. Het onderwerp, neurale netwerken, staat tussen AI en psychologie in. In de psychologie worden ze gebruikt om diverse hypothesen over het brein te testen en ondersteunen; in de AI worden ze gebruikt om tot slimmere oplossingen voor diverse problemen te komen. Omdat onze interesses ook zowel bij psychologie als AI liggen, was dit voor ons een ideaal project. Uiteindelijk is toch de psychologiekant niet zo duidelijk naar voren gekomen, we zijn immers toch AI studenten Stan Klabbers & Anne Doggenaar 1

3 Inhoud Voorwoord Inleiding Catastrofale interferentie Generalisatie Voorbereiding Dataset Netwerk-architectuur Simulaties Plan Implementatie algemeen Standaard netwerk (Basic) Implementatie Interleaved learning Inleiding Implementatie Activation Sharpening Inleiding Implementatie Resultaten Interferentie Generalisatie Conclusie Vervolgonderzoek Referenties

4 1 Inleiding In dit project hebben we methoden om catastrofale interferentie te voorkomen onderzocht. Twee methoden hiervoor zijn interleaved learning (McClelland, 1995) 1 en activation sharpening (French, 1991) 2. Door deze methoden met elkaar te vergelijken wilden we de volgende vragen beantwoorden: - Verminderen beide methoden catastrofale interferentie? - Maakt activation sharpening interleaved learning overbodig? - McClelland claimt dat de methode van French het generalisatievermogen van een netwerk teveel aantast. Is dit terecht? 1.1 Catastrofale interferentie In feedforward backpropagation (FFBP) netwerken worden patronen gedistribueerd opgeslagen; activaties van alle knopen bepalen de uitkomst. Patronen overlappen elkaar dus. Dit heeft als gevolg dat bij het leren van een nieuw patroon oude patronen verstoord kunnen raken: de patronen gaan interfereren. Gewichten worden aangepast aan het nieuwe patroon, maar dezelfde gewichten zijn ook nodig om oude patronen te reproduceren. De mate van interferentie kan heel groot zijn: het kan gebeuren dat de oude patronen geheel vergeten raken. Dit verschijnsel heet catastrofale interferentie (catastrofaal vergeten in French). 1.2 Generalisatie Waarom worden patronen gedistribueerd opgeslagen als dit leidt tot catastrofale interferentie? Doordat de patronen elkaar overlappen, is het mogelijk te generaliseren. Eigenschappen van een hoger concept zijn af te leiden uit gezamenlijke eigenschappen van de patronen. Als patronen meer overlappen, zal het netwerk beter in staat zijn te generaliseren. 3

5 2 Voorbereiding Om de twee methodes met elkaar te vergelijken, gaan we drie netwerken simuleren: - een FFBP netwerk dat interleaved leert - een FFBP netwerk dat activation sharpening op de hidden layers toepast - een standaard FFBP netwerk ter controle De te leren dataset en de netwerkarchitectuur hebben we overgenomen van McClelland, omdat deze in het artikel duidelijk beschreven staan. We hopen op deze manier vergelijkbare resultaten te krijgen. McClelland heeft op zijn beurt gegevens van een simulatie van Rumelhart (1990) 3 gebruikt. 2.1 Dataset De dataset bestaat uit proposities over levende dingen: planten, dieren, vogels, zalmen, eiken, etc. Deze levende dingen hebben eigenschappen die te zien zijn in de boom in fig. 1. Eigenschappen zijn ofwel expliciet aangegeven, of over te erven van hogere concepten. Fig. 1. De gebruikte dataset. Eigenschappen worden van boven naar beneden geërfd. Pine heeft dus de volgende eigenschappen: pineisa-tree-plant-living thing, pine-can-grow, enz. De dataset is zeer geschikt voor ons onderzoek, omdat zowel catastrofale interferentie als generalisatie hier goed mee te testen zijn. Generalisatie kan getest worden door na het leren van de concepten een nieuw concept toe te voegen, bijvoorbeeld sparrow. Alleen wordt dan slechts één eigenschap meegegeven, namelijk isa-bird-animal-living thing. Als het netwerk goed kan generaliseren, zal het via het hogere concept bird, de algemene eigenschappen van vogels ook aan sparrow toekennen. Catastrofale interferentie kan uitgelokt worden door een concept toe te voegen dat niet goed bij de rest van de data past. Een pinguïn heeft eigenschappen die atypisch zijn voor vogels: hij kan niet vliegen, maar wel zwemmen. Op het moment dat penguin 4

6 toegevoegd wordt, zullen de patronen van eerder toegevoegde vogels verstoord raken, omdat de eigenschappen van penguin daar onterecht ook aan toegekend worden. 2.2 Netwerkarchitectuur De architectuur van het netwerk hebben we overgenomen met een aantal kleine aanpassingen. Fig. 2 stelt het originele netwerk voor. Fig. 2. Schematische weergave van het netwerk gebruikt door McClelland. Met het standaard backpropagation paradigma was het niet mogelijk twee inputlagen te gebruiken, daarom hebben we beide lagen samengevoegd. Ook de verbindingen tussen de lagen zijn hierdoor veranderd. De eerste hidden layer krijgt nu input van alle nodes. In fig. 3 is onze versie van het netwerk te zien. 5

7 Fig. 3. Een screenshot uit Nutshell van het door ons gebruikte netwerk. Ons netwerk bestaat uit vier lagen: een inputlaag, twee hidden layers en een outputlaag. De eerste 16 nodes van de inputlaag staan voor de verschillende levende dingen (inclusief sparrow of penguin); de laatste vier nodes staan voor de relaties ISA, is, can en has. In de outputlaag zijn de nodes geordend naar de relatie waar ze bij horen. Alle nodes in de eerste rij staan voor eigenschappen die bij ISA horen, enz. Niet alle nodes in de outputlaag zijn geactiveerd (een wit kruis door de node betekent dat de node niet gebruikt kan worden). Om beter te kunnen volgen wat er gebeurt tijdens het trainen, hebben we de relaties in de outputlayer geordend op rijen, maar niet alle relaties hebben 10 eigenschappen. Door de niet gebruikte nodes uit te zetten, heeft dit verder geen gevolgen tijdens het leren. 6

8 3 Simulaties 3.1 Plan Voor elk netwerk voeren we de volgende stappen uit om op catastrofale interferentie te testen: 1. Train het netwerk met de dataset, tot het de proposities met een mean squared error (MSE) kleiner dan 0,005 kan reproduceren. 2. Leer proposities over pinguïns, tot de MSE over deze proposities kleiner dan 0,01 is. We hebben hier voor een grotere fout gekozen om te voorkomen dat het netwerk overtraind raakt. 3. Hertrain het netwerk, tot alle proposities weer met een MSE kleiner dan 0,005 gereproduceerd kunnen worden. Tijdens stap 2 wordt na elke epoch van penguin getest hoe goed het netwerk presteert over de oude data. Dit is een maat voor interferentie; hoe beter het netwerk oude data kan reproduceren, hoe minder interferentie is opgetreden. In stap 3 wordt naar een andere maat voor interferentie gekeken. Er wordt bijgehouden hoeveel epochs nodig zijn om het netwerk weer op het oude niveau te laten presteren. Als het netwerk meer verstoord is door interferentie, zal het meer epochs kosten om alles weer op orde te krijgen. Om te kijken naar het vermogen tot generalisatie doen we het volgende: 1. Train het netwerk met de dataset, tot het de proposities met een mean squared error (MSE) kleiner dan 0,01 kan reproduceren. 2. Train het netwerk met de propositie sparrow-isa-bird-animal-living thing tot de MSE kleiner is dan 0, Geef als input sparrow-can-?, sparrow-is-? en sparrow-has-?. Bereken de fout tussen de antwoorden van het netwerk en de gewenste output. De gewenste output voor sparrow zijn de eigenschappen die aan elke vogel toegekend worden. Als de door het netwerk teruggegeven waarden weinig afwijken van deze waarden, dan is het goed in staat te generaliseren. 3.2 Implementatie algemeen De simulaties zijn uitgevoerd met behulp van het programma Walnut 4, een omgeving waarin het mogelijk is verschillende soorten connectionistische modellen te simuleren. Een aantal paradigma s zijn al geïmplementeerd, waaronder een backpropagation paradigma. Dit hebben we als basis genomen voor onze netwerken. Via Python of een andere taal kan in Walnut een netwerk aangemaakt, getraind en getest worden. Wij hebben gekozen voor Visual Basic, omdat we hier vanuit de practica voor Connectionistische Modellen in de Psychologie al ervaring mee hadden. In Nutshell, een grafische shell voor Walnut, kan het netwerk gevisualiseerd worden. De dataset staat in Excel; de resultaten van de testen worden daar ook naar geschreven. In ons geval wordt vanuit Visual Basic Nutshell geopend en het backpropagation paradigma geladen. Hiermee is elk netwerk dat we maken een feedforward backpropagation netwerk dat met een simpel commando een upsweep (vanuit de input activaties de output berekenen) kan uitvoeren. Ook de downsweep (met behulp van de output activaties en de targets de gewichten van het netwerk aanpassen) kan op die manier worden uitgevoerd. Het aanbieden van nieuwe data moet wel stap voor stap. De activaties van de inputlaag moeten gelijkgesteld worden aan de inputwaarden van de 7

9 data. De targets van de outputlaag moeten gelijk worden gesteld aan de outputwaarden van de data. Als dat is gedaan kan er één sweep worden gedaan. Voor elk volgend item moet dit herhaald worden. 3.3 Standaard netwerk (Basic) Implementatie Als eerste hebben we een standaard feedforward backpropagation netwerk gemaakt. Om het te kunnen trainen hebben we twee variabelen moeten instellen: learn rate en momentum. Optimale waarden hiervoor hebben we gevonden door een aantal waarden te proberen; in eerste instantie met een learn rate van 0,1 tot 0,4 en een momentum van 0 tot 1 (zie tabel A). Hieruit blijkt dat het momentum zo hoog mogelijk moet zijn, maar niet te dicht bij 1 en dat de learn rate misschien wel boven de 0,4 een optimum vindt. Learn rate Momentum 0,1 0,2 0,3 0,4 1 2,776 2,776 3,569 3,569 0,8 0,036 0,006 0,004 0,020 0,6 0,074 0,029 0,011 0,006 0,4 0,166 0,047 0,026 0,011 0,2 0,258 0,083 0,046 0, ,345 0,105 0,072 0,044 Tabel A. De MSE van het netwerk na 250 epochs. Gemiddelden over 3 keer. Een optimum van de learn rate ligt waarschijnlijk tussen de 0,2 en de 0,5. Voor het momentum ligt het optimum tussen 0,7 en 0,95. Tussen deze waarden hebben we nogmaals een aantal simulaties gedaan, waaruit bleek dat een learn rate van 0,35 en een momentum van 0,8 optimaal zijn voor deze data (zie Tabel B). Voor het gemak en om een goede vergelijking te kunnen maken, hebben we deze waarden gebruikt voor alledrie de methodes. Learn rate Momentum 0,3 0,35 0,4 0,45 0,75 0,021 0,004 0,004 0,007 0,8 0,004 0,003 0,004 0,007 0,85 0,020 0,017 0,011 0,022 Tabel B. De MSE van het netwerk na 250 epochs. Gemiddelden over 5 keer. Omdat er, nadat het netwerk getraind is, nog nieuwe data toegevoegd wordt, kan het momentum voor problemen zorgen. Hiervoor is een methode geschreven die als volgt werkt. Door een keer te trainen waarbij de outputs en de targets gelijk zijn gezet en waar zowel learn rate als momentum 0 zijn, wordt de verandering van de gewichten 0. Een volgende keer kan er dus getraind worden zonder momentum. 8

10 3.4 Interleaved learning Inleiding Deze methode wordt beschreven in McClelland 1. In dit artikel wordt geprobeerd te verklaren welke rol de hippocampus speelt bij het leren. McClelland stelt dat de hippocampus dient om nieuwe informatie tijdelijk op te slaan. Als nieuwe informatie direct in de neocortex zou worden opgeslagen, zal catastrofale interferentie optreden. Of, om die interferentie te voorkomen, zou het leren zo langzaam moeten gaan dat er nauwelijks geleerd wordt. Verder zou de neocortex alleen informatie opslaan en onthouden als het regelmatig voorkomt en dus enigszins belangrijk is. De hippocampus zorgt dat de informatie die uiteindelijk in de neocortex komt, gegeneraliseerd is. Om deze theorie te ondersteunen, zijn experimenten uitgevoerd met connectionistische modellen. Deze vertonen enige gelijkenis met de neocortex. Informatie wordt in deze modellen wel direct opgeslagen en de effecten hiervan kunnen zo goed onderzocht worden. Als er geen maatregelen getroffen worden, treedt catastrofale interferentie op. Een zeer effectieve manier om dit te voorkomen is interleaved learning: het blijven aanbieden van oude informatie, terwijl nieuwe informatie geleerd wordt. Op deze manier heeft de nieuwe informatie veel minder invloed op het aanpassen van de gewichten. Het zal dus langer duren voordat er geleerd is, maar er treedt veel minder interferentie op Implementatie De implementatie van interleaved learning is heel simpel. In plaats van alleen penguin te leren, worden ook de oude data geleerd. Penguin wordt toegevoegd aan de oude dataset en met deze nieuwe dataset wordt in stap 2 geleerd. Interleaved learning levert geen extra parameters op. Learn rate en momentum worden gelijk gesteld aan de optimale waarden die gevonden zijn voor het standaard netwerk. 3.5 Activation Sharpening Inleiding Activation sharpening is een methode die voorgesteld wordt door French 2. Hij stelt dat catastrofale interferentie een direct gevolg is van overlappende patronen. Door patronen minder te laten overlappen kan dit probleem opgelost worden. Activation sharpening is een methode om patronen minder gedistribueerd te maken. Het houdt in dat de activaties van de meest actieve nodes in de hidden layer versterkt worden, terwijl de andere nodes een iets kleinere activatie krijgen. Patronen worden dan uiteindelijk alleen in de meest actieve nodes opgeslagen. Er ontstaan semi-gedistribueerde representaties. Omdat de representaties nog wel enigszins gedistribueerd zijn, zal het netwerk toch nog kunnen generaliseren, hoewel minder goed Implementatie Ons Sharpen netwerk heeft veel gelijkenissen met het standaard FFBP netwerk. Het verschil is dat voor er een sweep wordt gemaakt door het netwerk, sharpening wordt toegepast zoals beschreven door French. De meest actieve knopen worden nog sterker geactiveerd en de andere knopen worden afgezwakt. Het verschil in activatie wordt vervolgens als error in een downsweep meegenomen, zodat de gewichten worden veranderd. De methode is alleen voor netwerken met één hidden layer beschreven, maar het is simpel toe te passen op meerdere lagen. Na een upsweep worden de twee lagen een voor een gesharpend. Maar omdat ons netwerk hidden layers heeft van verschillende grootte, 9

11 kunnen niet even veel knopen sterker geactiveerd worden. Omdat de tweede laag ongeveer twee keer zo groot is, worden daar ook twee keer zoveel knopen versterkt. Hoeveel de activaties versterkt worden, wordt berekend met de volgende formules: Voor de te versterken knopen A = A + α 1 A ) nieuw oud ( oud Voor de andere knopen Anieuw = Aoud αaoud Waar α staat voor sharpen rate. Om het aantal knopen dat versterkt moet worden (K) te vinden, hebben we de sharpen rate constant gehouden op 0,2. Wanneer K gevonden is, kan de sharpen rate gevonden worden. Maar hier stuitten we op een probleem. Omdat Nutshell niet zelf kan sharpenen, moeten alle gewichten tussen de lagen per stuk worden bijgewerkt. Vanuit Visual Basic is dit dramatisch traag. Bovendien wordt tijdens het sharpenen steeds meer werkgeheugen door Nutshell gebruikt. Dit gaat door tot al het geheugen opgebruikt is en dan crasht het programma. Om dit probleem te omzeilen hebben we eerst geprobeerd alleen de verbindingen vanuit de inputknopen die voor ISA, is, can en has relaties te sharpenen en de rest met rust te laten. Dit zijn veel minder verbindingen en het zou dus veel sneller gaan. Helaas bleek dat sharpenen op deze manier niet beter is dan onze basic methode. Vervolgens hebben we geprobeerd om eerst het netwerk te trainen zoals de basic methode, om vervolgens alleen de nieuwe data te sharpenen. Dit zijn veel minder items en er zijn dan minder epochs nodig. Gelukkig heeft deze methode ongeveer dezelfde resultaten als de originele sharpening (die we maar twee keer getest hebben). Om K te vinden hebben we de netwerken getraind en vervolgens nieuwe data met sharpening aan het netwerk gepresenteerd totdat de MSE van de nieuwe data onder 0,01 kwam. Het aantal epochs dat hiervoor nodig was, is uitgezet in grafiek I. Het is duidelijk dat het optimum rond 2 knopen ligt. 10

12 Aantal retrain epochs 6,5 6 5,5 5 4,5 4 3,5 3 2, Aantal gesharpende knopen nr of nodes sharpend Basic Grafiek I. Het aantal epochs dat er nodig zijn om de MSE van het netwerk onder de 0,01 te krijgen nadat er nieuwe data is gepresenteerd, afhankelijk van het aantal knopen dat versterkt wordt. Gemiddelden over 5 keer. Hierna hebben we de sharpen rate bepaald met K=2. Na een aantal testen met verschillende sharpen rates bleek dat het optimum rond 0,3 moest liggen en dus hebben we nog een paar laatste metingen rond die waarde gedaan (zie Tabel C). Alle komende metingen zijn met K=3 en Sharpen Rate = 0,4 gedaan. Sharpen rate K Basic 0,1 0,2 0,3 0,4 1 8,6 8,0 7,0 13,3 11,0 2-9,6 10,0 8,2 8,3 3-8,0 11,3 9,3 7,0 Tabel C. De laatste metingen om K en de sharpen rate te vinden. De waarden zijn het gemiddeld aantal keer dat het netwerk nodig heeft gehad om te herstellen na toevoegen van nieuwe data. De waarden zijn hoger dan bij eerdere metingen, omdat het netwerk in eerste instantie minder goed getraind is zodat er meer tests uitgevoerd konden worden. Gemiddelden over 6 keer. 11

13 4 Resultaten Tijdens het testen kwam het voor dat het netwerk helemaal niet convergeerde. Dit gebeurde bij alle drie de methoden ongeveer 1 op de 9 keer. Als dit gebeurde zat het netwerk in een lokaal minimum waarbij meestal één eigenschap fout werd voorspeld. In alle gevallen was dit een eigenschap die slechts één keer in de dataset voorkomt, bijvoorbeeld (oak-is-)big of (pine-is-)green. Deze eigenschappen zijn moeilijker te leren, omdat er niet over gegeneraliseerd kan worden. Soms kan een netwerk na het aanbieden van de nieuwe data toch convergeren, maar dat gebeurt dan in veel meer epochs dan normaal hertrainen nodig zou hebben. Deze gegevens zijn uit de metingen weggelaten. 4.1 Interferentie De catastrofale interferentie van het standaard netwerk zou het grootst moeten zijn. De interferentie hiervan geldt dan ook als ondergrens. Deze ondergrens kan wel overschreden worden door activation sharpening als de parameters fout staan ingesteld. Onze eerste maat voor het optreden van interferentie was de fout over het reproduceren van oude data tijdens het leren van penguin. Hoe hoger deze fout, hoe meer interferentie is opgetreden. In Grafiek II zijn de resultaten te zien van de verschillende methoden. Interleaved learning springt er duidelijk uit; hierbij worden de oude data vrijwel foutloos gereproduceerd. Dit is geheel volgens de verwachting, aangezien de oude data meegeleerd worden en dus niet vergeten. Activation sharpening zorgt inderdaad ook voor een vermindering van de interferentie, maar deze blijft beperkt. Wat ook interessant is om te laten zien, is de tijd die het kost om penguin te leren, zie Grafiek III. Interleaved learning zorgt er namelijk wel voor dat de interferentie veel kleiner wordt, maar het leren van penguin gaat moeilijker, doordat de invloed veel kleiner is. Ook duurt het leren langer doordat in één epoch alle oude data ook geleerd wordt. Met onze dataset duurt een epoch 15,5 keer zo lang. Activation sharpening kost ook iets meer tijd per epoch, omdat er bijna een hele up- en downsweep extra wordt uitgevoerd. Een epoch duurt dan iets minder dan twee keer zo lang. Wel wordt penguin iets sneller geleerd, waarschijnlijk doordat de eigenschappen van penguin minder met elkaar interfereren tijdens het leren. 12

14 MSE 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0, nr of epoch Basic InterLeaved Sharpen Grafiek II. De mate waarin informatie uit de oude data goed gereproduceerd wordt tijdens het leren van penguin. Gemiddelden over 10 keer. 0,001 0,01 Basic MSE 0,1 1 Interleaved Sharpen nr of epoch Grafiek III. De snelheid waarmee penguin geleerd wordt. Gemiddelden over 10 keer. De tweede maat voor interferentie is het aantal epochs dat nodig is om na het leren van penguin het netwerk weer op het oude niveau te krijgen. Het blijkt dat de netwerken hier minder van elkaar verschillen dan bij de vorige test (zie grafiek IV). De verschillen zijn wel goed te verklaren. Doordat het standaard netwerk op geen enkele manier interferentie tegen gaat, heeft het de meeste epochs nodig om weer te herstellen. Interleaved learning komt ook hier als beste naar voren, al is het verschil met activation sharpening veel minder groot. 13

15 ,6 nr of epochs retrained ,4 25,2 Basic Interleaved Sharpen Grafiek IV. Het aantal epochs nodig om de prestatie van het netwerk op het oude niveau te krijgen (MSE over alle data kleiner dan 0,005) na het trainen van penguin. Gemiddelden over 5 keer. 4.2 Generalisatie Het sharpenen van een netwerk zou generalisatie verminderen. Dit wordt al toegegeven door French, maar hij beweert dat dit slechts een klein verlies is. Zal het sharpenen van een netwerk de generalisatie te sterk verminderen? En hoe goed doen de Basic en Interleaved methode het hier? Door sparrow-isa-bird-animal-living thing toe te voegen, zou met een redelijke accuraatheid voorspeld kunnen worden dat sparrow-has-wings-feathers enz, omdat het netwerk weet dat sparrow een vogel is en dus de eigenschappen van vogels moet hebben. Het is te verwachten dat sharpening het een stuk slechter doet dan interleaved learning en zelfs slechter dan de standaard methode. De standaard en interleaved methode zouden waarschijnlijk ongeveer dezelfde resultaten moeten geven, want beide methoden hebben volledig gedistribueerde representaties. Voor deze test kunnen we niet de snellere sharpening methode gebruiken zoals we die voor de andere tests hebben gebruikt. Dit zou een onbetrouwbaar resultaat opleveren. De data zou dan namelijk volledig gedistribueerd opgeslagen zijn, zodat er nauwelijks verschil tussen de netwerken is. Dit betekent wel dat het testen erg lang duurt. Uit de resultaten (zie tabel D) blijkt dat niet sharpening het slechtst presteert, maar interleaved learning. Het lijkt er dus op dat activation sharpening niet te veel van het generaliserende vermogen verliest. Het moet gezegd worden dat de verschillende tests een hoge variantie hebben en dat er misschien meer dan vier tests nodig zijn. Voor Na Basic InterL Sharpen

16 Tabel D. De MSE van de drie niet geleerde sparrow eigenschappen. Zowel voor als na het leren van sparrow-isa-bird-animal-living thing. Gemiddeld over 4 keer. Het zou ook kunnen dat sharpening beter presteert, juist omdat het minder gedistribueerd gerepresenteerd wordt. Sparrow wordt waarschijnlijk al snel tussen de andere vogels gerepresenteerd, met sterkere verbindingen dan bij de andere methoden. Als de representaties van andere vogels goed in het netwerk staan, dan zullen de eigenschappen van sparrow dus sneller geërfd worden. Dat bij deze simulaties Basic iets beter scoort dan interleaved learning, is te verklaren doordat de eigenschappen voor het leren van sparrow-isa-bird-animal-living thing al beter voorspeld worden. 15

17 5 Conclusie De resultaten uit de verschillende situaties stellen ons in staat de onderzoeksvragen te beantwoorden: - Verminderen beide methoden catastrofale interferentie? Uit de simulaties blijkt duidelijk dat interleaved learning de beste methode is om catastrofale interferentie te voorkomen. Op alle fronten presteert deze methode het beste, behalve op de tijd die nodig is om te leren; deze is drastisch langer. Interleaved learning voorkomt interferentie echter zoveel beter dat deze langere leertijd geoorloofd is in de meeste situaties. De benodigde leertijd kan ook omlaag gebracht worden door niet de hele oude dataset mee te leren, maar door hier bij elke epoch een aantal random items uit te pakken (ook wel random rehearsal ). Interferentie wordt dan wel minder sterk voorkomen. Wij hebben deze methode niet toegepast, omdat we de resultaten van McClelland wilden reproduceren. Bij zijn experimenten wordt de gehele oude dataset meegetraind. Activation sharpening voorkomt catastrofale interferentie niet, het zorgt wel dat het minder optreedt. Bovendien gaat het leren van nieuwe data vele malen sneller dan met interleaved learning. De resultaten die wij kregen, wijken af van de experimenten die French heeft uitgevoerd. In zijn experimenten is de mate waarin interferentie voorkomen wordt veel groter. Het zou kunnen dat het sterk afhankelijk is van de gebruikte data of activation sharpening effect heeft. Bij de door ons gebruikte dataset, moeten de patronen eigenlijk wel gedistribueerd opgeslagen worden, omdat de generalisatie al in de dataset zelf vastgelegd ligt. De eigenschappen van living thing bijvoorbeeld, horen bij elk item en zullen dus voor alle items op dezelfde manier opgeslagen worden. Daardoor gaan patronen ondanks het sharpenen toch overlappen. - Maakt activation sharpening interleaved learning overbodig? Activation sharpening is zoals gezegd qua eindresultaat niet zo goed als interleaved learning en maakt dit dus zeker niet overbodig. - McClelland claimt dat de methode van French het generalisatievermogen van een netwerk teveel aantast. Is dit terecht? Het testen van generalisatie heeft de grootste verassing gebracht. Het blijkt dat het voorspellende vermogen van de methode van French zelfs beter is, dan interleaved learning. Ook al zijn er weinig tests gedaan, de claim dat de methode van French het voorspellende vermogen van een netwerk te veel aantast, is zeker onterecht. 16

18 6 Vervolgonderzoek Aan de hand van problemen die optraden tijdens de implementatie en de resultaten, willen we een aantal voorstellen doen waardoor dit onderzoek verbeterd zou kunnen worden: - De samenwerking tussen Nutshell en Visual Basic verloopt zo traag dat dit vooral bij de implementatie van activation sharpening problemen oplevert. De simulatie duurt vreselijk lang en vreet geheugen. Misschien dat een implementatie in Python of een andere taal dit probleem kan oplossen. Een andere manier om dit op te lossen is het schrijven van een nieuw paradigma, speciaal voor FFBP netwerken die met activation sharpening werken. - Omdat onze resultaten vrij sterk afwijken van die van French, zouden de simulaties ook met een andere dataset uitgevoerd kunnen worden om te kijken of de effectiviteit hier inderdaad van afhangt. - Om te zorgen dat interleaved learning zich ook qua snelheid enigszins kan meten met activation sharpening, zou interleaved learning met random rehearsal onderzocht kunnen worden. In dat geval wordt niet de gehele oude dataset bijgetraind, maar een random deel van die set. Er moet dan gezocht worden naar de juiste trade-off tussen het percentage van de dataset dat per epoch geleerd wordt en de mate waarin interferentie optreedt. - De resultaten van het testen van de generalisatie, hebben zo n hoge variantie dat extra testen misschien wel nodig is. Dit zal met de huidige implementatie van de sharpening methode waarschijnlijk te veel tijd kosten. 17

19 7 Referenties 1 McClelland, J. L., McNaughton, B. L., and O'Reilly, R. C. (1995). Why there are complementary learning systems in the hippocampus and neocortex: Insights from the successes and failures of connectionist models of learning and memory. Psychological Review, 102, French, R. M. (1991). Using semi-distributed representations to overcome catastrophic interference in connectionist networks. In Proceedings of the 13 th Annual Cognitive Science Society Conference, Rumelhart, D. E. (1990). Brain style computation: learning and generalization. In S. F. Zornetzer, J. L. Davis & C. Lau (Eds.), An introduction to neural and electronic networks (pp ). San Diego, CA: Academic Press. 4 Walnut/Nutshell Copyright , Universtiteit van Amsterdam. Te downloaden van: 18

Modeling Cognitive Development on Balance Scale Phenomena[4] Replicatie van Shultz et al.

Modeling Cognitive Development on Balance Scale Phenomena[4] Replicatie van Shultz et al. Modeling Cognitive Development on Balance Scale Phenomena[] Replicatie van Shultz et al. Olaf Booij(AI); 9899 obooij@science.uva.nl 9 mei Inleiding Ik heb geprobeerd het onderzoek Modeling Cognitive Development

Nadere informatie

Nederlandse samenvatting. Verschillende vormen van het visuele korte termijn geheugen en de interactie met aandacht

Nederlandse samenvatting. Verschillende vormen van het visuele korte termijn geheugen en de interactie met aandacht Nederlandse samenvatting Verschillende vormen van het visuele korte termijn geheugen en de interactie met aandacht 222 Elke keer dat je naar iets of iemand op zoek bent, bijvoorbeeld wanneer je op een

Nadere informatie

CREËREN VAN CLUSTERS BINNEN BOEKENDATABASES MET BEHULP VAN EEN NEURAAL NETWERK

CREËREN VAN CLUSTERS BINNEN BOEKENDATABASES MET BEHULP VAN EEN NEURAAL NETWERK 1 BACHELORTHESE CREËREN VAN CLUSTERS BINNEN BOEKENDATABASES MET BEHULP VAN EEN NEURAAL NETWERK Janina Torbecke GEDRAGSWETENSCHAPPEN HUMAN FACTORS & MEDIA PSYCHOLOGY (HFM) AFSTUDEERCOMMISSIE Prof. dr. F.

Nadere informatie

Opdracht 2 Het Multilayer Perceptron

Opdracht 2 Het Multilayer Perceptron Opdracht 2 Het Multilayer Perceptron Doel: - Inzicht verkrijgen in een neuraal netwerk (het multilayer perceptron). - Begrijpen van het backpropagation algoritme. - Een toepassing van een neuraal netwerk

Nadere informatie

Neurale Netwerken en Deep Learning. Tijmen Blankevoort

Neurale Netwerken en Deep Learning. Tijmen Blankevoort Neurale Netwerken en Deep Learning Tijmen Blankevoort De toekomst - Internet of Things De toekomst - sluiertipje Je gezondheid wordt continue gemonitored Je dieet wordt voor je afgestemd -> Stroomversnelling

Nadere informatie

Tentamen Kunstmatige Intelligentie (INFOB2KI)

Tentamen Kunstmatige Intelligentie (INFOB2KI) Tentamen Kunstmatige Intelligentie (INFOB2KI) 30 januari 2014 10:30-12:30 Vooraf Mobiele telefoons dienen uitgeschakeld te zijn. Het tentamen bestaat uit 7 opgaven; in totaal kunnen er 100 punten behaald

Nadere informatie

Gebruikershandleiding

Gebruikershandleiding Gebruikershandleiding Installeren van het programma Het programma heeft geen verdere installatie nodig dan het downloaden van de bestanden. Na het downloaden kunt u op GUI dubbelklikken om het programma

Nadere informatie

n-queens minimale dominantie verzamelingen Chessboard Domination on Programmable Graphics Hardware door Nathan Cournik

n-queens minimale dominantie verzamelingen Chessboard Domination on Programmable Graphics Hardware door Nathan Cournik n-queens minimale dominantie verzamelingen Chessboard Domination on Programmable Graphics Hardware door Nathan Cournik Rick van der Zwet 4 augustus 2010 Samenvatting Dit schrijven zal

Nadere informatie

AI introductie voor testers

AI introductie voor testers AI introductie voor testers De basis van deep learning TestNet werkgroep Testen met AI Martin van Helden Sander Mol Introductie Artificial Intelligence (AI) is anders dan traditioneel programmeren. Traditioneel

Nadere informatie

Summary in Dutch 179

Summary in Dutch 179 Samenvatting Een belangrijke reden voor het uitvoeren van marktonderzoek is het proberen te achterhalen wat de wensen en ideeën van consumenten zijn met betrekking tot een produkt. De conjuncte analyse

Nadere informatie

11. Multipele Regressie en Correlatie

11. Multipele Regressie en Correlatie 11. Multipele Regressie en Correlatie Meervoudig regressie model Nu gaan we kijken naar een relatie tussen een responsvariabele en meerdere verklarende variabelen. Een bivariate regressielijn ziet er in

Nadere informatie

Modelleren C Appels. Christian Vleugels Sander Verkerk Richard Both. 2 april 2010. 1 Inleiding 2. 3 Data 3. 4 Aanpak 3

Modelleren C Appels. Christian Vleugels Sander Verkerk Richard Both. 2 april 2010. 1 Inleiding 2. 3 Data 3. 4 Aanpak 3 Modelleren C Appels Christian Vleugels Sander Verkerk Richard Both 2 april 2010 Inhoudsopgave 1 Inleiding 2 2 Probleembeschrijving 2 3 Data 3 4 Aanpak 3 5 Data-analyse 4 5.1 Data-analyse: per product.............................

Nadere informatie

Moleculaire Dynamica en Monte Carlo Simulaties Case Study 17 Solid-Liquid Equilibrium of Hard Spheres. Joost van Bruggen 0123226 6 juli 2004

Moleculaire Dynamica en Monte Carlo Simulaties Case Study 17 Solid-Liquid Equilibrium of Hard Spheres. Joost van Bruggen 0123226 6 juli 2004 Moleculaire Dynamica en Monte Carlo Simulaties Case Study 17 Solid-Liquid Equilibrium of Hard Spheres Joost van Bruggen 0123226 6 juli 2004 1 Inhoudsopgave 1 Thermaliseren 2 2 Waarde van λ max 2 3 Integreren

Nadere informatie

Kunstmatige Intelligentie (AI) Hoofdstuk 18.7 van Russell/Norvig = [RN] Neurale Netwerken (NN s) voorjaar 2016 College 9, 19 april 2016

Kunstmatige Intelligentie (AI) Hoofdstuk 18.7 van Russell/Norvig = [RN] Neurale Netwerken (NN s) voorjaar 2016 College 9, 19 april 2016 AI Kunstmatige Intelligentie (AI) Hoofdstuk 18.7 van Russell/Norvig = [RN] Neurale Netwerken (NN s) voorjaar 2016 College 9, 19 april 2016 www.liacs.leidenuniv.nl/ kosterswa/ai/ 1 Hersenen De menselijke

Nadere informatie

Inhoud. Neuronen. Synapsen. McCulloch-Pitts neuron. Sigmoids. De bouwstenen van het zenuwstelsel: neuronen en synapsen

Inhoud. Neuronen. Synapsen. McCulloch-Pitts neuron. Sigmoids. De bouwstenen van het zenuwstelsel: neuronen en synapsen Tom Heskes IRIS, NIII Inhoud De bouwstenen van het zenuwstelsel: neuronen en synapsen Complex gedrag uit eenvoudige elementen McCulloch-Pitts neuronen Hopfield netwerken Computational neuroscience Lerende

Nadere informatie

Informatie ophalen uit het Alfabet

Informatie ophalen uit het Alfabet Informatie ophalen uit het Alfabet Anton Wijbenga (antonw@ai.rug.nl) Rijksuniversiteit Groningen, Afdeling Kunstmatige Intelligentie; Grote Kruisstraat 2/1, 9712 TS Groningen Abstract Er zijn verschillende

Nadere informatie

Samenvatting De belangrijkste onderzoeksvraag waarop het werk in dit proefschrift een antwoord probeert te vinden, is welke typen taalkundige informatie het nuttigst zijn voor de lexicale desambiguatie

Nadere informatie

G0N11a Statistiek en data-analyse: project Eerste zittijd Modeloplossing

G0N11a Statistiek en data-analyse: project Eerste zittijd Modeloplossing G0N11a Statistiek en data-analyse: project Eerste zittijd 2007-2008 Modeloplossing Opmerking vooraf: Deze modeloplossing is een heel volledig antwoord op de gestelde vragen. Om de maximumscore op een vraag

Nadere informatie

Points:1 (Extra Credit) Wat is een goede reden om ervan uit te gaan dat categorisatie vaak niet plaats Question vindt op basis van definities?

Points:1 (Extra Credit) Wat is een goede reden om ervan uit te gaan dat categorisatie vaak niet plaats Question vindt op basis van definities? Practicum 6: Long Term Memory 2: Kennis en Categorisatie Description Stof: Goldstein, H9. Let op! Om dit practicum te halen dient u minstens 2/3 correct te scoren (10 van de 15 goed). U krijgt dan 3/4

Nadere informatie

1. Reductie van error variantie en dus verhogen van power op F-test

1. Reductie van error variantie en dus verhogen van power op F-test Werkboek 2013-2014 ANCOVA Covariantie analyse bestaat uit regressieanalyse en variantieanalyse. Er wordt een afhankelijke variabele (intervalniveau) voorspeld uit meerdere onafhankelijke variabelen. De

Nadere informatie

Continuous Learning in Computer Vision S.L. Pintea

Continuous Learning in Computer Vision S.L. Pintea Continuous Learning in Computer Vision S.L. Pintea Continuous Learning in Computer Vision Natura non facit saltus. Gottfried Leibniz Silvia-Laura Pintea Intelligent Sensory Information Systems University

Nadere informatie

Gebruiksaanwijzing. E-820P Crosstrainer. Gemaakt door: -1-

Gebruiksaanwijzing. E-820P Crosstrainer. Gemaakt door: -1- Gebruiksaanwijzing E-820P Crosstrainer Gemaakt door: -1- Het opstarten van de computer De computer werkt met behulp van een adapter. Plaats de stekker van de adapter in het stopcontact en plug de pin van

Nadere informatie

Sociale en culturele factoren in evacuatie simulaties. Dr. Natalie van der Wal

Sociale en culturele factoren in evacuatie simulaties. Dr. Natalie van der Wal Sociale en culturele factoren in evacuatie simulaties Dr. Natalie van der Wal Uit de praktijk blijkt dat weinig mensen direct overgaan tot actie als het brandalarm afgaat. Het zal wel een oefening zijn,

Nadere informatie

AI en Software Testing op de lange termijn

AI en Software Testing op de lange termijn AI en Software Testing op de lange termijn Is het een appel? Traditioneel programmeren AI Kleur = rood, groen, geel Vorm = rond Textuur = glad Artificial Intelligence Machine Learning Methods Technologies

Nadere informatie

Tentamen Kunstmatige Intelligentie (INFOB2KI)

Tentamen Kunstmatige Intelligentie (INFOB2KI) Tentamen Kunstmatige Intelligentie (INFOB2KI) 12 december 2014 8:30-10:30 Vooraf Mobiele telefoons en dergelijke dienen uitgeschakeld te zijn. Het eerste deel van het tentamen bestaat uit 8 multiple-choice

Nadere informatie

Gebruiksaanwijzing. Cameo V6

Gebruiksaanwijzing. Cameo V6 Gebruiksaanwijzing Cameo V6 Knopfuncties UP / DOWN 1. In het standaardmenu kunt u op de UP/DOWN knop drukken om een programma te selecteren uit MANUAL, P1-P12, FAT (ingebouwde vetmeter), THR (Target Heart

Nadere informatie

Optie waardering: In vergelijking met

Optie waardering: In vergelijking met Black-Scholes model Optie waardering: In vergelijking met Neurale Netwerken Erasmus Universiteit Rotterdam Sectie Economie Bachelorthesis Door Randy van Hoek 66789 Onder begeleiding van dr. ir. J. van

Nadere informatie

Programmeren A. Genetisch Programma voor het Partitie Probleem. begeleiding:

Programmeren A. Genetisch Programma voor het Partitie Probleem. begeleiding: Programmeren A Genetisch Programma voor het Partitie Probleem begeleiding: Inleiding Het Partitie Probleem luidt als volgt: Gegeven een verzameling van n positieve integers, vindt twee disjuncte deelverzamelingen

Nadere informatie

Het XOR-Netwerk heeft lokale Minima

Het XOR-Netwerk heeft lokale Minima Het 2-3- XOR-Netwerk heet lokale Minima Ida G. Sprinkhuizen-Kuyper Egbert J.W. Boers Vakgroep Inormatica RijksUniversiteit Leiden Postbus 952 2300 RA Leiden {kuyper,boers}@wi.leidenuniv.nl Samenvatting

Nadere informatie

Dynamics, Models, and Mechanisms of the Cognitive Flexibility of Preschoolers B.M.C.W. van Bers

Dynamics, Models, and Mechanisms of the Cognitive Flexibility of Preschoolers B.M.C.W. van Bers Dynamics, Models, and Mechanisms of the Cognitive Flexibility of Preschoolers B.M.C.W. van Bers Introductie Flexibiliteit is een belangrijke eigenschap in de huidige snel veranderende maatschappij. In

Nadere informatie

Bij factor ANOVA is er een tweede onafhankelijke variabele in de analyse bij gekomen. Er zijn drie soorten designs mogelijk:

Bij factor ANOVA is er een tweede onafhankelijke variabele in de analyse bij gekomen. Er zijn drie soorten designs mogelijk: 13. Factor ANOVA De theorie achter factor ANOVA (tussengroep) Bij factor ANOVA is er een tweede onafhankelijke variabele in de analyse bij gekomen. Er zijn drie soorten designs mogelijk: 1. Onafhankelijke

Nadere informatie

Bij herhaalde metingen ANOVA komt het effect van het experiment naar voren bij de variantie binnen participanten. Bij de gewone ANOVA is dit de SS R

Bij herhaalde metingen ANOVA komt het effect van het experiment naar voren bij de variantie binnen participanten. Bij de gewone ANOVA is dit de SS R 14. Herhaalde metingen Introductie Bij herhaalde metingen worden er bij verschillende condities in een experiment dezelfde proefpersonen gebruikt of waarbij dezelfde proefpersonen op verschillende momenten

Nadere informatie

De statespace van Small World Networks

De statespace van Small World Networks De statespace van Small World Networks Emiel Suilen, Daan van den Berg, Frank van Harmelen epsuilen@few.vu.nl, daanvandenberg1976@gmail.com, Frank.van.Harmelen@cs.vu.nl VRIJE UNIVERSITEIT AMSTERDAM 2 juli

Nadere informatie

Machinaal leren, neurale netwerken, en deep learning

Machinaal leren, neurale netwerken, en deep learning Machinaal leren, neurale netwerken, en deep learning Prof. dr. Tom Heskes KNAW-symposium Go en machinale intelligentie 11 oktober, 2016 Inhoud Inleiding - Supervised, reinforcement, unsupervised leren

Nadere informatie

Gebruiksaanwijzing. Proteus PEC

Gebruiksaanwijzing. Proteus PEC Gebruiksaanwijzing -1- Het opstarten van de computer De computer werkt met behulp van een adapter. Plaats de stekker van de adapter in het stopcontact en plug de pin van de adapter in de opening aan de

Nadere informatie

Hoe zou je dit vertellen aan iemand die er vandaag niet bij is? Leerlingen helpen om wiskunde te begrijpen: Vragen die: Ben je het er mee eens?

Hoe zou je dit vertellen aan iemand die er vandaag niet bij is? Leerlingen helpen om wiskunde te begrijpen: Vragen die: Ben je het er mee eens? Leerlingen helpen om wiskunde te begrijpen: 1 2 Welke strategie heb je gebruikt? 3 Ben je het er mee eens? Ben je het er mee oneens? 4 Zou je die vraag aan de klas kunnen stellen? 5 Kun je je 6 Wil 7 oplosmethode

Nadere informatie

Principe Maken van een Monte Carlo data-set populatie-parameters en standaarddeviaties standaarddeviatie van de bepaling statistische verdeling

Principe Maken van een Monte Carlo data-set populatie-parameters en standaarddeviaties standaarddeviatie van de bepaling statistische verdeling Monte Carlo simulatie In MW\Pharm versie 3.30 is een Monte Carlo simulatie-module toegevoegd. Met behulp van deze Monte Carlo procedure kan onder meer de betrouwbaarheid van de berekeningen van KinPop

Nadere informatie

Virtuele Markten Trading Agent Competition

Virtuele Markten Trading Agent Competition Virtuele Markten Trading Agent Competition A smart trading agent Erik Kant (0122246) en Marten Kampman (0240478), 9 november 2007 Naar aanleiding van de Trading Agent Competition voor het vak Virtuele

Nadere informatie

Samenvatting (Dutch)

Samenvatting (Dutch) Samenvatting (Dutch) 162 Hier zal een korte samenvatting gegeven worden van de resultaten van het onderzoek gepresenteerd in dit proefschrift. Affect, Gemoedstoestand en Informatieverwerking Om te overleven

Nadere informatie

Inleiding Adaptieve Systemen Hoofdstuk 4: Neurale netwerken

Inleiding Adaptieve Systemen Hoofdstuk 4: Neurale netwerken Inleiding Adaptieve Systemen Hoofdstuk 4: Neurale netwerken Cursusjaar 2012-2013 Gerard Vreeswijk β-faculteit, Departement Informatica en Informatiekunde, Leerstoelgroep Intelligente Systemen 12 Juni 2015

Nadere informatie

Wie kiest er eigenlijk: wij of onze hersenen?

Wie kiest er eigenlijk: wij of onze hersenen? Wie kiest er eigenlijk: wij of onze hersenen? Stan Gielen Afd. Biofysica Radboud Universiteit Nijmegen Contents Supervised en unsupervised leren? Wat is een neuron en hoe werkt het Hoe maken wij keuzes?

Nadere informatie

Geldwisselprobleem van Frobenius

Geldwisselprobleem van Frobenius Geldwisselprobleem van Frobenius Karin van de Meeberg en Dieuwertje Ewalts 12 december 2001 1 Inhoudsopgave 1 Inleiding 3 2 Afspraken 3 3 Is er wel zo n g? 3 4 Eén waarde 4 5 Twee waarden 4 6 Lampenalgoritme

Nadere informatie

Samenvatting Impliciet leren van kunstmatige grammatica s: Effecten van de complexiteit en het nut van de structuur

Samenvatting Impliciet leren van kunstmatige grammatica s: Effecten van de complexiteit en het nut van de structuur Samenvatting Impliciet leren van kunstmatige grammatica s: Effecten van de complexiteit en het nut van de structuur Hoewel kinderen die leren praten geen moeite lijken te doen om de regels van hun moedertaal

Nadere informatie

EWMA Control Charts in Statistical Process Monitoring I.M. Zwetsloot

EWMA Control Charts in Statistical Process Monitoring I.M. Zwetsloot EWMA Control Charts in Statistical Process Monitoring I.M. Zwetsloot EWMA Control Charts in Statistical Process Monitoring Inez M. Zwetsloot Samenvatting EWMA Regelkaarten in Statistische Procesmonitoring

Nadere informatie

Graphical modelling voor Mediastudies Data

Graphical modelling voor Mediastudies Data Graphical modelling voor Mediastudies Data De analyse Alle analyses zijn gedaan met MIM, een analyseprogramma ontworpen voor graphical modelling (Versie 3.2.07, Edwards,1990,1995). Modellen zijn verkregen

Nadere informatie

2 Energiemanagement van een draadloos sensornetwerk

2 Energiemanagement van een draadloos sensornetwerk Nederlandse Samenvattingen 13 2 Energiemanagement van een draadloos sensornetwerk Bennie Mols Steeds meer toepassingen bevatten draadloze sensoren die in een netwerk met elkaar communiceren. Hoe kunnen

Nadere informatie

Les 5: Analysis of variance

Les 5: Analysis of variance Les 5: Analysis of variance 2de bachelor in de chemie en biologie 14/11/2018 Jeroen Gilis Gebaseerd op slides Caroline De Tender Testen die we tot nu toe gezien hebben: Toetsen van één gemiddelde ten opzichte

Nadere informatie

Dutch summary. Nederlandse samenvatting. Een bijdrage aan de grijp-puzzel

Dutch summary. Nederlandse samenvatting. Een bijdrage aan de grijp-puzzel Dutch summary Nederlandse samenvatting Een bijdrage aan de grijp-puzzel Mensen kunnen op allerlei manieren van elkaar verschillen. Sommige mensen hebben kleine handen, andere juist grote, sommige mensen

Nadere informatie

Herkansing Inleiding Intelligente Data Analyse Datum: Tijd: , BBL 508 Dit is geen open boek tentamen.

Herkansing Inleiding Intelligente Data Analyse Datum: Tijd: , BBL 508 Dit is geen open boek tentamen. Herkansing Inleiding Intelligente Data Analyse Datum: 3-3-2003 Tijd: 14.00-17.00, BBL 508 Dit is geen open boek tentamen. Algemene aanwijzingen 1. U mag ten hoogste één A4 met aantekeningen raadplegen.

Nadere informatie

De computerhandleiding bestaat uit de onderdelen: Knopfuncties De schermen Het selecteren en instellen van de programma s -1-

De computerhandleiding bestaat uit de onderdelen: Knopfuncties De schermen Het selecteren en instellen van de programma s -1- Computerhandleiding De computerhandleiding bestaat uit de onderdelen: Knopfuncties De schermen Het selecteren en instellen van de programma s -1- Knopfuncties Er zijn in totaal 6 toetsen aanwezig, namelijk

Nadere informatie

Stroomschema s maken op papier

Stroomschema s maken op papier 1 Stroomschema s maken op papier Een programma direct maken in Python, gaat vaak wel goed als het een klein programma is. Als het programma groter en moeilijker is, is het lastig om goed te zien welk commando

Nadere informatie

Uitwerkingen Vacuümpomp, 3HV, 1: Onderzoeken: theorieën, modellen en experimenten.

Uitwerkingen Vacuümpomp, 3HV, 1: Onderzoeken: theorieën, modellen en experimenten. Uitwerkingen Vacuümpomp, 3HV, 1: Onderzoeken: theorieën, modellen en experimenten. 1.1 C. B 2. Als een goed uitgevoerd experiment en een goed rekenmodel daarbij niet dezelfde uitkomsten geven, zal de onderliggende

Nadere informatie

Stroomschema s maken op papier

Stroomschema s maken op papier 1 Stroomschema s maken op papier Een programma direct maken in Scratch, gaat vaak wel goed als het een klein programma is. Als het programma groter en moeilijker is, is het lastig om goed te zien welk

Nadere informatie

TECHNISCHE UNIVERSITEIT EINDHOVEN Faculteit Wiskunde en Informatica Tentamen Statistiek voor T (2S070) op vrijdag 8 oktober 1999, uur De u

TECHNISCHE UNIVERSITEIT EINDHOVEN Faculteit Wiskunde en Informatica Tentamen Statistiek voor T (2S070) op vrijdag 8 oktober 1999, uur De u TECHNISCHE UNIVERSITEIT EINDHOVEN Faculteit Wiskunde en Informatica Tentamen Statistiek voor T (2S070) op vrijdag 8 oktober 1999, 14.00-17.00 uur De uitwerkingen van de opgaven dienen duidelijk geformuleerd

Nadere informatie

Cover Page. The handle holds various files of this Leiden University dissertation

Cover Page. The handle  holds various files of this Leiden University dissertation Cover Page The handle http://hdl.handle.net/1887/28464 holds various files of this Leiden University dissertation Author: Jeroen Bédorf Title: The gravitational billion body problem / Het miljard deeltjes

Nadere informatie

Functie beschrijving: Het automatisch aanmaken van een raai-volgende contour

Functie beschrijving: Het automatisch aanmaken van een raai-volgende contour Modelit Rotterdamse Rijweg 126 3042 AS Rotterdam Telefoon +31 10 4623621 info@modelit.nl www.modelit.nl Functie beschrijving: Het automatisch aanmaken van een raai-volgende contour Datum 8 Mei 2004 Modelit

Nadere informatie

RAPPORT PERFORMANCETEST QUESTIONMARK

RAPPORT PERFORMANCETEST QUESTIONMARK RAPPORT PERFORMANCETEST QUESTIONMARK AOC RAAD Door: Marcel Verberkt Stoas Learning Systems Uitgevoerd : 04 mei 2010 INHOUD AOC Raad... 1 Inhoud... 2 Inleiding... 3 Inleiding... 3 Doelstelling... 4 Opzet

Nadere informatie

Beoordelingsmodel bij een PWS binnen het natuurprofiel

Beoordelingsmodel bij een PWS binnen het natuurprofiel Beoordelingsmodel bij een PWS binnen het natuurprofiel Beoordelingsmoment 1 Oriënteren GO / NO GO Motivatie Onvoldoende: No go Voldoende 15 Goed 20 Zeer goed 25 Willen de leerlingen door in de huidige

Nadere informatie

Bijlage 1: het wetenschappelijk denk- en handelingsproces in het basisonderwijs 1

Bijlage 1: het wetenschappelijk denk- en handelingsproces in het basisonderwijs 1 Bijlage 1: het wetenschappelijk denk- en handelingsproces in het basisonderwijs 1 Bijlage 1: Het wetenschappelijk denk- en handelingsproces in het basisonderwijs: Stadium van het instructie model Oriëntatiefase

Nadere informatie

Voortgangstoets NAT 5 VWO 45 min. Week 49 SUCCES!!!

Voortgangstoets NAT 5 VWO 45 min. Week 49 SUCCES!!! Naam: Voortgangstoets NAT 5 VWO 45 min. Week 49 SUCCES!!! Noteer niet uitsluitend de antwoorden, maar ook je redeneringen (in correct Nederlands) en de formules die je gebruikt hebt! Maak daar waar nodig

Nadere informatie

Yes We Can Fellow onderzoek

Yes We Can Fellow onderzoek Yes We Can Fellow onderzoek Resultaten 2017 1 Inhoud Inleiding... 3 Respons... 3 Eigenschappen responsegroep... 3 Enkelvoudige of meervoudige problematiek... 4 Zorg voorafgaand aan opname... 4 Situatie

Nadere informatie

Predictieve modellen - overzicht

Predictieve modellen - overzicht Predictieve modellen - overzicht 08-01-2018 Jochem Grietens Verhaert Alexander Frimout Verhaert 1 AI voor lichtcontrole Het doel is om de verlichting van de Vlaamse snelweg slimmer te maken met behulp

Nadere informatie

SPSS Introductiecursus. Sanne Hoeks Mattie Lenzen

SPSS Introductiecursus. Sanne Hoeks Mattie Lenzen SPSS Introductiecursus Sanne Hoeks Mattie Lenzen Statistiek, waarom? Doel van het onderzoek om nieuwe feiten van de werkelijkheid vast te stellen door middel van systematisch onderzoek en empirische verzamelen

Nadere informatie

Examen Datastructuren en Algoritmen II

Examen Datastructuren en Algoritmen II Tweede bachelor Informatica Academiejaar 2014 2015, eerste zittijd Examen Datastructuren en Algoritmen II Naam :.............................................................................. Lees de hele

Nadere informatie

Foto s up- en downloaden naar en van foto.intranet.vub.ac.be

Foto s up- en downloaden naar en van foto.intranet.vub.ac.be Foto s up- en downloaden naar en van foto.intranet.vub.ac.be Omdat delen een goed idee is, werkt de VUB sinds kort met een fotodatabank. Iedereen die nood heeft aan een foto van de campus, een student,

Nadere informatie

10. Module Volume Berekening... 1

10. Module Volume Berekening... 1 10. Module Volume Berekening... 1 10.1. Inleiding...1 10.2. Icoonomschrijving...2 10.2.1. Nieuw... 3 10.2.2. Herstellen... 3 10.2.3. Wijzig... 3 10.2.4. Aanpassen... 4 10.3. Volume...5 10.3.1. Ontwerphoogte...

Nadere informatie

Geest, brein en cognitie

Geest, brein en cognitie Geest, brein en cognitie Filosofie van de geest en Grondslagen van de cognitiewetenschap Fred Keijzer 1 Overzicht: Wat is filosofie en waarom is dit relevant voor cognitiewetenschap en kunstmatige intelligentie?

Nadere informatie

Aa n het einde van het derde blok moeten er 3 opdrachten worden ingeleverd. Inhoudsopgave

Aa n het einde van het derde blok moeten er 3 opdrachten worden ingeleverd. Inhoudsopgave Aa n het einde van het derde blok moeten er 3 opdrachten worden ingeleverd. 1 opdracht uit Pool A 1 opdracht uit Pool B 1 opdracht uit Pool C Inhoudsopgave POOL A: REACTIETIJD POOL A: SOCIAAL ONDERZOEK

Nadere informatie

EIND TOETS TOEGEPASTE BIOSTATISTIEK I. 30 januari 2009

EIND TOETS TOEGEPASTE BIOSTATISTIEK I. 30 januari 2009 EIND TOETS TOEGEPASTE BIOSTATISTIEK I 30 januari 2009 - Dit tentamen bestaat uit vier opgaven onderverdeeld in totaal 2 subvragen. - Geef bij het beantwoorden van de vragen een zo volledig mogelijk antwoord.

Nadere informatie

Nieuwe Sales Forecast en Demand Planning op het HANA platform

Nieuwe Sales Forecast en Demand Planning op het HANA platform Nieuwe Sales Forecast en Demand Planning op het HANA platform Al meer dan tien jaar geleden lanceerde SAP APO, het supply chain planning systeem wat in vele bedrijven wereldwijd wordt gebruikt voor sales

Nadere informatie

Containers stapelen. M.L. Koning april 2013

Containers stapelen. M.L. Koning april 2013 Technische Universiteit Eindhoven 2WH03 - Modelleren C Containers stapelen L. van Hees 0769244 M.L. Koning 0781346 2 april 2013 Y.W.A Meeuwenberg 0769217 1 Inleiding De NS vervoert dagelijks grote hoeveelheden

Nadere informatie

Hoofdstuk 17: Grafieken en diagrammen: waarom

Hoofdstuk 17: Grafieken en diagrammen: waarom Hoofdstuk 17: Grafieken en diagrammen: waarom 17.0 Inleiding In Hoofdstuk 16: Grafieken en diagrammen - gids, bekeken we hoe we diagrammen invoegen, bewerken en opmaken. In dit hoofdstuk zullen we de principes

Nadere informatie

Werkinstructie Het voortgangsverslag maken, publiceren en bijwerken in Mijn Rechtspraak Toezicht

Werkinstructie Het voortgangsverslag maken, publiceren en bijwerken in Mijn Rechtspraak Toezicht Werkinstructie Het voortgangsverslag maken, publiceren en bijwerken in Mijn Rechtspraak Toezicht U dient het voortgangsverslag via Mijn Rechtspraak Toezicht in te dienen. Wanneer de termijn van het voortgangsverslag

Nadere informatie

Gebruiksaanwijzing. Infiniti Q21. Gemaakt door: -1-

Gebruiksaanwijzing. Infiniti Q21. Gemaakt door: -1- Gebruiksaanwijzing Infiniti Gemaakt door: -1- Het opstarten van de computer De computer werkt met behulp van een adapter. Plaats de stekker van de adapter in het stopcontact en plug de pin van de adapter

Nadere informatie

Voorspellers van Leerbaarheid en Herstel bij Cognitieve Revalidatie van Patiënten met Niet-aangeboren Hersenletsel

Voorspellers van Leerbaarheid en Herstel bij Cognitieve Revalidatie van Patiënten met Niet-aangeboren Hersenletsel Voorspellers van Leerbaarheid en Herstel bij Cognitieve Revalidatie van Patiënten met Niet-aangeboren Hersenletsel Een onderzoek naar de invloed van cognitieve stijl, ziekte-inzicht, motivatie, IQ, opleiding,

Nadere informatie

ProjectHeatmap. Onderzoeksrapport v0.5 11-03-11 Dennis Wagenaar

ProjectHeatmap. Onderzoeksrapport v0.5 11-03-11 Dennis Wagenaar ProjectHeatmap Onderzoeksrapport v0.5 11-03-11 Dennis Wagenaar 1 Inhoudsopgave Inleiding...3 Gheat...4 Info...4 Voordelen...4 Nadelen...4 Google Fusion Tables...5 Info...5 Voordelen...5 Nadelen...5 OLHeatmap...6

Nadere informatie

R5.0 Deel IV F Werken met Uitgebreide enquete

R5.0 Deel IV F Werken met Uitgebreide enquete R5.0 Deel IV F Werken met Uitgebreide enquete Gebruikershandleidingen Clixmaster Studio Handleiding 1/19 Deel IV F - Werken met Uitgebreide Enquête 2010 Clixmaster BV Alle rechten voorbehouden. Niets uit

Nadere informatie

Opgave 2 ( = 12 ptn.)

Opgave 2 ( = 12 ptn.) Deel II Opgave 1 (4 + 2 + 6 = 12 ptn.) a) Beschouw bovenstaande game tree waarin cirkels je eigen zet representeren en vierkanten die van je tegenstander. Welke waarde van de evaluatiefunctie komt uiteindelijk

Nadere informatie

Peridos. Aanleveren van gegevens. Datum: Landelijk beheer Peridos. Versie: 1.1

Peridos. Aanleveren van gegevens. Datum: Landelijk beheer Peridos. Versie: 1.1 Peridos Aanleveren van gegevens Plaats: Utrecht Datum: 5-12-2014 Auteur: Landelijk beheer Peridos Versie: 1.1 Status: Definitief Inhoudsopgave Inhoudsopgave 3 Wijzigingsbeheer 4 Distributie 4 Referenties

Nadere informatie

Je gaat leren programmeren en een spel bouwen met de programmeertaal Python. Websites zoals YouTube en Instagram zijn gebouwd met Python.

Je gaat leren programmeren en een spel bouwen met de programmeertaal Python. Websites zoals YouTube en Instagram zijn gebouwd met Python. 1 Je gaat leren programmeren en een spel bouwen met de programmeertaal Python. Websites zoals YouTube en Instagram zijn gebouwd met Python. Voordat je leert programmeren, moet je jouw pc zo instellen dat

Nadere informatie

Waterweerstand. 1 Inleiding. VWO Bovenbouwpracticum Natuurkunde Practicumhandleiding

Waterweerstand. 1 Inleiding. VWO Bovenbouwpracticum Natuurkunde Practicumhandleiding VWO Bovenbouwpracticum Natuurkunde Practicumhandleiding Waterweerstand 1 Inleiding Een bewegend vaartuig ondervindt altijd weerstand van het langsstromende water: het water oefent een wrijvingskracht uit

Nadere informatie

Bachelor Project. Neuraal Winkelen

Bachelor Project. Neuraal Winkelen Bachelor Project Neuraal Winkelen Andrew Li Universiteit Leiden Leiden Institute of Advanced Computer Science Leiden, 2008 Samenvatting Dit verslag is een bachelorproject op het gebied van kunstmatige

Nadere informatie

Tools voor itemanalyse

Tools voor itemanalyse Tools voor itemanalyse Wido La Heij Cognitieve Psychologie laheij@fsw.leidenuniv.nl Klazine Verdonschot ICT en Onderwijscoach kverdonschot@fsw.leidenuniv.nl De weg naar het Grade Center Menu van de toetskolom

Nadere informatie

EXCEL MACRO ZET TEKST IN GESELECTEERDE CELLEN OM: NAAR KLEINE LETTERS NAAR KLEINE LETTERS MET BEGINHOOFDLETTER NAAR HOOFDLETTERS

EXCEL MACRO ZET TEKST IN GESELECTEERDE CELLEN OM: NAAR KLEINE LETTERS NAAR KLEINE LETTERS MET BEGINHOOFDLETTER NAAR HOOFDLETTERS EXCEL 2007-2010 MACRO ZET TEKST IN GESELECTEERDE CELLEN OM: NAAR KLEINE LETTERS NAAR KLEINE LETTERS MET BEGINHOOFDLETTER NAAR HOOFDLETTERS 1 Macro om de tekst in geselecteerde cellen om te zetten naar

Nadere informatie

In Vlaanderen bestaat er nog geen leerlijn programmeren! Hierdoor baseren wij ons op de leerlijn die men in Nederland toepast voor basisscholen.

In Vlaanderen bestaat er nog geen leerlijn programmeren! Hierdoor baseren wij ons op de leerlijn die men in Nederland toepast voor basisscholen. Leerlijn programmeren In Vlaanderen bestaat er nog geen leerlijn programmeren! Hierdoor baseren wij ons op de leerlijn die men in Nederland toepast voor basisscholen. Deze leerlijn is opgebouwd aan de

Nadere informatie

VBA voor doe het Zelvers - deel 10

VBA voor doe het Zelvers - deel 10 VBA voor doe het Zelvers - deel 10 Handleiding van Auteur: leofact Oktober 2014 handleiding: VBA voor doe het Zelvers - deel 10 VBA voor Doe het Zelvers is een reeks artikelen, bedoelt voor mensen die

Nadere informatie

REKENEN Hoe rekenen jouw hersenen? Proeven en spelletjes om te trainen

REKENEN Hoe rekenen jouw hersenen? Proeven en spelletjes om te trainen Voor de leerkracht, les 2 REKENEN Moeilijkheidsgraad Korte inhoud van de les Simpele proeven om vast te stellen hoe je eigen brein informatie verwerkt. Bron: Dr. Mike Goldsmith: Train your Brain to be

Nadere informatie

Nationaal verkeerskundecongres 2017

Nationaal verkeerskundecongres 2017 Nationaal verkeerskundecongres 2017 Data Science in de verkeerskunde, tijd voor een vernieuwde blik op verkeerskundige data George Stern (Vialis) Samenvatting Big Data is al jaren een hot item in de verkeerskundige

Nadere informatie

From Alife Agents to a Kingdom of Queens

From Alife Agents to a Kingdom of Queens From Alife Agents to a Kingdom of Queens Bob Wansink 27 Mei 2010 Deze notitie is een vrije vertaling en uitleg van het gelijknamige artikel in Intelligent Agent Technology: Systems, Methodologies, and

Nadere informatie

In deze les. Het experiment. Hoe bereid je het voor? Een beetje wetenschapsfilosofie. Literatuuronderzoek (1) Het onderwerp.

In deze les. Het experiment. Hoe bereid je het voor? Een beetje wetenschapsfilosofie. Literatuuronderzoek (1) Het onderwerp. In deze les Het experiment Bart de Boer Hoe doe je een experiment? Hoe bereid je het voor? De probleemstelling Literatuuronderzoek Bedenken/kiezen experimentele opstelling Bedenken/kiezen analysevorm Hoe

Nadere informatie

# $ + K @ Dwarsprofiel Ontwerp Overbrengen naar de Kaart. Selecteer Bestand/Openen om het bestand "Tutorial 28.SEE" in de map Tutorial op te roepen.

# $ + K @ Dwarsprofiel Ontwerp Overbrengen naar de Kaart. Selecteer Bestand/Openen om het bestand Tutorial 28.SEE in de map Tutorial op te roepen. # $ + K @ Dwarsprofiel Ontwerp Overbrengen naar de Kaart Deze zelfstudie maakt gebruik van de modules Profielen & Ontwerpen, DTM en Volumes. Doelstelling Het doel van deze zelfstudie is om een set ontwerp

Nadere informatie

Halma Bot: Monte Carlo versus Alpha-Beta

Halma Bot: Monte Carlo versus Alpha-Beta : Monte Carlo versus Alpha-Beta Inleiding Marijn Biekart-11032278, Artemis Çapari-11336390, Jesper van Duuren-10780793, Jochem Hölscher-11007729 en Reitze Jansen-11045442 Zoeken, Sturen en Bewegen 30 juni

Nadere informatie

Laten wij eens kijken uit welke hoofdonderdelen de zwemtecniek van een race bestaat. (Zie de weergave op bladzijde..)

Laten wij eens kijken uit welke hoofdonderdelen de zwemtecniek van een race bestaat. (Zie de weergave op bladzijde..) De perfecte Race. Wieger Mensonides. De Race, of het nu 100 meter is of 50 meter of een andere afstand, deze bestaat uit een groot aantal onderdelen die stuk voor stuk uiterst belangrijk zijn voor de eindtijd.

Nadere informatie

9. Strategieën en oplossingsmethoden

9. Strategieën en oplossingsmethoden 9. Strategieën en oplossingsmethoden In dit hoofdstuk wordt nog even terug gekeken naar alle voorgaande hoofdstukken. We herhalen globaal de structuren en geven enkele richtlijnen voor het ontwerpen van

Nadere informatie

Gebruiksaanwijzing ST-990 BLUE VG50. Gebruiksaanwijzing. VG50 Crosstrainer. Gemaakt door:

Gebruiksaanwijzing ST-990 BLUE VG50. Gebruiksaanwijzing. VG50 Crosstrainer. Gemaakt door: Gebruiksaanwijzing VG50 Crosstrainer Gemaakt door: 1 Het opstarten van de computer De computer werkt met behulp van een adapter. Plaats de stekker van de adapter in het stopcontact en plug de pin van de

Nadere informatie

AI Kaleidoscoop. College 11: Machinaal Leren. Machinaal leren: algemeen (1) Machinaal leren: algemeen (2) Machinaal leren: algemeen (3)

AI Kaleidoscoop. College 11: Machinaal Leren. Machinaal leren: algemeen (1) Machinaal leren: algemeen (2) Machinaal leren: algemeen (3) AI Kaleidoscoop College 11: Machinaal Leren Algemeen Voorbeeld Concept Learning (Version Space) Bias Leeswijzer: Hoofdstuk 10.0-10.2 + 10.4.1 AI11 1 Machinaal leren: algemeen (1) Leren betere prestaties

Nadere informatie

HAPTE CHAP SAMENVATTING

HAPTE CHAP SAMENVATTING HAPTE CHAP Wanneer voortplanting tussen individuen van verschillende soorten, maar ook van verschillende populaties wordt voorkómen, noemen we dit reproductieve isolatie. Reproductieve isolatie speelt

Nadere informatie

Meervoudige ANOVA Onderzoeksvraag Voorwaarden

Meervoudige ANOVA Onderzoeksvraag Voorwaarden Er is onderzoek gedaan naar rouw na het overlijden van een huisdier (contactpersoon: Karolijne van der Houwen (Klinische Psychologie)). Mensen konden op internet een vragenlijst invullen. Daarin werd gevraagd

Nadere informatie

Hopfield-Netwerken, Neurale Datastructuren en het Nine Flies Probleem

Hopfield-Netwerken, Neurale Datastructuren en het Nine Flies Probleem Hopfield-Netwerken, Neurale Datastructuren en het Nine Flies Probleem Giso Dal (0752975) 13 april 2010 Samenvatting In [Kea93] worden twee neuraal netwerk programmeerprojecten beschreven, bedoeld om studenten

Nadere informatie

Basisvaardigheden Microsoft Excel

Basisvaardigheden Microsoft Excel Basisvaardigheden Microsoft Excel Met behulp van deze handleiding kun je de basisvaardigheden leren die nodig zijn om meetresultaten van een practicum te verwerken. Je kunt dan het verband tussen twee

Nadere informatie