Emotionele voetbalrobot. Creativity -some unromantic thoughts. About finding needles in haystacks

Transcriptie

1 me it o s e w op a r 14 december g n i t r voo ko ia.nl stellen s be s.sv ticket naar Congre rf snel su Creativity -some unromantic thoughts Emotionele voetbalrobot About finding needles in haystacks Harvesting the knowledge of the public Kennisrepresentaties en machineleren Classifying websites

2 Inhoud Harvesting the knowledge of the public 6 Colofon Hoofdredactie Mina Zangi Eindredactie Frido Emans, Joris de Ruiter, Jasper van Turnhout Penningmeester Jasper van Turnhout Vormgeving Ayesha van der Woensel Coverbeeld Fabien Tesselaar 16 Redactieleden VU Joris de Ruiter UvA Jasper van Turnhout UU Rosaline de Boer, Magda Kowalczuk RUG Theije Visser, Jaap Oosterbroek 4 6 News Emotionele voetbalrobot 9 Voor de totstandkoming van dit nummer danken wij: Alexander van der Mey, Frank Smit, Kees-Jan Droog, Arnoud Visser, Ben Kröse, Thomas van den Berg, Jaap Oosterbroek, Sicco van Sas, Ork de Rooij, Kaspar de Geus & Frank Nack Kennisrepresentaties en machineleren Content voor de volgende Connectie dient voor 1 februari g d te zijn naar: hoofdredactie@deconnectie.com Alexander van der Mey, Frank Smit, Kees-Jan Droog & Arnoud Visser Ben Kröse 12 Classifying Websites using Visual Features Thomas van den Berg Agenda Column Harvesting the knowledge of the public Sicco van Sas About finding needles in haystacks De Connectie is een landelijk AI blad voor studenten en andere geïnteresseerden. De Connectie wil AI-studenten laten zien wat AI is in de breedste zin van het woord door het publiceren van artikelen over AI-onderzoek, AI-nieuws en een agenda met activiteiten. Wilt u adverteren in De Connectie? Mail voor meer informatie en prijzen naar hoofdredactie@deconnectie.com Oplage 950 Dit nummer is tot stand gekomen dankzij de opleidingen AI aan de RuG, UvA, UM, UU, RU en de VU. KvK Utrecht ISSN How Mobile Assisted Language Learning Redactieadres Stichting AI-blad De Connectie Europaplein WT Utrecht Creativity- Some Unromantic Thoughts Frank Nack 27 Kijk ook eens op onze website Ork de Rooij Kaspar de Geus 24 Vragen, opmerkingen en suggesties kunnen te allen tijde g d worden naar: hoofdredactie@deconnectie.com Prijsvraag 5 Marketing/advertenties Mina Zangi Mina@deconnectie.com Abonnementen Jaarabonnement (4 nummers): 10,00 euro Losse nummers: 2,50 euro (prijswijzigingen voorbehouden) Voor aanvraag redactie@deconnectie.com

3 Mina Zangi, Hoofdredacteur De Connectie column redactioneel De Connectie beste lezer Er is veel veranderd sinds de vorige editie. We hebben nu een veel professionelere layout dankzij Ayesha van der Woensel, en ik ben de nieuwe hoofdredactrice voor de komende jaargang. Als eerstejaars student CKI aan de UU is dit een grote stap voor mij geweest, maar dankzij de steun van de redactieleden, en in het bijzonder van Joris die mij wegwijs heeft gemaakt in het hoofdredacteurschap, kan er weer een nieuw nummer bij jullie op de deurmat verschijnen. Voor dit nummer hebben we samengewerkt met het team van AWESOME IT. Dit is een symposium over de steeds grotere invloed van de ontwikkelingen in de IT op het dagelijkse leven van de mens en vice versa. Zo wordt kennis over cognitieve processen toegepast bij robots, krijgt de mensgerichte aanpak een steeds grotere invloed in software innovatie, en wordt er gewerkt aan een intelligente versie van Powerpoint die creativiteit bij mensen begrijpt en ondersteunt. Ook werkt IBM in hun Smarter Planet project aan het verbeteren en slimmer maken van infrastructuur,energie en educatie. Deze en andere onderwerpen worden behandeld door de acht sprekers op het symposium, dus kijk snel op de website bij de line-up! Het symposium zal in februari plaats gaan vinden. Dat duurt nog even, maar om jullie alvast warm te maken vind je in deze Connectie artikelen over Mens&IT. Je maakt kennis met een robot die emoties vertoont bij het kijken naar een voetbalwedstrijd, de mogelijkheid om snel de juiste video te vinden, en creativiteit in verschillende soorten. Mocht dit je interesseren, neem dan een kijkje op de website van het symposium. Wij van de Connectie zullen ook aanwezig zijn met onze eigen stand. Bestel je je tickets vóór 14 december dan profiteer je van de vroege vogel korting van 1,00 euro! VIA- leden ontvangen 2,50 euro korting. De standaard ticketprijs is 7,50 euro. Voor de puzzelaars onder jullie: achterin staat een sudokupuzzel. Ik moet je er wel voor waarschuwen dat het om een breinbreker gaat. Is het je gelukt om de puzzel op te lossen? Stuur dan een mailtje naar ons, en wie weet wordt jij de winnaar van het meest epische AI-boek aller tijden! Veel leesplezier! Mina Zangi nummer 2, december

4 news Designing An EthicAl Robot ScienceInTheSanctuary (Nov. 09, 2010) In the article Robot Be Good, found in the Oct issue of Scientific American, the question is brought up about what it would mean to create a robot that behaved ethically. Currently, Nao (the robot pictured on the cover), is one attempt at such a feat. Nao was designed to give medication to patients at nursing homes in such a way that would preserve the patients ability to say no to the medication while still notifying a doctor if the patient goes too long without their needed meds. This may not seem like a revolutionary step but the authors of the article, Drs. Michael and Susan Anderson, hint that it is the first step toward developing Artificial Intelligence that learns how to behave in various ethical situations. By constructing a set of priorities for the robot, such as Do Good, Prevent Harm, and Be Fair, a robot would be able to take various information and come to a decision based on maximizing those factors. The authors go on to say that robotic ethics is particularly interesting since robots do not have to deal with emotions, something that we humans have in spades and that often make us less than ideal ethical decision makers. In the end, the authors come to this conclusion: Properly trained machines might even behave more ethically than many human beings would, because they would be capable of making impartial decisions, something humans are not always very good at. Perharps interacting with an ethical robot might someday even inspire us to behave more ethically ourselves. Why Should you Care?: If scientists are going to be developing an ethical robot, it may be worth considering what set of ethics they are using. In the article, one of the hypothetical robot s directives is to Be Fair. While fairness is definitely something we want to see in society, there is arguably a difference between fairness and justice. Fairness, for instance, doesn t always necessitate showing mercy or compassion. It may be fair that a person caught stealing to feed their family go to prison, but it might not be just. Since robots will undoubtedly play an increasingly important role in our society, its important for Christians and other people of faith to insist on including a set of ethics into Artificial Intelligence that encompasses justice for the poor and marginalized, compassion for the least, and the inherent value of all humanity. Babies Treat Social Robots as Sentient Beings Andrew Meltzoff, co-director of the University of Washington s Institute for Learning and Brain Sciences, and Rajesh Rao, University of Washington associate professor of computer science and engineering, with the humanoid robot used to demonstrate social interactions to babies. ScienceDaily (Oct. 14, 2010) At 18 months old, babies are intensely curious about what makes humans tick. A team of University of Washington researchers is studying how infants tell which are psychological agents that can think and feel. Research provides a clue as to how babies decide whether a new object, such as a robot, is sentient or an inanimate object. Four times as many babies who watched a robot interact socially with people were willing to learn from the robot than babies who did not see the interactions. Babies learn best through social interactions, but what makes something social for a baby? said Andrew Meltzoff, lead author of the paper and co-director of the UW s Institute for Learning and Brain Sciences. It is not just what something looks like, but how it moves and interacts with others that gives it special meaning to the baby. The UW researchers hypothesized that babies would be more likely to view the robot as a psychological being if they saw other friendly human beings socially interacting with it. Babies look to us for guidance in how to interpret things, and if we treat something as a psychological agent, they will, too, Meltzoff said. Even more remarkably, they will learn from it, because social interaction unlocks the key to early learning. The study has implications for humanoid robots, said co-author Rajesh Rao, UW associate professor of computer science and engineering and head of UW s neural systems laboratory. Rao s team helped design the computer programs that made Morphy appear social. The study suggests that if you want to build a companion robot, it is not sufficient to make it look human, said Rao. The robot must also be able to interact socially with humans, an interesting challenge for robotics. 4 nummer 2, december 2010

5 n e w s De Connectie ScienceDaily (Oct. 25, 2010) Bumblebees can find the solution to a plex mathematical problem which com- keeps computers busy for days. Scientists at Royal Holloway, University of London and Queen Mary, University of London have discovered that bees learn to fly the shortest possible route between flowers even if they discover the flowers in a different order. Bees are effectively solving the Traveling Salesman Problem, and these are the first animals found to do this. The Traveling Salesman must find the shortest route that allows him to visit all Tiny Brained Bees Solve a Complex Mathematical Problem locations on his route. Computers solve it by comparing the length of all possible routes and choosing the shortest. However, bees solve it without computer assistance using a brain the size of grass seed. Dr Nigel Raine, from the School of Biological Sciences at Royal Holloway explains: Foraging bees solve traveling salesman problems every day. They visit flowers at multiple locations and, because bees use lots of energy to fly, they find a route which keeps flying to a minimum. The team used computer controlled artificial flowers to test whether bees would follow a route defined by the order in which they discovered the flowers or if they would find the shortest route. After exploring the location of the flowers, bees quickly learned to fly the shortest route. Dr Raine adds: Despite their tiny brains bees are capable of extraordinary feats of behavior. We need to understand how they can solve the Traveling Salesman Problem without a computer. What shortcuts do they use? New research shows that bumblebees can find the solution to a complex mathematical problem which keeps computers busy for days. 10/ htm Doctors Conduct First-Ever All-Robotic Surgery and Anesthesia ScienceDaily (Oct. 20, 2010) In a world first, a completely robotic surgery and anesthesia has been performed at the McGill University Health Centre (MUHC). The DaVinci surgical robot, which lets surgeons work from remote locations, was put to work this summer, whereas the anesthesia robot, nicknamed McSleepy, has been providing automated anesthesia since The two combined to perform the first all-robotic surgery on a prostatectomy patient at the Montreal General Hospital. Collaboration between DaVinci, a surgical robot, and anesthetic robot McSleepy seemed an obvious fit; robots in medicine can provide health care of higher safety and precision, thus ultimately improving outcomes, said Dr. TM Hemmerling of McGill University and MUHC s Department of Anesthesia. The DaVinci allows us to work from a workstation operating surgical instruments with delicate movements of our fingers with a precision that cannot be provided by humans alone, said Dr. A. Aprikian, MUHC urologist in chief and Director of the MUHC Cancer Care Mission. He and his team of surgeons operate the robotic arms from a dedicated workstation via video control with unsurpassed 3D HD image quality. Providing anesthesia for robotic prostatectomy can be challenging because of the specific patient positioning and the high degree of muscle relaxation necessary to maintain perfect conditions for the surgical team, added Dr. Hemmerling. Automated anesthesia delivery via McSleepy guarantees the same high quality of care every time it is used, independent from the subjective level of expertise. It can be configured exactly to the specific needs of different surgeries, such as robotic surgery. Obviously, there is still some work needed to perfect the all robotic approach from technical aspects to space requirements for the robots, added Dr. Hemmerling. Whereas robots have been used in surgery for quite some time, anesthesia has finally caught up. Robots will not replace doctors but help them to perform to the highest standards. Combining both robots, the specialists at the MUHC can deliver the most modern and accurate patient care. The researchers will use the results of this project to test all robotic surgery and anesthesia in a larger scale of patients and various types of surgery. This should allow for faster, safer and more precise surgery for our patients concluded Dr. Aprikian. nummer 2, december

6 Alexander van der Mey, Frank Smit, Kees-Jan Droog & Arnoud Visser Emotionele voetbalrobot De emoties die mensen ervaren tijdens het bekijken van een voetbal wedstrijd zijn vaak groot en meeslepend. Een robot heeft van nature geen emoties; zijn emotioneel systeem moet expliciet worden ontworpen. Het bekijken van een voetbalwedstrijd is voor zo n emotioneel systeem een ideaal testscenario; de context is duidelijk en men verwacht grootse expressies. Voor dit onderzoek is de humanoid robot Nao uitgebreid met een dergelijk emotioneel systeem. Het emotionele systeem wordt gevoed door gebeurtenissen in de voetbalwedstrijd. Alexander van der Mey heeft de koppeling van stimuli naar emotionele lichaams houdingen ge creëerd. Student KI, UvA, A.J.vanderMeij@ student.uva.nl Frank Smit heeft de interpretatie van de informatie op het internet tot stimuli voor het emotionele systeem gecreëerd. Student KI, UvA, Frank. Smit@student.uva.nl De correspondentie tussen gebeurtenissen in de wereld en veranderingen in emotionele toestand van de robot zijn gemodelleerd aan de hand van een standaard psychologisch model, en gevalideerd door middel van een kleine enquête. Veranderingen in de emotionele toestand van de robot zijn gekoppeld aan de lichaamstaal van de robot. Als eindresultaat hebben we een robot met een dynamisch emotioneel systeem gemaakt, die zich duidelijk laat meeslepen door de gebeurtenissen tijdens een voetbalwedstrijd. De meeste Nederlanders zullen zich nog het afgelopen WK-voetbal herinneren. Met z n allen hebben we die zenuwslopende laatste 10 minuten tegen Brazilië beleefd, de blijdschap toen Gio hem keihard in de Uruguayaanse kruising schoot, en de teleurstelling en woede toen Iniesta ons WK-avontuur beëindigde. We kunnen terugkijken op veel mooie en emotionele momenten, die misschien juist zo mooi zijn vanwege het feit dat we ze samen gedeeld hebben. De emoties die mensen ervaren zijn dan ook vanuit onze natuur ingebakken. Een robot is echter vanuit zichzelf niet in staat om deze emoties te ervaren of uit te beelden. Wetenschappers hebben al op vele manieren geprobeerd om robots met een emotioneel systeemte maken, omdat dit de samenwerking met mensen vergemakkelijkt. Er is echter nog geen robot die tijdens een voetbalwedstrijd emoties kan laten zien, terwijl dit een geschikt testscenario is. In het kader van deze studie hebben we een emotionele voetbalrobot ontwikkeld, die dit probleem op moet lossen. De Nao is een humanoid robot ontwikkeld door het Franse bedrijf Aldebaran Robotics. De robot is zowel populair in het onderwijs als in het onderzoek en prijkt bijvoorbeeld op de voorkant van dit nummer van de Connectie. De robot is uitgerust met een scala aan sensoren en actuatoren die aan te spreken zijn door middel van verschillende interfaces (C++, Python & Urbi). In deze studie is er gebruik gemaakt van de Python interface. Tijdens een voetbalwedstrijd spelen zich allerlei gebeurtenissen af op het veld. De meest prominente gebeurtenissen vinden plaats rond de goals van de twee teams, zoals een schot op doel en een doelpunt. Zes van deze prominente gebeurtenissen zijn gekoppeld aan een bepaalde emotionele lading, waarbij het sterk uitmaakt voor welk team de robot is. Elke gebeurtenis veroorzaakt een verandering van de emotionele toestand in een bepaalde richting. Mensen kunnen emoties met hoge waarschijnlijkheid uit lichaamstaal halen Een gemiste kans van het eigen team is bijvoorbeeld geassocieerd met verandering richting ergeren en een doelpunt van het andere team met de boosheid -richting. De sterkte van een emotieverandering bleek moeilijk in te schatten, gedeeltelijk omdat het voor sommige gebeurtenissen afhankelijk is van het eerdere verloop van de wedstrijd. Om de sterkte van de veranderingen in te kunnen schatten is er een enquête ontworpen, waarin 22 deelnemers een hypothetische wedstrijd van Nederland werd voorgehouden. In de enquête passeerden verschillende scenario s de revue, waarbij van de deel- 6 nummer 2, december 2010

7 emotionele voetbalrobot De Connectie nemer werd verlangd zijn of haar emotionele reactie op denkbeeldige spelsituaties aan te geven. Sommige vragen gingen over de richting van de emotionele reactie, andere over de sterkte van de verandering. Uit de resultaten bleek bijvoorbeeld dat het verschil in doelpuntenratio tussen beiden teams van invloed is op de sterkte van de vreugde die een doelpunt van het favoriete team teweeg brengt. Met behulp van het psychologische model van Mehrabian [3] zijn deze emotionele veranderingen uitgedrukt als vectoren in een 3D-ruimte met de factoren: arousal, valence en stance. Deze keuze is geïnspireerd door het werk van Breazeal & Brooks [1]. Combinaties van deze drie factoren maakt het mogelijk een wijd scala aan emoties te vertegenwoordigen (zie figuur 2). Arousal geeft de mate van opwinding aan.; Valence heeft te doen met of een gebeurtenis positief of negatief is, terwijl Stance de houding ten opzichte van de omgeving vertegenwoordigt. Een emotie als angst kan bijvoorbeeld geplaatst worden als resultaat van hoge arousal, slechte valence en een teruggetrokken stance. De Kismet-robot, ontwikkelt door Breazeal & Brooks, is speciaal ontworpen voor het tonen van emotie door middel van gezichtsuitdrukkingen. Het gezicht van de Nao heeft minder vrijheidsgraden en kan daardoor slechts beperkt gebruikt worden voor het uitdrukken van emoties. In plaats daarvan is er gebruik gemaakt van de lichaamstaal van de Nao. Mensen kunnen emoties met hoge waarschijnlijkheid uit lichaamstaal halen, vooral emoties als boosheid, blijheid en verdriet. Gebruik is gemaakt van emotionele lichaamstaal ontwikkeld door Aldebaran Robotics. De taal bestaat uit in totaal vijftig lichaamsuitdrukkingen, waarvan veel emoties in meerdere gradaties, zoals blij, heel blij en ontzettend blij. Wanneer een nieuwe gebeurtenis zich voordoet in de wedstrijd wordt er een nieuwe emotievector gecreëerd op basis van het type gebeurtenis en het eerdere spelverloop. Elke vector is ook voorzien van een levensduur, die naarmate de wedstrijd vordert geleidelijk aan intensiteit verliest en uiteindelijk verwaarloosbaar wordt. Door alle op dat moment actieve, en misschien tegenstrijdige, vectoren samen te voegen in één resulterende vector, ontstaat er een emotionele toestand (stemming) gebaseerd op de gebeurtenissen die op dat moment het gemoed van de Nao beïnvloeden. Los van het type gebeurtenis wordt de robot ook beïnvloed door het aantal gebeurtenissen. Uit de enquête bleek dat de arousal en stance vooral beïnvloed worden door het spelverloop. De arousal-waarde daalt op het moment dat het spel saai is (geen gebeurtenissen), terwijl er een stijging optreedt wanneer er voldoende gebeurtenissen binnenkomen. De stance-waarde zal negatief uitslaan wanneer het slecht gaat met het favoriete team, waardoor de Nao een meer stoïcijnse houding zal aannemen. De valance-waarde stijgt/daalt ook als het goed/slecht gaat met het favoriete team. De reactie is heftiger, maar ook korter dan van de stance-factor. Het verloop van de drie emotionele factoren tijdens een voetbalwedstrijd is te zien in figuur 4. Het verloop van deze emotionele toestand is daarna gekoppeld aan de lichaamstaal van de Nao. Hierbij is gebruik gemaakt van een subset van de beschikbare lichaamshoudingen om de emotionele toestand tijdens de wedstrijd te tonen. Een voorbeeld van twee uitingen met een groot verschil in arousal en valence is te zien in figuur 5. De non-verbale uitingen van emotie worden hierbij ook ondersteund met een verbale component, om de boodschap nog duidelijker te maken. Voor de verbale component is er gebruik Figuur 2. De 3D ruimte met de emoties van de robot Kismet Kees-Jan Droog heeft onderzoek gedaan naar het volgen van de bal op het veld. Student KI, UvA, student.uva.nl Arnoud Visser heeft de wetenschappe lijke onder steuning van dit on derzoek verzorgd. Docent KI, UvA, nummer 2, december

8 Figuur 4. Emotionele dynamiek tijdens de wedstrijd Nederland Ghana gemaakt van een kleine database met relevante uitspraken, die de Nao door middel van zijn Text-to- Speech module kan uitspreken. Het emotionele systeem heeft natuurlijk stimuli nodig. Idealiter zou een robot naar een voetbalwedstrijd kijken en begrijpen wat er gebeurt. Het aantal gebeurtenissen in deze studie is beperkt, dus begrip betekent in dit geval dat de robot getraind moeten worden om de gekozen gebeurtenissen (doelpunt, schot naast, schot gehouden) te onderscheiden. Een deelproject van het totale onderzoek was om hier een eerste aanzet aan te geven. Als eerste stap is hiervoor het volgen van de bal genomen, omdat die in alle drie de gebeurtenissen een rol speelt. Het resultaat van dit deelonderzoek was dat de robot een felgekleurde bal op een echt veld kon volgen. Het volgen van een officiële FIFA-bal op het televisiescherm was nog te ambitieus. Om deze gebeurtenissen toch te kunnen genereren, is als alternatief een ander deelproject opgestart. Dit haalt de informatie van internet met een simpele vorm van information retrieval. Tijdens een voetbalwedstrijd zijn er verschillende fora te vinden waar live verslag van de wedstrijd wordt gedaan. Voor dit project is gebruik gemaakt van een live commentary van het Entertainment and Sports Programming Network (ESPN). Het commentaar wordt op deze website in telegramstijl gegeven. Normaliter is de interpretatie van vrij geschreven tekst complex, maar de vaste Figuur 5. De Nao tijdens een spannend en saai moment in de wedstrijd vorm van deze verslagen maakt het mogelijk naar bepaalde woorden en patronen te zoeken en de Nao te laten begrijpen wat er in de wedstrijd gebeurt. De conclusie is dat de voetbalwereld er een supporter bij heeft gekregen. De emotionele toestand van de Nao verandert duidelijk naar aanleiding van de gebeurtenissen die plaatsvinden, en de robot is ook in staat om deze emotionele toestand uit te beelden met de corresponderende lichaamshoudingen. Het emotionele systeem van deze artificiële supporter wordt gedemonstreerd op het Human Factors Event. De levenswetenschappers op deze conferentie kunnen dan beoordelen hoe realistisch men de dynamiek van de emotionele toestand van deze robot vindt. ø Bibliografie: [1] C. Breazeal and R. Brooks, Who Needs Emotions?: The Brain Meets the Robot, chapter 10. Robot emotions; a functional perspective, pp , Oxford University Press, [2] M. Coulson, Attributing emotion to static body postures; recognition accuracy, confusions and viewpoint dependence, Journal of Nonverbal Behavior, volume 28(2), [3] A. Mehrabian and J. Russell, An approach to environmental psychology, MIT Press, [4] A. van der Mey, F. Smit, K.-J. Droog and A. Visser, Emotion Expression of an Affective State Space; a humanoid robot displaying a dynamic emotional state during a soccer game, in Proceedings of the 3rd D-CIS Human Factors Event, D-CIS Lab, Delft, November [5] J. Monceaux, J. Becker, C. Boudier and A. Mazel, Demonstration: First Steps in Emotional Expression of the Humanoid Robot Nao, in ICMI-MLMI 09: Proc. of the 2009 International Conference on Multimodal Interfaces, pp , ACM, [6 e. soccernet, ESPN livefeed van de WK-wedstrijd Nederland Ghana, 8 nummer 2, december 2010

9 Ben Kröse, Universiteit van Amsterdam en Hogeschool van Amsterdam, Kennisrepresentaties en machineleren voor robots in een menselijke omgeving Zestig jaar geleden introduceerde Alan Turing zijn voorstel voor een benchmark voor intelligente machines. Alhoewel er sindsdien enorme vooruitgang is geboekt op methoden voor natuurlijke taalverwerking, kennisrepresentatie en machineleren, is er nog geen computer voor de test geslaagd. Het nabootsen van menselijke intelligentie vereist blijkbaar een andere aanpak. De auteur is universitair hoofddocent aan de UvA, waar hij al twintig jaar onderzoek verricht op het gebied van kunst matige intelligentie en robotica. Sinds vijf jaar heeft hij ook een aanstelling als lector aan de HvA, waar hij een onderzoeksgroep leidt op het gebied van Digital Life. Hier wordt samen met bedrijven praktijkgericht onderzoek uitgevoerd op het gebied van informatietechnologie in de woonomgeving. Nu intelligente machines steeds meer werkzaam zijn in een door mensen bewoonde wereld wordt intelligente interactie steeds belangrijker. Voor een succesvol samenleven moeten mens en machine op een natuurlijke manier communiceren over doelen, concepten en intenties. In het verleden werden voornamelijk optimale planningsmethoden ontwikkeld voor assemblage van producten. Robots opereerden in industriële omgevingen, waarbij interactie met mensen zoveel mogelijk werd vermeden. Omgevingen waren gestructureerd en voorzien van markers. Er is echter een ontwikkeling gaande waarbij de intelligente robots de fabriek verlaat en operereert in onze woonomgeving, bijvoorbeeld als intelligent vervoermiddel, of als autonome stofzuiger. Ook in deze omgevingen moet de robot kunnen functioneren, en dat is een stuk uitdagender. COGNIRON: The Cognitive Robot Companion Deze thematiek stond centraal in het project Cogniron, waarin een tiental vooraanstaande Europese onderzoeksgroepen op het gebied van robotica waaronder de UvA van 2004 tot 2008 samenwerkten. Het thema van het project was: Developing robots interacting with humans, able to perceive, decide, communicate and learn in an open-ended way. Om het project te structureren werden er een aantal werkpakketten gedefinieerd. Behalve de standaard werkpakketten als management en integratie werden er werkpakketten gevormd die zich richten op typische onderzoeksthema s uit de kunstmatige intelligentie, zoals multimodale dialoogvoering, herkenning en detectie van menselijke activiteiten, leren, planning en beslissen. Andere werkpakketten waren gericht op nieuwe thema s zoals sociaal gedrag en context bepaling. Omgevingsmodellen Een bruikbare robot heeft een interne representatie van de omgeving nodig. Enerzijds om te kunnen navigeren en objecten te kunnen manipuleren, anderzijds om te kunnen communiceren met menselijke gebruikers. Traditioneel hebben robots geometrische representaties van de wereld: door middel van geometrische primitieven (bijvoorbeeld lijnen, of een raster met bezettingsindex) wordt een model van de omgeving gemaakt waarin doelen, obstakels en vrij toegankelijke ruimte kan worden aangegeven. Methoden uit de kunstmatige intelligentie worden vervolgens gebruikt om een pad te plannen. Voor robots die in een menselijke omgeving komt hier nog wat bij: We willen de robot de opdracht geven ga naar de keuken en niet: ga naar positie 239, Aan de UvA hebben we een metho- nummer 2, december

10 Figuur 3. Graafclustering vormt categorieën die door mensen gelabeld worden de ontwikkeld voor een omgevingsrepresentatie die op twee manieren afwijkt van de gangbare representatie. Op de eerste plaats maken we niet een geometrisch model van de omgeving maar een sensorische representatie. Op de tweede plaats leren we een relatie tussen de sensorische representatie en de concepten nodig voor mens-robot interactie. In het sensorische domein bestaat de kaart niet uit geometrische elementen maar uit sensorische gegevens, in ons geval beelden van een (omnidirectionele) camera die verkregen zijn door de robot willekeurig rond te laten rijden. Uit de beeldinformatie kunnen we afleiden of twee beelden in de dataset Figuur 2. Appearance representatie voor omgevingsmodellen een relatie hebben. We definiëren hiertoe een afstandsmaat gebaseerd op lokale kenmerken en geometrische beperkingen. Twee beelden krijgen een een relatie als we voldoende bewijs hebben dat de beelden dezelfde omgeving voorstellen maar vanuit een ander camerastandpunt zijn genomen (zie Booij et al 2010). Op deze manier ontstaat er een graaf (figuur 2) waarin de knopen de opgeslagen beelden zijn en de zijden aangeven of de beelden op elkaar lijken. We hebben experimenten uitgevoerd waarbij deze graaf gebruikt is om op basis van visuele informatie van de huidige positie (beeld) naar een gewenste positie (beeld) te navigeren. De graafrepresentatie kan echter ook goed worden gebruikt om een conceptuele representatie van de omgeving te maken. Deze representatie kan gebruikt worden voor communicatie met de gebruiker. Het uitgangspunt hierbij is dat beelden die overeenkomstige spatiële concepten beschrijven (keuken, woonkamer, etc.), ook in de graaf dicht bij elkaar liggen. 10 nummer 2, december 2010

11 kennisrepresentaties en machineleren De Connectie Met dit als uitgangpunt hebben we een graaf-clusteringsmethode gebruikt om categorieën (groepen) in de graaf te vinden. Figuur 3 geeft een voorbeeld van een graaf die is gemaakt terwijl de robot in het Informatica Instituut van de UvA rondreed, waarbij diverse kamers bezocht werden. In een interactiefase met menselijke gebruikers zijn er een beperkt aantal beelden gelabeld. De labels van deze beelden werden vervolgens toegekend aan alle beelden in de groep. Omdat er gedurende de interactie nieuwe labels werden toegevoegd en omdat er continu nieuwe beelden werden gemaakt, werden de graaf en de clusters continu aangepast. Een pruningsmechanisme werdt gebruikt om de grootte van de beeldenset beperkt te houden. Sociaal intelligente robots Behalve dat de interne representaties afgestemd moeten zijn op de interactie met mensen moeten ook de controle- en planningsmethoden zijn afgestemd op de menselijke wereld. Een onderwerp dat we in Cogniron hebben uitgewerkt is proxemics: de studie naar afstanden die mensen innemen als ze onderling communiceren, en de invloed die dit heeft op de robotpadplanning. In de groep van Kerstin Dautenhahn aan de Universiteit van Hertfordshire is onderzoek gedaan naar afstanden die mensen innemen ten opzichte van robots. Door middel van een indicatorsysteem is bestudeerd bij welke afstanden en relatieve oriëntatie (richting van kijken) mensen zich nog prettig voelen. Ook werd er gekeken naar de invloed van muren en obstakels. Zo werd geconstateerd dat men het niet prettig vond als een robot ineens van achter een obstakel verscheen. Met dergelijke kennis kan nu een kostenfunctie worden opgesteld voor een omgeving die bestaat uit een configuratie van mensen en obstakels. Als de robot een bepaalde taak heeft, bijvoorbeeld een object uit de kast pakken en aan een van de aanwezigen overhandigen, zal een planningsmethode gebruikt worden om bij het object te komen. Onze proxemics kostenfunctie kan hierbij zorgen dat de robot geen mensen in de weg loopt. Een voorbeeld van deze slimme planning is gegeven in figuur 4, waarbij de robot zich moet positioneren vóór de twee personen. Als een standaard kostenfunctie gebaseerd op de kortste afgelegde afstand zou zijn gebruikt, dan zou de robot tussen de twee personen door zijn gereden. Het nu geplande traject voldoet aan de sociale regels die gelden voor afstanden tussen mensen. Alomtegenwoordige robots Voorlopig zijn robots zijn nog niet wijdverbreid zichtbaar in onze woningen. Wat wel een grote vlucht neemt zijn verbor- Figuur 4. Een optimaal gepland pad om de robot vóór de twee personen te plaatsen waarbij een kostenmodel is gebruikt dat rekening houdt met de sociaal gewenste afstand tussen mensen. gen intelligente systemen in onze woonomgeving die bestaan uit een netwerk van intelligente apparaten voor communicatie, entertainment en comfort. Deze Ambient Intelligence of domotica -sytemen zullen behalve kunstmatige intelligentie ook een grote mate van sociale intelligentie moeten bezitten. Hier zijn veel toepassingsmogelijkheden voor de onderzoeksresultaten uit de mens-robotinteractie. Zo is er in de gezondheidszorg een grote vraag naar systemen die met sensoren de activiteiten van ouderen monitoren en de juiste feedback geven, en hebben de intelligente winkelcentra van morgen informatiedisplays die de inhoud afstemmen op de mensen die voor het display staan. Een nieuwe vorm van robotica; de ambient robotica heeft een grote toekomst. ø meer informatie: [1] [2] Booij, O., Zivkovic, Z. & Kröse, B.J.A (2010). Efficient probabilistic planar robot motion estimation given pairs of images. Robotics: Science and Systems VI, Zaragoza, Spain, June 2010 nummer 2, december

12 Thomas van den Berg, Classifying Websites using Visual F In a time when the amount of information available to us is expanding fast due to the accessibility and size of the internet, there is an increasing demand for the ability to automatically filter all this data, presenting to us only information that is relevant and of high quality. Specifically in the domain of websites and online searching, there is room for improvement by rating pages not only based on their content, but also on their visual presentation. Well-designed pages make it easier for people to find useful information, while very poorly designed pages usually do not contain a lot of information at all. Aside from quality of design, there are other dimensions we can extract from the visual presentation of a page, such as informativeness or topic. Graphic designers use a different Look and Feel for advertisements than for informative pages, and humans can pick up on this quite easily. In this research, the goal was to find features that would enable a machine learning algorithm to find these differences and classify pages based on their visuals. Feature Extraction Extracting features is essentially a pre-processing step for any machine learning algorithm. By quantifying aspects of the webpage such as the number of photos and the general colorfulness, we make it easier for the machine learning to find the `right' values of these parameters. It allows us to incorporate our prior knowledge of the domain into the system. These feature extracted should describe some higher level phenomenon in the data, while being relatively easy to compute. If the features are too complex, computing them might be a separate machine learning problem, which is not what we want. Features are chosen if they are suspected to have some correlation to the attempted classification. Suspected is enough, because the machine learning algorithm will discern the features that are informative. The features used in this research are at the level of color and composition. These features are more informative than separate image pixels, and can still be computed in a relatively straightforward way using statistical measures. Obviously, we suspect that these kinds of features are related to visual qualities (e.g. aesthetics). Four feature extractors were developed for this research: (1) The number and size of photos, (2) The size and position of columns, (3) The color palette that was used, and (4) An analysis of this color palette. Finding Photos An important factor when people make up their minds about a web page is whether it has photos. A few photos can make a page more salient, while a lot of photos make it look cheap or confusing. Web pages are usually designed using mostly flat colors or subtle textures, so photos are much noisier than most parts of a webpage. Even though text also adds noise to the page, text does not form connected areas. Therefore images and photos will stand out as large, connected noisy areas. A problem is that not each photo is noisy everywhere (e.g. a blue sky might cause smooth parts in a photo). When checking pixels, it is difficult for an algorithms to find the images on a page. As a solution, it is possible to exploit the fact that images on web pages are usually rectangular and aligned to the page. If we assume that each noisy area is contained in a rectangular image region, we'll discover that some of these rectangular areas overlap, making them part of the same image. By repeatedly merging image areas whose bounding-boxes overlap, we end up with a very precise estimation of which pixels belong to images or photographs on the page. This algorithm is illustrated in Figure 1. The photo finding algorithm was evaluated in a small experiment, in which 93 out of 101 photos were detected, and 18 pieces of text were wrongly classified as photos. This map of which pixels belong to photos can then be used to generate multiple features such as the total photo area, number of photos, and average area per photo. Extracting Palettes When designing a website or other publication, a designer is aiming for a certain Look and Feel, trying to appeal to a specific audience or trying to evoke a specific response from a viewer. Color is the most important tool for this, so the intended purpose of a website can manifest in its use of color. Besides just extracting the colors used in the image, it is useful to analyze the combination of colors or palette. Whether a palette is bold, subdued, loud, etc. is determined by the relation between the colors, not the values of single colors. 12 nummer 2, december 2010

13 classifying websites using visual features De Connectie l Features Thomas van den Berg: I am a Master student in Artifi cial Intelligence at the University of Amsterdam. I am also freelance web designer. At the moment my studies focus on computer vision and gaming. In my little spare time I work on different web apps and indie computer games. site: A color palette usually consists of three main colors. The most used color is the base color, this is usually a neutral tint, used as the background color on most web pages. The most notable color, though, is the dominant color; this is often the color of graphical elements such as menus and page headers. Then there is a highlight color, this color can either be a stronger tint of the dominant color or a contrasting color, and is used as an accent. The highlight color is used for elements that require the user's attention, such as navigation buttons and section headers. In web design, a fourth color is employed for practical reasons: the color of the text is picked so that it has a high contrast with the background. The text color usually has a low saturation, regardless of the other colors in the palette. The algorithm used to extract a color palette is a clustering algorithm that groups similar colors. In order for this to work, the pixels of a page are represented as vectors in a color space. The R,G,B color space is not very suitable, because it doesn't correspond very well to the way humans perceive color. A better way to represent colors is in the L*,a*,b* space. This Figure 1: A local entropy map is created (a), small areas are removed (b). Then the bounding-box of each area is fi lled in until the image no longer changes as shown in (c) and (d). color space has three dimensions: L* is the perceived lightness of a color, a* indicates whether the color is green or red, and b* indicates whether it is blue or yellow. In order to classify images based on the color palettes, we have to extract features. In this research we used features such as average saturation, average lightness, contrast, the number of different hues, etc. THe MÜller ForMUlA One of the color palette features is based on a bit of color theory by A. Müller. This theory states that humans prefer colors to be in a natural order of brightness. Colors have a natural perceptual brightness that is actually reflected in the L*a*b* color space by the L* component. Blues and purples have a lower perceptual brightness, yellows and reds have a higher brightness, even if they have the same intensity in the RGB color space (intensity defined as R+G+B). Humans prefer combinations of colors that are ordered according to their natural brightness. For example, most people prefer a combination of dark blue and light orange over a combination of dark orange and light blue. To operationalize this rule, we find the natural brightness of each of the six hues in a color palette, and see if the intensities of these six colors are in the same order. If these orderings are more similar, the Müllerness feature will be higher (as computed by the Spearman correlation). experiment To evaluate the effectiveness of these new feature extractors, a classification experiment was set up. For the main experiment, a dataset was created by asking five participants to categorize a set of about 350 web pages on 3 different attributes. These attributes were selected so that there was some relation to visual features, namely: aesthetics, whether the site looks modern, and whether the website is informative. The average of each of the participants' scores was used to create two classes for each attribute, so looks good vs. looks bad, modern vs. old and commercial vs. informative. A Naive Bayes classifier was then trained and tested using 10-fold cross-validation. Performance was best on the aesthetics task, with 73% accuracy, and worst on the informativeness task, with 61% accuracy. This makes sense when you consider that, whether websites look informative or commercial, might involve more semantics that are harder to detect in simple visual features. nummer 2, december

14 Agenda Among the most predictive features for the aesthetics experiment were those that characterize the number of colors on the page and the number of photos used. Pages with many colors were usually considered to be bad looking, and a higher number of photos indicated a good looking page. In the modern vs. old experiment, the most important features were the size of the page and the average area covered by each photo. This is explained by technical limitations that were considered when the older websites were built. The older pages tend to be less wide, because they were designed for smaller monitors. They also have less and smaller pictures because of the limited bandwidth that was available. When distinguishing between commercial and informative pages, the number of photos was once again important, as photos are often used to display products and happy customers on commercial websites. Conclusion These experiments have shown that it is effective to extract high level design-related features from web pages in order to classify them. The method can be used to distinguish between different design-related qualities, and works well for classes that are closely related to the appearance of the website. High accuracy on aesthetics tasks indicate that the features are well suited for characterizing beauty in web design. This new method performed better than an earlier attempt at visual classification, and it has the added benefit of producing a human-readable feature space, allowing for easy examination of classification results and insight into what constitutes good web design. A practical application of the described methods could be a web design evaluation tool. If a classifier was trained on a larger dataset with good and bad design, it could be used to grade new pages. The tool could then return an overview of which features contributed to the grade, and how the page should be changed to get a higher grade. However, it remains to be seen if this method is by itself practically useful. Although the results for each experiment were significantly better than random, a real-world application might need more than 8 out of 10 correct predictions. In order for performance to improve, the feature extractors have to be fine-tuned and new feature extractors might be necessary. ø Workshop: An empirically-informed philosophy of logic» 7 and 8 december 2010, Amsterdam Topics: Logical form in cognitive processes, Animal logic, an evolutionary perspective on deductive reasoning, Towards a cognitive science of proof, Reasoning with generic information, Formal languages and the extended mind. fmri: From Neurophysiology to Cognitive Neuroscience» december 2010, Maastricht Physical Basis of fmri, Alternative fmri methods, FMRI data analysis, clinical & cognitive applications. Lectures, exercises, and practical demonstrations. CSCA lecture by Kees Stam» 15 december 2010 Plantage Muidergracht 22-24, Amsterdam, room P2.27 Both segregation and integration of information have to be dealt with in a single architecture of brain networks. There is strong evidence that synchronization of neural activity, both locally and between distant regions is a crucial code for functional interactions. A short pathlength, which implies that from any area in the brain any other area can be reached in a small number of steps, is strongly correlated with IQ. Symposium: New perspectives on face processing» 20 december 2010, Tilburg University How faces and facial expressions are perceived and processed in the brain. AWESOME IT» 11 februari 2011, Amsterdam Een symposium over mens en IT. Zeer geschikt voor studenten, 7,50 euro. congres.svia.nl IK 2011» 25 March - 1 April 2011, Germany, near Dortmund The Interdisciplinary College (IK) is an annual, intense one-week spring school which offers a dense state-of-theart course program in neurobiology, neural computation, cognitive science/psychology, artificial intelligence, robotics and philosophy. The IK is also a unique social event. In the evenings participants may enjoy the very special atmosphere: minds meet, music is played, and friends are made in long evening and night sessions. Prevention of noise-induced hearing loss» 14 january 2011 from 14:00-15:00 Groningen, Onderwijscentrum UMCG, Lokaal 4 14 nummer 2, december 2010 Does music make you smarter?» 19 january from 16:00-17:00, Plantage Muidergracht Amsterdam, room P2.27 CSCA lecture by Glenn Schellenberg

15 Jaap Oosterbroek, column De Connectie Wetenschap is niet mijn ding De meeste van mijn docenten zijn erg enthousiast over wetenschap. De meeste van mijn docenten zijn er ook erg teleurgesteld over dat er zo weinig studenten enthousiast zijn over wetenschap. Zo bleek maar weet eens uit het bedrukte gezicht van een docent toen hij de zaal vroeg hoeveel van hen onderzoeker wilden worden. Twee mensen staken twijfelachtig hun hand op maar besloten deze na een haastige inspectie van de modus in de zaal weer te laten zakken. De universiteit gaat er vaak ten onrechte van uit dat studenten zich inschrijven omdat zij in wetenschap zijn geïnteresseerd. Studenten gaan echter naar de universiteit omdat dit de opleiding is die het best aansluit bij hun capaciteiten. Voor de meeste van hun zou een gelijksoortig opleiding op het HBO lijden tot verveling, stagnatie, drugsverslaving en uiteindelijk suïcide. Het overgrote deel van de studenten vindt het fantastisch om dingen te leren, en neemt het wetenschappelijk gedoe dan wel op de koop toe. Bij docenten geeft dit helaas ergenis, stagnatie, een alcohol probleem en uiteindelijk totale desinteresse in de belevingswereld van studenten. In een recente enquête onder studenten in mijn eigen natuurwetenschappen faculteit is gebleken dat meer dan de helft van deze studenten een gebrekkige informatievoorziening over de aansluiting op de arbeidsmarkt ziet als het grootste manko van hun studie. Velen hebben blijkbaar het gevoel dat ze onvoldoende worden voorbereid op dat fatale moment waarop ze kiezen voor een comfortabele positie met een boven-modaal salaris in het bedrijfsleven in plaats van een wetenschappelijke carrière vol uitdagingen en creatieve energie. Voor mij is dit probleem acuut geworden nu ik recentelijk toch echt ben begonnen aan mijn afstudeerfase. Een angstaanjagend moment dat zal moeten worden afgesloten met een scriptie, daarop volgende een diploma en tenslotte, als het even tegen zit, een baan. Tijdens deze kwartalen van onzekerheid en wanhoop over de vraag waar ik nu weer terecht ga komen probeer ik mij te troosten met de gedachte dat ik een min-of meer competent ICT-er ben en ik toch-wel goed terecht kom. Maar wat als dat nou niet het geval zal zijn? Wat als alle baantjes die met computers te maken hebben straks naar India verhuizen. Wat als op het aanstaande moment dat al die babyboomers met pensioen gaan er ineens geen behoefte meer is aan hoogopgeleide mensen in het bedrijfsleven. Wat als de Kwisatz Haderach op aarde komt en predikt dat alle privé-computers verbannen moeten worden zoals in de oranje bijbel geschreven staat? Zou ik mijn geest dan toch laten prostitueren aan een promotiepositie? Als het schrijven van een bachelorthesis mij één ding heeft geleerd is het dat het academische echt niet mijn ding is. En zelfs als ik me er overheen kan zetten om van dat prachtige ambtenaren pensioen te kunnen genieten ik af en toe iets afgrijselijks zou moeten insturen naar een stoffige periodiek in de hoop dat iemand het voldoende passend in zijn eigen ideeënwereld acht, zou ik mezelf met moeite kunnen overtuigen om een wetenschappelijke carrière na te jagen. Natuurlijk lijkt het me fantastisch om na mijn studie nog over dezelfde creative ruimte en uitdagende omgeving te beschikken. Maar voor mij betekent wetenschap ook een bestaan in het verschikkelijke bureaucratische apparaat dat de universiteit heet. Voor mij is wetenschap ook omgaan met een pertinent tekort aan middelen. Een voortdurende strategische terugtocht tegen de oprukkenden budgettaire belangen van de hypotheekrente aftrek. Het hozen op een zinkend schip dat de kenniseconomie moet heten met een steeds kleinere emmer. Wetenschap is ook het omgaan met de agaïsche instituties en paradigma's die de vorige generatie wetenschappers heeft achtergelaten en vergeten op te ruimen toen ze besloten zich verder toe te leggen op het vergaren van beurzen en het runnen van een vakgroep in plaats van het doen van daadwerkelijk onderzoek. Ik kan natuurlijk al die nadelen de grond in kan relativeren. Ik kan de voordelen doen opzwellen tot heroische proporties. Ik kan dit alles op een valse weegschaal leggen en extra bijblazen op het moment dat ik het oordeel aflees. Dan, zelfs dan kan ik helaas niet erg enthousiast worden over wetenschap. nummer 2, december

16 Sicco van Sas, Harvesting the knowledge of the public After finishing his bachelor Artificial Intelligence, Sicco van Sas is currently studying the master of Artificial Intelligence at the University of Amsterdam. This article is based on his bachelor thesis. He is further developing these ideas together with Abdo el Ali, a PhD student in Mobile Human-Computer Interaction at the UvA as part of the ILPS (Information & Language Processing Systems) group. 16 nummer 2, december 2010 Vast technological improvements in the past two decades have made it possible to easily log our every-day experiences in digital format. We make photos and videos with our mobile phones and use GPS to track where we are. Access to high speed internet, whether via a cable or wireless, allow people to share this information via websites. Some of these websites have gathered enormous amounts of publicly available data. This data can be used for many purposes. EXPERIENCING THE CITY Geotagged photos 1 from Flickr can be used to create route recommendations, which allows for better navigation through a city. Tourists often find themselves lost in a new city. They'd like to know how to get from their current location to their destination via a nice and interesting route. To do this, they currently have to resort to city maps, tourist guides or by asking locals. While these methods work, they don t offer a precise solution to the specific needs of different tourists. Our method makes use of hundreds of tourists and 1 Photo s with GPS coordinates locals who have shared their interpretation of the city in the form of geotagged photos and tags. This data can be used to discover how the public actually experiences the city. LOCALISATION Modern mobile devices can be used as geographical information systems as they are capable of tracking their location, using location-aware technologies like GPS or cellular localization techniques. These geographical information systems have the ability to track the spatial behavior of people. This development has brought renewed interest to the time geography field. Time geography analyzes the patterns of human activity using space-time paths and has been praised for its representational capabilities, but has also been criticized for not being able to take the (social) context of human actions into perspective. A simple demonstration of this critique is as follows: A GPS tracker has logged the activity of a person. This person has walked through the streets of a city only to stop for 15 minutes at a certain location. It would be interesting to know why the person has stopped at that specific location, but this information is hard to infer from the pure GPS data. The person could have stayed there because of a nice view, which would mean that this place is interesting and thus a good recommendation to others. But the person could have also stopped because he coincidentally walked into a friend and decided to have a little chat, which would mean that this location is not particularly interesting. Luckily, GPS data is often coupled with other data like tweets, tags and photos. This geotagged data can be used to

17 harvesting the knowledge of the public De Connectie Figuur1. A route through Artis (the zoo of Amsterdam), inferred from geotagged photos. make assumptions about the meaning of the spatial-temporal activities. We assume that photos convey a certain experience which the photographer went through and made him decide to take a photo. This experience could have been a nice building or some other thing of interest. In Flickr, these experiences can be partially inferred from the photo tags and the objects in the photo. This way, we can infer the social context of a certain location. HARVESTING THE EXPERIENCES Flickr hosts a few billion images and more than 100 million of these are geotagged photos. Many photographers take several geotagged photos a day and publish these on Flickr. The geotag information together with the time and date of the photo can be used to easily infer the route made by the photographer during that day, as seen in Figure 1. This route consists of a sequence of locations where the photos were taken. Assuming that photos contain interesting experiences for the photographer, such a route can be interpreted as the highlights of the photographer s experiences during that day. In the context of a tourist walking through a city, the route can be seen as the places that appealed to the tourist. Each of the locations of this route are semantically enriched with the tags that were added to the photos by the photographer. The social context of the route can therefore be described using a tag cloud and some sample photos. The goal of all this is to create route recommendations. It is quite arbitrary to give a recommendation based on just one route, so we constructed a database of nearly 500 routes taken by different photographers in Amsterdam. These routes were inferred from more than geotagged photos from Flickr which were taken in Amsterdam during The routes in this database were compared to each other to find matching (parts of) routes. We assumed that if multiple routes took a similar path through the city, then this path must be popular and is therefore suited for recommendation. FROM EXPERIENCE TO RECOMMENDATION The specific sequence of each route had to be taken into account when comparing it to other routes. The task of comparing sequences is well studied in the bioinformatics field. They have been comparing sequences of protein and DNA for decades and developed various sequence alignment methods to do so. Back in the 90s, Clarke Wilson noticed that the comparison of sequences could be of great use to analyze social space-time activities 2,3. He extended a bioinformatics program (ClustalW) to work with more types of data, in order to represent social spacetime activities. This program, ClustalG, Figure 2. Several aligned sequences. Sequences with matching words are highlighted. nummer 2, december

18 advertentie: Figure 2 shows a part of the result of multiple sequence alignment. The horizontal lines are individual routes taken by tourists. Popular routes are parts of such routes with many matching words (highlighted). ClustalG has added gaps (denoted by ---- ) in between several of the route sequences in order to group matching words together. The more matching words in a vertical sequence, the more popular the route. Figure 3 shows a small selection of these popular routes. Figuur 3. A few popular routes, obtained via multiple sequence alignment. performs multiple sequence alignment by comparing sequences of words via several iterations of pairwise alignment and the construction of similarity trees. The location coordinates of the data had to be discretized in order to be represented as words. We divided Amsterdam in a grid with 50 by 50 meter cells (as seen in Figure 1), where each cell was represented with a unique four character word (for example Gewq ). A single route consisting of 8 locations (the first letter of a location s word is capitalized) would then be: "GewqGcnjGcndGevtGjneGkrwGkrpGoew" 18 nummer 2, december 2010 Our research is currently at this stage. Further developments will allow users to submit their current location and a desired destination. A search algorithm will then find several routes by connecting popular route segments. The user will get a visualization of the routes to choose from. A problem however, is that the user, most likely a tourist, will not be able to choose between the routes. That is where the tags come in to play. A tagcloud for every route recommendation should give the user a clue of what to expect for each route. Besides the tags, a few sample photos for each route will give the user an impression of what can be seen on that particular route. These semantic clues help the user to select a preferable route. Future user studies based on this program will have to determine whether this method can become an alternative for traditional ways to navigate through a city. This method shows how digital breadcrumbs of peoples activities can be used to gain intricate social knowledge of areas, which can be used to enhance peoples experiences. ø Bibliografie: [1] Hägerstrand T. - What about people in regional science? Papers in Regional Science, 24(1):6-21, [2] Wilson C. - Activity pattern analysis by means of sequence-alignment methods. Environment and Planning A, 30(6): , [3] Wilson C. - Reliability of sequence-alignment analysis of social processes: Monte carlo tests of clustalg software. Environment and Planning A, 38(1): , korting op awesome it Tickets bestellen voor 14 december surf snel naar: awesome it > IBM > Guerilla Games > Cognitieve Robotica > Computerkunst

19 Ork de Rooij, PhD in Computer Science, UvA, about finding needles in haystacks De Connectie About finding needles in haystacks Ork de Rooij is a PhD student in computer science at the University of Amsterdam, where he works on advanced visualization systems for large video collections. His main research interests cover multimedia information visualization, user computer interaction and large scale content based multimedia retrieval systems. Contact him at ork@ork.be Nowadays, there are many online multimedia collections available such as YouTube, Google Video and uitzendinggemist.nl. Although users are frequently able to add descriptions or tags to these videos, many videos still remain largely descriptionless, or unannotated. This poses a problem: what if we want to retrieve something specific later on? How do we find it? Without further aid, this is not much different than looking for a needle in a haystack. The problem becomes even bigger if we include offline collections such as personal home video, surveillance videos and digital broadcast archives. In these collections the lack of annotation is even greater, and because the content is not online you cannot hope for hundreds of users tagging everything for you. Finding something specific then becomes next to impossible without resorting to just watching everything. In this article we give a bird s-eye view of the research area of content-based video retrieval. We highlight a couple of solutions to this problem, and showcase the approaches we are investigating at the Intelligent Systems Laboratory Amsterdam of the University of Amsterdam. Content-based video analysis A video with no annotation or other metadata cannot be found without further aid. But, that what you are looking for is represented in the video itself. So, to search for something, we need to look at the content itself. For a human, this is easy. For a computer, not so much. Generally, in content-based image retrieval, a series of content analysis algorithms study images or videos and extract information from them. This can be something simple, like This image contains 50% blue stuff, though nowadays we re more at the levels of This image probably contains an airplane. The number of available techniques to do this has grown rapidly in the last decades, varying between methods which analyse images globally, per region, by extracting shapes, by color or texture, or by looking at interesting keypoints. For example, one of the more popular and heavily researched methods used nowadays in video retrieval is the Scale-Invari- Figuur 1. A screenshot of the ForkBrowser, part of the MediaMill Semantic Video Search ant Feature Tranform (SIFT) method by David Lowe [6]. SIFT finds interesting points and describes these invariant to intensity, color, scale and rotation [8, 9, 2]. In the early years content-based video retrieval was based on low-level feature comparisons. However, this posed a problem for users. How do you translate that you are looking for an airplane taking off into statements such as 25% blue present, horizontal line visible,.... This problem is known as the semantic gap [8]. To solve this, many existing systems tried to translate the query to the low-level feature space itself, requiring specialized forms of input from the user. Examples include drawing sketches or providing example images. This isn t always possible or practical, so alternative methods are needed. nummer 2, december

20 In more recent literature several solutions have been proposed and examined to try to solve the gap between user intent and low-level visual feature querying. One of these methods is generic concept detection [9] which allows automatic labeling of people, objects, settings or events within video content, albeit with varying performance. Each shot is now also automatically annotated with presence scores for a variety of concepts Concept detection globally works as follows. First, video is segmented into individual shots: fragments of video from a single camera capture. These shots are then analyzed individually and low level visual features are extracted. Next, for each definable concept we first need to learn this concept. This is done by manually tagging (large) sets of shots with labels, indicating that for example this shot contains an airplane. These sets of labels are then used in supervised machine learning algorithms, such as Support Vector Machines [1]. These algorithms create an internal representation of that concept based on the set of given examples. This internal representation, or model, of a concept is then stored and used later on to determine that concepts presence on new video fragments. This yields a score between 0 and 1 indicating the system s view on the presence or absence of visual concepts for each shot in the collection. These scores can be seen as a new form of metadata that can be used to characterize individual shots. Each shot is now also automatically annotated with presence scores for a variety of concepts. The quality of automated detection varies however, so to be sure, results must still be visually inspected. A combination of automated analysis and visual inspection does however give us a means to do content-based video retrieval. Finding Needles Interactively A set of detected semantic concepts, together with other computed sources of information, such as speech recognition results and similarity between shots, gives us several ways to search through video. Worldwide, several institutes, companies and universities are working on both content based analysis and accompanying interactive interfaces for video retrie- Engine. Right: figuur 2. A screenshot of the UvA MediaTable system. Here you see part of a collection of 200 hours of video visualized as a table, with a part expanded through a lens effect. 20 nummer 2, december 2010