Modellen en data-acquisitie. acquisitie. Bart de Boer University of Washington Center for Mind, Brain and Learning & AI-Lab Vrije Universiteit Brussel

Transcriptie

1 Modellen en data-acquisitie acquisitie Bart de Boer University of Washington Center for Mind, Brain and Learning & AI-Lab Vrije Universiteit Brussel

2 In deze les Nadere kijk op de empirische cyclus Waarom en hoe modelleren? Problemen van data-acquisitie Case-study over hoe spraak geleerd wordt

3 De empirische cyclus 1) Observatie van een fenomeen 2) Maak een voorlopige theorie 3) Maak een voorspelling/formuleer een vraag 4) Doe een gecontroleerd experiment 5) Kijk of data je vraag beantwoordt 6) Pas theorie aan en ga naar stap 3)

4 Voor welke wetenschap? Natuurwetenschap Makkelijk te controleren experimenten Vaste werkelijkheid Sociale- & menswetenschap Vaste werkelijkheid (?) Experimenten moeilijk te controleren Niet: filosofie, theologie, wiskunde Geen vaste werkelijkheid

5 Focus in deze les Hoe vergaar je data? Hoe test je een theorie? Vooral over cognitieve vraagstukken Niet altijd evident Experimenten lastig/onethisch/onuitvoerbaar Daarom: modelleren

6 Problemen met experimenten Lastig Experimenten met grote hoeveelheden proefpersonen, of met lastig te controleren variabelen Onethisch Veel experimenten met cognitieve ontwikkeling Onuitvoerbaar Klimaatsveranderingen

7 Computermodellen (1) Je kunt ermee doen wat je wilt Maar: je test niet de werkelijkheid, maar de theorie Overeenkomst model/werkelijkheid onderzoeken Ook: Soms is je theorie zo complex dat je niet zomaar het gedrag kunt voorspellen Sommige fenomenen zijn (nog) niet meetbaar

8 Computermodellen (2) Interactie model-werkelijkheid Test model met echte data Vergelijk gedrag van het model met gedrag van de werkelijkheid Computermodel maakt dataacquisitie niet overbodig

9 Data-acquisitie acquisitie (1) Meten is niet eenvoudig Gegeven een theorie en een vraag over die theorie Voorbeelden: klimaatsverandering Wat voor input hebben kinderen nodig voor het leren van taal?

10 Data-acquisitie acquisitie (2) Wat meet je? Welke grootheid vertelt je iets over het probleem? Welke waarden kan die grootheid aannemen? Hoe meet je die grootheid? Meten niet altijd makkelijk (temperatuur) Nog ingewikkelder met mensen (intelligentie )

11 Data-acquisitie acquisitie (3) Hoe filter je de data? Teveel rauwe data. Ruis Vergelijken verschillende instanties: vind invariante eigenschappen Hoe vergelijk je data met je theorie en met andere data? Statistiek Chi-by-eye

12 Problemen experimenten Experimenten gebruiken ook al zijn ze misschien niet goed Kost (tijd, geld) Prestige Carrière Alleen zien wat je wilt zien Data selectie (massage van de data) Statistiek manipuleren Manipulatie van t experiment Dit alles gaat vaak onbewust!

13 Case study verwerving spraak Observatie: Volwassenen praten anders tegen kinderen dan tegen andere volwassenen Infant-directed (ID) en adult-directed (AD) speech Idee: Dit vervult een nuttige functie Beter leerbaar

14 Paper Patricia K. Kuhl, Jean E. Andruski, Inna A. Chistovich, Ludmilla A. Chistovich, Elena V. Kozhevnikova, Viktoria L. Rysinka, Elvira I. Stolyarova, Ulla Sundberg, Francisco Lacerda Cross-Language Analysis of Phonetic Units in Language Addressed to Infants Science 277, 1 Augustus 1997 Engels, Russisch, Zweeds

15 Wat is nodig voor leerbaarheid? Vind de spraakklanken van taal Unsupervised classification Aandacht van het kind Duidelijke categoriën 1) Langer 2) Makkelijker herkenbaar 3) Verder van elkaar 4) Compacter

16 ID en AD spraak Babies blijken ID spraak te verkiezen ID is langzamer ID heeft groter intonatiebereik Is het ook beter gearticuleerd? Kuhl et al. (1997) hebben aangetoond dat het beter gearticuleerd is. Hoe hebben ze dit gedaan? Is het ook echt beter leerbaar?

17 Hoe meet je goede articulatie? De articulatoren zelf zijn niet te meten in een natuurlijke setting Röntgenfilm (gevaarlijk, markers op de tong nodig) Indirekt te meten via akoestiek Articulatie van klinkers verdeelt het spraakkanaal in verschillende holtes Resonanties van holtes beïnvloeden het akoestisch signaal

18 Meten van de akoestiek Resonanties veroorzaken pieken op bepaalde frequenties In theorie zijn die af te leiden uit het signaal Probleem: Je kunt ze alleen meten als je weet waar ze zitten.

19 Experiment 30 moeders (Gustafson 1991) Moeders spelen met kind (ID) en praten met experimentator (AD) ~half uur per moeder Gebruiken woordenlijsten/voorwerpen: Sheep, beads, keys, pot, top, sock, boot, spoon, shoe(s) /i/, /a/, /u/ Aanname voor vergelijkbaarheid: moeders spreken die woorden hetzelfde uit.

20 Problemen Oversturing opnames Te zacht praten Accent Vergeten woorden Door elkaar praten Speelgoedgeluiden Geluid om aandacht kind te trekken Babygeluiden (huilen, pruttelen, boeren) Babies vallen in slaap

21 Selecteer en digitaliseer Selecteer moeders Welke criteria? Selecteer woorden per moeder Criteria? Selecteer begin/eind klinker en midden

22 Vergelijken ID en AD spraak Statistische tests Oppervlakken driehoeken van eerste en tweede formant significant Wat is er allemaal niet significant? Kun je alle moeders wel zomaar op een hoop gooien?

23 Tussenconclusie ID-speech beter gearticuleerd Maar is het ook beter leerbaar? Want: ook meer variatie Variatie ongunstig voor leren Experimenteel te testen Maar onethisch, en onuitvoerbaar

24 Test met computermodel Unsupervised classification Gegeven een dataset Vind uit hoeveel clusters er zijn en waar die liggen Dataset bestaat uit een aantal tijdreeksen (gedigitaliseerde woorden) (maar voorlopig worden ze beschouwd als statisch in de tijd) Gebruik oorspronkelijke opnamen als input

25 Algoritmes Signaalverwerking Frequentiespectrum (FFT) Gladgemaakt op perceptueel realistische manier Discrete Cosine Transform Clustering door iterative valley seeking (Fukunaga 1990) Cognitief plausibel Maar beter begrijpbaar dan Neuraal Netwerk

26 signaal Signaalverwerking spectrum gewogen cepstrum gewogen spectrum

27 Clustering resultaat (1)

28 Clustering resultaat (2)

29 Resultaten Clustering werkt (soms) Maar geen verschil tussen ID en AD spraak ID spraak heeft vaak teveel variatie Sommige moeders goed in beide registers, andere slecht in beide Ook: te weinig data

30 Wat zijn de problemen? Klinkers blijken toch niet statisch te zijn, maar veranderen over de tijd Origineel onderzoek liet ook zien dat begin, midden, eind verschillend waren Maar ook dat ze verder uit elkaar liggen voor ID spraak.

31 En verder Variatie lijkt grootste probleem Ook verandering in de tijd levert problemen op Nieuw onderzoek: Variatie in ID/AD spraak Nieuwe data verzamelen zonder de oude fouten Start nieuwe ronde in de empirische cyclus.