Multimedia Information Retrieval

Transcriptie

1 Multimedia Information Retrieval Opdracht 4: Music Information Retrieval versie 1.2, 8 december 2008 Opdrachtsomschrijving Wanneer we het over muziek hebben is lijken op een moeilijk begrip. (Meestal hanteren we hiervoor het Engelse begrip musical similarity of kortweg similarity.) Als luisteraar maken we spontaan associaties tussen muziekstukken en die ervaren we meestal in termen van similarity. Als we proberen te beschrijven waarop zo n ervaring gebaseerd is, blijkt vaak dat er allerlei kenmerken ( features ) een rol spelen. Voorbeelden zijn melodie, sfeer, beat, instrumenten of stemgebruik. De ervaring van similarity kan een of meer (maar zelden alle) dimensies betreffen. Similarity kan heel specifiek of meer algemeen zijn (zie slides hoorcollege Music IR). En dan zijn er nog kwesties als smaak, training, repertoirekennis, en buitenmuzikale associaties. De ideale muziekzoekmachine kan natuurlijk met deze rijkdom aan features omgaan, maar dat ideaal is nog lang niet gerealiseerd. Deze opdracht bestaat uit vier samenhangende onderdelen rondom het thema similarity: 1. beschrijving van muziek: welke features spelen in een concreet voorbeeld van similarity een rol? 2. transitiviteit: als A op B lijkt, en B op C, lijkt A dan ook op C? 3. ranking van muziekfragmenten; 4. muzikale queries en zoekmachines: de implementatie van similarity. Deadline Lever deze opdracht in via Submit; de deadline is maandag 22 december 2008, Hulpmiddelen MP3 en andere audio kun je makkelijk knippen (en plakken) met Wavepad ( (formele beschrijving transitieve relatie) (maar niet heel informatief) (wat is een hook, met voorbeelden) (enorme lijst features) slides college Music Information Retrieval artikel R.C. Veltkamp, F. Wiering, R. Typke. Content Based Music Retrieval, Inleveren Lever voor deze opdracht het volgende in: 1. drie muziekfragmenten; 2. volledig ingevuld uitwerkformulier. 1

2 Werkwijze Verdeel het werk als volgt: week 1: de onderdelen 1 en 2 week 2: de onderdelen 3 en 4 Onderdeel 1: beschrijving van muziek Stap 1 kies je materiaal Voor deze opdracht heb je 3 muziekstukken nodig, die je zelf verzamelt. Gebruik je MP3-speler, wat je op je computer of Internet vindt, of je CD-collectie. Eén stuk is het model (in het vervolg aangeduid als A). Kies nu twee andere stukken die naar jouw persoonlijke mening hierop lijken (B en C). Als je met z n tweeën werkt kun je elk een stuk uitzoeken. Ze hoeven niet om dezelfde reden op het model te lijken. Vul in het uitwerkformulier voor zover bekend de volgende metadata in, voor ieder stuk: titel; componist; uitvoerder; herkomst (titel CD, URL of andere info die het mogelijk maakt het stuk op te sporen). Stap 2 kenmerkend fragment Zoek in elk van de 3 stukken één fragment van maximaal 30 seconden dat heel kenmerkend of opvallend is. Knip dit uit de opname en sla het op als MP3 (voor een tool zie hulpmiddelen). Vul de filenamen in in het uitwerkformulier en lever alledrie de fragmenten in. Kenmerkend en opvallend zijn wat lastige begrippen. Je kunt denken aan een melodie die steeds terugkeert, een speciaal geluidseffekt, of het meest emotionele deel van het nummer. Soms vind je de term hook gebruikt voor zo n gedeelte. Wikipedia geeft een aantal goede voorbeelden van hooks. Je kunt naar eigen inzicht bepalen welk fragment je kiest. Stap 3 spontane beschrijving relatie Leg in één zin uit waarom je A en B op elkaar vindt lijken (het gevoel, klank, sfeer of iets dergelijks dat beide stukken delen). Idem voor A en C. Vul in in het uitwerkformulier. Stap 4 beschrijf het model, A Beschrijf nu het gekozen fragment uit A in termen van waarneembare muzikale features. Hier is hoe het Music Genome Project deze taak omschrijft:...we set out to capture the essence of music at the most fundamental level. We ended up assembling literally hundreds of musical attributes or "genes" into a very large Music Genome. Taken together these genes capture the unique and magical musical identity of a song - everything from melody, harmony and rhythm, to instrumentation, orchestration, arrangement, lyrics, and of course the rich world of singing and vocal harmony. It's not about what a band looks like, or what genre they supposedly belong to, or about who buys their records - it's about what each individual song sounds like. [ Features hebben een naam en een waarde. Bij voorbeeld, de feature bezetting kan waarden hebben als vrouwenstem en piano of drum solo, de feature melodie kan als waarde een tekst hebben, bij voorbeeld kleine toonsafstanden, lange frasen, of een grafiek die de contour van de melodie weergeeft. Een feature hoeft dus niet persé in woorden te worden uitgedrukt. 2

3 Probeer zo nauwkeurig mogelijk weer te geven wat je hoort. Het geeft niet als je dit niet in muziektheoretische termen kunt doen. Gebruik in ieder geval wel de volgende categorieën: toonhoogte: soort melodie, soort samenklank. Melodieën zou je kunnen weergeven als curven. Het is lastig om samenklank te beschrijven. Ze kunnen consonant (welluidend, eenvoudig) of dissonant zijn (ruig of complex van klank). Soms wordt een beperkt aantal samenklanken steeds herhaald of is er een andere logica in de opeenvolging te horen. Soms is die ook nauwelijks aanwijsbaar. ritme: sterkte en snelheid van de beat; beweging ; herhaalde patronen; swing sterkte geluid: hard/zacht/afwisselend klankkleur: instrumenten, stemmen, andere geluiden Misschien valt er wat te zeggen over het verloop van het fragment, bij voorbeeld in termen van spanning en ontspanning, of van herhaling en contrast. Stap 5 beschrijf B en C Beschrijf nu de gekozen fragmenten uit B en C in termen van overeenkomsten en verschillen met A. Onderdeel 2: transitiviteit Informeel gedefinieerd, verstaan we onder transitiviteit het volgende. Stel A heeft een bepaalde relatie met B, en B heeft dezelfde relatie met C, dan is die relatie transitief als A ook die relatie met C heeft. Twee voorbeelden: huisgenoot van is een transitieve relatie (want als A huisgenoot is van B en B van C, dan is ook A huisgenoot van C) moeder van is geen transitieve relatie, want als A de moeder is van B en B van C, dan is A niet de moeder maar de grootmoeder van C. ( Voorouder van is dus wel een transitieve relatie.) Is similarity ook een transitieve relatie? Dit is een interessant probleem, omdat transitieve relaties het ontwerpen van zoekmachines aanzienlijk vereenvoudigen. Stap 6 vergelijk B en C onderling Vind je op je gevoel dat B en C op elkaar lijken omschrijf kort waarom je dat vindt. Kom je tot hetzelfde oordeel op basis van de vergelijking van de features van B en C? Licht je oordeel toe. Wat kun je concluderen over de transitiviteit van musical similarity in je voorbeelden? Onderdeel 3: ranking van muziekfragmenten Voor dit onderdeel heb je de beschikking over een kleine collectie bestaand uit 18 muziekfragmenten, gelabeld A-R. Er is geen informatie gegeven over titel, artiest en dergelijke. Stap 7 de query De queryfragmenten zijn A, B, G, H, M en N. Kies een hiervan als de query waarmee je aan het werk gaat. Geef op het formulier antwoord op de volgende vragen: welk fragment heb je gekozen? herken je dit fragment? als je het herkent, wat is het dan volgens jou? beschrijf informeel, in een of twee zinnen, de muzikale inhoud van de query. 3

4 Stap 8 bepaal de features van de query Stel vast wat de 3-5 belangrijkste features van het queryfragment zijn. Dit is de query feature set waarmee je gaat werken. Beschrijf de waarde van deze features. Vul namen en waarden van de features in op het antwoordformulier. Stap 9 beschrijf de andere fragmenten Beluister nu alle andere fragmenten (inclusief de andere queryfragmenten) en pas de query feature set op deze fragmenten toe. Je zult merken dat in sommige gevallen de feature ontbreekt, in andere gevallen aanwezig is maar een andere waarde heeft, en in weer andere gevallen (ongeveer) dezelfde waarde heeft. Verzin een niet te ingewikkelde methode om dit te scoren en leg je resultaten vast in het antwoordformulier. Verzin ook een eenvoudige manier om tot een totaalscore te komen van de similarity (want die ben je aan het bepalen) tussen de query en de andere fragmenten. Vul ook de totaalscores in. Stap 10 ranking Gebruik de totaalscores om een ranking in de items aan te brengen en vul deze in in het antwoordformulier. Evalueer de ranking. Is deze zinvol? Licht je oordeel kort toe op het antwoordformulier. Onderdeel 4: muzikale queries en zoekmachines Stap 11 user need Hiervoor gebruik je weer het fragment A. Stel een gebruiker kent stuk A en wil andere stukken vinden (zoals B en C) die daarop lijken. Formuleer de bijbehorende user need in een zin: Ik wil stukken vinden die dezelfde... hebben als A (tip: gebruik stap 3; raadpleeg ook de slides van het hoorcollege Music IR). Stap 12 query Vertaal de user need naar minimaal 3 muzikale features (tip: gebruik stap 4). Stap 13 verwachte output Wat voor soort output zou je verwachten dat een goed bruikbare muziekzoekmachine zou leveren op deze query: wat voor soort muziek, hoeveel, hoe geordend, etc. Stap 14 zoekmachines Kies uit het onderstaande lijstje 3 muziekzoekmachines. Kunnen die jouw query aan? Waarom (niet?). Denk aan factoren als: user interface database logical view op muziek methode om similarity score te bepalen Raadpleeg waar mogelijk documentatie van de zoekmachine. YahMuugle, Shazam, (zie ook Last.fm, Themefinder, Musipedia, Midomi, 4

5 Musicovery, een andere die je kent Stap 15 requirements Je hebt waarschijnlijk ondervonden dat de state of the arts van Music Information Retrieval verrre van ideaal is. Formuleer op basis van je bevindingen drie niet-triviale requirements voor een goed bruikbare muziekzoekmachine. Een alinea per requirement; totaal c woorden. Aanwijzing: denk aan aspecten als: input/query features matching content output Hulpmiddel: wat queries Mocht je wat meer queries willen kunnen gebruiken voor je zoektocht, dan zijn er hier nog enkele. Ze zijn in notatie en MIDI beschikbaar. Bach, Kunst der Fuge MIDI: BachKDF1.mid MIDI: BachKDF2.mid Beatles, Yellow Submarine MIDI: Submarine.mid Beatles, Yesterday MIDI: Yesterday.mid Beethoven, Symphony no. 5 MIDI: Beethoven. mid Dat gaat naar Den Bosch toe (folk song) 5

6 MIDI: Bosch.mid Frank Sinatra, My Way MIDI: Myway.mid Jan Alberts (folk song) MIDI: JanAlberts.mid Mozart, Ah vous dirai-je (=Twinkle, Kortjakje etc.) MIDI: Mozart.mid Rolling Stones, Satisfaction MIDI: Satisfaction.mid Roslin Castle (folk song) MIDI: Roslin.mid 6