Parametrisch Mixen Bachelor afstudeerscriptie van Peter Geldof Geassisteerd door Remko Scha Universiteit van Amsterdam Juni 24
Inhoudsopgave Inleiding 3 Systeem opzet 5 Volume extractie 6 Splitsen 8 Ritme 9 Pitch extractie 9 Mixen 9 Evaluatie 12 Referenties 13 2
Inleiding Deze scriptie is geschreven naar aanleiding van het Bachelor afstudeerproject. Dit project ging over de zelf bedachte term Parametrisch Mixen. In hedendaagse muziekvormen worden vaak ook allerlei niet-muzikale geluidsbronnen gebruikt, waarvan de muzikale eigenschappen dan tot leven worden gebracht door fragmenten ( samples ) te herhalen ( loops ), door ze te combineren ( mixen ) met andere geluidslagen, en door ze om te vormen met effect-apparatuur. In deze benadering zijn de herhalingen meestal vrij letterlijk, en gebeurt het mixen door het simpelweg optellen van de signalen ( additive mixing ). Met de huidige technologie zijn er echter ook andere, meer complexe methodes mogelijk om signalen te combineren. Een nieuwe mogelijkheid, die we Parametrisch Mixen gedoopt hebben, is in dit project onderzocht. Parametrisch Mixen is een methode om een signaal op een zodanige manier te mixen met een ander signaal dat de inhoud van het signaal hetzelfde blijft en alleen de eigenschappen (parameters) ervan veranderen. Het idee gaat uit van twee signalen, een stuursignaal en een objectsignaal. Het is de bedoeling om de waarden van verschillende parameters uit het objectsignaal te vervangen door de waarden van dezelfde parameters uit het stuursignaal. Voordat deze substitutie plaats kan vinden zullen eerst de waarden van de parameters uit kleine gelijke stukjes van zowel het stuur- als het objectsignaal gevonden moeten worden. Hierna moet voor beide signalen op basis van verschillen in de waarden van de parameters bepaald worden op welke punten het signaal gesplitst moet worden. Voor elke stukje signaal moet nu opnieuw de bijbehorende waarde van de parameter bepaald worden. Hierna zal de resynthetisatie van het objectsignaal plaatsvinden door de gevonden waarden van de parameters van het stuursignaal te gebruiken in plaats van de gevonden waarden van de parameters van het objectsignaal..6.5.4.4.3 amplitude - amplitude.1 -.4 -.1 - -.6 -.3 -.8.5 1 1.5 2 2.5 sample 3 3.5 4 4.5 5 x 1 4 figuur 1: een stukje muziek van een orkest -.4.5 1 1.5 2 2.5 sample 3 3.5 4 4.5 5 x 1 4 figuur 2: een stukje menselijk spraak De keuze van de verschillende parameters, maar ook van de signalen zal bepalend zijn voor het resultaat. In dit project is gekozen om ritme en volume de belangrijkste rol te laten spelen, omdat ritme en volume voor een groot deel de ervaring van het signaal bepalen. Wanneer twee totaal verschillende geluiden, bijvoorbeeld spraak en een drumsolo, exact hetzelfde ritme hebben, zullen ze zeer veel op elkaar lijken. Om 3
deze reden is de keuze van een mooi en duidelijk stuursignaal belangrijk. Wanneer een mooi en duidelijk signaal (weinig ruis, duidelijk geluid) onderzocht wordt, zal dit beter gaan dan wanneer een signaal waar een heel orkest speelt of een vaag geluid met veel ruis onderzocht wordt. Voor het objectsignaal is het minder essentieel maar toch ongewenst om een dergelijk slecht signaal te gebruiken. In figuur 1 is een stukje van een muziekstuk van een orkest afgebeeld. Door de vele instrumenten die dwars door elkaar lopen is het erg moeilijk om een ritme te vinden, dit is een voorbeeld van een signaal die voor dit onderzoek ongewenst is. In figuur 2 is een geluidsopname van een gesproken stukje tekst. Duidelijk is nu te zien dat er veel meer verschil in ritme en volume is. Deze verschillen vormen de basis van het hele concept van het parametrisch mixen. 4
Systeem opzet Ons systeem zal bestaan uit een aantal componenten dat met elkaar samenwerkt. In figuur 3 staat schematisch aangegeven op welke plek de componenten staan en waarmee ze in directe verbinding staan. In dit figuur staan rechthoeken voor data, ovalen representeren processen en lijnen staan voor input en output verbindingen tussen de data en de processen. Het systeem is globaal op te delen in drie delen: Parameters vinden, splitsen en mixen. Nadat een geluidssignaal geladen is worden verschillende waarden van parameters gezocht. Hierover meer in de hoofdstukken Volume extractie, Ritme en Pitch extractie. Vervolgens wordt, op basis van verschillen in waarden van deze parameters, het signaal gesplitst (zie het hoofdstuk Splitsen ). Daarna wordt voor elk gesplitst stukje signaal één representatieve waarde per parameter gevonden. Uiteindelijk wordt in het hoofdstuk Mixen beschreven hoe de signalen en parameters met elkaar gemixt worden. Signaal 1 Signaal 2 Parameters vinden Parameters vinden Signaal 1 en parameters Signaal 2 en parameters Signaal splitsen Signaal splitsen Parameters stukjes signaal Vervang parameters van signaal 2 door parameters signaal 1 Parametrisch gemixt signaal figuur 3: Schematisch overzicht van het systeem 5
Volume extractie Voordat begonnen kan worden met het onderzoeken van het volume, moet het geluid eerst gesplitst worden in kleine gelijke stukjes. Een aan te bevelen grootte bij bijvoorbeeld spraak is voor deze stukjes 2 milliseconden. Korter heeft hier weinig zin, aangezien het bijna niet mogelijk is om kortere geluiden door middel van spraak te genereren en onderscheiden. Nadat het signaal in gelijke stukjes is opgesplitst, moet van elk stukje het volume worden bepaald. In figuur 1 en 2 waren twee voorbeelden te zien van hoe de data van een geluidssignaal eruit ziet. Als je nu een representatieve waarde wilt uitrekenen voor een bepaald stukje, wordt over het algemeen de gemiddelde energie (de wortel van de som van de kwadraten) genomen. Deze methode heeft als voordeel dat de volumes relatief in ongeveer dezelfde verhouding staan als dat je het hoort. Om twee redenen doen we dat hier echter niet. Ten eerste, het kwadrateren, optellen en worteltrekken van getallen kost veel tijd. Vooral bij een langer signaal loopt deze tijd snel op. Ten tweede worden bij het gebruiken van de gemiddelde energie de verschillen enigszins benadrukt, maar volgens ons niet genoeg. Er is een andere veel simpelere methode die dit voor ons kan doen. Wanneer gekozen wordt voor het nemen van de uiterste waarde in het stukje signaal hoef je slechts één keer de waarden van het stukje signaal langs te lopen. Je zoekt dus naar de grootste positieve waarde en de grootste negatieve waarde en neemt de grootste (de negatieve waarde wordt positief gemaakt). Deze methode is iets minder precies als het gaat om de relatieve verhouding tussen verschillende pieken. Dus de accuraatheid vergeleken met wat je echt hoort is iets minder, maar voor dit project wel goed genoeg. Wanneer je voor alle stukjes bijbehorende volumewaarden gevonden hebt, heb je een rij getallen die, achter elkaar geplaatst, het volume van het signaal bepalen. 1 Volume extractie met extreme waarden.9.8.7.6 volume.5.4.3.1 5 1 15 2 25 3 frame figuur 4: Het volume per frame bij gebruik van extreme waarden 6
.7 Volume extractie met gemiddelde energie.6.5.4 volume.3.1 5 1 15 2 25 3 frame figuur 5: Het volume per frame bij gebruik van de gemiddelde energie 7
Splitsen Aan de hand van deze rij getallen moet bepaald worden op welke punten gesplitst moet worden. Wanneer deze rij getallen in een grafiek wordt gezet (figuur 4) is te zien hoe het signaal ongeveer verloopt. Bij het splitsen moet geprobeerd worden om de verschillende pieken in het signaal van elkaar te scheiden. Dus moeten de splitspunten idealiter in de dalen van de grafiek liggen. Dit bereiken is moeilijker dan het lijkt. Ten eerste kan (en zal vaak ook) een stijging van dal naar top en een daling van top naar dal meer dan 1 frame in beslag nemen. Om deze reden moet er bij het doorlopen van de gegevens een korte geschiedenis bijgehouden worden waarin onder andere wordt gemeld of de grafiek aan het dalen of stijgen was bij het vorige getal. Ook moet er worden bijgehouden hoe groot de stijging of daling is. Stijgingen en dalingen vinden continu plaats, vaak betreft het simpelweg ruis. Verder wanneer gekozen is voor frames van korter dan 2 milliseconden, is de grafiek veel meer gekarteld. Dat wil zeggen, er komen veel meer lokale minima voor. Tenslotte moet je bij stijgingen gedurende de stijging exact bijhouden wanneer de stijging begon, omdat er op dát punt gesplitst moet worden. Dit omdat je niet van tevoren weet of de stijging groot genoeg zal zijn. Echter, dit geeft ook weer een nieuw probleem. Op deze manier kan het namelijk voorkomen wanneer na een dal onmiddellijk weer een stijging begint, dat twee keer hetzelfde punt genoteerd wordt. Dit is natuurlijk overbodig. Dus wordt ook het laatst genoteerd punt onthouden..8 Volume en splitspunten.7.6.5 volume.4.3.1 2 4 6 8 1 12 14 16 18 2 frame figuur 6: het volume van een signaal, gemeten per frame (lijn) en de punten waarop gesplitst wordt (sterretjes) 8
Ritme Zoals eerder al aangegeven is het ritme een van de belangrijkste parameters. Het ritme van een signaal zoeken kan heel moeilijk of zelfs onmogelijk zijn bij ingewikkelde signalen zoals grote concerten. Daarom wordt in dit project aangenomen dat er stiltes in het signaal voorkomen. Deze stiltes zijn eenvoudig te vinden uit de volumewaarden. Wanneer een volume lager is dan een bepaalde grens, gaat het om een stilte. Een stilte in het objectsignaal zal weggelaten worden en een stilte in het stuursignaal zal een soort pauze in het objectsignaal betekenen. Op deze manier kan je het ritme van het stuursignaal overnemen, en in het objectsignaal stoppen. Pitch extractie Van tevoren bestond het idee om naast volume extractie, ook pitch extractie te doen, zodat er een extra parameter was om mee te mixen. De reden hiervoor was om te proberen ook de melodie van het stuursignaal over te nemen. Bij het experimenteren hiermee, bleek al dat het gewenste resultaat (de melodie overnemen) erg lastig te bereiken valt. Dit omdat de aard van het signaal niet bekend is. Het kan om een stuk spraak gaan, of om een muziekinstrument, of iets anders. Elk klankproducerend middel heeft zijn eigen timbre. Er zijn pitch extractie technieken die voor een specifiek timbre werkt, maar geen algemene. Wanneer een pitch extractie techniek voor een ander timbre gebruikt wordt als daar waar hij voor gemaakt is, zal het resultaat mechanisch klinken. Mixen Wanneer alle waarden van de parameters van zowel het stuursignaal als het objectsignaal bekend zijn, kan begonnen worden met het mixen. Het doel van het mixen is een signaal te krijgen met de inhoud (bijvoorbeeld tekst) van het objectsignaal en de eigenschappen (ritme, volume) van het stuursignaal. Bij het mixen worden alle stukjes van het objectsignaal doorlopen. Allereerst wordt gekeken naar het eerste element van het stuursignaal. Wanneer dit een stilte betreft, wordt er een stilte die even lang duurt als deze stilte in het stuursignaal in het resultaat gevoegd. Dit proces wordt herhaald tot het volgende element van het stuursignaal geen stilte is. Dan wordt gekeken naar het eerste element van het objectsignaal. Als dit element als stil geclassificeerd staat, wordt het element simpelweg genegeerd en gekeken naar het volgende element. Wanneer dit element weer stil is, wordt het proces herhaald, tot er een niet-stil element gevonden is. Nu heb je dus zowel het eerste niet-stille element van het stuursignaal als het eerste niet-stille element van het objectsignaal gevonden. Nu kan het daadwerkelijke substitueren van het volume plaatsvinden. Alle waarden in het element van het objectsignaal worden gedeeld door de waarde van de volumeparameter die bij het element van het objectsignaal hoort en vervolgens vermenigvuldigd met de waarde van de volumeparameter van het element dat bij het stuursignaal hoort. Dit mixen kan verschillende problemen opleveren. Het stuursignaal en het objectsignaal zijn opgedeeld in stukjes op basis van verschillen in de waarden van de parameters. Deze stukjes zijn een veelvoud van 9
frames van gelijke grootte waarin het originele signaal in opgesplitst was. Vervolgens worden alleen die niet-stille elementen van beide signalen vergeleken met elkaar. Dus wanneer het aantal niet-stille elementen even groot is, verloopt het mixen zonder problemen. Wanneer het aantal niet-stille elementen niet even groot is, is gekozen voor de volgende oplossingen. Omdat de inhoud van het objectsignaal gebruikt wordt, zal het zeer storend zijn als deze plotseling wordt afgebroken wanneer het stuursignaal is afgelopen. Daarom is ervoor gekozen om, wanneer het aantal niet-stille elementen in het stuursignaal korter is dan het aantal niet-stille elementen in het objectsignaal, het stuursignaal te loopen. Dat wil zeggen, het stuursignaal wordt steeds weer achter elkaar afgespeeld, totdat alle elementen van het objectsignaal aan bod zijn geweest. Dit heeft als consequentie dat waarschijnlijk het stuursignaal plots onderbroken wordt wanneer het objectsignaal afgelopen is. Als het aantal niet-stille elementen in het stuursignaal groter is, dan wordt op dezelfde manier gehandeld. Het objectsignaal wordt belangrijker geacht, dus wanneer dit signaal doorlopen is, zal het stuursignaal afgekapt worden. 1
Evaluatie Wanneer het mixen met succes is voltooid, is het ritme van het stuursignaal duidelijk te horen in het resultaat. Wel is het zo dat voor zowel het stuursignaal als het objectsignaal duidelijke geluiden gekozen dienen te worden. Wanneer er met een onduidelijk signaal wordt gewerkt, zal het splitsproces fouten gaan maken. Met name bij het stuursignaal is het belangrijk dat er een goede splitsing moet worden gemaakt. Wanneer er veel fouten in het stuursignaal zitten krijg je een heel ander ritme als resultaat dan je wilt. Bij een stuk orkestmuziek is dit een stuk moeilijker te doen. Het beste en leukste resultaat krijg je wanneer je bijvoorbeeld een ritme klapt of tikt. In de figuren 7, 8 en 9 op de volgende bladzijde, staat een voorbeeld van de werking van het programma. De y-as geeft de amplitude weer, de x-as beslaat de samples. Het stuursignaal is hier een geluid met twee tikjes vlak achter elkaar met daarvoor en daarna een stilte. Het objectsignaal bestaat uit vijf tikjes die in hetzelfde tempo achter elkaar volgen. Zoals je zou verwachten bestaat het resultaatsignaal nu uit de tikjes van het objectsignaal in het tempo van het stuursignaal. De geluidsfiles van figuur 7, 8 en 9 zijn ook te vinden op Internet: http://gene.science.uva.nl/~pmgeldof/paramix Behalve het verwerken van de pitch als extra parameter, is het project geslaagd te noemen. Dit omdat er bij een keuze van heldere signalen, het stuursignaal goed hoorbaar is in het resultaat. Dit maakt Parametrisch Mixen een interessante tool voor in de mix-wereld. DJ s zouden gebruik kunnen maken van dit middel om zo een extra leuk muziekstuk te genereren. Wanneer het onderwerp nog langer onderzocht en verbeterd zal worden, zal de foutgevoeligheid voor rumoerige signalen verminderd kunnen worden. Tevens kan geprobeerd worden het gehele programma in real-time te draaien. Dit heeft als grote voordeel dat een DJ bijvoorbeeld ter plekke een signaal kan mixen met bijvoorbeeld zijn stem. 11
1.8.6.4 - -.4 -.6 -.8-1 2 4 6 8 1 12 figuur 7: Stuursignaal x 1 4 1.8.6.4 - -.4 -.6 -.8-1 1 2 3 4 5 6 figuur 8: Objectsignaal x 1 4.4.3.1 -.1 - -.3.5 1 1.5 2 2.5 3 figuur 9: Resultaatsignaal x 1 5 12
Referenties Gussenhoven, C. and Driessen, W., (24) Explaining two correlations between vowel quality and tone: The duration connection Prosody 24. Nara, Japan. Natke, U., Donath T.M., Kalveram, K.Th., (23) Control of voice fundamental frequency in speaking versus singing, Journal of the Acoustical Society of America, 113(3), 1587-1593. Selwa, M., Skartlien, R., Murawski, K., (24) Numerical simulations of stochastically excited sound waves in a random medium, Astron. Astrophys., in press. St. George, B., Wooten, E. and Sellami, L. `Speech Coding and Phoneme Classification Using Matlab and NeuralWorks, Proceeding of the Frontiers in Education Conference, p. 12, Pittsburgh, PA, November 1997. Varho, S. and Alku, P., 'Linear Prediction of Speech by Sample Grouping', in Proceedings of the 2 IEEE Nordic Signal Processing Symposium (NORSIG 2), pp. 113-116, Kolmården, Sweden, June, 2. 13