Verbetering van melodiewaarneming met een cochleair implantaat

Transcriptie

1 Verbetering van melodiewaarneming met een cochleair implantaat Lize Raes Promotoren: prof. dr. ir. Jean Martens, prof. dr. Marc Leman Masterproef ingediend tot het behalen van de academische graad van Master in de ingenieurswetenschappen: elektrotechniek Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. Jan Van Campenhout Vakgroep Kunst-, Muziek- en Theaterwetenschappen Voorzitter: prof. dr. Maximiliaan Martens Faculteit Ingenieurswetenschappen en Architectuur Academiejaar

2 Voorwoord Graag wil ik de mensen bedanken die bijgedragen hebben tot het tot stand komen van deze masterproef. Professor Jean-Pierre Martens, voor de praktische tips en het nalezen van de tekst, en professor Marc Leman, voor zijn coördinerende rol in het hele CI-project. Ook Jan Poppeliers, lid van de begeleidingscommissie, dank ik voor zijn beschikbaarheid en expertise, en CochlearTM voor het ter beschikking stellen van de hardware en software. Op persoonlijk vlak wil ik mijn echtgenoot bedanken, die steeds achter mij stond, en mijn dochtertje, om mij steeds aan het lachen te maken met "mama werken tippetippetip". De auteur geeft de toelating deze masterproef voor consultatie beschikbaar te stellen en delen van de masterproef te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van resultaten uit deze masterproef. The author gives permission to make this Master's dissertation available for consultation and to copy parts of this master dissertation for personal use. In the case of any other use, the limitations of the copyright have to be respected, in particular with regard to the obligation to state expressly the source when quoting results from this master dissertation. i

3 Verbetering van melodiewaarneming met een cochleair implantaat Lize Raes Promotoren: prof. dr. ir. Jean Martens, prof. dr. Marc Leman Masterproef ingediend tot het behalen van de academische graad van Master in de ingenieurswetenschappen: elektrotechniek Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. Jan Van Campenhout Vakgroep Kunst-, Muziek- en Theaterwetenschappen Voorzitter: prof. dr. Maximiliaan Martens Faculteit Ingenieurswetenschappen en Architectuur Academiejaar Trefwoorden Cochleair implantaat, temporele toonhoogte, postlinguaal, melodiewaarneming ii

4 Improving melody perception with a cochlear implant Lize Raes Supervisors: Jean-Pierre Martens, Marc Leman Abstract This article describes the design of a temporal pitch strategy that successfully improves melody recognition and sound quality. Keywords cochlear implant, temporal pitch, post-lingual, melody perception I. INTRODUCTION A cochlear implant (CI) is a hearing aid for people with severe hearing loss. It is inserted into the cochlea, where it replaces the functions of the inner ear by providing electrical stimuli directly to the hearing nerve. An external processor turns the microphone input into electrical stimuli that are delivered to a limited number of implanted electrodes. Currently used conversion strategies are devised to obtain good results for speech understanding, but they generally fail with regard to music rendition. The average post-lingually deafened CI user after implantation does no longer appreciate the sound of music, nor does he perceive much pitch information. In this Master's dissertation, we develop a strategy that intends to improve pitch perception and overall musical satisfaction in CI users when listening to melodies with single tones at a time. II. TEMPORAL PITCH VS. PLACE PITCH Pitch constraints for accurate music rendition are much more severe than for understanding speech. Rendition of exact frequencies is not crucial for speech intelligibility, as long as the global form of the spectrogram is present. For accurate musical pitch perception, the transmitted frequency needs to be more precise: even slight deviations in frequency of less than 0.5% are noticeable. A normal ear uses both place pitch cues (tonotopy) and temporal pitch cues to decode the perceived pitch. E.g. a high frequency will have its resonance peak closer to the base of the basilar membrane. The membrane itself will be vibrating at the high rate corresponding to this frequency. In a CI, the place cue is rendered by the place of the electrode that is stimulated, while the temporal cue is provided either by the repetition rate of the pulses or by the modulation frequency of a fast pulse train. While in a normal ear place and temporal cues provide coherent information, in a CI it is nearly impossible to convey consistent information through both place and temporal cues. Speech encoding strategies use the tonotopic ordering of the cochlea in order to render the frequencies needed for speech, even though the number of possible frequency bands is limited by technological constraints. These limits do not apply, on the other hand, to temporal pitch. The possibility to send every desired frequency into the cochlea makes it more suitable for music transmission. III. RESEARCH ON TEMPORAL PITCH A number of attempts have been made to integrate temporal cues in existing tonotopical strategies. They all have their merits in enhancing the frequency discrimination abilities of CI users. None of these enhanced strategies though reach the level of accuracy in pitch perception required for acceptable music perception, nor do they solve the problem of unpleasant sound. Recent research on purely temporal stimulation focuses on pitch differentiation or pitch ranking abilities, without testing the abilities of the participants in a musical context. In spite of promising results, only few articles none of them more recent than 1997 did test music recognition abilities with purely temporal stimulation [1]. IV. DESIGN OF A TEMPORAL STRATEGY FOR IMPROVED MELODY PERCEPTION In this Master's dissertation we design a purely temporal strategy to avoid the dominant but imprecise influence of place pitch. Pulses are delivered sequentially and in phase to different electrodes, and, in case of pulse train modulation, the modulation depth is 100%. In our previous study, we found that parameter settings have a great influence on recognition and sound quality. Important parameters are average frequency, stimulated electrode(s) and stimulation type. Parameter settings that result in good recognition or sound quality were very different amongst the 8 participants. In the present design, for each participant we select four parameter settings based on the results of the previous study: one setting is chosen to obtain better recognition, two different settings are selected for better sound quality, and finally a control setting resulting in bad sound quality. Based on promising results in [2], for each setting (control setting excluded) we create an equivalent parameter combination with exponential modulation instead of pulse stimulation or sinusoidal modulation. Using hardware and software from CochlearTM, we program a functional core that converts MIDI-files to pulse trains. This core can drive an implant using an experimental external processor that is connected to the computer. We also create an interface that interacts with the functional core, to provide a framework for testing.

5 A. Test method V. MELODY PERCEPTION TESTS Four adult participants with a CochlearTM implant were tested with both the temporal strategy and their standard ACE strategy. The participants tried to recognise melodies from an open set by naming the title or saying the words of the song. For each melody they added a rating in terms of sound quality characteristics. We tested a total number of 40 melodies with the temporal strategy and 12 melodies with the standard strategy. Melodies were varied in title and parameter setting. Consequently participants took part in a forced choice melody identification task, which consisted in identifying the erroneous melody. In one out of two equal melodies, errors were introduced by stretching or shrinking the frequencies of the melody, or by altering one note. B. Results Average recognition scores are summarized in table 1, in the form "average score (SEM number of experiments)". Average sound quality ratings are summarized in table 2. recognition score (on 30) temporal strategy standard strategy P (4.00 4) 5.67 (3.92 6) P (3.12 4) 0.00 (0.00 5) P (1.56 6) (4.24 9) P (4.71 6) (2.94 8) AVG (3.65 4) (5.27 4) Table 1: Average recognition scores (AVG = overall avg.) Recognition was better with the temporal strategy for 3 out of 4 participants, but the amount of experiments was too limited to show significant differences for 2 of these 3 participants. The fourth participant reached similarly high recognition scores with both strategies. sound quality rating (0 to 10) temporal strategy standard strategy P (0.50 4) 3.17 (0.83 6) P (0.24 5) 9.43 (0.30 7) P (0.33 6) 9.22 (0.43 9) P (0.76 6) 6.75 (0.37 8) AVG 8.48 (0.70 4) 7.14 (1.46 4) Table 2: Average sound quality ratings Sound quality was significantly better with the temporal strategy than with the standard strategy for 1 out of 4 participants, and equally (un)pleasant for the other three. In a questionnaire 2 out of 4 participants indicated that they preferred the temporal strategy for music listening, one participant thought they were equally good and one participant preferred the standard strategy. The general influence of the parameter setting is consistent with what we expected from the parameter selection criteria: the setting for better recognition generally caused melodies to be recognised better than the other settings, the settings for good sound quality received a better overall rating than the other settings, and the control setting for bad sound quality was indeed rated as bad. Therefore, a preceding test to determine the influence of different parameters is necessary in order to obtain good results with the temporal strategy. This test can be executed in the form of a musical fitting. The exponential modulation had no influence on recognition scores for 3 out of 4 participants and a small insignificant positive effect for the fourth participant. During the melody identification task, 2 out of 3 participants rated slightly stretched melodies as less monotonous than their counterparts with unaltered frequencies. This indicates that a minor stretch could enhance melody perception and this parameter should be included in the musical fitting. A. Results VI. CONCLUSION Our proposed temporal strategy enabled relatively accurate and pleasant melody perception for all 4 participants. 3 out of 4 participants obtained better results with the temporal strategy than with the standard strategy, and one of them even reached a normal hearing recognition score. B. Further research In order to obtain statistically more significant results, a larger test should be set up with more participants. There is room for improvement by extending the preceding fitting to take into account more parameter values. This way, even better parameter settings can be selected for the temporal strategy. Repeated use of the temporal strategy will probably improve the melody perception results, but speech perception might be affected negatively since the temporal strategy uses a different way of brain processing. Further research is also needed to investigate the possibility of rendering more tones simultaneously. C. Future possibilities A practical implementation of the temporal pitch strategy for everyday use would involve an extended musical fitting with automatic extraction of parameter settings. Furthermore, the strategy should be made available as a program in the external processor, which can be selected whenever the CI user wants to listen to music. For real-time music listening, a pitch tracker or a MIDI-input could deliver pitch information to the conversion program. A MIDI-playing device would give CI users easy access to the great body of songs and tunes that are already available in the MIDI-format. REFERENCES [1] S. Pijl and D. Schwarz, "Melody recognition and musical interval perception by deaf subjects stimulated with electrical pulse trains through single cochlear implant electrodes," Journal of the Acoustical Society of America, vol. 98, no. 2, pp , [2] A. E. Vandali an R. J. van Hoesel, "Enhancement of temporal cues to pitch in cochlear implants: Effects on pitch ranking," The Journal of the Acoustical Society of America, vol. 132, pp. 392, 2012.

6 Inhoudsopgave Voorwoord Overzicht Extended abstract Inhoudstafel Tabel van afkortingen p. i p. ii p. iii p. v p. viii Hoofdstuk 1: Inleiding p Stimulatiepatronen... p Parameters van een elektrische puls... p Elektrische stimulatie... p Akoestische stimulatie... p CI gebruikers... p Implantatie en activatie... p Prelinguaal en postlinguaal doven... p Variabiliteit in resultaten... p Toonhoogtewaarneming... p Normaal horenden (NH)... p Plaatstoonhoogte... p Temporele toonhoogte... p Interactie tussen temporele toonhoogte en plaatstoonhoogte... p. 16 Hoofdstuk 2: Literatuurstudie p Strategieën verbeterd met temporele toonhoogte... p Temporele toonhoogte via elektrische stimulatie... p Overzicht bruikbare parameters temporele toonhoogte... p Muziektests.... p Standaard tests... p Specifieke tests... p Synthese... p Scores bij akoestische stimulatie... p Scores bij elektrische stimulatie... p. 29 Hoofdstuk 3: Opzet van de masterproef p Misleidende resultaten voor frequentiediscriminatie... p Motivatie voor een temporele strategie... p Beperkingen... p Toekomstige mogelijkheden... p Onderzoeksvraag... p. 32 v

7 Hoofdstuk 4: Tests voorafgaand aan deze masterproef p Luidheid afregelen... p Piloottests over temporele toonhoogte... p Invloed parameters temporele toonhoogte... p Parameters... p Metingen... p Testontwerp... p Proefpersonen... p. 39 Hoofdstuk 5: Ontwerp temporele strategie voor deze masterproef p Analyse invloed parameters... p Melodieherkenning... p Klankbeoordeling... p Variabiliteit tussen proefpersonen... p Ontwerp temporele toonhoogtestrategie... p Ontwerpbeslissingen... p Parametercombinaties... p Testomgeving... p Hardware... p Software... p Testopstelling... p Programma voor omzetting naar temporele toonhoogte... p Input... p Luidheid afregelen... p Output... p Verwerking... p. 54 Hoofdstuk 6: Testmethode p Proefpersonen... p Testontwerp... p Luik 1: Melodiewaarneming, klankperceptie en muzikaliteit... p Luik 2: Toonhoogtewaarneming... p Luik 3: Tonaliteitsgevoel... p Vragenlijst... p Testprotocol... p Testverloop... p Haalbaarheidsstudie... p Test interface... p Input... p Luidheid afregelen... p Afspeellijst... p. 66 Hoofdstuk 7: Analyse en resultaten p Inleiding... p Normaal horenden... p CI-gebruikers... p Proefpersoon 2... p Proefpersoon 4... p Proefpersoon 5... p Proefpersoon 7... p. 74 vi

8 7.3.5 Luik 2: foute melodie... p Luik 3: cadenzen... p Synthese... p. 77 Hoofdstuk 8: Conclusie p. 79 Bijlagen p. 81 Bijlage A: Omzetting stroomniveaus... p. 81 Bijlage B: Scorefunctie... p. 82 Bijlage C: Testprotocol... p. 83 Bijlage D: Vragenlijst... p. 90 Referenties p. 92 vii

9 Tabel van afkortingen en symbolen ACE Advanced Combination Encoder bvb. bijvoorbeeld CI cochleair implantaat C-niveau comfortniveau DIET Digital Implant Emulator Tool el elektrode f0 basisfrequentie F1 eerste formant F2 tweede formant LED Light Emitting Diode LF Lower Frequency, laagste frequentie MIDI musical instrument digital interface NH normaal horende(n) NIC Nucleus Implant Communicator nr nummer ST semitoon T-niveau thresholdniveau, drempelniveau UF Upper Frequency, hoogste frequentie # aantal viii

10 INLEIDING 1 Hoofdstuk 1 Inleiding Een cochleair implantaat (CI) is een gehoorprothese voor doven en mensen met zwaar gehoorverlies. Figuur 1.1: Extern en intern deel van een CI Een uitwendige processor vangt geluid op en zet dit om in elektrische stimuli op de elektrodenrij die in het slakkenhuis (de cochlea) is ingeplant. Op die manier stimuleert men rechtstreeks de gehoorzenuw en neemt men alle functies van het oor over tot en met de trilhaartjes in het slakkenhuis.

11 1.1 Stimulatiepatronen Stimulatiepatronen De geluidssensatie ontstaat door de elektroden met pulsen aan te sturen. Er zijn twee manieren om dit te realiseren. Bij elektrische stimulatie stuurt men via de computer synthetische pulsen in het implantaat, er is dus geen direct verband met echt aanwezige geluidsgolven. Bij akoestische stimulatie vertrekt men van het aanwezige geluid, dat wordt opgenomen met een microfoon, waarna het in real-time wordt omgezet in elektrische pulsen op de elektroden. De CI-gebruiker 'hoort' dus het echte geluid, dat op een bepaalde manier verwerkt is Parameters van een elektrische puls Om een implantaat aan te sturen, maakt men pakketjes van pulsen. Hieronder is een voorbeeld gegeven van één puls, als matlab-structuur verstuurd naar de NIC (Nucleus Implant Communicator), de aanstuursoftware van CochlearTM. puls = mode: 103 phase_width: 25 phase_gap: 8 current_level: 154 electrode: 14 period: e+003 %µs %µs %µs In figuur 1.2 is de fysische interpretatie van deze parameters schematisch weergegeven, waarna deze in meer detail worden besproken. Figuur 1.2: Parameters van één elektrische puls op één bepaalde elektrode in Ampère vs. tijd Vorm van de puls. Mode 103 betekent dat de pulsen monopolair zijn en dus een vaste elektrode buiten de cochlea als referentie-elektrode gebruiken. Dit in tegenstelling tot bipolaire stimulatie, waar een te selecteren en veranderlijke elektrode binnen de cochlea als referentie dient. De 3 uit 103 betekent dat beide extracochleaire elektroden (1 + 2) als referentie dienen. De NIC ondersteunt enkel monopolaire modes.

12 1.1 Stimulatiepatronen 3 Stimulatie gebeurt doorgaans met bifasische pulsen, zodat er geen netto ladingsopbouw plaatsheeft in het binnenoor. De pulsen zijn bij benadering rechthoekig, met een actieve duur gelijk aan twee maal de fasebreedte (phase width in µs), en een pauze tussen de twee fasecomponenten (phase gap in µs). De waarden van de fasebreedte en de fasepauze staan standaard op resp. 25 µs en 8 µs, en worden normaalgezien niet gewijzigd. Luidheid. Het stroomniveau (current level) bepaalt de waargenomen luidheid. In de software van CochlearTM kan deze parameter een gehele waarde tussen 0 en 255 aannemen. Een tabel die deze schaal omrekent naar Ampère voor verschillende types van geïmplanteerde chips, is te vinden in bijlage A. Typisch nemen patiënten stroomniveaus onder een bepaalde drempel niet meer waar, en worden de stroomniveaus boven een bepaalde limiet onaangenaam luid. De niveaus zijn afhankelijk van patiënt en elektrode. Daarom gebeurt voorafgaand aan de activatie van het implantaat een fitting, waarbij een audioloog de T- en C-niveaus van de patiënt bepaalt voor elke elektrode. Het drempelniveau (Threshold-level) is de net waarneembare stroomsterkte, het comfortniveau (Comfort-level) staat voor een aangename geluidsterkte. De T/C-niveaus worden regelmatig bijgesteld, vooral in het eerste jaar na de implantatie, wanneer ze nog sterk variëren in de tijd. Bij de fitting wordt ook duidelijk welke elektrodes werken, en waar er dode zones zijn in de cochlea. In deze zones zijn de neuronen grotendeels afgestorven en liggen de drempelniveaus bijgevolg veel hoger. De T/C-niveaus worden geporgrammeerd in de spraakprocessor, die vervolgens het stroomniveau van de pulsen omzet naar een waarde tussen het T-niveau en het C-niveau. Op figuur 1.3 is een beeld uit een fittingprogramma weergegeven, waarin de audioloog bezig is met het fitten van elektrode 22. Elektroden 12 en 3 zijn uitgeschakeld. Elektrodenummer. Het elektrodenummer bepaalt welke elektrode gestimuleerd zal worden. De volgorde van nummering verschilt van fabrikant tot fabrikant. CochlearTM nummert zijn 22 elektroden van het minst diepe punt in de cochlea (basis) naar het diepste punt (apex). De plaats in de cochlea bepaalt voor een deel de toonhoogtewaarneming: een puls op een basale elektrode klinkt hoog en scherp, een apicale elektrode klinkt laag en dof. De oorzaak van dit plaats-toonhoogteverband, aangeduid als tonotopie, is dat in een normaal oor geluidsgolven met hoge frequentie terechtkomen aan de basis, geluidsgolven met lage frequentie hebben hun piekresonantie in de apex (voor meer details, zie ). In het fittingvenster van figuur 1.3 staan de elektroden van hoog naar laag genummerd, opdat de frequentieschaal intuïtief van laag naar hoog zou lopen. De afstand tussen de elektroden verschilt van fabrikant tot fabrikant. De plaats in de cochlea waar een elektrode zich precies bevindt is ook afhankelijk van de insertiediepte. Niet bij elke patiënt kan de rij elektroden even diep in de cochlea geschoven worden tijdens de implantatie. Periode. De periode van de puls (µs) bepaalt de afstand tussen de stijgflank van twee opeenvolgende pulsen. Blijft deze periode constant tijdens een voldoende groot aantal pulsen, dan geeft ook deze parameter aanleiding tot een toonhoogtesensatie.

13 1.1 Stimulatiepatronen 4 Figuur 1.3: Beeld uit een fittingprogramma Figuur 1.4: Tonotopische ordening van de cochlea (uitgerold afgebeeld)

14 1.1 Stimulatiepatronen Elektrische stimulatie Bij elektrische stimulatie worden synthetische pulsen van een computer naar het implantaat gestuurd. Deze manier van stimuleren wordt gebruikt in experimentele context. Op figuur 1.5 is de laptop via een galvanische scheiding (ovaal) verbonden met een experimentele processor (rechthoekig), die op zijn beurt het externe deel van een implantaat aanstuurt (ronde magneet op zwarte doos). De externe magneet communiceert op de figuur met een intern deel in de implant emulator (zwarte doos), die de stimulatie op de elektroden visualiseert met 22 LED's. Bij tests met patiënten wordt de externe magneet op het hoofd geplaatst, waar die contact maakt met het intern gedeelte. Figuur 1.5: Laptop, galvanische scheiding, experimentele processor en implantaat emulator Om met de software van CochlearTM een opeenvolging van pulsen naar het implantaat te sturen, zet men de naam van de velden van het matlab-struct (zie 1.1.1) in het meervoud, en vervangt men de getallen door rijen. Wenst men bijvoorbeeld alle elektroden achtereenvolgens te stimuleren, dan zal het veld puls.electrodes een rij getallen van 1 tot 22 bevatten. Met elektrische stimulatie kan men de invloed van bepaalde parameters onderzoeken, nieuwe strategieën uittesten en allerlei vormen van input terugkoppelen naar de waargenomen klank. Zo kan men de patiënt zelf zijn T/C-niveaus laten bepalen, door hem met een schuiver het juiste niveau te laten zoeken Akoestische stimulatie Akoestische stimulatie is de vorm die CI-gebruikers dagelijks gebruiken. Een microfoon achter het oor neemt het omgevingsgeluid op en de processor zet dit om in een stimulatiepatroon. Het algoritme dat men gebruikt voor de omzetting van audio naar stimuli, noemt men de (conversie)strategie.

15 1.1 Stimulatiepatronen 6 De spraakprocessor. Een CI dient in de eerste plaats om gebruikers terug spraak te laten verstaan. Door gebruik te maken van de tonotopische ordening van de cochlea, proberen de huidige conversiestrategieën zoveel mogelijk informatie over het spraakspectrum door te geven aan de gehoorzenuw. De processor verdeelt het spraakspectrum in evenveel frequentiebanden als er beschikbare elektroden zijn, en zet de energie binnen elke frequentieband continu om in het stroomniveau van de elektrische pulstrein op de overeenkomstige elektrode. De instellingen van de strategie kunnen wijzigen naargelang de situatie. Is er veel omgevingsgeluid, dan kan men bijvoorbeeld ruisonderdrukking aan de strategie toevoegen. In de 'Nucleus' spraakprocessor van Cochlear TM kan men 4 programma's instellen, die de gebruiker via een afstandsbediening kan selecteren afhankelijk van de situatie waarin hij zich op dat moment bevindt. Advanced Combination Encoding (ACE) strategie. Ter illustratie bestuderen we hieronder in meer detail de verschillende stappen van ACE (Advanced Combination Encoding), de huidige standaardstrategie van Cochlear TM. Figuur 1.6: Advanced Combination Encoding schema Een pre-emphasis filter verzwakt de frequentiecomponenten onder 1.2 khz met 6 db om zwakke medeklinkers op vergelijkbare sterkte te brengen als sterke klinkers. Dit filter imiteert gedeeltelijk de functie van het buiten- en middenoor [Wilson (2004)]. Vervolgens wordt het geluid via banddoorlaatfilters opgedeeld in n frequentiebanden. De omhullende van elke frequentieband wordt bepaald met een Hilberttransformatie, waarna op elk tijdstip de m kanalen met de grootste amplitude worden geselecteerd. Dankzij deze maximumselectie treedt er minder stroomoverlap op tussen aangrenzende elektroden, waardoor de spectrale opbouw van verschillende klanken duidelijker onderscheidbaar is. Het aantal maxima, m, verschilt per patiënt en wordt bepaald bij de fitting.

16 1.2 CI gebruikers 7 De amplitude van het ontvangen signaal wordt logaritmisch gecomprimeerd, om de volumeregelende functie van het binnenoor te imiteren. De resulterende m signalen worden gebruikt om de amplitude van de pulstrein op de m overeenkomstige elektroden te moduleren. Ter illustratie staan op de onderste twee rijen van het fittingvenster (figuur 1.3) ook de frequentiebanden (Upper Frequency UF en Lower Frequency LF) gespecifieerd die de spraakprocessor van deze patiënt gebruikt om de m maxima op de elektroden te mappen. Het is belangrijk om in het achterhoofd te houden dat deze frequentiebanden niet overeenkomen met de echte tonotopische locatie van de elektroden. Een puls op de diepste elektrode geeft aanleiding tot een waargenomen toon van gemiddeld 500 Hz, terwijl in figuur 1.3 te zien is dat de informatie van de frequentieband rond 250 Hz naar deze elektrode wordt gestuurd. Als de centrale frequenties van de banddoorlaafilters wel overeenkwamen met de tonotopische locatie van de elektroden, zouden de laagste en belangrijkste frequenties niet doorgegeven worden. Onderzoek heeft uitgewezen dat dit de spraakresultaten, zoals te verwachten, negatief beïnvloedt [Baskent et al. (2004)]. Men kiest dus voor een onnatuurlijke frequentiemapping om alle essentiële spraakinformatie te kunnen doorgeven. De pulsrate bij ACE staat vast op 900 Hz, maar bij de fitting kan de audioloog opteren voor een hogere stimulatierate. 1.2 CI gebruikers Implantatie en activatie Doven en hardhorenden met een gehoorverlies van minstens 90 db komen in aanmerking voor een cochleair implantaat. De ingreep kan worden uitegevoerd bij kinderen vanaf 1 jaar, en een eerste implantaat wordt in België volledig terugbetaald. Het inwendige deel van het implantaat (zie figuur 1.7) wordt tijdens een 2 tot 6 uur durende operatie onder volledige narcose ingeplant. De chirurg maakt een opening in het schedelbot achter het oor en bereikt op die manier het slakkenhuis. De buigbare elektrodenrij (spiraaltje linksboven) wordt zo diep mogelijk in het slakkenhuis geschoven, maar de insertiediepte is bij iedere patiënt anders. De bal-elektrode (bolletje naast de elektrodenrij) wordt buiten het slakkenhuis bevestigd, en dient als referentie-elektrode. Figuur 1.7: Inwendig deel van het Nucleus implantaat van Cochlear TM Na een 4-tal weken is de wonde voldoende genezen, en wordt de uitwendige magneet voor de eerste maal op het hoofd geplaatst. De audioloog voert een eerste fitting uit, waarna een lang

17 1.3 Toonhoogtewaarneming 8 proces van spraakrevalidatie en regelmatige fittingen volgt. Het eerste half jaar veranderen de parameters nog sterk, na ongeveer een jaar bereiken de spraakresultaten hun asymptotische waarde Prelinguaal en postlinguaal doven Op basis van hun voorgeschiedenis kan men CI-gebruikers onderverdelen in twee groepen: prelinguaal en postlinguaal doven. Prelinguale doven hebben nooit gehoord, dit zijn dove kinderen die op jonge leeftijd geïmplanteerd werden, en volwassenen die hun hele leven doof geweest zijn. Zij hebben geen herinnering aan geluid om de CI-stimuli mee te vergelijken en vinden doorgaans dat zowel spraak als muziek goed klinken met hun implantaat. Ze beleven de muziek echter niet zo gedetailleerd als normaal horenden (NH), en beleven vooral plezier aan het ritme. Postlinguale gebruikers zijn vooral volwassenen die wel gehoord hebben en pas later doof of hardhorend geworden zijn. Voor hen vergt een CI een grote aanpassing, omdat zij een vergelijkingspunt hebben. Zij vinden de CI klank meestal niet aangenaam, en waar spraak na verloop van tijd went, blijft muziek vaak lelijk en onherkenbaar. Zij zijn de doelgroep van deze masterproef Variabiliteit in resultaten Een rode draad doorheen alle onderzoeken naar CI's is dat de resultaten zeer sterk verschillen van patiënt tot patiënt, de zogenaamde inter subject variability. Deze verschillen zijn onder andere het gevolg van verschillen in de duur van de doofheid, de insertiediepte van de elektroderij [Baskent et al. (2004)] en de graad van beschadiging van het binnenoor, zoals de aanwezigheid van dode zones in de cochlea (zie 1.1.1). 1.3 Toonhoogtewaarneming Normaal horenden (NH) De waargenomen toonhoogte is bij NH gewoonlijk de laagste frequentie in het spectrum, ook wel basisfrequentie of f0 genoemd. Het oor neemt frequenties logaritmisch waar, een bepaalde frequentieverhouding nemen we waar als een bepaald interval. Toonhoogtewaarneming in muziek. In muzikale termen spreekt men van een halve toon of semitoon (ST) bij een frequentieverhouding van ofwel 1/12 van een octaaf (2:1). freq 2 = freq 1. 2 ST/12 met ST het aantal semitonen verschil Om muziek en tonaliteit aangenaam waar te nemen is het belangrijk twee tonen met een interval van één ST te kunnen onderscheiden. Ter illustratie is in figuur 1.8 het spectrogram van het liedje "Somewhere over the rainbow" weergegeven.

18 1.3 Toonhoogtewaarneming 9 Figuur 1.8: Noten en spectrogram van het liedje "Somewhere over the rainbow" De frequentie van de onderste lijn in het spectrogram bepaalt de waargenomen toonhoogte f0, de lijnen erboven zijn de boventonen of harmonischen (harmonieken), die zich bevinden op de frequenties 2*f0, 3*f0,... De relatieve sterkte van de verschillende boventonen bepaalt de klankkleur of het timbre van het instrument of de stem. Over het algemeen geven weinig boventonen aanleiding tot een pure, fluitachtige klank, en veroorzaken veel sterke boventonen een scherpe, vioolachtige klank. De aanwezigheid van de boventonen heeft een belangrijke invloed op de toonhoogtewaarneming (zie ). Het interval tussen 'rain-' en '-bow' (do# - re) bedraagt één ST. Op het spectrogram geeft het kleine frequentieverschil tussen de onderste lijn van deze noten een idee van de toonhoogtedetails die men moet kunnen waarnemen om verschillende noten te kunnen onderscheiden. Ook ritme is een belangrijk aspect van muziek, maar aangezien CI-gebruikers op dit vlak vergelijkbaar presteren met NH, gaan we er in deze masterproef niet dieper op in. Toonhoogtewaarneming in spraak. Met de toonhoogte van spraak doelt men op de spreekhoogte (hoge of lage stem) en het intonatiepatroon, twee elementen die niet van wezenlijk belang zijn om woorden te verstaan. Een Nederlandse mannenstem spreekt gemiddeld rond 100 Hz, een vrouwenstem rond 200 Hz en een kinderstem rond 300Hz. De toonhoogtecontouren die optreden in een intonatiepatroon beslaan meerdere ST tot een octaaf (12 ST). Belangrijk voor het onderscheiden van klanken of letters, en dus voor het echte spraakverstaan, zijn de grove spectrale opbouw en het volumepatroon. Zo kenmerken klinkers zich door relatief lage frequentiecomponenten (formanten), de 's' door zijn hoge frequentiecomponenten, en ploffers zoals de 'k' in onderstaand voorbeeld door hun korte volumepiek. Ter illustratie is het spectrogram van "I can see you" weergegeven in figuur 1.9.

19 1.3 Toonhoogtewaarneming 10 Figuur 1.9: Spectrogram van de tekst "I can see you" De donkere stroken die te zien zijn in de klinkers zijn de formanten. Figuur 1.10 toont de positie die verschillende klinkers innemen binnen de akoestische driehoek [Van Heuven (1988)]. Op de verticale as staat de frequentie van de eerste formant (basistoon), op de horizontale as staat de tweede formant (belangrijkste boventoon). Op de afbeelding is te zien dat de minimale frequentieverschillen waarin klinkers zich onderscheiden in de orde van 6 ST zijn. Om de verschillen in klinkers waar te nemen volstaat een veel grovere frequentieresolutie dan om muzikale tonen te onderscheiden. Figuur 1.10: De akoestische klinkerdriehoek, gebaseerd op formant-waarden (F1 en F2) Onderzoek heeft aangetoond dat men met 4 vaste frequentiekanalen al spraak kan verstaan [Loizou et al. (1999)]. Bovendien is de basisfrequentie van geen belang, zolang de spectrale

20 1.3 Toonhoogtewaarneming 11 verhoudingen intact blijven. De spraak zal hoger, lager of, ingeval van een vaste basisfrequentie, monotoon klinken, maar nog steeds verstaanbaar zijn. Mechanismen voor toonhoogtewaarneming. Op figuur 1.11 is te zien hoe geluid wordt opgevangen door de gehoorschelp (1), en via de gehoorgang het trommelvlies bereikt. Figuur 1.11: Werking van het normale oor Het trommelvlies zet de drukverschillen in de lucht om in zijdelingse verplaatsing van het trommelvlies zelf, met daaraan gekoppeld de hamer en de andere gehoorbeentjes van het middenoor (2). Het laatste beentje, de stijgbeugel, is gekoppeld aan het ovale venster, dat de bovenste helft van het slakkenhuis (3), de scala vestibuli (zie figuur 1.12), afsluit. Via het ovale venster wordt de vloeistof in het slakkenhuis in beweging gezet, langs het diepste punt in de winding (apex) plant de drukgolf zich voort naar de onderste helft van het slakkenhuis, de scala tympani, om uiteindelijk op het ronde venster te botsen, dat de grens vormt tussen de scala tympani en het met lucht gevulde middenoor. Figuur 1.12: Dwarsdoorsnede van de cochlea

21 1.3 Toonhoogtewaarneming 12 Door de passerende drukgolf ontstaat een golfpatroon op het basilair membraan, met daarop de haarcellen in het orgaan van Corti, die beweging omzetten in elektrische pulsen naar de gehoorzenuw. Door zijn specifieke vorm en stijfheid voert het basilair mebraan een spectrale analyse uit, waarbij lage frequenties dichter bij de apex zichtbaar zijn en hoge frequenties dichter bij de basis. Dit noemt men de tonotopische ordening van het slakkenhuis. De plaats van maximale amplitude en de positie van de zijlobben (zie figuur 1.4) veranderen naargelang de geluidsintensiteit. Een harder geluid veroorzaakt een scherpere piek op het basilair membraan. Wanneer het basilair membraan aan een niet te hoge frequentie trilt (typisch < 300 Hz), dan vuren de neuronen ook aan de snelheid van deze frequentie. In figuur 1.13 staat schematisch weergegeven wat er gebeurt op het basilair membraan als een muzikale toon met exponentieel amplitudeverval (bvb. een pianotoon) het slakkenhuis binnenkomt. Figuur 1.13: Golfpatroon op het (uitgerolde) basilair membraan Op de volgende bladzijde zijn de verschillende mechanismen opgelijst die de auditieve cortex mogelijks gebruikt om de toonhoogte te achterhalen. In de praktijk combineren de hersenen deze mechanismen om tot een accurate toonhoogteschatting te komen, en blijft het systeem in mindere of meerdere mate functioneren als bepaalde mechanismen wegvallen.

22 1.3 Toonhoogtewaarneming 13 - Tonotopie: de plaats van de maximale uitwijking van het basilair membraan bepaalt waar de neuronen de grootste activiteit vertonen. - Uit de snelheid waaraan de neuronen vuren kunnen de hersenen ook een frequentie afleiden -De grondtoon en de boventonen hebben gemeen dat ze een periodieke salvotrein veroorzaken die ook periodiek met periode 1/f0 te beschouwen zijn, en waaruit de auditieve cortex dus de toonhoogte kan reconstrueren. Deze theorie wordt ondersteund doordat NH de toonhoogte f0 waarnemen, zelfs als het signaal enkel opgebouwd is uit hogere harmonischen (bvb. 3.f0, 4.f0,...). Dit mechanisme verklaart ook het belang van boventonen voor toonhoogtewaarneming [Moore (2003a)]. Doordat het basilair membraan logaritmisch geordend is, en de frequentie van de boventonen lineair oploopt (f0, 2.f0, 3.f0,...), is er een bovengrens, waarboven de verschillende harmonischen niet meer in plaats te onderscheiden zijn op het basilair membraan. Op figuur 1.13 is dit schematisch weergegeven door de pulsen met periode 1/f0 vanaf 8.f0. Men noemt deze boventonen onopgelost (unresolved harmonics). Zelfs onopgeloste boventonen dragen bij tot de toonhoogteschatting, omdat ook hier geldt dat de verschillende tonen die een zelfde neuron stimuleren een periodiek signaal vormen van periode 1/f0, en bijgevolg ook bijdragen tot de perceptie van een toonhoogte f0. In een normaal werkend oor zijn alle mechanimsen naast elkaar aanwezig, en geven ze coherente informatie. Men is het nog niet eens over het aandel dat de verschillende mechanismen hebben in het bepalen van de waargenomen toonhoogte. [Matsui et al. (2008), Oxenham et al. (2004)]. Men gaat ervan uit dat de toonhoogtewaarneming van frequenties tot 5kHz voornamelijk temporeel gebeurt [Moore (2003b), Heinz et al. (2001)], terwijl bij hogere frequenties de plaats in de cochlea een belangrijkere rol speelt [Moore (1973), Sek et al. (1995)] Plaatstoonhoogte De huidige stimulatiemethoden in CI's maken gebruik van de tonotopische ordening van het slakkenhuis. Zo leveren de diepste elektroden de laagste toonhoogtesensatie op. Aangezien de plaats van stimulatie de waargenomen toonhoogte bepaalt, spreekt men van plaatstoonhoogte (place pitch). Het aantal frequentiekanalen dat men op deze manier kan stimuleren hangt onder andere af van het aantal geïmplanteerde elektroden, dat verschilt per fabrikant. Problemen en oplossingen. Aan plaatstoonhoogte zijn twee grote beperkingen verbonden. Enerzijds weet men niet waar exact men moet stimuleren in de cochlea om een bepaalde toonhoogtesensatie op te wekken. Zelfs al wist men dit, dan nog zou het moeilijk zijn om te bepalen waar de elektroden zich exact bevinden, aangezien de insertiediepte en de lengte van de cochlea verschillen van patiënt tot patiënt, en de afstand van de elektrodenrij tot het basilair membraan niet uniform is. Via de Greenwood-functie kan men benaderend aangeven waar men moet stimuleren om een bepaalde frequentie voor te stellen, maar hiervoor moet men de totale lengte van het basilair membraan kennen, wat in vivo zeer moeilijk te bepalen is [Greenwood (1990), Moore (2003)]. Bovendien stimuleert een cochleair implantaat de cellen van het spiraal ganglion, en

23 1.3 Toonhoogtewaarneming 14 niet de haarcellen, waardoor er nog een bijkomend verschuiving en inkrimping zou moeten berekend worden, gebaseerd op de Greenwood-functie [Sridhar et al. (2006)]. Elektrische stimuli in toonhoogte matchen met akoestische stimuli kan enkel bij de kleine groep CI gebruikers met restgehoor [Blamey et al. (1996)]. In gangbare spraakstrategieën komen de gestimuleerde frequentiebanden dan ook niet overeen met de echte frequentiebanden van het opgenomen geluid, waardoor spraak via een CI, zeker in het begin, vervormd klinkt (zie en figuur 1.3). Een tweede probleem is het beperkt aantal beschikbare kanalen om spectrale informatie door te geven. In een gemiddeld implantaat zijn een twintigtal elektroden voorhanden. Daardoor zijn de frequentiebanden niet fijn genoeg om intonatie of muzikale toonhoogte accuraat door te geven. Bij de omhullende-detectie van de verschillende banden gaat fijne spectrale informatie verloren. Mede hierdoor is het voor CI-gebruikers zeer moeilijk om een bepaalde stem te onderscheiden wanneer meer mensen tegelijk praten. Men kan extra virtuele kanalen creëren via stroomsturing: door gelijktijdige of snel opeenvolgende pulsen op aangrenzende elektroden aan te leggen probeert men een tussenliggende toonhoogte te stimuleren [McDermott et al. (1994), Kwon et al. (2006), Fritzt et al. (2007), Koch et al. (2007), Nobbe et al. (2007), Drennan (2009)]. Het effect hiervan wordt beperkt doordat de elektrische pulsen zich verspreiden in het geleidende weefsel van het binnenoor, de zogenaamde stroomverspreiding (current spread), zoals schematisch weergegeven op figuur Figuur 1.14: Stroomverspreiding in de cochlea: de rode elektrode stimuleert een frequentieband die overlapt met het stroomgebied van de aangrenzende gele elektrode. Men probeert deze stroomverspreiding te onderdrukken door op de naburige elektroden pulsen aan te bieden die zo in fase en intensiteit zijn geregeld dat ze de totale puls lokaler maken. Dit principe heet gefaseerde rij (phased array) [van den Honert et al. (2007), Bonham et al. (2008)]. Ook wordt onderzocht of men met optische stimulatie een meer lokale stimulus kan afleveren [Richter et al. (2008)] en of men met bio-activatoren de neuronen kan stimuleren om in de richting van de elktroden te groeien [Richardson et al. (2006)].

24 1.3 Toonhoogtewaarneming 15 Onderzoek suggereert dat er, ondanks het groot aantal geïmplanteerde elektrodes, slechts 4 tot 8 onafhankelijke tonotopische zones zijn [Friesen et al. (2001), Garnham et al. (2002)]. Bij NH zijn dit er 40 [Glasberg et al. (1990), Moore et al. (2003)]. Spraakscores. Plaatstoonhoogte is zeer verdienstelijk voor de weergave van spraak, zoals bvb. gebeurt in de ACE-strategie (zie ). Gemiddelde scoren CI gebruikers op de herkenning van monosyllabische woorden 55% correct [Wilson (2006)]. De variatie tussen patiënten is echter groot, sommige patiënten scoren 100% correct, terwijl anderen quasi niets herkennen. Belangrijk is dat 12 maanden na implantatie CI-gebruikers gemiddeld 90% van de aangeboden zinnen correct herkennen. Voor zinnen die minder formeel worden uitgesproken, valt de score terug tot 70%. Bij een achtergrondgeluid met signaal-ruisverhouding van 5 db, zoals op de gemiddelde werkvloer, wordt slechts 27% van de zinnen herkend. CI gebruikers kunnen gemakkelijk een mannenstem van een vrouwenstem onderscheiden, maar scoren rond kansniveau voor het onderscheiden van twee stemmen van hetzelfde geslacht [Wilson et al. (2008)]. Muziek. Plaatstoonhoogte is om bovengenoemde redenen ongeschikt om de fijnstructuur weer te geven die nodig is voor een aangename muziekwaarneming. In een akoestische test met 14 CI-gebruikers bedroeg het fijnst waargenomen interval 3% [Nelson et al. (1995)], terwijl dit voor NH tot 0.2% kan bedragen [Moore (1973)]. [McDermott et al. (1997)] onderzochten met een muzikaal getrainde CI-gebruiker of plaatstoonhoogte alleen voldoende is om een muzikaal interval weer te geven. Het subject ervoer pulsen op elektroden op een grotere afstand steevast als grotere intervallen. De experimenteel bekomen toonhoogte-versus-plaats curve week echter significant af van de Greenwood-curve Temporele toonhoogte Een andere methode om met een CI frequentie-informatie door te geven aan de gehoorzenuw is de stimulatiesnelheid zelf, of de periodieke modulatie van de amplitude van pulsen die aan een hoog tempo gegenereerd worden. Een voorbeeld van die laatste techniek is te zien op figuur Figuur 1.15: Sinusoïdale modulatie van een snelle pulstrein op een bepaalde elektrode In een normaal werkend oor zijn zowel plaatstoonhoogte en temporele toonhoogte naast elkaar aanwezig, en geven beide mechanismen coherente informatie. Met een CI geven beide mechanismen noodgedwongen tegenstrijdige informatie, omdat men de plaats van stimulatie niet kan afstemmen op de temporele frequentie. Enerzijds omdat men de plaats in de cochlea die een bepaalde frequentiesensatie veroorzaakt niet kan bepalen, anderzijds omdat de rij

25 1.3 Toonhoogtewaarneming 16 elektroden niet diep genoeg ingeplant is om de plaats van de lage temporele frequenties te bereiken. Daarom laten de standaardstrategieën de temporele toonhoogte meestal achterwege en gebruikt men een vaste stimulatiesnelheid voor alle elektroden (bij ACE is dit 900Hz). Deze snelheid ligt een stuk hoger dan de hoogste snelheid die een CI-gebruiker nog kan waarnemen, dit is doorgaans niet hoger dan 300Hz, maar uitzonderingen tot 1000Hz bestaan [Zeng, 2002]. De waarneming van temporele toonhoogte met een CI vertoont grote gelijkenissen met de waarneming van niet-spectrale toonhoogte door NH. Niet-spectrale toonhoogte construeert men door breedbandige witte ruis te moduleren met een sinus van een lage frequentie. Het resulterende geluid bevat geen spectrale informatie, maar kan toch herkend worden als toonhoogte (tot 850 à 1000 Hz) [Burn et al. (1976)]. Temporele toonhoogtestimulatie heeft voor muziekwaarneming als groot voordeel t.o.v. plaatstoonhoogte dat ze een exacte frequentie doorgeeft en men net zo kleine frequentieverschillen als gewenst in het oor kan sturen. Onderzoek naar de invloed van plaatstoonhoogte en temporele toonhoogte bij NH wijst uit dat temporele informatie onontbeerlijk is voor een sensatie van tonaliteit, en dus voor een aangename muziekwaarneming [Matsui et al. (2008)]. De mate waarin de patiënten deze fijne verschillen kunnen waarnemen hangt af van een heel aantal factoren. De huidige stand van zaken omtrent temporele toonhoogte en de bereikte resultaten binnen muziekwaarneming, worden besproken in de literatuurstudie (zie hoofdstuk 2) Interactie tussen temporele toonhoogte en plaatstoonhoogte Onderzoek over gecombineerde temporele en plaatstoonhoogte [Tong et al. (1983), McKay et al. (2000)], wijst uit dat CI begruikers plaatstoonhoogte en temporele toonhoogte als verschillende dimensies waarnemen, maar ze wel beide benoemen als toonhoogte. [Luo et al. 2011] toont aan dat proefpersonen beide informatiebronnen integreren als ze een toonhoogtecontour moeten identificeren (stijgend of dalend). Als zowel plaats als temporele contour dalen of stijgen, scoren proefpersonen beter dan als ze beide informatiebronnen tegelijk kunnen aanwenden. Werken beide informatiebronnen elkaar tegen zijn de resultaten slechter. Men stelde ook vast dat proefpersonen die slecht scoren voor plaatstoonhoogte, doorgaans ook slecht presteren met temporele toonhoogte. Strategieën die temporele informatie toevoegen aan de standaard tonotopische codering, worden besproken in de literatuurstudie (zie hoofdstuk 2).

26 LITERATUURSTUDIE 17 Hoofdstuk 2 Literatuurstudie In deze masterproef wil ik mij toespitsen op de muzikale mogelijkheden van temporele toonhoogte, in het bijzonder op toonhoogtewaarneming, algemeen muzikaal gevoel en klankkleur. In deze literatuurstudie ga ik dieper in op het onderzoek dat tot nu toe hierover verricht is en probeer ik een overzicht te geven van de invloed van alle relevante parameters zoals die tot nu toe bestudeerd zijn. Ik bespreek eerst tonotopische strategieën die verbeterd zijn met temporele informatie, en vervolgens zuiver elektrische temporele stimulatie, die geen invloed ondervindt van variërende plaatstoonhoogte. Vervolgens geef ik een overzicht van de bestaande muziektests voor CI-gebruikers en de scores die zij hierop behalen. Ik besluit met een synthese om de beste muzikale tests te selecteren om een bepaald aspect van muziekwaarneming te beoordelen. Ik zal die synthese later zal gebruiken om een antwoord te zoeken op mijn onderzoeksvragen (zie hoofdstuk 3). 2.1 Strategieën verbeterd met temporele toonhoogte De scores voor spraakverstaan liggen tegenwoordig bijzonder hoog en hebben ongeveer hun plafond bereikt. Onderzoeksgroepen en bedrijven proberen nu spraakverstaan in een lawaaierige omgeving mogelijk te maken en de luisterkwaliteit te verbeteren door intonatie, klankkleur en toonhoogte beter weer te geven [Stickney et al. (2004), Luo et al. (2007), (2008), McDermott (2004)]. Deze nieuwe uitdagingen hebben gemeen dat een goede weergave van de frequentie, in het bijzonder de basisfrequentie f0, onontbeerlijk is, wil men op deze gebieden vooruitgang boeken. Enerzijds probeert men de plaatstoonhoogte accurater weer te geven (zie ), anderzijds herontdekt men de waarde van temporele toonhoogte en de stimulatiesnelheid, een parameter die jarenlang stiefmoederlijk werd behandeld omdat plaatstoonhoogte veel meer mogelijkheden biedt voor spraakverstaan. Hieronder volgt een lijst van alle experimentele strategieën die vertrekken vanuit een bestaande, tonotopische strategie en daar temporele informatie aan toevoegen, met uitzondering van de eerste strategie, de opgeloste eerste harmonische van [Geurts et al. (2004)]. Deze strategie heb ik opgenomen vanwege zijn groot belang voor de andere parameters die ik wens te onderzoeken.

27 2.1 Strategieën verbeterd met temporele toonhoogte 18 Voor elke strategie bespreek ik de motivatie, het werkingsprincipe en kort de resultaten in het licht van de parameters die ik wens te onderzoeken (onderlijnd). Daarna volgt een samenvattende tabel met de resultaten. Opgeloste eerste harmonische [Geurts et al. (2004)] Motivatie. Bij NH gebeurt de toonhoogtewaarneming van complexe tonen voornamelijk via de opgeloste lagere harmonischen (resolved harmonics). Dit zijn harmonischen die als trillingspieken onderscheidbaar aanwezig zijn op het basilair membraan, in tegenstelling tot onopgeloste harmonischen, die zo dicht bij mekaar liggen dat de afzonderlijke pieken niet meer te reconstrueren zijn. De opgeloste harmonischen geven de hersenen een belangrijke aanwijzing over de toonhoogte, zoals uitgelegd in Bij een CI-strategie die plaatstoonhoogte gebruikt, zijn de lagere harmonischen echter niet langer opgelost, omdat zij samen met f0 of met hogere harmonischen binnen één filterband kunnen vallen. De toonhoogte is dan wel aanwezig in de temporele veranderingen van de temporele omhullende. Principe. Geurts et al. stelt een nieuwe filterbank voor, die de grondtoon en de eerste harmonische steeds toekent aan twee opeenvolgende elektroden. De temporele omhullende op de elektrode van de basistoon geeft de temporele informatie van de basistoon door, de omhullende van de daaropvolgende elektrode geeft informatie over de frequentie en intensiteit van de eerste harmonische. De eerste harmonische is op vlak van plaats "opgelost", en de temporele informatie van basistoon en eerste harmonische blijft mooi gescheiden. Resultaten. De toonhoogtediscriminatie is beter via de strategie met opgeloste eerste harmonische dan via de standaardstrategie. Fine Structure Processing (FSP) [Hochmair et al. (2006)] Motivatie. Via een Hilberttransformatie kan men een banddoorlaat signaal opsplitsen in een traag variërende omhullende (de amplitudemodulatie), en een hoogfrequente drager met constante amplitude. In de laagste frequentiebanden bevat deze laatste de temporele fijnstructuur, die belangrijke informatie geeft over toonhoogte en timbre, en dus van essentieel belang is voor muziekwaarneming. Principe. De Fine Structure Processing strategie van MedEl maakt gebruik van temporele pitch als volwaardig informatiekanaal. Op de diepste (laagste) 2 tot 3 elektroden wordt de frequentie van de hoogfrequente drager, de temporele fijnstructuur, als stimulatiesnelheid gecodeerd tot 300 à 500Hz. Andere elektroden blijven tonotopisch gecodeerd om de hogere frequenties van het spectrum weer te geven, volgens de standaardstrategie van MedEl, CIS+. Resultaten. Wanneer men de toonhoogte via de originele strategie (CIS+) laat dalen, horen gebruikers niet langer verschillen onder de ondergrens van 200Hz. De plaatscode kent bij die frequentie de intensiteit van de grondtoon toe aan de diepste elektrode. Daalt de frequentie verder, dan kan men dit met plaatstoonhoogte niet langer doorgeven, omdat men reeds op de laagste elektrode stimuleert. Met de Fine Structure Processing strategie blijft de toon wel dalen. CI-gebruikers zijn beter in staat om emotionele spanning en analytische muzikale parameters te herkennen met FSP, maar geven steeds aan dat de perceptie van muziek met hun normaal gehoor vroeger toch nog beter was [Rosslau et al. (2011)]. Muziek klinkt met FSP meer zoals gebruikers het zouden willen, terwijl die met CIS+ scherper en ruwer klonk [Looi et al. (2011)]. Met de FSP stegen de spraak-in-ruis herkenningsscores met zo'n 8 procenpunten [Riss et al. (2010)]. F0-mod [Laneau et al. (2006)] Motivatie. De toonhoogte-informatie in de temporele omhullende van de standaard ACEstrategie is niet duidelijk te reconstrueren door interferentie met andere frequenties. Bovendien moduleert men de omhullende met een beperkte amplitude tussen T- en C-niveau.

28 2.1 Strategieën verbeterd met temporele toonhoogte 19 Principe. Laneau voegde in een voorafgaand onderzoek de basisfrequentie toe aan de standaard ACE-strategie door elektroden, bovenop hun normale traagvariërende omhullende, sinusoïdaal te moduleren aan f0. Deze toevoeging bleek de toonhoogtediscriminatie enorm te verbeteren. De beste resultaten werden bereikt als alle elektroden tegelijk aan f0 gemoduleerd werden, en de frequenties van de harmonischen dus niet gebruikt werden om bepaalde elektroden te moduleren. Verder toonden de experimenten aan dat de tonotopische strategieën die de fijnstructuur het diepst moduleren, de beste toonhoogtediscriminatie opleveren [Laneau et al., (2004)]. Op deze bevindingen baseert Laneau de F0-mod strategie, waarbij, bovenop de traagvariërende omhullende van de standaard ACE-strategie, alle elektroden gemoduleerd worden met een sinus met frequentie f0. De modulatiediepte is 100% en ook al worden elektroden van Cochlear TM sequentieel aangestuurd, F0-mod zorgt ervoor dat alle elektroden in fase gemoduleerd worden. F0-mod is ter verduidelijking schematisch weergegeven in figuur 2.1. De groene pijl geeft de snelle en onveranderlijke stimulatieperiode aan, de rode pijl geeft de periode 1/f0 van het signaal aan. Bovenop deze sinusmodulatie komt nog de traagvariërende omhullende. Figuur 2.1: Schematische weergave van F0-mod Resultaten. F0-mod verkleint de net onderscheidbare frequentieverhouding met een factor 3, er worden meer melodieën herkend en de interval-estimatie verbetert significant. enhanced-envelope-encoded tone (etone) [Vandali et al. (2012)] Principe. Aan de standaard ACE strategie wordt op gelijkaardige manier als bij F0-mod temporele informatie toegevoegd door de traagvariërende omhullende te moduleren met f0 (<360Hz). De modulatiefunctie is hier echter geen sinus, maar een smalle puls met exponentieel verval en een tijdsconstante van 25% van de modulatieperiode. De modulatiediepte bedraagt de helft van het elektrisch dynamisch bereik (T- tot C-niveau), terwijl dit bij F0-mod 100% van het stroomniveau was. Ter illustratie van de modulatievorm en -diepte is een elektrodogram van etone weergegeven in figuur 2.2. Resultaten. Proefpersonen kregen de opdracht twee gezongen tonen met een interval van 3ST te rangschikken. Bij startfrequenties 139 Hz, 165 Hz en 233 Hz konden 3 of 4 van de 6 patiënten de toonhoogtes rangschikken. Bij 196 Hz met de ACE strategie hadden alle patiënten last van toonhoogteomkering, terwijl dit fenomeen met etone bij slechts 2 van de 6

29 2.2 Temporele toonhoogte via elektrische stimulatie 20 patiënten meespeelde. Net zoals bij F0-mod verkleinde de net onderscheidbare frequentieverhouding met een factor 3 in vergelijking met de ACE-strategie. Figuur 2.2: Elektrodogram van etone De resultaten van de verschillende strategieën worden in onderstaande tabel vergeleken met hun niet-verbeterde basisstrategie, op vlak van toonhoogtediscriminatie, melodieherkenning en klankwaarneming. Hierbij staan de letters voor de volgende strategieën: a) Opgeloste eerste harmonische versus CIS b) Fine Structure Processing versus CIS+ c) F0-mod versus ACE d) etone versus ACE a) b) c) d) toonhoogtediscriminatie beter beter lagere f0 mogel. 3 x beter 3 x beter en minder toonhoogteomkering dan bij sinusmodulatie melodieherkenning n.v.t. n.v.t. beter n.v.t. klankwaarneming* n.v.t. aangenamer natuurlijker n.v.t. n.v.t. *Het is opvallend hoe weinig aandacht wordt besteed aan de subjectieve klankwaarneming van de CIgebruiker. Hoewel alle vier de strategieën streven naar een betere muziekwaarneming, wordt enkel in het onderzoek rond Fine Structure Processing de mening van de gebruiker zelf gevraagd. Tabel 2.1: Invloed van verbeterde strategieën op melodiewaarneming 2.2 Temporele toonhoogte via elektrische stimulatie Een aantal onderzoeken richt zich specifiek op de mogelijkheden van temporele toonhoogte door middel van rechtstreekse elektrische stimulatie. Op deze manier is spraakverstaan echter quasi onmogelijk, zodat deze onderzoeken vooral van theoretisch belang zijn. Hieronder volgt een lijst van zuiver temporele onderzoeken, daarbij onderzoekt men telkens een aantal technische parameters, en hun invloed op de resultaten van bepaalde tests. Zo gaan de meeste onderzoeken de invloed van modulatieparameters op frequentiediscriminatie na. De tabel die deze invloeden samenvat volgt op het einde van 2.3. In die tabel zijn ook relevante resultaten van het onderzoek naar de verbeterde tonotopische strategieën opgenomen. [Tong et al. (1982), (1983)] Onderzochte stimuli. Tong onderzocht de invloed van SPP (Single Pulse per Period) en MPP (Multiple Pulses per Period). Dit houdt in dat er resp. één puls per periode is, of een aantal

30 2.2 Temporele toonhoogte via elektrische stimulatie 21 snelle pulsen in de eerste helft van de periode. Ter verduidelijking is een schematische voorstelling weergegeven in figuur 2.3. In groen staat de snelle, onveranderlijke stimulatieperiode aangeduid, de rode pijl stelt de periode 1/f0 van het signaal voor. Figuur 2.3: Single Pulse per Period (boven) en Multiple Pulse per Period (onder )stimulatie Resultaten. Deze parameter had geen invloed op de frequentiediscriminatie. Verder concludeerde Tong dat apicale elektroden eerder dof klonken, en basale elektroden scherp. [Pijl et al. (1995a), (1995b), Pijl (1997a), (1997b)] Onderzochte stimuli. Het onderzoek van S. Pijl is verre van recent, maar van bijzonder belang omdat hij toonhoogtewaarneming van zuivere pulstoonhoogte test in een muzikaal kader. De stimuli waren pulsen, verzonden aan de snelheid van de gewenste frequentie, dit is hetzelfde als Single Pulse per Period stimulatie. Resultaten. In het onderzoek werd aandacht besteed aan het herkennen van melodie en het beoordelen van intervallen (te hoog, correct, te hoog). De resultaten voor melodieherkenning zijn als volgt samen te vatten: - 44% van ritmisch intacte melodieën werd herkend - Herkenning is beter bij lage frequenties - Herkenning blijft mogelijk tot 600 à 800 Hz - De resultaten zijn beter bij apicale elektroden De resultaten op het vlak van de herkenning van intervallen zijn als volg samen te vatten: - Bij lage frequenties scoren CI gebruikers even goed als NH - Bij lage frequenties scoren CI gebruikers veel beter met pulstoonhoogte dan via akoestische stimulatie - Wanneer de twee tonen een verschillende luidheid hebben, verslechteren de resultaten - Resultaten verslechteren ook wanneer de twee tonen op verschillende elektroden worden aangeboden S. Pijl ging niet verder met dit onderzoek omdat de deelnemers de klank doorgaans beschreven als motorgeronk, en dus ongeschikt voor een aangename muziekbeleving. [McDermott et al. (1997)] Onderzochte stimuli. Een CI gebruiker die vroeger pianostemmer was geweest, benoemde en construeerde intervallen, zowel via plaatstoonhoogte als via temporele toonhoogte door middel van een snelle pulstrein met sinusmodulatie. Resultaten. - Zowel temporele als plaatstoonhoogte bleken geschikt om muzikale intervallen weer te geven - Temporele toonhoogte was slechts geschikt voor een bereik van 2 octaven

31 2.2 Temporele toonhoogte via elektrische stimulatie 22 - Bij grotere intervallen week de (modulatie)frequentieverhouding van de geconstrueerde intervallen af van wat men akoestisch zou verwachten - Wanneer temporele en plaatstoonhoogte tegelijk varieerden, was de plaatstoonhoogte dominant [Chatterjee et al. (2007)] Onderzochte stimuli. Patiënten luisterden naar gemoduleerde pulstreinen van 2000 pps op elektrode 16 met een modulatiediepte van 20% en een interval van respectievelijk 1 ST en 6 ST. Resultaten. - De beste frequentiediscriminatie werd bereikt bij een startfrequentie van 100Hz; bij 300Hz scoorden de proefpersonen aanzienlijk slechter - De modulatiediepte (tussen 5% en 30%) had geen invloed op de frequentiediscriminatie - De gestimuleerde elektrode had een significante invloed: de meest apicale elektrode leidde tot de beste resultaten - Slechts bij 1 van de 3 patiënten was er een significante interactie tussen elektrode en modulatiefrequentie [Luo et al. (2011)] Onderzochte stimuli. CI-gebruikers beoordeelden toonhoogtecontouren als stijgend of dalend. De contouren werden aangeboden via plaatstoonhoogte met virtuele kanalen (zie ), via temporele toonhoogte verkregen door amplitudemodulatie of via beide tegelijk. Resultaten. - Temporele toonhoogte en plaatstoonhoogte waren significant gecorreleerd: resultaten met gelijke, gecombineerde toonhoogteaanwijzingen gaven betere contourherkenning dan de aanwijzingen apart. - Tegenstrijdige aanwijzingen, zoals een stijgende plaatstoonhoogte en een dalende temporele toonhoogte, maakten de score significant slechter - De verbetering in resultaten door toevoeging van een tweede, coherente aanwijzing, was het grootst als de proefpersoon ongeveer even gevoelig was voor de twee aanwijzingen apart. Bijvoorbeeld, als de proefpersoon bij een bepaald temporeel toonhoogte-interval 70% van de contouren juist beoordeeld, dan voegt men hier best een stapgrootte in plaats aan toe die een vergelijkbare score opleverde. - Resultaten hingen niet af van de elektrode waarop gestimuleerd werd [Vandali et al. (2012)] Onderzochte stimuli. Tonen werden gepresenteerd met 4 verschillende pulsen: - ACE1: sinusmodulatie van een snelle pulstrein op 1 elektrode, - ACE5: hetzelfde op 5 elektroden tegelijk, - etone1: exponentiële modulatie op halve diepte, op 1 elektrode, - etone5: hetzelfde op 5 elektroden tegelijk. Op f0's van 125, 200 en 275 Hz werden intervallen van 0.5 tot 5 ST gepresenteerd, met een luidheidrandommisatie van 10%. Resultaten. - Hoe hoger f0, hoe slechter de frequentiediscriminatie - De stimulatiepatronen op 5 elektroden tegelijk, ACE5 en etone5, zorgen voor beduidend slechtere frequentiediscriminatie - Er is een grote variatie tussen poefpersonen, de trends gelden niet voor iedereen

32 2.3 Overzicht bruikbare parameters temporele toonhoogte Overzicht bruikbare parameters temporele toonhoogte De verbeterde tonotopische en de zuiver temporele strategieën proberen via uiteenlopende methodes uiteenlopende aspecten van muziek- of toonhoogtewaarneming te verbeteren. Als hulpmiddel bij het opstellen van een eigen temporele strategie, geef ik een overzicht van de invloed van bepaalde parameters of aanpassingen over de verschillende onderzoeken heen. Via dit overzicht kom ik dan tot de stimulatiemethode die ik in deze masterproef wil onderzoeken (zie hoofdstukken 3 en 4). Temporeel versus tonotopisch - Zuiver temporele stimulatie scoort steeds beter op toonhoogtediscriminatie dan de verbeterde tonotopische strategieën - Resultaten worden slechter wanneer de twee toonhoogtes op verschillende elektroden worden aangeboden [Pijl et al. (1995)] - Wanneer temporele en tonotopische informatie samen voorkomen, is de tonotopische informatie dominant [McDermott et al. (1997)] voor optimale toonhoogtediscriminatie laten we tonotopische informatie, of veranderingen daarin, best volledig achterwege Temporele informatie van de eerste harmonische toevoegen - Bij een tonotopsiche strategie verbetert de toonhoogtediscriminatie dankzij toevoeging van temporele informatie over de eerste harmonische [Geurts et al. (2004)] - Bij zuiver temporele stimulatie verslechtert de toonhoogtediscriminatie wanneer temporele informatie over de eerste harmonische aanwezig is [Laneau et al. (2004)] bij temporele stimulatie geven we best één enkele toonhoogte weer, en laten we temporele frequentie-informatie over de harmonischen beter weg Modulatiediepte - Volgens [Laneau et al. (2004)] geeft diepere modulatie aanleiding tot betere toonhoogtediscriminatie - Volgens [Chatterjee et al. (2007)] heeft de modulatiediepte (binnen het beperkte bereik van 5% - 30%) geen invloed op de toonhoogtediscriminatie 100% modulatiediepte lijkt de beste resultaten te geven Modulatievorm - Single Pulse per Period tegenover Multiple Pulse per Period, of equivalent, modulatie met een zeer korte puls tegenover modulatie met een blokgolf, heeft geen invloed op toonhoogtediscriminatie [Tong et al. (1982)] - Exponentiële modulatie levert betere toonhoogterangschikking op dan sinusoïdale modulatie, en vermindert opvallend het voorkomen van toonhoogteomkering [Vandali et al. (2012)] het is onduidelijk op welke manier de modulatievorm de toonhoogtediscriminatie beïnvloedt, maar exponentiële modulatie lijkt een interessante optie

33 2.3 Overzicht bruikbare parameters temporele toonhoogte 24 Aantal elektroden - Bij NH zou het oor belangrijke toonhoogte-informatie halen uit de faseverbanden tussen de boventonen over het hele basilair membraan [Moore (2003a)] - Bij simultane stimulatie met 5 elektroden is de toonhoogtediscriminatie significant slechter dan bij stimulatie met één elektrode [Vandali et al. (2012)] hoewel contra-intuïtief, lijkt een groter aantal gestimuleerde elektroden de toonhoogtediscriminatie te verslechteren Faseverband - Toonhoogtediscriminatie is beter wanneer de verschillende elektroden in fase gemoduleerd worden [Laneau et al. (2004)] stimuleert men toch verschillende elektroden gelijktijdig, dan worden deze best in fase gemoduleerd Plaats in de cochlea - Stimulatie op apicale elektroden klinkt dof, op basale elektoden scherp [Tong et al. (1982), Laneau et al. (2004)] - Toonhoogtediscriminatie is beter op apicale elektroden dan op basale elektroden [Pijl et al. (1995), Chatterjee et al. (2007)] voor goede toonhoogtediscriminatie stimuleert men best op apicale elektroden, maar dit heeft wel een sterke invloed op de klankkleur: apicale elektroden klinken dof Frequentiebereik - Melodieherkenning is beter bij lagere frequenties, maar blijft mogelijk tot 600 à 800 Hz [Pijl et al. (1995)] - Onder 50Hz neemt men geen toonhoogte meer waar, maar gebrom [Laneau et al. (2004)] - De beste frequentiediscriminatie wordt bereikt bij lage frequenties, rond 100Hz [Chatterjee et al. (2007), Vandali et al. (2012)] de beste toonhoogteresultaten worden bereikt rond 100Hz, het gemiddelde bereik waarbinnen temporele toonhoogtewaarneming mogelijk is, loopt van 50Hz tot 300 à 600Hz door de grote verschillen in resultaten, kan men het frequentiebereik best voor elke patiënt afzonderlijk bepalen, om ieders capaciteit optimaal te benutten Luidheid - Wanneer de twee tonen een verschillende luidheid hebben, verslechteren de resultaten van de intervalreconstructie [Pijl (1997)] de luidheid blijft best gelijk voor de verschillende tonen Temporele omhullende over deze parameter vind ik geen bruikbaar onderzoek, maar de parameter kan interessant zijn voor de klankkleur, aangezien de omhullende bij NH een grote invloed heeft op het timbre

34 2.4 Muziektests 25 Bovenstaand overzicht is nog eens samengevat in tabel 2.2, die als richtlijn dient voor de tests die uitgewerkt zijn in hoofdstuk 4. parameter invloed op toonhoogtediscriminatie bron temp. vs. plaats temporeel beter alle artikels temp. en plaats tegelijk plaats dominant slechter dan temporeel alleen [McDermott et al. (1997)] [Pijl et al. (1995)] opgeloste harm. erbij beter bij tonotopisch slechter bij zuiver temporeel [Geurts et al. (2004)] [Laneau et al. (2004)] modulatiediepte dieper is beter [Laneau et al. (2004)] modulatievorm exponentiële beter dan sinus [Vandali et al. (2012)] aantal elektroden minder is beter [Vandali et al. (2012)] faseverband best alle elektoden in fase moduleren [Laneau et al. (2004)] plaats in cochlea apicaal is beter [Chatterjee et al. (2007)] frequentiebereik best rond 100 Hz satureert rond 300 Hz uitzonderingen tot 1 khz [Chatterjee et al. (2007)] [Laneau et al. (2004)] [McDermott (2005)] luidheid blijft best constant [Pijl (1997)] Tabel 2.2: Invloed parameters op temporele toonhoogte 2.4 Muziektests Wanneer men een nieuwe strategie of de invloed van bepaalde parameters wil testen, dan volgt men best een gestandaardiseerde muziektest voor CI-gebruikers. Nochtans ontwerpen onderzoekers vaak ook specifieke testmethoden, teneinde een accuraat antwoord te krijgen op hun specifieke onderzoeksvraag. Hieronder lijst ik eerst de voornaamste gestandaardiseerde tests op [Wheatley (2011)], en vervolgens de interessantste specifieke methoden. Bij de relevante tests in het kader van deze masterproef, vermeld ik de voor- en nadelen. Daarna volgt een kleine synthese van de beste tests om bepaalde muzikale aspecten na te gaan. Aan de hand van dit schema selecteer ik de tests die uitgewerkt worden in hoofdstuk 4. Ik besluit met een kort overzicht van de scores die CI-gebruikers behalen op verschillende tests, dit om mijn uiteindelijke resultaten (hoofdstuk 5) te kunnen kaderen Standaard tests MuSIC: Musical Sounds in Cochlear Implants (MedEl) De MuSIC test gebruikt opnames van instrumenten om 6 objectieve en 2 zeer interessante subjectieve tests uit te voeren. De tests kunnen ook gebruikt worden om te vergelijken met resultaten van NH. Objectieve tests: toonhoogte, melodieën, akkoorden, ritme en instrumenten onderscheiden, instrumenten herkennen Subjectieve tests: dissonantie en emotionele beoordeling Om het gevoel voor dissonantie/consonantie na te gaan, moeten proefpersonen akkoorden beoordelen op een schaal van 1 (hard of vals) tot 10 (aangenaam of melodieus). Om het gevoel voor emotie na te gaan, moeten proefpersonen melodieën beoordelen op een schaal van 1 (zeer droevig) tot 10 (zeer blij). De melodieën verschillen in toonaard, tempo en andere. Na analyse van de resultaten blijkt dat NH en CI-gebruikers hierop gelijkaardige resultaten

35 2.4 Muziektests 26 behalen, en dat beiden vooral het tempo gebruiken om de emotie te beoordelen. [Brockmeier et al. (2011)] SOECIC MTB: South of England Cochlear Implant Centre Music Test Battery De SOECIC MTB test toonhoogtediscriminatie, toonhoogte-identificatie en ritme onderscheid. De test houdt ook rekening met de invloed van de antwoordmethode en de herhaalbaarheid, maar de test is nog in ontwikkeling. [van Besouw et al. (2009), Lamb (2010)] Modified Melodies Deze test vertrekt van twee bekende melodieën, "Old McDonalds" en "Altijd is Kortjakje ziek". De proefpersoon krijgt twee melodieën te horen en moet aangeven of de eerste, dan wel de tweede correct was. De fouten die in één van de melodieën worden geïntroduceerd zijn uitgerekte intervallen, foute noten of omkering van de noten (laatste noot eerst). Het laatste type fout lijkt behoorlijk onzinnig, maar met uitgerekte intervallen en foute noten kan men heel goed nagaan hoeveel van de muziek en tonaliteit de proefpersoon effectief kan waarnemen. [Swanson (2008), Swanson et al. (2009)] CAMP: University of Washington Clinical Assessment of Music Perception Via een computerprogramma test de gebruiker zelf hoe goed hij de richting van een toonhoogteverandering kan onderscheiden, en hoe goed hij timbres van instrumenten en melodieën zonder ritme-informatie kan herkennen. Ook hier is een vergelijking met NH voorzien. [Kang et al. (2009)] AMICI: Appreciation of Music in Cochlear Implantees AMICI test het onderscheid tussen muziek en ruis, de identificatie van instrumenten uit een gesloten set, de identificatie van muziekstijlen uit een gesloten set en de herkenning van muziekstukken uit een open set. Bij het opstellen van de test werd eerst getest welke elementen bij NH verwarring of veel fouten veroorzaakten, waarna deze elementen uit de test verwijderd werden. [Spitzer et al. (2008)] MQRTB: Music Quality Rating Test Battery De proefpersoon beoordeelt 10 liedjes op volgende parameters: aangenaam, natuurlijk, rijk, vol, scherp, ruw. [Looi et al. (2011)] Specifieke tests Frequentiediscriminatie Via deze test komt men te weten wat het kleinste frequentieverschil is dat een proefpersoon kan waarnemen. Hiervoor moet een proefpersoon telkens aangeven of twee tonen gelijk of verschillend zijn. Een variant is om de patiënt te vragen om telkens twee tonen te rangschikken van laag naar hoog, om zo een soort frequentieschaal van de patiënt op te stellen. Deze test kan ook frequentieomkering aan het licht brengen. Dit wil zeggen dat de proefpersoon consequent een hogere frequentie als lager bestempelt. Men kan de frequenties van akoestische stimuli onderzoeken, maar vooral interessant is de mogelijkheid om het kleinst hoorbare verschil in elektrische stimulatiesnelheid of in modulatiesnelheid te bepalen [Vandali et al. (2012)]. Een groot voordeel is dat deze test zeer objectief is en er geen interferentie met andere parameters optreedt. Bovendien kan men de moeilijkheidsgraad gemakkelijk aanpassen door de intervallen te verkleinen of te vergroten. Een nadeel is dat de resultaten verschillen

36 2.4 Muziektests 27 naargelang de vraagstelling en analysemethode, en dat de uitkomst niet rechtstreeks aangeeft hoe goed proefpersonen scoren op muzikale opdrachten. Bekende melodieën herkennen De patiënt moet, in een open of gesloten set, melodieën herkennen die hij zich waarschijnlijk herinnert van voor hij doof werd. Wil men zeker zijn dat de patiënt zich enkel op de toonhoogte baseert, kan men het ritme uit de melodie verwijderen. Het nadeel is dat de melodieën dan veel moeilijker te herkennen zijn, en dit de resultaten negatief beïnvloedt. Verder is men niet zeker of men de toonhoogteperceptie test of eerder het geheugen van de patiënt, en of de patiënt de juiste toonhoogte hoort of enkel de contouren herkent. [Pijl et al. (1995), Wilson et al. (2008), Drennan et al. (2008)] Toonhoogtecontouren Om te vermijden dat een falend geheugen de resultaten vertekent, kan men eenvoudige contouren laten horen, eerder dan melodieën. Door de intervallen te vergroten of verkleinen kan men de limietprestaties van de patiënt bepalen. Bij deze test speelt de precieze toonhoogte geen rol. [Galvin et al. (2007)] Intervallen construeren Men geeft een toonhoogte op en vraagt de patiënt om een tweede toon bij te regelen tot hij een bepaald interval hoort, bijvoorbeeld het begininterval van een bekend liedje. Zo kan men nagaan hoe precies een patiënt de toonhoogtes waarneemt, en of hij een gevoel van tonaliteit kan bereiken met zijn CI. In een afgeleide test vraagt men de patiënt om een tweede toon gelijk te maken aan een eerste. [Pijl (1997] Vals versus niet vals De patiënt moet een interval labelen als vals/niet vals, of als te laag/correct/te hoog. Op deze manier kan men het tonaliteitsgevoel nagaan, maar deze test is ook voor NH niet evident. Een eenvoudigere versie van deze test is in een volledige melodie alle intervallen vergroten of verkleinen. [Pijl (1997)] Zoek de fout Door een foute noot te introduceren in een bekende melodie, kan men het tonaliteitsgevoel nagaan (kleine afwijking) of de contourherkenning (grote afwijking). [Swanson (2008), Swanson et al. (2009)] Minimaal interval Men gaat na vanaf hoeveel ST de patiënt een verschil kan waarnemen of de tonen kan rangschikken. [Geurts et al. (2001), Nimmons et al. (2007)] Questionnaires naar perceptie De patiënt beoordeelt eigenschappen van de stimuli die hij gehoord heeft. Zo kan men peilen naar gevoel van welluidendheid, klankkleur,... [Looi et al. (2011)] Luidheid randomiseren Om te vermijden dat bepaalde tonen opvallen door een verschillende luidheid, eerder dan door een verschillende toonhoogte, kan men de luidheid randomiseren. Dit maakt de taak echter ook voor NH moeilijker. [Pijl (1997)]

37 2.5 Scores bij akoestische stimulatie 28 Effect van training Door de patiënten een taak regelmatig te laten uitvoeren, kan men asymptotisch de optimale prestatie bepalen. [Galvin et al. (2007)] Synthese wat testen? test opmerkingen Toonhoogtewaarneming Frequentiediscriminatie geen muzikale context! Frequentierangschikking ontdekt toonhoogte-omkering Contouren herkennen weinig of geen muzikale context Melodieën herkennen ritme weglaten Tonaliteitswaarneming Modified Melodies Zoek de fout onderzoek of de grootte, dan wel de dissonantie de fout verraadt Intervalconstructie zeer moeilijk voor niet-muzikale proefpersonen Intervalbeoordeling moeilijk in begrijpelijke termen te formuleren Klankbeoordeling Schaal mooi - lelijk natuurlijk - artificieel scherp - dof Alg. muz. waarneming Melodieherkenning Melodiebeoordeling met ritme mooi - lelijk natuurlijk - artificieel vals - juist scherp - dof muzikaal - niet muzikaal Tabel 2.3: Overzicht muzikale testen voor CI-gebruikers 2.5 Scores bij akoestische stimulatie [Wilson et al. (2008)] liet patiënten isochrone melodieën (melodieën zonder ritme-informatie) herkennen uit een lijst van vijf, met een frequentiebereik van 277 Hz tot 622 Hz. Gemiddeld scoorden de patiënten 33% correct, weinig boven het kansniveau van 20%. In [Drennan et al. (2009)] blijken slechts een derde van de patiënten isochrone melodieën beter dan op kansniveau te herkennen. In [Kong et al. (2004)] is er van de 6 patiënten slechts 1 die beter scoort dan op kansniveau. Met toevoeging van ritme verbeteren de prestatie tot gemiddeld 55% (kansniveau 8%). [Gfeller et al. (2002)] behaalt gelijkaardige resultaten. Al deze studies tonen dus een scherp contrast aan met de scores voor NH: 90% voor ritmische en 77% voor isochrone melodieën. [Gfeller et al. (2005)] bekeek de invloed van het genre op de herkenning van echte melodieën. Op country en pop scoorde men resp. 20 en 17%, op klassieke muziek zonder woorden slechts 10% (kansniveau 7%). [Galvin et al. (2007)] vonden dat scores voor contouridentifactie stegen van 32 tot 64% wanneer intervallen stegen van één tot vijf ST (kansniveau 11%). Bij intervallen van vijf ST

38 2.6 Scores bij elektrische stimulatie 29 lagen de scores tussen 14 en 98%. Na 50 dagen training verbeterden de scores echter met zo'n 30%. Het minimale interval dat CI-gebruikers kunnen onderscheiden varieert sterk van persoon tot persoon, in alle onderzoeken komen resultaten voor van 1 tot 12 ST [Geurts et al. (2001), Nimmons et al. (2007)]. [Gfeller et al. (2002)] vond een gemiddelde van 7.56 ± 5.18 ST Scores bij elektrische stimulatie Patiënten verschillen sterk in hun gevoeligheid voor temporele toonhoogte, gemiddeld wordt aangenomen dat boven 300Hz geen verschillen in toonhoogte meer worden waargenomen, ook al zijn er patiënten bekend die bij 1kHz nog steeds verschillen in toonhoogte kunnen opmerken [McDermott (2005)]. Daarnaast geven sommige patiënten blijk van toonhoogteomkering: voor bepaalde frequentiegebieden nemen zij een hogere modulatiefrequentie waar als een lagere toonhoogte. Als men de resultaten van een aantal studies bijeenlegt [Pfingst et al. (1994), van Hoesel et al. (1997), McKay et al. (1999), (2000), Zeng (2002)] bekomt men dat CI-gebruikers gemiddeld een stijging in stimulatiesnelheid van 7.3% kunnen detecteren bij een snelheid van 100 pps, met alweer een grote variatie (tussen 2% en 18%). Dit is zo'n tiental keer slechter dan de resultaten van NH, die tot 1% frequentieverandering kunnen waarnemen [Moore (1973), Baumann et al. (2004)], maar wel aanzienlijk beter dan via akoestische stimulatie, waarbij ze gemiddeld slechts een verandering over 7.5 ST of 54% kunnen waarnemen [Gfeller et al. (2002)].

39 OPZET VAN DE MASTERPROEF 30 Hoofdstuk 3 Opzet van de masterproef De nieuwe grote uitdaging voor cochleaire implantaten is de muziekwaarneming verbeteren, in het bijzonder de toonhoogtewaarneming en de klankkleur, aangezien ritmewaarneming door CI-gebruikers vergelijkbaar is met deze door NH. De resultaten van de verbeterde strategieën (cf. 2.1) gaan in de goede richting, maar ze hebben met elkaar gemeen dat temporele en tonotopische informatie steeds gelijktijdig aanwezig zijn. [McDermott et al. (1997)] heeft aangetoond dat in die situatie de plaatsinformatie dominant is. Bij toonhoogtewaarneming wordt de gedetailleerde en correcte temporele informatie dus in de war gestuurd door weinig accurate plaatstoonhoogte, waardoor de muziekresultaten met de verbeterde strategieën nog steeds niet bevredigend zijn. Wil men tot een juiste toonhoogtewaarneming komen, dan moet men vermijden dat plaatsinformatie contraproductief werkt. 3.1 Misleidende resultaten voor frequentiediscriminatie Bijna alle huidige onderzoeken focussen op frequentiediscriminatie, maar deze parameter leert ons zeer weinig over de muzikale mogelijkheden van CI-gebruikers. Daar zijn drie redenen voor. Ten eerste zal een strategie die plaatstoonhoogte toevoegt aan een strategie met enkel temporele toonhoogte, de frequentiediscriminatie niet per se veranderen. De temporele informatie blijft immers beschikbaar en de CI-gebruiker hoort nog steeds dezelfde verandering in de temporele dimensie. Mogelijks zal de frequentiediscriminatie zelfs verbeteren, omdat een extra verandering in plaats wordt toegevoegd. Men zou dan kunnen concluderen dat de toonhoogtewaarneming onveranderd blijft of verbetert, terwijl we weten dat dit niet het geval is. De plaatstoonhoogte stuurt de temporele informatie in de war, zodat de CI-gebruiker een ander interval waarneemt dan het interval dat men temporeel doorgeeft. Ook al kan de patiënt nog steeds een 'verschil' waarnemen, de juistheid van de toonhoogtewaarneming is verslechterd. Ten tweede concludeert men steeds dat de frequentiediscriminatie bij CI-gebruikers een grootte-orde slechter is dan bij NH, en gaat men ervan uit dat dit een probleem is voor muziekwaarneming met een CI. Het is echter niet geweten in welke mate scores voor frequentiediscriminatie een invloed hebben op toonhoogte- en tonaliteitswaarneming, of hoe goed de frequentieresolutie precies moet zijn om tot een aangename muziekwaarneming te kunnen komen.

40 3.2 Motivatie voor een temporele strategie 31 Ten derde moet een proefpersoon voor het bepalen van zijn frequentiediscriminatiescore steeds twee tonen beoordelen, die soms zelfs geen muzikaal interval vormen. Een muzikale context is dus afwezig, zodat de hersenen op muzikaal vlak geen corrigerend werk kunnen leveren. Dit is te vergelijken met concluderen dat CI-gebruikers geen spraak zouden kunnen verstaan, omdat ze zeer slecht scoren op de herkenning van aparte letters in open set, zonder ooit te testen of ze woorden of zinnen kunnen verstaan. Sterker nog, veel onderzoeken proberen de muzikale omstandigheden zo slecht mogelijk te maken, door het ritme weg te laten of de verschillende tonen een verschillende luidheid te geven. Ze doen dit uiteraard om de invloed van stoorvariabelen uit te schakelen. 3.2 Motivatie voor een temporele strategie De weinige onderzoeken die zich toeleggen op zuiver temporele toonhoogte binnen een muzikale context (zie 2.2 [Pijl et al. (1995a), (1995b), Pijl (1997a), (1997b), McDermott et al. (1997)]) zijn zeer veelbelovend. Naar mijn mening komt dit doordat de accurate temporele informatie beschikbaar is zonder dat de plaatstoonhoogte verandert, en doordat de muzikale context de hersenen in staat stelt om aan muzikale reconstructie te doen. S. Pijl zette zijn onderzoek niet verder omdat de stimuli volgens zijn proefpersonen als motorgeluid klonken, waardoor hij de muzikale mogelijkheden van de strategie beperkt achtte. Echter, de onaangename klank kan zeer waarschijnlijk vermeden worden door andere parameters dan de modulatiefrequentie juist af te stellen. Dit vermoeden wordt gesterkt door de resultaten met de Fine Structure Processing strategie (zie 2.1), waarbij de klank aangenamer werd na toevoeging van twee of drie lage, zuiver temporele kanalen. In deze masterproef wil ik nagaan of het mogelijk is om de parameters van een zuiver temporele strategie zo af te regelen dat de CI-gebruiker de toonhoogte-informatie van een éénstemmige melodie waarneemt en tegelijk een aangename klank ervaart. Een indicatie voor geschikte parameters haal ik uit resultaten van andere onderzoeken, zoals uitgewerkt in Beperkingen De patiëntafhankelijke bovengrens op de waarneming van temporele frequentie bedraagt gemiddeld niet meer dan 300Hz. De muziek zal dus relatief laag klinken, en men kan gemiddeld slechts 2 octaven weergeven. Dit is echter voldoende voor vele muziekgenres, en indien gewenst kan men het frequentiebereik van een bestaande melodie steeds aanpassen of verkleinen. Daarenboven is het zonde om de patiënten die wél tot bvb. 800Hz temporeel kunnen onderscheiden, een temporele strategie te ontzeggen omdat die voor de gemiddelde gebruiker niet alle wenselijke kwaliteiten heeft. Of temporele toonhoogte ook meerdere toonhoogtes tegelijk kan weergeven (akkoorden, polyfonie), is nog onduidelijk en vermoedelijk ook zeer patiëntafhankelijk. Door de frequentiebeperking van ongeveer 300Hz is een zuiver temporele strategie ongeschikt voor spraak. De strategie kan dus enkel in een muzikale context gebruikt worden, want behalve de toonhoogte en eventueel de nuances in luidheid en frasering, geeft hij geen informatie over het echte geluid door. Woorden zijn afwezig en het timbre is volledig synthetisch. Op termijn zal het misschien mogelijk zijn om het timbre wat aan te passen aan

41 3.4 Toekomstige mogelijkheden 32 het instrument, door bvb. het scherpe timbre van een viool weer te geven op een basale elektrode. 3.4 Toekomstige mogelijkheden Ondanks al deze beperkingen zou de strategie een stap in de goede richting zijn van een grote wens van postlinguale CI-gebruikers: terug aangenaam naar muziek kunnen luisteren. In de experimentele fase gebeurt de stimulatie volledig elektrisch, op basis van toonhoogteinformatie uit melodieën, die op de computer wordt ingegeven. Als het inderdaad mogelijk blijkt een aanvaardbaar resultaat te bereiken met de temporele strategie, opent dit een waaier van mogelijkheden voor muziekwaarneming in het alledaagse leven. De temporele strategie kan dan als één van de programma's opgenomen worden in de standaard spraakprocessor. De CI-gebruiker kan het muziekprogramma via zijn afstandsbediening selecteren, op momenten waarop hij naar muziek wil luisteren en geen spraak hoeft te verstaan. Muziek als gewoon akoestisch signaal kan met een toonhoogtevolger worden omgezet in een frequentiecontour, die op zijn beurt de temporele strategie aanstuurt. Met muziekbestanden op bvb. een mp3-speler, muziek van de radio en muziek gemaakt met elektronische instrumenten kan men nog een stapje verder gaan. De CI-gebruiker kan, al dan niet draadloos, contact maken met deze elektronische apparaten, die in plaats van een akoestische golf, een digitale code aan de muziekstrategie leveren. Deze code bevat de toonhoogte-informatie, het volumeverloop, en specifieke details over het timbre, die de muziekstrategie vervolgens kan omzetten naar parameters zoals het elektrodenummer. Door de rechtstreekse koppeling met de muziekbron worden imperfecties van de toonhoogtevolger ten gevolge van achtergrondlawaai vermeden. Dit is te vergelijken met een ringleiding, een elektronisch systeem dat vaak beschikbaar is in conferentiezalen en concertzalen. Wanneer CI-gebruikers met hun afstandsbediening de T- stand kiezen, schakelt het implantaat over van de microfoon als input naar de inductieve koppeling met de ringleiding. Op deze ringleiding is het geluid van de spreker of de muzikanten beschikbaar, opgenomen vooraan in de zaal. Zo omzeilt men ruis, geroezemoes en een stille klank door de afstand tot de spreker. Tijdens een concert kan men natuurlijk ook het signaal van de ringleiding aan de toonhoogtevolger koppelen, zodat de CI-gebruiker voor muziekwaarneming van gelijkaardige voordelen geniet. Op figuur 3.1 staan de mogelijkheden van de muziekstrategie schematisch weergegeven, naast de standaardstrategie en de experimentele opstelling. 3.5 Onderzoeksvraag In deze masterproef zal ik proberen een temporele strategie uit te werken die éénstemmige melodieën aangenaam kan weergeven. Dit houdt in dat de toonhoogteperceptie fijn genoeg moet zijn om melodieën en tonaliteit waar te nemen, en dat de patiënt naar een aangename klank of enkele mooie timbres moet kunnen luisteren. Om een aangename en accurate muziekweergave te bekomen, zullen de parameters uit 2.3 moeten worden afgesteld op basis van beoordelingen van de patiënt zelf. Ik ga ervan uit dat de

42 3.5 Onderzoeksvraag 33 optimale parametercombinatie(s) door de typische inter-subject variabiliteit onder CIgebruikers, sterk persoonsafhankelijk zullen zijn. Er zal dus een muzikale fitting moeten gebeuren opdat de strategie zijn doel zou kunnen bereiken. De onderzoeksvraag luidt: - Bestaat er een coderingsstrategie met zuiver temporele toonhoogte die een aangename en muzikale sensatie kan tweegbrengen bij een CI-gebruiker? - Hoe aangenaam en muzikaal zijn deze stimuli in het beste geval? Figuur 3.1: Schematische weergave van de mogelijkheden met de temporele strategie

43 TESTS VOORAFGAAND AAN DEZE MASTERPROEF 34 Hoofdstuk 4 Tests voorafgaand aan deze masterproef 4.1 Luidheid afregelen Voordat een test van start gaat is het nuttig om de T/C-niveaus opnieuw te bepalen. Doordat proefpersonen soms al lange tijd niet meer gefit zijn, kunnen er in de tussentijd kleine veranderingen in luidheid opgetreden zijn. Door te vertrekken van de vorige T/C-niveaus kan deze stap snel gaan. Willen we echter aan andere snelheden dan de standaard 900 Hz stimuleren of de pulstreinen op een bepaalde manier moduleren, dan moeten we ook voor die gevallen T- en C-niveaus bepalen voor elke elektrode die we zo wensen te stimuleren. In de praktijk zal ik voor de gewenste modulatievormen enkel het C-niveau voor een beperkt aantal frequenties bepalen. De C-niveaus van de tussenliggende frequenties worden lineair geïnterpoleerd (zie 5.4.2). 4.2 Pilootstests over temporele toonhoogte Om het volledige systeem te testen en een eerste inzicht te krijgen in de mogelijkheden van plaatstoonhoogte, temporele toonhoogte en andere parameters, voerden we twee piloottesten uit met CI-gebruiker HM (voor meer details, zie 4.3.4). In een eerste test kreeg HM een bord met schuivers (zie figuur 4.1) ter beschikking, waarmee hij de amplitude van de pulsen op zijn 22 elektroden + de stimulatiesnelheid kon bepalen. Stroomniveaus. Een schuiver die omlaag stond, kreeg een stroomniveau net onder het T- niveau van de respectievelijke elektrode toegekend. Als een schuiver volledig open stond, werd de respectievelijke elektrode gestimuleerd op het C-niveau. Het pad van schuivers naar stimulatiepatroon wordt geïllustreerd in figuur 4.1 en 4.2. Interactie tussen plaats en snelheid. Uit deze eerste test leerden we dat het elektrodenummer voornamlijk bepaalt hoe dof (apicaal) of scherp (basaal) de toon klinkt, maar ook een toonhoogtepercept teweegbrengt. Stijgende stimulatiesnelheid werd waargenomen als stijgende toonhoogte. HM mocht bij enkele elektrodes een aangename stimulatiesnelheid zoeken. We verwachtten dat hij die stimulatiesnelheid zou kiezen, die overeenkwam met de plaatsfrequentie van de betreffende elektrode, maar de keuzes vertoonden weinig samenhang en waren niet reproduceerbaar. De resultaten bevestigden dat we de klankkleur kunnen aanpassen via de plaats van stimulatie, los van de toonhoogte die voornamelijk door de stimulatiesnelheid wordt veroorzaakt.

44 4.1 Piloottests over temporele toonhoogte 35 Figuur 4.1: Paneel met 22 schuivers voor de elektroden, en links een schuiver voor stimulatiesnelheid en een aan/uit-knop Figuur 4.2: Stimulatiepatroon in de matlab-interface voor de eerste piloottest (kleurschaal = stroomniveau) Aantal elektroden. Op de vraag om een aangename klank te creëren, schoof HM telkens ongeveer de helft van de schuivers tegelijk open, de stimulatiesnelheid maakte weinig verschil. Een groot aantal elektroden tegelijk lijkt een aangenamere klank op te leveren dan één elektrode apart. Volgens de resultaten in [Vandali et al. (2012)] zorgen meer elektroden voor een slechtere toonhoogtediscriminatie. Mogelijks zullen we voor het aantal elektroden dus een afweging moeten maken tussen goede toonhoogteweergave en aangename klank. Luidheid. Opmerkelijk was ook dat het C-niveau van sommige elektroden te stil klonk, zodat het goed was om, ondanks de beschikbaarheid van de klinische fiche, zelf nog eens de

45 4.3 Invloed parameters temporele toonhoogte 36 luidheid af te regelen. De manier waarop de C-niveaus bij andere stimulatiesnelheden zich verhielden tot deze bij de standaard snelheid (900 Hz), was zeer onvoorspelbaar. In de tweede piloottest probeerden we een beeld te krijgen van de tonale en muzikale mogelijkheden van temporele toonhoogte. Melodieherkenning. In een eerste stap slaagde HM erin om de melodie "Broeder Jakob" te herkennen. De melodie was duidelijker op elektrode 20 (apicaal) dan op elektrodes 11 en 3. HM merkte zo goed als geen verschil tussen een zuivere pulsstimulatie en een gemoduleerde sinus. De frequentie waarrond de melodie werd afgespeeld (de hoogste versie ging tot 600 Hz), leek van geen belang voor de herkenning. Als het elektrodenummer bij elke noot samen met de frequentie mee naar boven of beneden sprong, werd de melodie minder duidelijk. Intervalreconstructie. In een tweede stap kon HM behoorlijk accuraat een frequentie reconstrueren, maar het eerste interval van "O Denneboom" (een kwart) reconstrueren was een te moeilijke opdracht. Vervolgens moest HM de fout herkennen in 'O Denneboom' en 'Zie ginds komt de stoomboot'. Dit lukte goed, behalve als de afwijking maar 1 ST bedroeg. Intervalbeoordeling. Bij intervalbeoordeling omschreef HM een reine kwart en kwint steevast als lelijk, terwijl een tritonus acceptabel klonk. Bij een NH verwacht men dat een tritonus net als zeer vals wordt beoordeeld, en een reine kwart en kwint als juist. Virtuele toonhoogte. De poging om via virtuele kanalen een plaatstoonhoogte tussen twee elektroden in te stimuleren, mislukte omdat de proefpersoon niets hoorde. Conclusie. Alle resultaten bevestigden de verwachtingen uit 2.3. Enkel de intervalbeoordeling leverde vreemde resultaten op. 4.3 Invloed parameters temporele toonhoogte We gingen voor 8 patiënten de invloed na van een aantal cruciale parameters die we moeten vastleggen in een temporele toonhoogtestrategie. De stimulatiesnelheid of modulatiefrequentie wordt bepaald door de frequentie van de gewenste noot, maar verder moeten we beslissen over parameters zoals modulatiefunctie en gestimuleerde elektrode Parameters De parameters die we willen afregelen staan opgelijst in onderstaande tabel. Door voor de ordinale variabelen slechts 3 of 4 mogelijkheden te testen, houden we het aantal experimenten binnen de perken. Voor die parameters bekomen we dan geen zeer gedetailleerde informatie, maar een algemene trend van hun invloed op de herkenning en klankwarneming. Stimulatie type zuivere pulsen of sinusmodulatie Gemiddelde frequentie 120 Hz, 240 Hz of 360 Hz Elektrode nummer 20, 14 of 8 (apicale elektroden zijn geschikter) Elektrodecombinaties 0, 0-1, 0-2, 0-1-2, (meer dan 1 elektrode klinkt tegelijk: 0 = basiselektrode, 1 = 1 elektrode hoger = 1 nummer lager) Ritme synthetisch of menselijke uitvoerder Tabel 4.1: Parameters die worden afgeregeld in de voorafaande test

46 4.3 Invloed parameters temporele toonhoogte Metingen We gaan na in welke mate de waargenomen melodie aangenaam en muzikaal is. We gaan ervan uit dat we pas kunnen spreken van een echte muzikale sensatie, als een melodie min of meer te herkennen is. De proefpersoon moet dus een aantal gekende melodieën herkennen en krijgt hierbij een herkenningsscore (direct herkend, herkend met multiple choice,...). Hij krijgt tijdens de tests geen enkele feedback over zijn resultaten. Het is belangrijk een stuk melodie te laten horen, eerder dan twee losse noten, zodat de hersenen het geluid kunnen interpreteren als samenhangende muziek. We laten het ritme intact om een volwaardige muzikale beleving mogelijk te maken, zodat de proefpersoon kan beoordelen hoe aangenaam of juist de melodie klinkt. Voor elke melodie vult de proefpersoon een beoordeling in op een 5-punts Likert schaal. Hij beoordeelt volgende parameters: Testontwerp Scherp - Dof Aangenaam - Onaangenaam Mooi - Lelijk Juist - Vals Via de Taguchi methode ontwerpen we een optimale test. Dit wil zeggen dat we de gewenste statistische informatie met een minimaal aantal experimenten, in dit geval melodieën, kunnen verkrijgen. Hiervoor categoriseren we eerst de parameters. Stimulatietype 2 niveaus nominaal Gemiddelde frequentie 3 niveaus ordinaal Elektrodenummer 3 niveaus ordinaal Ritme 2 niveaus nominaal Elektrodeafstand 2 niveaus nominaal Aantal elektroden 4 niveaus ordinaal Tabel 4.2: Statistische eigenschappen van de af te regelen parameters De laatste twee parameters, 'elektrodeafstand' en 'aantal elektroden', vatten de 5 niveaus van de parameter 'elektrodecombinatie' samen. Ook gaan we ervan uit dat er geen correlaties zullen optreden tussen de verschillende parameters. Enkel het elektrodenummer (de plaatstoonhoogte) zou kunnen interageren met de frequentie (temporele toonhoogte), maar in [Chatterjee et al. (2007)] was dit bij slechts één van de drie proefpersonen het geval. We hebben dus 3 variabelen met 2 niveaus, 2 variabelen met 3 niveaus en 1 variabele met 4 niveaus. De minimale Taguchi orthogonale matrix waarin deze variabelen passen is de L16 reeks, opgesteld voor 3 variabelen met 2 niveaus en 3 variabelen met 4 niveaus. De resulterende experimenten zijn weergegeven in tabel 4.3. We gebruiken de vrijheidsgraad van het overbodige vierde niveau van het elektrodenummer om te vermijden dat we de onmogelijke elektrodencombinatie moeten testen, want elektrode 0 bestaat niet. Zo komen we tot de uiteindelijke parametercombinaties die we zullen testen in tabel 4.4.

47 4.3 Invloed parameters temporele toonhoogte 38 Elk van de 16 parametercombinaties wordt 3 maal getest per proefpersoon, zodat we in totaal 48 melodieën testen. De parametercombinaties worden willekeurig verdeeld over een aantal melodieën, die normaal niet van invloed mogen zijn op de resultaten. Om de resultaten te vergelijken, testen we nog 16 melodieën akoestisch via de standaard spraakstrategie, waarbij we de gemiddelde frequentie en het ritme variëren zoals bij de elektrische test. Tabel 4.3: Minimale orthogonale matrix L16 sinus / puls ritme elektrode comb. elektrode nr. gemiddelde freq. 2 = sinus 1 = synth 8 = = = = mens 1 = = puls = = = Tabel 4.4: Resulterende parametercombinaties We testen 'slechts' 64 melodieën om de patiënt niet te erg te vermoeien of te vervelen. Om statistisch relevante informatie te bekomen zijn dit echter weinig experimenten en is het dus belangrijk dat alle experimenten slagen. Daarom laten we de proefpersoon vooraf in een lijst van 32 bekende melodieën aanduiden hoe goed hij deze kent. Het nadeel is dat de patiënt bij het invullen deze titels gelezen heeft, en de herkenning dus in een gesloten set van 32 mogelijkheden gebeurt. Bij het herkennen van melodieën uit een gesloten set bestaat het risico dat de luisteraar zich baseert op andere parameters dan de toonhoogte, zoals de contour en het ritme. Door het grote aantal titels gaan we er echter vanuit dat de patiënt zich toch op de

48 4.3 Invloed parameters temporele toonhoogte 39 toonhoogte moet baseren. Een tweede mogelijk probleem is dat er een leereffect kan optreden voor de melodieën. Een melodie zal waarschijnlijk rapper herkend worden als de luisteraar ze 10 minuten eerder al gehoord heeft. Daarom slecteren we minstens 16 gekende melodieën uit de lijst om te gebruiken in de test. Door deze manier van testen kunnen een aantal ongewenste invloeden in de testresultaten sluipen. Vooreerst weten we niet zeker of de aangeduide liedjes écht gekend zijn. Daarnaast kan er een leereffect optreden voor de temporele toonhoogte, waardoor de resultaten gaandeweg kunnen verbeteren. Ten slotte worden de melodiën minstens één keer herhaald, waardoor herkenning de tweede en daaropvolgende keren eenvoudiger wordt. Het is mogelijk dat de patiënt zich bij de herhalingen baseert op andere parameters dan de toonhoogte. Het is van belang deze invloeden na te gaan en ze eventueel te compenseren bij de data-analyse. In een tweede luik van de test wordt nagegaan wat de patiënt waarneemt na toevoeging van extra temporele frequenties bovenop f0. We willen weten op welke manier we de klankkleur kunnen beïnvloeden, en op welke manier we meerdere tonen tegelijk kunnen laten horen. Omdat we geen enkel idee hebben van wat de CI-gebruiker zal waarnemen bij toevoeging van boventonen en ondertonen, is dit deel van de test is interactief. De onderzoeker kan experimenteren met het toevoegen van boventonen of intervallen, gelijktijdig met de basisfrequentie. Na deze experimentele fase krijgen we hopelijk een idee van het effect van meerdere temporele toonhoogtes tegelijk, en kunnen we misschien een statistisch relevant testontwerp opstellen Proefpersonen De test werd afgenomen bij 8 CI-gebruikers. Hun eigenschappen staan opgelijst in onderstaande tabel. Gesl. Leeft. Ervaring CI (j;m) Oorzaak doofheid Leeftijd start gehoorverslies Leeftijd start doofheid Muzikale opleiding P1 M 56 7;8 ongekend nee P2 M 75 4;5 ongekend ja P3 F 63 9;4 virale infectie ja P4 M 74 0;6 binnenoor inf nee P5 F 76 0;6 lawaai nee P6 F 71 1;6 Meniere ja P7 M 73 3;11 lawaai nee P8 M 46 2;2 trauma nee Tabel 4.5: Eigenschappen van de proefpersonen

49 ONTWERP TEMPORELE STRATEGIE VOOR DEZE MASTERPROEF 40 Hoofdstuk 5 Ontwerp temporele strategie voor deze masterproef 5.1 Analyse invloed parameters We analyseren de uitkomst van de parametertest (zie 4.3.3) om praktische informatie te bekomen voor het ontwerp van een goede temporele toonhoogtestrategie 1. We willen weten of en hoe de verschillende parameters de herkenning en de klankbeoordeling beïnvloeden. We testten 8 subjecten met 64 melodieën, waarin 5 parameters (stimulatietype, gemiddelde frequentie, elektrodenummer, ritme-uitvoering, elektrodeafstand en aantal elektroden) gevarieerd werden. De lijst van proefpersonen en hun eigenschappen is te vinden in tabel 4.5, meer details over de parameterverdeling en het testprotocol in Per proefpersoon en per experiment meten we gemiddelde scores over 64 melodieën. In de tabel 5.1 tot 5.4 vatten we de resultaten samen door de karakteristieken van de verdeling van die gemiddelde scores over de uitgevoerde experimenten te vermelden per parameter en per waarde van die parameter. Per geval vermelden we de gemiddelde waarde, de standaard deviatie en het aantal experimenten dat werd uitgevoerd. Het formaat is gemiddelde (standaard deviatie aantal experimenten). Het verwachte aantal experimenten is steeds veel groter dan 5, en dus kunnen we via de Kolmogorov - Smirnov test nagaan of de gemiddelde herkenningsscore (over melodieën) voor een proefpersoon normaal verdeeld is. Het is gebleken dat dit nooit het geval is, wat impliceert dat we geen éénwegs ANOVA kunnen gebruiken. We opteren daarom voor tests die ontworpen zijn voor willekeurige verdelingen. Voor parameters met 2 verschillende waarden gebruiken we de Mann-Whitney U test en voor parameters met 3 of meer verschillende waarden, de Kruskal-Wallis test. Beide testen de nulhypothese dat de verdeling van de herkennings- of klankscore dezelfde is voor alle waarden van een parameter, en niet de hypothese dat alle waarden aanleiding geven tot eenzelfde gemiddelde herkenningsscore. Het is dus belangrijk om de significantie-informatie te combineren met het berekende gemiddelde om zinvolle uitspraken te kunnen doen. We gingen voor de invloed van de parameterwaarden geen correlaties na, aangezien deze doorgaans uitgaan van een monotoon verband tussen de variabelen, terwijl dit vermoedelijk niet aanwezig zal zijn. Indien er significante verschillen zijn tussen de waargenomen verdelingen voor de verschillende waarden van een zelfde 1 Een deel van de testen werd afgenomen door Katelijne Van Gaens, voormalig medewerkster aan het Instituut voor Psychoakoestiek en Elektronische Muziek. Zij trof ook de voorbereidingen voor de analyse.

50 5.1 Analyse invloed parameters 41 parameter dan worden de gemiddelden in het vet (p<0.01) of onderlijnd (0.01<p<0.05) weergegeven Melodieherkenning Via de scorefunctie uit bijlage B kennen we een waarde toe aan de mate waarin een melodie herkend werd. Onmiddelijke herkenning krijgt hierbij een score 30, herkenning met meerkeuze krijgt score 19 en als de proefpersoon er niet in slaagt de melodie te herkennen krijgt dit score 0. De resultaten zijn terug te vinden in tabel 5.1. parameter stimulatietype gemiddelde frequentie waarde pulsen sinusmod. 120 Hz 240 Hz 360 Hz P ( ) ( ) ( ) ( ) ( ) P2* ( ) ( ) ( ) 9.27 ( ) ( ) P3* ( ) ( ) ( ) ( ) ( ) P4* ( ) ( ) ( ) ( ) ( ) P5* ( ) ( ) ( ) ( ) ( ) P6* ( ) ( ) ( ) ( ) ( ) P ( ) ( ) ( ) ( ) ( ) P8* ( ) ( ) ( ) ( ) ( ) parameter elektrodenummer uitvoerder waarde mens synthetisch P ( ) ( ) ( ) ( ) ( ) P2* ( ) ( ) ( ) ( ) ( ) P3* ( ) ( ) ( ) ( ) ( ) P4* ( ) ( ) ( ) ( ) ( ) P5* ( ) ( ) ( ) ( ) ( ) P6* ( ) ( ) ( ) ( ) ( ) P ( ) ( ) ( ) ( ) ( ) P8* ( ) ( ) ( ) ( ) ( ) param elektrodeafstand aantal elektroden nee ja P ( ) ( ) ( ) ( ) ( ) ( ) P2* ( ) ( ) ( ) 9.25 ( ) ( ) ( ) P3* ( ) ( ) ( ) ( ) ( ) ( ) P4* ( ) ( ) ( ) ( ) ( ) ( ) P5* ( ) ( ) ( ) ( ) ( ) ( ) P6* ( ) ( ) ( ) ( ) ( ) ( ) P ( ) ( ) ( ) ( ) ( ) ( ) P8* ( ) ( ) ( ) ( ) ( ) ( ) *: Melodieën die geen van de drie keren werden herkend worden beschouwd als niet gekend en zijn dus weggelaten uit de herkenningsresultaten Tabel 5.1: Gemiddelde herkenningsscores Slechts een beperkt aantal parameters heeft een significante invloed bij een of twee proefpersonen. Dit hoeft echter niet te betekenen dat een patiënt geen specifieke parametercombinaties heeft waarmee hij de melodie beter of slechter herkent. Aangezien elke parametercombinatie slechts 3 maal in een melodie voorkwam in de test (zie 4.3.2), heeft het

51 5.1 Analyse invloed parameters 42 echter geen zin om hier naar significante verschillen te zoeken. Voor het ontwerp van een temporele strategie selecteren we voor elke patiënt en voor elke parameter de waarde(n) met de beste herkenningsscore. De selectie is weergegeven in tabel 5.2. In tegenstelling tot de bevindingen uit de literatuurstudie vinden we geen enkele parameter die eenzelfde invloed heeft op alle proefpersonen. De gangbare opvatting dat apicale elektroden beter toonhoogte kunnen weergeven en temporele toonhoogte best werkt voor lage frequenties [Chatterjee et al. (2007)] wordt niet bevestigd en ook de algemeen aangenomen bovengrens van 250 à 300 Hz [Laneau et al. (2004)] blijft niet overeind. Ter illustratie is in figuur 5.1 de invloed van de gemiddelde frequentie op de herkenningsscore weergegeven voor de verschillende patiënten. persoon stimulatie frequentie elektrode uitvoerder afstand # elektroden P1 puls 120 Hz 20 mens nee 3 of 5 P2 puls 360 Hz 8 of 14 synthetisch ja 5 P3 puls 240 Hz 8 of 20 mens nee 2 of 5 P4 puls 120 of 360 Hz 14 synthetisch nee 1 of 2 P5 sinus 120 Hz 8 mens nee 1 P6 sinus 240 of 360 Hz 14 synthetisch ja 2 P7 sinus 120 Hz 14 mens nee 2 P8 sinus 120 Hz 14 of 20 mens ja 2 Tabel 5.2: Beste parameterwaarden voor herkenning Gemiddelde herkenningsscore P1 P2 P3 P4 P5 P6 P7 P Gemiddelde frequentie (Hz) Figuur 5.1: Gemiddelde herkenning voor verschillende waarden van de gemiddelde frequentie Klankbeoordeling Bij het ontwerp van een temporele strategie streven we ook naar een aangename klank. We vatten de klankkwaliteit samen in één parameter door de beoordelingswaarden voor onaangenaam/aangenaam en lelijk/mooi op te tellen. Voor elke beoordeling waren 5 mogelijkeheden (0 tot en met 4), dus de totale klankkwaliteit varieert tussen 0 (zeer slecht) en

52 5.1 Analyse invloed parameters 43 8 (zeer goed). De resultaten zijn terug te vinden in tabel 5.3 in het formaat 'gemiddelde klankkwaliteit (standaardfout op het gemiddelde aantal experimenten). parameter stimulatietype gemiddelde frequentie waarde pulsen sinusmod. 120 Hz 240 Hz 360 Hz P ( ) 4.38 ( ) 3.56 ( ) 4.80 ( ) 4.93 ( ) P ( ) 3.00 ( ) 2.28 ( ) 4.27 ( ) 3.33 ( ) P ( ) 3.83 ( ) 4.17 ( ) 3.60 ( ) 2.60 ( ) P ( ) 5.00 ( ) 5.44 ( ) 6.27 ( ) 6.53 ( ) P ( ) 6.79 ( ) 6.83 ( ) 6.67 ( ) 5.33 ( ) P ( ) 3.17 ( ) 1.56 ( ) 3.93 ( ) 4.53 ( ) P ( ) 3.79 ( ) 3.11 ( ) 3.73 ( ) 4.73 ( ) P ( ) 5.08 ( ) 5.06 ( ) 4.13 ( ) 4.00 ( ) parameter elektrodenummer uitvoerder waarde mens synthetisch P ( ) 3.80 ( ) 4.44 ( ) 3.63 ( ) 5.13 ( ) P2* 1.93 ( ) 4.07 ( ) 3.61 ( ) 3.88 ( ) 2.58 ( ) P3* 2.53 ( ) 3.47 ( ) 4.33 ( ) 2.96 ( ) 4.04 ( ) P4* 6.13 ( ) 7.00 ( ) 5.17 ( ) 5.88 ( ) 6.21 ( ) P5* 6.53 ( ) 6.53 ( ) 5.94 ( ) 6.83 ( ) 5.79 ( ) P6* 4.13 ( ) 3.53 ( ) 2.22 ( ) 3.04 ( ) 3.42 ( ) P ( ) 4.47 ( ) 2.50 ( ) 3.75 ( ) 3.88 ( ) P8* 4.00 ( ) 5.07 ( ) 4.28 ( ) 4.92 ( ) 3.96 ( ) param elektrodeafstand aantal elektroden nee ja P ( ) 4.33 ( ) 4.17 ( ) 4.67 ( ) 4.33 ( ) 4.33 ( ) P2* 3.40 ( ) 2.94 ( ) 4.17 ( ) 2.75 ( ) 4.00 ( ) 2.00 ( ) P3* 3.93 ( ) 2.78 ( ) 4.33 ( ) 3.42 ( ) 3.17 ( ) 3.08 ( ) P4* 5.61 ( ) 6.44 ( ) 6.08 ( ) 6.00 ( ) 6.42 ( ) 5.67 ( ) P5* 6.28 ( ) 5.78 ( ) 7.17 ( ) 6.75 ( ) 6.33 ( ) 5.00 ( ) P6* 1.78 ( ) 4.11 ( ) 4.08 ( ) 3.33 ( ) 2.33 ( ) 3.17 ( ) P ( ) 4.33 ( ) 3.92 ( ) 4.17 ( ) 3.17 ( ) 4.00 ( ) P8* 3.78 ( ) 4.78 ( ) 4.92 ( ) 4.08 ( ) 4.92 ( ) 3.83 ( ) Tabel 5.3: Gemiddelde beoordelingen klankkwaliteit De parameters hebben duidelijk meer invloed op de beoordeling dan op de herkenning. Als hulp bij het opstellen van de temporele toonhoogtestrategie vat tabel 5.4 de beste parameterwaarden samen voor een goede klankkwaliteit.

53 5.1 Analyse invloed parameters 44 persoon stimulatie frequentie elektrode uitvoerder afstand # elektroden P1 sinus/puls 240 of 360 Hz 8 of 20 synthetisch nee 1 of 3 P2 puls 240 Hz 14 synthetisch nee 1 P3 sinus 120 Hz (240?) 20 mens nee 1, 2 of 3 P4 puls 360 Hz 14 mens ja 1 of 2 P5 sinus 120 of 240 Hz 8 of 14 mens nee 1 P6 puls 360 Hz 8 synthetisch ja 1 P7 puls 360 Hz 8 of 14 synthetisch ja 2 of 5 P8 sinus 120 Hz 14 mens ja 1 of 3 Tabel 5.4: Beste parameterwaarden voor klankkwaliteit In de invloed van de parameters op de klankkwaliteit valt geen lijn te trekken. Zo vindt P4 pulsen significant het best klinken terwijl P8 een significante voorkeur heeft voor sinusvormige modulatie. Een goede temporele strategie zal dus steeds moeten voorafgegaan worden door een parameterafregeling. Tussen de scores en beoordelingen van de proefpersoon verwachten we wel correlaties. Aangezien de data niet-parametrisch is, gebruiken we de eenzijdige Spearman rho correlatiecoefficiënt om na te gaan in welke mate herkenning en klankkwaliteit gecorreleerd zijn. Spearman rho test een monotone correlatie eerder dan een lineaire. Bij P2 en P7 is de herkenning niet gecorreleerd met de beoordeling, bij P1 bestaat een licht positieve correlatie (resp. r = 0.264, p = 0.035) en voor de overige patiënten een matig positieve correlatie (P3: r = 0.429, p = 0.001; P4: r = 0.416, p = 0.002; P5: r = 0.690, p = 0.000; P6: r = 0.588, p = 0.000; P8: r = 0.666, p = 0.000). Hieruit weten we niet welke factoren oorzaak en gevolg zijn: lijkt de melodie plots aangenamer omdat de proefpersoon ze herkend heeft of zorgt een aangename waarneming voor een goede melodieherkenning. De invloed van de scherpte van de melodie op de klankbeoordeling verschilt sterk tussen de proefpersonen, getest met Spearman rho tenzij anders vermeld. Bij P8 heeft de scherpte geen significante invloed op de klankkwaliteit, voor P1 (r = 0.493, p = 0.000), P4 (r = 0.366, p = 0.005), P6 (r = 0.588, p = 0.000) en P7 (r = 0.626, p = 0.000) bestaat er een matig positieve correlatie tussen scherp en aangenaam. Voor P3 (r = , p = 0.006) klinkt een doffere melodie beter en P2 en P5 (Kruskal Wallis, resp. p = en p = 0.001) houden niet van de extremen. De vorm van verdeling voor P2 en P5 is weergegeven in figuur Variabiliteit tussen proefpersonen Zoals te verwachten zijn de resultaten van de proefpersonen onderling sterk verschillend. De totale herkenningsscore over de proefpersonen heen is normaal verdeeld, net zoals de leeftijd. Met de tweezijdige Pearsons chi-kwadraat test vinden we een trend (0.05<p<0.075) dat jongere proefpersonen beter herkennen dan oudere (r = -6.77, p = 0.065). De duur van de doofheid vóór implanatie uitgedrukt in maanden, is niet normaal verdeeld. Met de Spearman rho test vinden we een trend dat de duur van doofheid matig negatief gecorreleerd is met de herkenning (r = , p = 0.071), met andere woorden, jonge mensen herkennen beter. We onderzoeken of eigenschappen van proefpersonen een invloed hebben op de geselecteerde parameterwaarden. Mensen die langer doof zijn (in jaar) herkennen melodieën significant beter op een hogere gemiddelde frequentie (Kruskal Wallis, r = 0.873, p = 0.005). Proefpersonen die beter herkennen met hun standaardstrategie dan met de temporele strategie,

54 5.1 Analyse invloed parameters 45 Figuur 5.2: Niet uitgesproken scherp of doffe melodieën klinken het aangenaamst voor P2 en P5 herkennen melodieën beter op een lage frequentie (Pearsons Chi-kwadraat, r = , p = 0.004). Oudere proefpersonen herkennen beter op een meer basale elektrode, die dus een lager elektrodenummer heeft en een hogere tonotopisch toonhoogte (Spearman rho, r = , p = 0.000). Omdat de Levene test uitwijst dat de variantie van de herkenningsscore niet gelijk is voor veschillende parameterwaarden van het stimulatietype en de afstand tussen elektroden, vinden we met de Mann-Whitney U test de volgende trends. Proefpersonen die beter herkennen met de standaardstrategie, herkennen met de temporele strategie beter voor sinusvormige stimulatie (p = 0.071) en mensen die minder lang doof zijn (uitgedrukt in maanden) herkennen beter als er afstand is tussen de elektroden (p = 0.071). In een voorzichtige poging tot interpretatie zouden we kunnen stellen dat de toonhoogte met de standaard ACE-strategie voornamelijk door tonotopie wordt weergegeven, maar dat ook temporele informatie aanwezig is in de traag variërende omhullende bij zeer lage frequenties. CI-gebruikers die erin slagen deze temporele informatie te ontcijferen, zullen vermoedelijk een hogere herkenningsscore halen met de standaardstrategie dan gebruikers die enkel de tonotopie gebruiken. Aangezien zij gewoon zijn om de temporele informatie af te leiden uit een traagvariërende omhullende bij lage frequenties, zullen zij met de temporele strategie beter herkennen bij lage frequenties en met sinusmodulatie in de plaats van pulsstimulatie, omdat sinusmodulatie veel dichter ligt bij de vorm van de traagvariërende omhullende de scherpe pieken van pulsstimulatie. deze parameterwaarden. De trend dat mensen die korter doof zijn, beter herkennen als er een afstand is tussen de gestimuleerde elektroden, zou kunnen wijzen op een aanpassing in de hersenen bij langer implantaatgebruik. In het golfpatroon op het basilair membraan van een NH komen de basisfrequentie en de boventonen inderdaad op een afstand van mekaar voor. Door langer implantaatgebruik went de CI-gebruiker aan de tonotopische strategie, waarbij een bepaalde toonhoogte verbonden is met een vaste plaats in de cochlea en dus met één bepaalde elektrode.

55 5.2 Ontwerp temporele toonhoogtestrategie Ontwerp temporele toonhoogtestrategie In deze sectie beschrijf ik de opbouw en uitvoering van de temporele toonhoogtestrategie die ik in deze masterproef wil testen. Ik baseer de algemene ontwerpbeslissingen op de synthese van de literatuurstudie in 2.3 en de geselecteerde parameterwaarden op de resultaten van de testen die werden beschreven in vorige sectie. De criteria zijn een goede toonhoogtewaarneming en een aangename klank Ontwerpbeslissingen Voor een goede toonhoogtewaarneming moeten stimuli voldoen aan de volgende voorwaarden: het stimulatiepatroon begint met 100 ms Power Up Frames (zie verder in 5.3.2) de toonhoogte wordt gegenereerd door de stimulatiesnelheid of door de temporele modulatiefrequentie de plaats van stimulatie moet constant blijven gedurende de hele melodie de modulatiediepte bedraagt 100% en de elektroden worden in faseverband gemoduleerd Volgende parameters kunnen we gebruiken om een aangename klank te creëeren: sterkte van temporele boventonen op veelvouden van f0 plaats van de gestimuleerde elektrode(n) aantal elektroden dat gelijktijdig klinkt en de afstand ertussen modulatievorm frequentiebereik temporele omhullende van de toon, ook wel enveloppe, aanslag of adsr (attack - decay - sustain - release) Sommige van deze parameters zullen evenwel interfereren met de toonhoogtewaarneming, zoals blijkt uit de toonhoogtediscriminatiegegevens in tabel 2.2. We kiezen ervoor om in eerste instantie geen boventonen te gebruiken, omdat het onduidelijk is op welke manier deze extra temporele frequenties zullen interfereren met de basisfrequentie f0. We kiezen voor een standaard synthetische adsr (attack-decay-sustain-release) omhullende zoals weergegeven in figuur 5.3. Dankzij de korte stroompiek van de attack hoort de proefpersoon duidelijk wanneer een nieuwe toon begint, en de horizontale sustain zorgt ervoor dat de toon op volle sterkte blijft klinken tot het einde. De attack, decay en release duren 0.04s, het stroomniveau van de sustain is het C-niveau en de piek van de attack ligt 5% hoger. De parameters van de melodie die we uit de partituur overnemen zijn de intervalsequentie en het ritme. Hierbij hebben we nog de keuze tussen synthetisch ritme, waarbij alle tonen een exact voorgeschreven lengte hebben, of ritme door een menselijke uitvoerder alle tonen even luid, of de nuances in luidheid overnemen uit een menselijke uitvoering Een menselijke uitvoerder zal over het algemeen muzikale accenten leggen, die de melodieherkenning kunnen bevorderen. We spelen alle tonen even luid af, omdat verschillen in luidheid de toonhoogtewaarneming kunnen beïnvloeden [Pijl (1997)].

56 5.2 Ontwerp temporele toonhoogtestrategie Parametercombinaties Figuur 5.3: adsr omhullende Nu de algemene vorm van de strategie vastligt, hebben we nog keuzevrijheid voor de parameters stimulatietype, frequentiebereik, gestimuleerde elektrode, ritme uitvoerder, afstand tussen de gelijktijdig gestimuleerde elektroden en aantal gelijktijdig gestimuleerde elektroden. We weten dat de waarden die aanleiding geven tot een goede herkenning of klankkwaliteit, niet voor alle patiënten dezelfde zijn. Daarom kiezen we deze parameters op basis van een parameterfitting, zijnde de test naar de invloed van de parameters (zie 4.3.3). We zullen P2, P4, P5 en P7 testen met de uiteindelijke temporele strategie. Informatie over deze patiënten is te vinden in 6.1, de analyse van hun parameterfitting in 5.1. We kiezen voor iedere patiënt één parametercombinatie die in een goede herkenning resulteert, 2 uiteenlopende combinaties die een goede klankkwaliteit opleveren, en ter vergelijking, een combinatie die aanleiding geeft tot een zeer onaangename klank oplevert. We baseren ons hiervoor op de gemiddelde herkennings- en klankscores, tenzij de gemiddelden voor bepaalde parametrwaarden dicht bij elkaar liggen. In dat laatste geval kijken we in de boxplots of histogrammen en bepalen we zo welke waarde de meest gewenste verdeling oplevert. Vervolgens vergelijken we de bekomen parametercombinaties met de uitkomsten van de verschillende experimenten. Het is namelijk niet gezegd dat de combinatie die het resultaat is van optimale instellingen voor de aparte parameters, ook de optimale combinatie is. Als we door het wijzigen van een parameter zonder significante invloed een combinatie bekomen die 3 op de 3 keer perfect herkend of beoordeeld werd, dan passen we de parametercombinatie aan. In deze stap houden we ook rekening met de opmerkingen die patiënten maakten over bepaalde melodieën, zoals "dit klink helemaal zoals ik het mij herinner". De resulterende combinaties voor de te testen proefpersonen zijn in tabel 5.5 samengevat. Aangezien [Vandali et al. (2012)] vaststelden dat de herkenning significant beter is met exponentiële modulatie dan met sinusmodulatie, voegen we voor elke patiënt nog 3 combinaties toe: we behouden de parameters van herkenning, klank 1 en klank 2, maar vervangen het stimulatietype door exponentiële modulatie. Dit geeft aanleiding tot 3 extra parameterinstellingen 'herkenning exp', 'klank 1 exp' en 'klank 2 exp'.

57 5.3 Testomgeving 48 persoon parametercomb stimulatie frequentie el. nr. uitvoerder afstand # el herkenning puls 360 Hz 8 synthetisch ja 5 P2 klank 1 puls mens nee 1 klank 2 puls mens nee 3 slecht sinus synthetisch nee 5 herkenning puls mens nee 2 P4 klank 1 puls synthetisch nee 1 klank 2 puls mens ja 3 slecht sinus mens nee 5 herkenning puls mens nee 3 P5 klank 1 sinus mens nee 2 klank 2 sinus mens nee 2 slecht puls synthetisch ja 5 herkenning sinus mens nee 1 P7 klank 1 sinus synthetisch nee 2 klank 2 puls mens ja 5 slecht puls mens nee 3 Tabel 5.5: Parameterinstellingen voor P2, P4, P5 en P7 5.3 Testomgeving Om personen met een cochlear implantaat rechtstreeks elektrisch te stimuleren, beschikken we over aansturingsapparatuur van Cochlear TM Hardware Een computer stuurt via de USB-uitgang informatie over de stimuli naar een experimentele processer, de L34 (2). Tussen de computer en de processor is een galvanische scheiding (1) voorzien, een vereiste voor medische apparatuur. De experimentele processor zet de informatie om in elektromagnetische golven op de magneet (4) die achter het oor op het hoofd geplaatst wordt. De standaardprocessor (3) is niet functioneel en dient om het externe deel achter het oor te kunnen haken. De elektromagnetische straling gaat door de huid heen en wordt opgevangen door de interne magneet van de patiënt (5). De interne processor zet deze informatie en energie om in elektrische pulsen op de elektrodenrij Figuur 5.4: Hardware voor computeraansturing van een cochleair implantaat

58 5.3 Testomgeving 49 Tijdens de ontwikkeling van de software kan men nagaan of de stimuli eruitzien zoals men wil, door de externe magneet (4) op een DIET Box te plaatsen. Deze implantaatemulator doet hetzelfde als het interne gedeelte (5), maar in plaats van de elektrische pulsen naar elektroden te sturen, lichten LED-lichtjes op die de 22 elektroden en de referentie-elektrode voorstellen Software Via de Nucleus Implant Communicator (NIC) software communiceert de computer met de experimentele processor. NIC zet eenvoudige puls-informatie, aangeleverd vanuit C/C++, Matlab of Python, om in informatie op de USB-poort (streaming), en laat ook toe om de elektrische respons van de zenuwen in de cochlea te registreren (telemetrie). De betekenis van de verschillende parameters van één puls kwam aan bod in Voor het gemak is hieronder nogmaals het uitzicht van de matlab-structuur weergegeven. puls = mode: 103 phase_width: 25 phase_gap: 8 current_level: 154 electrode: 14 period: e+003 %µs %µs %µs NIC kan voorlopig enkel integrale pulspakketten verzenden, en die met een vertraging van enkele milliseconden tot seconden worden afleveren aan de elektrodenrij. Verder moet men de stroomsterkte in de cochlea op niveau krijgen door vooraf 100ms Power Up Frames (PUFs) te versturen. Anders bestaat het risico dat de proefpersoon het eerste deel van de stimuli niet kan horen. Door deze beperkingen is het niet mogelijk om spraak of muziek in real-time door te geven. Als de beoogde test een kleine pauze tussen de tonen toelaat, kan men wel een zekere interactiviteit toelaten. Bij intervalreconstructie bijvoorbeeld, is de timing niet zo cruciaal, en kan men de patiënt de toonhoogte laten aanpassen met pijltjes. De maximale stimulatiesnelheid bedraagt 32kHz, de maximale fasebreedte µs en de maximale fasepauze µs. Om de constructie van pulstreinen te vergemakkelijken, werd de Nucleus Matlab Toolbox (NMT) ontwikkeld. Deze verzameling matlabscripts bevat onder andere code voor de standaardstrategieën, analysehulpmiddelen en mogelijkheden tot visualisatie. Dankzij de NMT is het gemakkelijk om de bestaande strategieën uit te breiden of te wijzigen, en de resultaten weer te geven in een elektrodogram Testopstelling Het ethisch comité legt op dat tests op patiënten moeten doorgaan in lokalen van het UZGent, in het bijzijn van een audioloog. Daarnaast moet de proefpersoon een patiëntinformatieblad (informed consent) ondertekenen, waarin hij verklaart op de hoogte te zijn van de risico's van de test waaraan hij zal deelnemen.

59 5.4 Programma voor omzetting naar temporele toonhoogte 50 De proefpersoon zit aan een tafel tegenover de onderzoeker(s) en wisselt naargelang de opdracht zijn eigen spraakprocessor voor de onderzoeksprocessor. Tijdens de testonderdelen met onderzoeksprocessor kan de patiënt geen spraak meer verstaan, en communiceert de onderzoeker via papieren fiches. De test wordt gefilmd om de analyse te vergemakkelijken. In figuur 5.5 is een mogelijke testopstelling weergegeven, gezien vanuit het camerastandpunt. Uiterst links bedient de proefpersoon een schuiverpaneel, op zijn tafel ligt de onderzoeksprocessor, die aangestuurd wordt door de computer op de rechtse tafel. Figuur 5.5: Testopstelling 5.4 Programma voor omzetting naar temporele toonhoogte In deze sectie bespreek ik de functionele kern van het programma dat melodieën omzet naar een pulstrein volgens het ontwerp van de temporele toonhoogtestrategie beschreven in 5.2. In 6.4 bespreek ik de bijhorende gebruikersinterface die werd ontworpen voor de test. De test zelf wordt beschreven in hoofdstuk Input Het programma heeft voor de melodieomzetting informatie nodig over de starttijden, de duur en de toonhoogte van de verschillende noten. Die verkrijgt het door uit een MIDI-bestand (Musical Instrument Digital Interface) de 4 de (toonhoogte), 6 de (starttijd) en 7 de kolom (duur) te selecteren. MIDI is het meest gangbare bestandstype om elektronische muziek op te slaan zonder de golfvorm zelf te moeten coderen. Elektronische instrumenten beschikken standaard over een MIDI-uitgang, elektronische en gescande partituren kunnen eenvoudig naar MIDI worden omgezet, en een groot aantal liedjes allerhande is beschikbaar in een MIDI-versie. Een MIDI-omzetter geeft CI-gebruikers dus direct toegang tot een schat aan muziekbestanden. Bovendien is de toonhoogte-informatie perfect en vrij van interferentie met

60 5.4 Programma voor omzetting naar temporele toonhoogte 51 achtergrondlawaai, wat MIDI een groot voordeel geeft ten opzichte van de extractie van toonhoogte-informatie uit een geluidsbestand of geluidsgolf. Voor de omzetting naar pulstreinen heeft het programma verder de klinische fiche van de gebruiker nodig. Hieruit wordt de technische informatie omtrent intern deel, modus, fasebreedte en fasepauze overgenomen (zie 1.1.1). De informatie over de stroomniveaus, die als T- en C-niveaus genoteerd zijn in de klinische fiche, kan niet zomaar overgenomen worden. De stroomniveaus zijn namelijk bepaald voor een standaard stimulatiesnelheid (meestal 900 Hz), terwijl de temporele toonhoogtestrategie andere stimulatiesnelheden en andere modulatievormen gebruikt. Net zoals bij de standaardstrategie is dus ook voor de temporele strategie een fitting nodig Luidheid afregelen In principe moet voor elke elektrode, voor elk stimulatietype en voor elke stimulatiefrequentie een C-niveau bepaald worden. Dit is echter niet haalbaar binnen redelijke tijd, dus berekenen we benaderende C-niveaus, gebaseerd op een beperkt aantal afgeregelde waarden. De berekeningsmethode wordt hieronder uitgewerkt voor één type stimulatie. Voor andere types moet hetzelfde proces doorlopen worden. Stap (1). We vertrekken van de bestaande C-niveaus en gaan er in eerste instantie van uit dat deze niveaus gelden voor alle stimulatietypes en alle frequenties. We stellen deze C-niveaus gelijk aan de referentiewaarde (afwijking = 0). Ter illustratie werken we dit uit voor 3 stimulatiefrequenties en 3 elektroden. Stap (2). We laten de CI-gebruiker voor enkele elektroden en frequenties het echte C-niveau bij dit stimulatietype bepalen, en we voegen de afwijking toe aan de tabel. Stap (3). Voor de afgeregelde elektroden wordt de afwijking op het stroomniveau voor de niet geteste frequenties verkregen door interpolatie. Frequenties hoger of lager dan de resp. hoogst en laagst afgeregelde waarde krijgen eenzelfde stroomniveau toegekend als deze laatste. (f 2 - f). I f1 + (f - f 1 ). I f2 f tussen 2 afgeregelde frequenties f I = I fmax f groter dan maximale afgeregelde frequentie I fmin f kleiner dan minimale afgeregelde frequentie

61 5.4 Programma voor omzetting naar temporele toonhoogte 52 Stap (4). Daarna worden de stroomniveaus van de niet afgeregelde elektroden (= elektroden zonder meetwaarden) bij een bepaalde frequentie lineair geïnterpoleerd uit de waarden op de dichtsbijgelegen elektroden bij diezelfde frequenties. Ook hier worden de stroomniveaus van de elektroden hoger en lager dan de metingen gelijkgesteld aan die op de resp. hoogst en laagst gemeten elektrode. (el 2 - el). I el1 + (el - el 1 ). I el2 el tussen 2 afgeregelde elektrodes el I = I el,max el groter dan maximale afgeregelde elektrode I el,min el kleiner dan minimale afgeregelde elektrode De resulterende afwijkingstabel wordt opgeteld bij de tabel met referentie C-niveaus om de uiteindelijk stroomniveaus te bekomen. I = I 0 + I In de test van onze temporele strategie gaat de frequentie nooit hoger dan 900 Hz. We delen het frequentiebereik [50 Hz, 900 Hz] op in 18 frequenties met tussenstappen van 50Hz. Het uiteindelijke stroomniveau op een bepaalde elektrode voor een bepaalde frequentie is dat van de dichtsbijgelegen frequentie uit de lijst. Ter illustratie is in figuur 5.6 de afwijking van de stroomniveaus voor P2 weergegeven voor sinusmodulatie. De effectief afgeregelde waarden zijn in het rood aangeduid. Figuur 5.6: Verschil tussen C-niveaus en uiteindelijke stroomniveaus

62 5.4 Programma voor omzetting naar temporele toonhoogte Output Het programma geeft als resultaat een pulstrein zoals beschreven in De precieze waarden hangen af van de input en worden berekend in de verwerkingsstappen (zie 5.4.4). De invloed van enkele inputparameters op de resulterende pulstrein wordt geïllustreerd in elektrodogrammen 5.7 tot 5.9. Channel Time (ms) Figuur 5.7: Elektrodogram van "Altijd is Kortjakje ziek, midden in de week maar 's zondags niet, ter illustratie van de Power Up Frames op elektrode 0 (zie 5.2.1), van het ritme van de melodie en van het elektrodenummer (14), het aantal elektroden (2) en de afstand (0). Dit resulteert in de combinatie elektrode 14 (basiselektrode) en elektrode 13 (bovenliggende elektrode in tonotopische zin). Channel Time (ms) Figuur 5.8: Detail ter illustratie van de adsr omhullende en de verschillende stroomniveaus op de verschillende elektroden.

63 5.4 Programma voor omzetting naar temporele toonhoogte 54 'Al-' T = 3.75ms f = 267 Hz 'is' T = 2.5ms f = 400 Hz Channel T T Time (ms) Time (ms) Figuur 5.9: Detail van de aanzet van 'Al-(tijd)' (links) en deze van 'is' (rechts) ter illustratie van de vorm ( pulsstimulatie) en van het verschil in frequentie. De gemiddelde frequentie van het stuk is 360 Hz, de toon 'Al(-tijd)' (lage sol) klinkt in dat geval op frequentie f = 267 Hz (periode T = 3.75 ms) en de toon 'is' (middelste do) op f = 400 Hz, T = 2.5ms. De frequenties van beide tonen verhouden zich als een kwint (3:2). Het programma voorziet ook de mogelijkheid om deze pulstrein via de communicatiesoftware van CochlearTM naar het implantaat te sturen en dus hoorbaar te maken voor de CIgebruiker Verwerking Stap (1). De lijst met MIDI-toonhoogtecodes wordt omgezet naar een lijst met frequenties in Hz, rekening houdend met de opgegeven waarde voor de gemiddelde frequentie. Aan de gemiddelde MIDI-toonhoogtecode fmidi gemiddeld wordt de gemiddelde frequentie f gemiddeld toegekend. De andere frequenties worden als volgt berekend, (fmidi(n) - fmidigemiddeld)/7 f(n) = f gemiddeld. (3/2) met n = 1... aantal noten We stelden vast dat sinustonen buiten de frequenties 250 Hz tot 600 Hz vals klinken in de algemeen gebruikte gelijkzwevende stemming, gebaseerd op reine octaven. Daarom hebben we de formule omgevormd tot een gelijkzwevende stemming gebaseerd op reine kwinten, die wel tot aanvaardbaar klinkende hogere en lagere tonen leidt. De resulterende frequentielijst wordt gebruikt als stimulatiesnelheid (pulstrein) of als modulatiefrequentie (gemoduleerde pulstrein). Stap (4) elektroden. Door de parameter elektrodencombinatie (bvb ) af te trekken van het elektrodenummer (bvb. 8) bekomt men de elektroden waarop gestimuleerd wordt (bvb ). Het feit dat men het nummer moet aftrekken is een gevolg van de nummering die CochlearTM hanteert. Een elektrode hoger stimuleren (elektrodecombinatie +1) komt neer op een elektrodenummer lager stimuleren, omdat de laagste elektrodenummers aanleiding geven tot de hoogste tonotopische frequentie. Stap (3) puls. We wensen op elke elektrode één puls af te vuren per periode T = 1/f. De parameter die we hiertoe in de matlabstructuur moeten meesturen is de periode (zie 5.3.2) die hoort bij de aantal pulsen per seconde over alle elektroden heen, of kortweg de totale stimulatiesnelheid. We kunnen echter niet zomaar de gewenste frequentie kiezen als totale

64 5.4 Programma voor omzetting naar temporele toonhoogte 55 stimulatiesnelheid, omdat de tijd tussen twee pulsen dan zo groot kan worden dat het implantaat niet opgeladen blijft. Voor de zekerheid kiezen we een minimale totale stimulatiesnelheid van 1 khz. De stimulatiesnelheid is dan gelijk aan het kleinste veelvoud van de gewenste frequentie maal het aantal elektroden dat boven de minimale snelheid ligt. Per periode moeten alle elektroden precies één maal gestimuleerd worden, de overige pulsen krijgen een niveau nul en worden afgevuurd op elektrode 0, zijnde één van de referentieelektroden buiten de cochlea. Deze pulsen zijn niet hoorbaar, maar zorgen ervoor dat de ladingen in het implantaat op niveau blijven. Ter illustratie wordt in figuur 5.10 het elektrodogram weergegeven voor de situatie f = 300 Hz en 3 gestimuleerde elektroden. Het kleinste veelvoud van 3f = 900 Hz dat f min = 1000 Hz overtreft, bedraagt 1800 Hz. Per periode worden 6 stimuli afgevuurd: 1 op elk van de 3 elektroden, en 3 nulstimuli. 4 3 Channel Time (ms) Figuur 5.10: Elektrodogram voor pulsstimulatie aan 300Hz op 3 elektroden Wil men meerdere frequenties tegelijkertijd laten horen, dan wordt de totale stimulatiesnelheid het kleinste gemene veelvoud van de afzonderlijke frequenties. Het programma zorgt er dan voor dat op elke elektrode één puls wordt afgevuurd per periode gerelateerd aan die elektrode. De overige plaatsen worden opgevuld met nulstimuli. In het geval dat twee verschillende elektroden op hetzelfde moment een stimulus zouden moeten krijgen, wordt enkel de elektrode gestimuleerd die de sterkste puls moest krijgen, en dit met de amplitude die voorzien was voor die puls. Twee elektroden kunnen namelijk niet tegelijk gestimuleerd worden (de stimulatie moet sequentieel gebeuren). Om te vermijden dat dit conflict vaak voorkomt, zorgen we ervoor dat de eerste pulsen op elke elektrode een klein beetje verschoven zijn ten opzichte van elkaar. Als we dit niet doen zal bijvoorbeeld een kwintverhouding (3:2) om de twee stimuli aanleiding geven tot een overlap in elektrodenummer. Voor de verschuiving is er keuze tussen een zo kort mogelijk interval (binnen de beperkingen van de maximale totale stimulatiesnelheid), of de helft van de periode van de laagste frequentie. In het eerste geval komen de stimuli die normaal tegelijkertijd klinken, in tijd zo dicht mogelijk bij elkaar, in het tweede geval worden die stimuli zo veel mogelijk gespreid in tijd. Het is echter niet geweten hoe de hersenen dergelijke stimuli zullen combineren, hiervoor is verder onderzoek is nodig. Stap (3) modulatie. In het geval van exponentiële of sinusmodulatie kiezen we voor de maximaal toegelaten stimulatiesnelheid. De resulterende stimulatiesnelheid f s op elk kanaal is de maximale snelheid gedeeld door het aantal kanalen. Het is dus belangrijk om na te gaan of

65 5.4 Programma voor omzetting naar temporele toonhoogte 56 aan de Nyquist-voorwaarde f s > 2f max voldaan is als men hoge frequenties op veel kanalen tegelijk wil laten horen. Hieronder volgt de beschrijving voor sinusvormige stimulatie. Voor exponentiële modulatie vervangt men de sinus door een aaneenrijging van stukken exponentiële functie. De stukken exponentiële hebben een tijdconstante van T/4, met T de modulatieperiode, en de modulatiediepte is 50%. Channel Time (ms) Figuur 5.11: Exponentiële modulatie aan 300 Hz In het eenvoudige geval van één gestimuleerde elektrode bekomt men de genormaliseerde modulatie door een sinus met de gewenste frequentie en waarden tussen 0 en 1 te samplen aan f max. Wenst men meerdere elektroden te stimuleren met dezelfde sinus, dan moet dit in fase gebeuren. De waarden van de gesamplede sinus zijn dezelfde als in het geval van één

66 5.4 Programma voor omzetting naar temporele toonhoogte 57 elektrode, maar de lijst met elektoden is een cyclische herhaling van de gewenste elektrodenummers. Meerdere tonen tegelijk aanbieden op eenzelfde elektrode kan door een som van sinussen te samplen aan f max. Men biedt dan de totale golfvorm aan op één elektrode. Men kan ook meerdere tonen tegelijk aanbieden op verschillende elektroden. In dat geval vertrekt de code van de aparte sinussen gesampled aan f max. De lijst met elektroden is een cyclische herhaling van de gewenste elektroden, en de lijst met niveaus wordt bekomen door de verschillende sinussen te vermenigvuldigen met een masker dat overal 0 is behalve voor indices waarvoor de overeenkomstige elektrode in de elektrodenlijst staat. De gemaskeerde sinussen worden ten slotte opgeteld, zoals geïllustreerd in figuur Figuur 5.12: Illustratie van de maskerwerking Stap (4) stroomniveaus. De genormaliseerde niveaus, die voorlopig tussen 0 en 1 liggen, worden vermenigvuldigd met de C-waarden uit de luidheidstabel die voor een bepaalde elektrode het dichtst bij de benodigde frequentie liggen (zie 5.4.3). In het geval dat meerdere elektroden tegelijk gestimuleerd worden, is de elektrodenlijst cyclisch. De genormaliseerde niveaus moeten dan vermenigvuldigd worden met een lijst van C-niveaus die op dezelfde manier cyclisch is. In een laatste stap wordt elk stroomniveau nog eens vermenigvuldigd met een factor die tijdsafhankelijk is en de omhullende bepaalt. De opties die voorlopig geprogrammeerd zijn, zijn adsr (zie 5.2.1) en synthetisch orgel, dit is een adsr zonder piek. In figuur 5.13 staat een elektrodogram van sinusvormige modulatie afgebeeld, ter illustratie van de sequentiële aansturing van de verschillende elektroden, terwijl alle elektroden toch met gelijke fase worden gestimuleerd.

67 5.4 Programma voor omzetting naar temporele toonhoogte Channel Time (ms) x 10 4 Figuur 5.13: Detail uit elektrodogram ter illustratie van sinusvormige modulatie. De elektroden worden sequentieel gestimuleerd, maar de pulsen zijn duidelijk in fase.

68 TESTMETHODE 59 Hoofdstuk 6 Testmethode 6.1 Proefpersonen Om de haalbaarheid van het testontwerp na te gaan en een referentiescore voor normaal horenden te verkrijgen, testen we eerst twee NH. Vervolgens testen we P2, P4, P5 en P7 om te bepalen welke resultaten zij halen met onze temporele strategie. Gesl. Leeft Ervaring CI (j;m) Oorzaak doofheid Leeftijd start gehoorverlies Leeftijd start doofheid NH1 F 75 n.v.t. n.v.t. n.v.t. nee NH2 M 32 n.v.t. n.v.t. n.v.t. ja P2 M 75 4;5 ongekend ja P4 M 74 0;6 binnenoor inf nee P5 F 76 0;6 lawaai nee P7 M 73 3;11 lawaai nee Tabel 6.2: Eigenschappen van de deelnemende NH en CI-gebruikers Muzikale opleiding Voor het gemak worden hier de parametercombinaties hernomen die geselecteerd zijn op basis van de test naar de invloed van de parameters. persoon parametercomb stimulatie frequentie el. nr. uitvoerder afstand # el herkenning puls 360 Hz 8 synthetisch ja 5 P2 klank 1 puls mens nee 1 klank 2 puls mens nee 3 slecht sinus synthetisch nee 5 herkenning puls mens nee 2 P4 klank 1 puls synthetisch nee 1 klank 2 puls mens ja 3 slecht sinus mens nee 5 herkenning puls mens nee 3 P5 klank 1 sinus mens nee 2 klank 2 sinus mens nee 2 slecht puls synthetisch ja 5 herkenning sinus mens nee 1 P7 klank 1 sinus synthetisch nee 2 klank 2 puls mens ja 5 slecht puls mens nee 3 Tabel 6.3: Parameterinstellingen voor de deelnemende CI-gebruikers

69 6.2 Testontwerp Testontwerp We ontwerpen een test voor onze temporele strategie waarmee we in staat zijn om de onderzoeksvragen te beantwoorden: - Bestaat er een coderingsstrategie met zuiver temporele toonhoogte die een aangename en muzikale sensatie kan tweegbrengen bij een CI-gebruiker? - Hoe aangenaam en muzikaal zijn deze stimuli in het beste geval? De test is op te delen in drie luiken, die worden uitgevoerd met de standaardstrategie en met de temporele strategie. Het aantal experimenten dat we kunnen uitvoeren, is beperkt omdat de proefpersonen na een uur testen vermoeid geraken. Aangezien we vooral geïnteresseerd zijn in de prestaties van de verschillende parameterinstellingen van de temporele strategie, voeren we meer testen uit met de temporele strategie dan met de standaardstrategie. De resultaten met de standaardstrategie zullen bijgevolg minder relevant zijn, maar dienen voornamelijk als vergelijkingspunt voor de resultaten van de temporele strategie Luik 1: Melodiewaarneming, klankperceptie en muzikaliteit Dit luik moet ons in staat stellen een antwoord te geven op de vraag of de temporele strategie een aangename en muzikale sensatie kan teweegbrengen, en hoe aangenaam deze kan klinken. We gaan ook na of de verschillende instellingen ('herkenning (exp)', 'klank1 (exp)', 'klank2 (exp)' en 'slecht') aanleiding geven tot een verschillende herkenning en een verschillende klankkwaliteit. We voeren voor elke instelling 6 experimenten uit waarbij de patiënt de melodie probeert te herkennen en tevens de klank beoordeelt. De instelling 'slecht' dient als vergelijkingspunt voor de goede instellingen. We zijn niet geïnteresseerd in de specifieke prestaties met de instelling 'slecht', dus wordt deze instelling niet gecombineerd met exponentiële modulatie. In totaal worden met de temporele strategie 40 melodieën getest. Herkenning. De proefpersoon probeert een ritmisch intacte melodie te herkennen. De experimentbegeleider noteert hoeveel moeite hij hiermee heeft door aan te duiden of de proefpersoon de titel onmiddelijk kan zeggen, twijfelt of zelfs meerkeuze-opties nodig heeft alvorens de melodie te herkennen. De scorefunctie (zie bijlage B) vat de herkenning vervolgens samen in één getal tussen 0 en 30. Klankbeoordeling. Voor de beoordeling van de klank vult de proefpersoon een Likert schaal met zes niveaus in, er is geen middenniveau zodat hij gedwongen wordt een keuze te maken. Hij beoordeelt de eigenschappen aangenaam - onaangenaam vals - juist scherp - dof natuurlijk - onnatuurlijk muzikaal - niet muzikaal We kiezen ervoor om de positieve beoordeling niet telkens aan dezelfde kant te zetten, om te vermijden dat de proefpersoon uit gemakzucht aan alle eigenschappen dezelfde beoordeling zou geven. Verder laten we verspreid tussen de andere instellingen vier maal de instelling

70 6.2 Testontwerp 61 'slecht' horen, zodat aangename stimuli aangenaam beoordeeld worden, en de beoordeling niet naar het midden verschuift naarmate meer melodieën beoordeeld werden (central tendency bias). Met de temporele strategie wordt luik 1 uitgevoerd voor 40 melodieën, met de standaardstrategie voor 12 melodieën Luik 2: Toonhoogtewaarneming Luik 1 geeft geen antwoord op hoe juist de toonwaarneming precies is. Een grof idee van de toonhoogtewaarneming kan men halen uit de herkenningsscore, maar die wordt ook beïnvloed door tal van andere factoren, zoals geheugen, toonhoogtecontour en muzikale arbeid van de hersenen. Luik 2 probeert de fijnheid van de toonhoogtewaarneming te achterhalen door deze stoorfactoren uit te schakelen. Gebaseerd op de Modified Melodies methode ([Swanson (2008)], zie 2.4.1) rekken we de frequenties van een melodie uit of krimpen we die in door de toonhoogtes in het MIDIbestand te vermenigvuldigen met een expansiefactor uit de mogelijkheden 0.8, 1.1, 1.3, 1.5, 2 en 3. De kleinste afwijkingen (0.8 en 1.1) klinken voor een normaal horende zeer vals, de grotere afwijkingen klinken absoluut niet meer als de beoogde melodie. Voor elke instelling behalve 'slecht' laten we twee uitgerokken melodieën horen, eenmaal met een grote uitrekking en eenmaal met een kleine. De proefpersoon kent de titel van het afgespeelde fragment, en krijgt achtereenvolgens het juiste en het foute fragment te horen of omgekeerd. De proefpersoon moet dan de melodie aangeven die hem fout lijkt. Uit zijn antwoorden kunnen we afleiden hoe gevoelig de proefpersoon is aan valsheid en afwijkingen in toonhoogte. We gaan ook na of de proefpersoon een foute noot kan opmerken in een melodie, en hoe groot de fout moet zijn om opgemerkt te worden. Voor elke instelling introduceren we eenmaal een grote fout en eenmaal een kleine fout in de melodie. De proefpersoon krijgt twee maal dezelfde melodie te horen, maar in één ervan zit een foute noot. De proefpersoon moet de foute melodie en indien mogelijk ook de foute noot aanduiden. Met de temporele strategie worden 6 uitgerekte melodieën getest, en 6 melodieën met een foute noot. Met de standaardstrategie worden twee uigerekte melodieën getest, en twee melodieën met een foute noot Luik 3: Tonaliteitsgevoel Tonaliteit legt de spanningsverbanden tussen de verschillende tonen van een toonladder vast. Muziek maakt gebruik van deze verbanden om in een melodie af te wisselen tussen spanning en ontspanning. De duidelijkste werking van tonaliteit is een volmaakte cadens: na een sterk gevoel van spanning volgt de oplossing naar de tonica, dit is de basistoon van de melodie en dus de toon die de minste spanning draagt. Hierdoor heeft de luisteraar, ongeacht zijn muzikale voorkennis, het gevoel dat de melodie ten einde is. Omgekeerd, indien de melodie wordt afgebroken op een punt van spanning, een zogenaamde onvolmaakte cadens, heeft de luisteraar het gevoel dat de melodie nog niet ten einde is en dat er nog tonen moeten volgen. In luik 3 van de test gaan we na of de temporele strategie erin slaagt om tonaliteit over te brengen. Hiervoor stellen we 6 volmaakte en 6 onvolmaakte cadenzen op die 4 tot 8 tonen

71 6.3 Testprotocol 62 lang zijn. De proefpersoon moet op een 4-punts Likert schaal aanduiden of de melodie volgens hem wel ten einde klinkt of nog niet. Met de standaardstrategie worden 4 cadenzen beoordeeld, 2 volmaakte en 2 onvolmaakte Vragenlijst Via een vragenlijst na de test gaan we na welke strategie de voorkeur van de proefpersoon wegdraagt. We vragen ook welke klankverschillen de persoon opmerkte tussen de standaardstrategie, de temporele strategie en hun herinnering aan muziek toen ze nog normaal hoorden. De proefpersoon kan aangeven welke aspecten hij graag verbeterd zou zien, en of hij een extra muziekprogramma in zijn processor nuttig acht. De vragenlijst is terug te vinden in bijlage D. 6.3 Testprotocol Voorbereiding Voor elke proefpersoon stellen we een lijst op met achtereenvolgens de titels van alle melodieën en een lijst met bijhorende parametercombinaties en expansiefactoren. De geselecteerde melodieën zijn een afwisseling van de 12 melodieën die de proefpersoon op de parametertest het best herkende, waarbij we melodieën met al te duidelijke ritme-informatie achterwege laten. De herkenning gebeurt dus in een open set. De klinische fiche en de afgeregelde luidheidsniveaus voor pulsstimulatie en sinusmodulatie zijn nog beschikbaar uit de test naar de invloed van de parameters Testverloop Alvorens te starten vullen proefpersoon en experimentbegeleider het toestemmingsformulier in. De test zelf vangt aan met het afregelen van de luidheid. Aangezien de afgeregelde waarden reeds beschikbaar zijn uit de test naar de invloed van parameters, kan deze stap snel gaan en rest er meer tijd voor de experimenten. Het eerste deel van de test gebeurt volledig met de experimentele processor. Aangezien de proefpersoon op dat moment geen spraak meer kan horen, communiceert de experimentbegeleider via de fiches met voorgedefinieerde vragen. De proefpersoon probeert 40 melodieën te herkennen (6 x 6 instellingen + 4 'slecht') en vult telkens de beoordelingsfiche in. De begleider noteert hoe vlot de melodieën herkend worden. Vervolgens duidt de proefpersoon 24 maal (12 uitgerekt + 12 foute noot) uit twee melodieën de foute aan. Tot slot beoordeelt hij twaalf cadenzen. Het tweede deel is de akoestische tegenhanger van het eerste deel. De proefpersoon luistert nu met zijn eigen processor naar melodieën die op boxen worden afgespeeld, en de experimentbegeleider kan weer gewoon via spraak communiceren. Eerst moet de proefpersoon 12 melodieën herkennen en beoordelen, daarna moet hij 4 maal de foute melodie aanduiden en ten slotte beoordeelt hij 4 cadenzen.

72 6.4 Test interface 63 Achteraf vult de patiënt de vragenlijst uit bijlage D in. Het officiële protocol is terug te vinden in bijlage C Haalbaarheidsstudie Alvorens de test uit te voeren met CI-gebruikers, onderzoeken we zijn haalbaarheid door de test af te nemen bij twee NH, één met en één zonder muzikale voorkennis. Hun eigenschappen staan opgelijst in 6.1. Op die manier kunnen we controleren of alles werkt, of de vragen duidelijk zijn en of de test door één experimentbegeleider uit te voeren valt. Verder kunnen we de totale duur van de test schatten, en bekomen we een score voor normaal horenden waarmee we de resultaten van de CI-gebruikers kunnen vergelijken. De test duurde 40 min bij NH1 en 30 min bij NH2. Zij konden echter het afregelen van de luidheid overslaan en zij hadden steeds genoeg aan één luisterpoging, behalve bij de cadenzen. De duur van de test voor CI-gebruikers werd geschat op 1 uur en 20 minuten, maar nam in de praktijk iets langer dan anderhalf uur in beslag. De testresultaten van NH1 en NH2 zijn opgenomen in de data-analyse in hoofdstuk Test interface Voor de test werd een specifieke interface gecreëerd om de functionele kern van de code te bedienen. Er werd op gelet dat de test kan afgenomen worden door één experimentbegeleider, dus waar mogelijk zijn stappen geautomatiseerd. De totale interface staat afgebeeld in figuur Input De klinische fiche is reeds in excel-formaat beschikbaar na de vorige test, net zoals de afgeregelde stroomniveaus voor verschillende frequenties voor pulsstimulatie en voor sinusmodulatie. Verder moet een excel-lijst met titels van liedjes ingevoerd worden, met een overeenkomstige parameterlijst die voor elke titel de instellingen en indien van toepassing de expansiefactor bevat. De map waarin de code staat moet verder nog de MIDI-bestanden van alle gewenste liedjes bevatten, in een synthetische versie en in een versie door een menselijke uitvoerder. De melodieën met een fout worden op voorhand gecreëerd door in het origineel de toonhoogte van een noot te wijzigen en de foute melodie op te slaan als 'titel_liedje_i.mid', met i tussen 1 en 4. Het inputgedeelte staat uitgelegd in figuur Luidheid afregelen De bedoeling van het afregelen van de luidheid is dat alle tonen even luid en op een aangenaam niveau klinken. Eerst wordt een referentieluidheid bepaald, waarna alle andere tonen in luidheid gelijk worden gemaakt aan deze referentie. Het luidheidsgedeelte wordt bediend met het numerieke gedeelte van het toetsenbord, zoals te zien in figuur 6.3. De eerste toon wordt met de pijltjes luider of stiller gemaakt, tot een aangenaam niveau is bereikt. Met de knop Make Ref wordt deze toon de referentietoon die ten alle tijde kan worden afgespeeld door op 1 te duwen. Daarna worden voor elk stimulatietype de elektroden 20, 14 en 8 afgeregeld voor frequenties 100 Hz, 250 Hz en 900 Hz. Als het niveau van de aan

73 6.4 Test interface 64 Figuur 6.1: Interface voor de testen voor de temporele toonhoogtestrategie te passen toon gelijk is aan dat van de referentietoon, zorgt men er met de knop Ready voor dat die waarde wordt opgeslagen in de luidheidstabel. Men kan een waarde aanpassen door in de tabel te klikken of door bij Balance electrode de velden electrode, rate en stimulus type in te vullen en op Edit te klikken. De duur van de toon kan gewijzigd worden in het veld duration. Wenst men met één druk op de pijltjes meerdere stroomniveaus omhoog of omlaag te springen, dan kan men dit ingeven in het veld step. Omdat de luidheidswaarden voor pulsstimulatie en sinusmodulatie nog beschikbaar zijn van de test van twee jaar geleden, kan men de procedure versnellen door de luidheidstabel in te laden via de knop Open. We gaan ervan uit dat de waarden na twee jaar weinig veranderd zijn, maar men kan de ingeladen tabel toch nog aanpassen met Edit. Als men op Ready klikt, springt de inhoud van de velden van de Balance electrode automatisch naar de volgende rij van de tabel. Voor de waarden bij exponentiële modulatie kan men vertrekken van de beschikbare sinuswaarden. In dat geval selecteert men de kopieerinstelling sine to exp en klikt men op Copy. De tabel wordt dan aangevuld met de afgeregelde niveaus voor sinussen, maar met exponentiële modulatie als stimulatietype. Wanneer alle niveaus afgeregeld zijn, kan men deze opslaan met Save as en laat men de stroomniveautabel uitrekenen door op Calculate te klikken. Eenmaal de stroomniveautabel beschikbaar is, zijn alle elementen aanwezig om de pulstreinen te berekenen en wordt het veld

74 6.4 Test interface 65 PREPARE PATIENT SAMPLES in de afspeellijst actief. De verschillende elementen van de luidheidsinterface zijn weergegeven in figuur 6.4. klinische fiche uit klinische fiche: - T/C-niveaus - technische parameters lijst parameters lijst titels Figuur 6.2: Inputgedeelte van de interface met verklaring Figuur 6.3: Bediening voor het afregelen van de luidheid

75 6.4 Test interface Afspeellijst Door op PREPARE PATIENT SAMPLES te klikken berekent het programma de benodigde pulstreinen en audiobestanden uit de liedjeslijst, de parameterlijst en de stroomniveaus. De berekening van alle 97 bestanden duurt ongeveer 5 minuten. De berekende bestanden worden op de harde schijf opgeslagen zodat ze ingeval van problemen met matlab gemakkelijk terug ingeladen kunnen worden met de knop Load former samples. juiste luidheid bereikt, vul tabel in klinische fiche velden voor referentie-elektrode velden voor afgregelde elektrode stel huidige toon in als referentie kopieer kopieer van * naar *... tabel met afgeregelde waarden bereken de tabel met stroomniveaus open een bestaande tabel met afgeregelde waarden sla de afgeregelde waarden op Figuur 6.4: Deel van de interface voor het afregelen van de luidheid Als alle bestanden klaar zijn, worden de selectietoetsen actief en kan men selecteren welke bestanden in de afspeellijst zullen verschijnen. Men kan de bestanden voor luik 1 (Load mel rec), luik 2 (Load mod mel) of luik 3 (Load cadenza) inladen met de temporele strategie (L34) of met de standaardstrategie (own). Om de test af te nemen loopt men vervolgens door de lijst van liedjes. De patiënt kan hetzelfde liedje meermaals beluisteren. Met de Next-knop kan men naar het volgende liedje gaan.

76 6.4 Test interface 67 Als sonification aangevinkt staat, speelt gelijktijdig met de pulstrein ook een audiobestand af, zodat de experimentbegeleider kan meeluisteren. Voor het akoestische deel van de test moet deze optie ook zeker aangevinkt staan. Met de duration factor kan men de afspeelsnelheid verhogen of verlagen. Als men de magneet van de experimentele processor op de DIET Box (zie 5.3.1) zet en op Test klikt, moet het stimulatiepatroon van een ingesproken nonsenswoord 'asa' verschijnen en oplichten. Op deze manier kan men gemakkelijk nagaan of de experimentele processor naar behoren werkt, wat lang niet altijd het geval is. bereken de bestanden laad bestanden in selectie van experimentluik selectie strategie met of zonder echt geluid afspeelsnelheid... afspeellijst test de experimentele processor Figuur 6.5: Afspeellijst navigatie- en afspeeltoetsen Informatie over de patiënt, de luidheidswaarden en de afgespeelde liedjes wordt opgeslagen in een logbestand. In geval van twijfel over de resultaten kan dit bestand van nut zijn.

77 ANALYSE EN RESULTATEN 68 Hoofdstuk 7 Analyse en resultaten 7.1 Inleiding We testten 4 CI-gebruikers en 2 normaal horenden, hun eigenschappen zijn opgelijst in 6.1. De gevolgde procedures staan beschreven in 6.2 en 6.3. We gaan na of de temporele strategie betere resultaten oplevert dan de standaardstrategie op vlak van herkenning en/of klankbeoordeling. We vermoeden dat de parameterinstelling ('herkenning', 'klank 1', 'klank 2' of 'slecht') een significante invloed zal hebben op de herkenning en op de klankbeoordeling. Dit zou impliceren dat de test naar de invloed van parameters (zie 4.3) een noodzakelijke voorafgaande stap is om goede resultaten te bereiken met de temporele strategie. Verder controleren we of exponentiële modulatie een betere herkenning oplevert dan sinusmodulatie. We verwachten van wel op basis van de betere toonhoogtediscriminatieresultaten uit [Vandali et al., 2012]. We kiezen ervoor om de hypotheses te testen aan de hand van luik 1, en de resultaten van luik 2 en luik 3 apart te behandelen. Omdat de proefpersonen vermoeid raakten hebben P2, P4 en P5 namelijk maar een deel van luik 2 uitgevoerd en P4 zelfs helemaal niet. Te kleine fouten in de melodieën werden niet getest, omdat tijdens luik 1 al duidelijk was dat de proefpersonen die niet zouden opmerken. Enkel P2 heeft de cadenzen uit luik 3 beoordeeld. De resultaten van luiken 2 en 3 zijn statistisch weinig relevant, maar wel nuttig om inzicht te verkrijgen in de toonhoogtewaarneming. In luik 1 werd voor elke van de 40 melodieën een herkenningsscore toegekend tussen 0 en 30 (zie bijlage C). De klankbeoordeling werd samengevat in een getal tussen 0 (zeer slecht) en 10 (zeer goed) als de som van de beoordelingen op onaangenaam/aangenaam en niet muzikaal/wel muzikaal, die beide tussen 0 en 5 liggen. Verder werd dezelfde methodiek gebruikt als in sectie 5.1. In dit hoofdstuk analyseren we eerst de resultaten van de twee normaal horenden, zodat we een referentie hebben om de resultaten van de 4 CI-gebruikers mee te vergelijken. Voor de 4 CI-gebruikers worden eerst de hypotheses (c.f. supra) getoetst en vervolgens zoeken we een diepere verklaring voor de verbanden tussen resultaten en voor de antwoorden op de vragenlijst. Nadat we de 4 CI-gebruikers apart hebben behandeld, bekijken we de resultaten voor luiken 2 en 3. Omdat we slechts 4 proefpersonen testten, die bovendien allemaal ongeveer even oud zijn, vonden we geen verbanden tussen de resultaten en de eigenschappen

78 7.2 Normaal horenden 69 van de verschillende proefpersonen. We besluiten dit hoofdstuk met een synthese van de resultaten. 7.2 Normaal horenden NH1 (zonder muzikale opleiding) haalde in luik 1 op 20 beluisterde melodieën een gemiddelde herkenningsscore van op 30, met standaardfout op het gemiddelde van NH2 (met muzikale opleiding) haalde een gemiddelde herkenningsscore van op 30, met standaardfout Zoals verwacht nemen de twee NH de toonhoogte accuraat genoeg weer om in luik 2 (foute melodie) moeiteloos alle uitgerekte melodieën identificeren en alle foute noten te kunnen aanduiden. Het doel van luik 3 (de cadenstest) was nagaan in welke mate CI-gebruikers zonder muzikale achtergrond in staat zijn om de tonale spanning in een melodie op te merken (zie 6.2.3). Aangezien een normaal horende de toonhoogte accuraat genoeg waarneemt om deze spanningen zeker te horen, verwachten we van beide NH proefpersonen goede resultaten. NH1 twijfelde sterk aan zijn eigen antwoorden in luik 3 (cadenzen), maar beoordeelde toch 11 van de 12 cadenzen juist. We gaan er dus van uit dat de cadenstest in zijn opzet slaagt en aangeeft of de proefpersoon de tonale spanning in een melodie opmerkt. NH2 maakte op 12 cadenzen 2 fouten, maar dit was duidelijk het gevolg van zijn muzikale achtergrond. Wie veel muzikale ervaring heeft of wie technisch weet wat er gebeurt, kan soms om andere reden dan de tonale progressie zelf oordelen dat een melodie toch wel of toch niet ten einde is. Zo oordeelde NH2 dat twee volmaakte cadenzen toch niet ten einde waren omdat het ritmische aspect van de cadenzen technisch niet in orde was. Dit was een gevolg van het testontwerp, waarin ik koos voor een variabel aantal noten van gelijke duur. Op die manier kan de proefpersoon niet uit het ritme of het aantal noten opmaken of de melodie al dan niet ten einde is, en wordt hij gedwongen om zijn oordeel te baseren op de tonale progressie. In de volgende secties nemen we de resultaten van NH1 (zonder muzikale ervaring) als referentie, omdat de resultaten van NH2 duidelijk beïnvloed zijn door zijn uitgebreide muzikale kennis, terwijl de 4 CI-gebruikers geen of weinig muzikale achtergrond hebben. 7.3 CI-gebruikers Proefpersoon 2 Herkenning. P2 haalt met alle instellingen behalve 'klank 1 exp' betere resultaten dan met de standaardstrategie. Wellicht leidt de temporele strategie met met deze instellingen voor P2 tot betere herkenning dan de standaardstrategie, maar er zouden meer experimenten uitgevoerd moeten worden om statistisch significante verschillen te kunnen aantonen.

79 7.3 CI-gebruikers 70 instelling temporele strategie standaard strategie NH herk 9.25 (4.03 4) herk exp (4.00 4) klank (3.92 5) klank 1 exp 0.00 (0.00 4) 5.67 (3.92 6) ( ) klank (4.62 4) klank 2 exp 8.00 (4.62 4) slecht 7.00 (4.73 3) Tabel 7.1: Gemiddelde herkenning van P2 met temporele strategie en standaardstrategie De instellingen 'herkenning' en 'herkenning exp' leveren zoals verwacht goede herkenningsscores op. De resultaten voor de verschillende instellingen zijn niet significant verschillend, maar met meer experimenten zouden we mogelijks wel een herkenningsvoordeel kunnen aantonen voor de instellingen 'herkenning (...)'. Ook bij de resultaten van de volgende proefpersonen geldt de kanttekening dat meer experimenten nodig zijn om uitsluitsel te geven over de invloed van de parameters en over het verschil tussen temporele strategie en standaardstrategie. De instellingen met exponentiële modulatie haalden een gemiddelde herkenning van 6.67 ( ) en die zonder exponentiële modulatie haalden 9.00 ( ). Mogelijks is de herkenning met exponentiële modulatie slechter dan zonder, maar het verschil is niet significant. Beoordeling. P2 beoordeelt melodieën met de instellingen 'klank 1 exp', 'klank 2' en 'klank 2 exp' significant beter dan met de standaardstrategie. Ook 'klank 1' beoordeelt hij beter dan de standaardstrategie, maar meer experimenten zijn nodig om significante verschillen aan te tonen. instelling temporele strategie significant verschil standaard strategie herk 3.00 (1.35 4) herk exp 2.50 (0.65 4) klank (0.97 5) klank 1 exp 7.25 (0.25 4) p = (0.83 6) klank (0.00 4) p = klank 2 exp 8.50 (0.50 4) p = slecht 2.00 (1.00 3) Tabel 7.2: Gemiddelde klankbeoordeling van P2 met temporele strategie en standaardstrategie De verschillende instellingen leveren significant verschillende beoordelingen op (Kruskal Wallis p = 0.003). Bovendien bevestigen de verschillen de hypothese dat de instellingen 'klank (...)' de beste klank opleveren en dat de instelling 'slecht' in de lelijkste klank resulteert. De invloed van exponentiële modulatie op de klankbeoordeling is klein en niet significant. Aanvullende analyse. Net als in sectie maken we gebruik van de Spearman rho correlatiecoëfficiënt om na te gaan of er een monotoon verband is tussen twee nietparametrisch verdeelde variabelen. Er is geen significant verband tussen beoordeling en herkenningsscore. P2 vindt dus niet dat de best herkenbare melodieën ook het aangenaamst klinken. We gaan er dus van uit dat de beoordeling extra informatie over de waarneming verschaft bovenop de herkenningsscore. De gemiddelde scores voor alle beoordelingsvelden zijn weergegeven in tabel 7.3.

80 7.3 CI-gebruikers 71 (on)aangen. vals/juist scherp/dof (on)natuurl. (niet) muzik. herk 1.75 (0.75 4) 1.75 (0.75 4) 0.25 (0.25 4) 1.25 (0.63 4) 1.25 (0.63 4) herk exp 2.00 (0.41 4) 2.00 (0.41 4) 1.75 (0.48 4) 0.25 (0.25 4) 0.50 (0.29 4) klank (0.60 5) 3.00 (0.63 5) 2.80 (0.58 5) 2.40 (0.68 5) 2.80 (0.58 5) klank 1 exp 4.00 (0.00 4) 4.00 (0.00 4) 1.50 (0.29 4) 4.25 (0.25 4) 3.25 (0.25 4) klank (0.00 4) 4.00 (0.00 4) 4.25 (0.25 4) 3.50 (0.87 4) 4.00 (0.00 4) klank 2 exp 4.75 (0.25 4) 4.00 (1.00 4) 3.25 (0.48 4) 4.75 (0.25 4) 3.75 (0.25 4) slecht 1.67 (0.67 3) 1.33 (0.33 3) 0.67 (0.33 3) 0.67 (0.33 3) 0.33 (0.33 3) standaard 1.83 (0.48 6) 2.00 (0.37 6) 3.83 (0.31 6) 1.00 (0.45 6) 1.33 (0.56 6) Tabel 7.3: Gemiddelde beoordeling van P2 met temporele strategie en standaardstrategie Hoe juister (minder vals) de muziek klinkt, des te aangenamer (Spearman rho, r = 0.612, p = 0.000) en muzikaler (r = 0.485, p = 0.002) hij wordt beoordeeld. P2 beoordeelt scherpe melodieën als onaangenaam (r = 0.389, p = 0.014). Tijdens de test zei P2 dat hij vond dat hij met beide strategieën weinig kon herkennen. Uit de antwoorden op de vragenlijst blijkt dat P2 de temporele strategie verkiest en de klank als neutraal beoordeelt. Dit komt overeen met zijn resultaten, als we de gemiddelde beoordeling over alle instellingen bekijken. De klank met de standaardstrategie vond hij zeer onaangenaam. Hij luistert met de standaardstrategie nooit naar muziek, maar hij zou 'zeker' vaker naar muziek luisteren met de temporele strategie, en wil 'absoluut' de temporele strategie als extra programma in zijn processor Proefpersoon 4 Herkenning. P4 kon met de standaardstrategie geen enkele melodie herkennen, maar met de temporele strategie komt hij tot goede herkenning. Voor alle instellingen op 'klank 1' na is het verschil met de standaardstrategie dan ook significant. instelling temporele strategie significantie standaard strategie NH herk (2.61 5) p = herk exp (1.16 3) p = klank (5.77 4) klank 1 exp (3.12 4) p = (0.00 5) ( ) klank (5.35 5) p = klank 2 exp (0.82 4) p = slecht (0.67 3) p = Tabel 7.4: Gemiddelde herkenning van P4 met temporele strategie en standaardstrategie Zoals verwacht levert de instelling 'herkenning' een zeer goede herkenningsscore, maar 'klank 1 exp' doet het nog iets beter. Bij de klankinstellingen lijkt exponentiële modulatie een groot voordeel op te leveren voor de herkenning, maar bij de herkenningsinstelling is dit niet het geval. Mogelijks leidt exponentiële modulatie wel degelijk tot betere herkenning dan andere modulatievormen, maar ligt de best mogelijke prestatie met de temporele strategie voor P4 rond de 20 op 30. Instellingen die zo al hoog scoren, hebben dan geen baat meer bij exponentiële modulatie.

81 7.3 CI-gebruikers 72 Beoordeling. P4 haalt met de instellingen 'herkenning', 'klank 2', 'klank 2 exp' en 'slecht' significant slechtere resultaten dan met de standaardstrategie. Geen enkele instelling wordt beter beoordeeld dan de standaardstrategie. instelling temporele strategie significant verschil standaard strategie herk 7.40 (0.81 5) p = herk exp 9.60 (0.24 5) klank (0.49 5) klank 1 exp 9.60 (0.24 5) 9.43 (0.30 7) klank (0.37 5) p = klank 2 exp 4.60 (0.68 5) p = slecht 4.33 (1.20 3) p = Tabel 7.5: Gemiddelde klankbeoordeling van P4 met temporele strategie en standaardstrategie De verschillende instellingen leveren significant verschillende beoordelingen op (Kruskal Wallis p = 0.000), maar in tegenstelling tot wat we verwachten, klinkt 'klank 2' slecht. Van de parametercombinaties die voorkwamen in de test naar de invloed van de parameters (zie 5.1) ligt de combinatie (puls, 360 Hz, el. 8, synthetisch, geen afstand tussen de 5 el.n) het dichtst bij de instelling 'klank 2' (puls, 360 Hz, el. 8, menselijke uitvoerder, wel afstand tussen de 2 el.'n). Die parametercombinatie werd twee jaar geleden nochtans drie maal op rij als zeer aangenaam beoordeeld. Aanvullende analyse. Ook voor P4 bestaat er geen significant verband tussen beoordeling en herkenningsscore. Hoe juister (minder vals) de muziek klinkt, des te aangenamer (Spearman rho r = 0.650, p = 0.000) en muzikaler (Spearman rho r = 0.650, p = 0.000) hij wordt beoordeeld. Verder beoordeelt P4 scherpe melodieën als onaangenaam (Spearman rho r = 0.335, p = 0.035). (on)aangen. vals/juist scherp/dof (on)natuurl. (niet) muzik. herk 3.00 (0.71 5) 4.40 (0.24 5) 2.60 (0.24 5) 4.60 (0.24 5) 4.40 (0.24 5) herk exp 4.80 (0.20 5) 4.60 (0.24 5) 3.20 (0.20 5) 4.80 (0.20 5) 4.80 (0.20 5) klank (0.24 5) 4.40 (0.24 5) 3.00 (0.32 5) 5.00 (0.00 5) 4.60 (0.24 5) klank 1 exp 4.80 (0.20 5) 4.60 (0.24 5) 3.20 (0.20 5) 4.40 (0.24 5) 4.80 (0.20 5) klank (0.20 5) 1.00 (1.00 5) 1.80 (0.66 5) 2.80 (0.37 5) 3.60 (0.24 5) klank 2 exp 1.40 (0.51 5) 1.80 (0.66 5) 1.80 (0.37 5) 2.80 (0.37 5) 3.20 (0.20 5) slecht 1.33 (0.33 3) 2.67 (0.67 3) 4.00 (0.00 3) 2.00 (1.00 3) 3.00 (1.00 3) standaard 4.57 (0.30 7) 4.57 (0.20 7) 3.71 (0.29 7) 4.57 (0.20 7) 4.86 (0.14 7) Tabel 7.6: Gemiddelde beoordeling van P4 met temporele strategie en standaardstrategie In de vragenlijst gaf P4 aan dat hij de temporele strategie verkoos, hoewel hij de standaardstrategie aangenaam van klank vond en de temporele strategie slechts neutraal. Vermoedelijk kiest hij toch voor de temporele strategie omdat hij de toonhoogte op die manier veel beter waarneemt, wat het verlies aan klankkwaliteit compenseert. Bovendien is de klank met de instellingen 'herkenning' en 'klank 1' even goed als met de standaardstrategie. Wat hij verbeterd wil zien aan de temporele strategie is de duidelijkheid. Hij luistert met zijn standaardstrategie soms naar muziek, en zou dat met de temporele strategie ook doen. Hij wil de temporele strategie wel als extra programma in zijn processor.

82 7.3 CI-gebruikers Proefpersoon 5 Herkenning. P5 haalt met alle instellingen herkenningsscores die in de buurt liggen van de score met de standaardstrategie. De herkenningsinstelling lijkt tot betere herkenning te leiden en de instelling 'slecht' tot slechtere herkenning. Meer experimenten zijn echter nodig om hierover uitsluitsel te geven. instelling temporele strategie standaard strategie NH herk (3.07 6) herk exp (1.56 6) klank (4.60 6) klank 1 exp (4.10 6) (4.24 9) ( ) klank (4.60 6) klank 2 exp (4.39 6) slecht (4.54 4) Tabel 7.7: Gemiddelde herkenning van P5 met temporele strategie en standaardstrategie Zoals verwacht levert de instelling 'herkenning' de beste herkenningsscore. Exponentiële modulatie heeft geen significante invloed op de herkenningsresultaten. Beoordeling. P5 haalt op vlak van klankbeoordeling met alle instellingen resultaten die vergelijkbaar zijn met de standaardstrategie. Enkel de instelling 'slecht' klinkt significant slechter dan de standaardstrategie. Er is een trend dat de verschillende instellingen leiden tot significant verschillende beoordelingen (Kruskal Wallis p = 0.063), en in de lijn met de verwachtingen worden de twee klankinstellingen goed beoordeeld en 'slecht' wordt het slechtst beoordeeld. instelling temporele strategie significant verschil standaard strategie herk 7.50 (0.99 6) herk exp 9.33 (0.33 6) klank (0.70 6) klank 1 exp 8.33 (0.61 6) 9.22 (0.43 9) klank (0.37 6) klank 2 exp 9.00 (1.00 6) slecht 5.50 (1.04 4) p = 0.11 Tabel 7.8: Gemiddelde klankbeoordeling van P5 met temporele strategie en standaardstrategie Aanvullende analyse. Beter herkende melodieën worden beoordeeld als aangenamer (Spearman rho r = 0.598, p = 0.000), juister (r = 0.405, p = 0.004), natuurlijker (r = 0.455, p = 0.000) en muzikaler (r = 0.498, p = 0.000). Het is mogelijk dat P5 de herkenning heeft laten meespelen in de klankbeoordeling, die in dat geval vertekend is. Anderzijds is het mogelijk dat de goed klinkende melodieën gemakkelijker te herkennen waren. Juiste (niet valse) melodieën worden als aangenamer (Spearman rho r = 0.631, p = 0.000) en muzikaler (r = 0.604, p = ) beoordeeld. Als de melodie niet uitgesproken scherp of dof klinkt, wordt ze beoordeeld als aangenamer (Kruskal Wallis p = 0.006), muzikaler (p = 0.018), juister (p = 0.014) en natuurlijker (p = 0.022).

83 7.3 CI-gebruikers 74 (on)aangen. vals/juist scherp/dof (on)natuurl. (niet) muzik. herk 3.50 (0.56 6) 2.83 (0.48 6) 2.50 (0.34 6) 3.17 (0.54 6) 4.00 (0.45 6) herk exp 4.50 (0.22 6) 3.50 (0.56 6) 3.00 (0.26 6) 4.33 (0.21 6) 4.83 (0.17 6) klank (0.40 6) 3.83 (0.40 6) 3.17 (0.40 6) 3.83 (0.40 6) 4.33 (0.33 6) klank 1 exp 4.33 (0.21 6) 3.50 (0.43 6) 3.00 (0.00 6) 3.67 (0.61 6) 4.00 (0.45 6) klank (0.21 6) 3.83 (0.31 6) 2.50 (0.22 6) 4.50 (0.22 6) 4.67 (0.21 6) klank 2 exp 4.50 (0.50 6) 3.67 (0.42 6) 3.00 (0.26 6) 4.17 (0.48 6) 4.50 (0.50 6) slecht 2.75 (0.48 4) 2.50 (0.29 4) 2.00 (0.71 4) 2.50 (0.65 4) 2.75 (0.63 4) standaard 4.56 (0.24 9) 4.11 (0.20 9) 3.00 (0.24 9) 4.56 (0.24 9) 4.67 (0.24 9) Tabel 7.9: Gemiddelde beoordeling van P5 met temporele strategie en standaardstrategie In de vragenlijst vermeldt P5 dat hij geen voorkeur heeft voor één van beide strategieën, hoewel hij de standaardstrategie aangenaam van klank vond en de temporele strategie onaangenaam. Later in de vragenlijst vermeldt hij dat de temporele strategie beter klinkt en hij ermee vaker naar muziek zou luisteren. Deze tegenstrijdige antwoorden zijn mogelijks te wijten aan het feit dat P5 de algemene klank met instellingen 'slecht' en 'herkenning' inbegrepen onaangenaam vond, maar later in de vragenlijst terugdacht aan de melodieën die het best klonken, zijnde deze met de 'klank'-instellingen. P5 wil graag meer nuance wanneer hij naar muziek luistert, en hij wil de temporele strategie wel als extra programma in zijn processor. P5 krijgt verder regelmatig muzikale oefening door te luisteren naar gekende liederen in de mis. Hij gaf ook aan dat hij die liederen met de standaardstrategie terug begon te herkennen en te appreciëren, wat ook te zien is in de testresultaten voor de standaardstrategie Proefpersoon 7 Herkenning. P5 haalt met de instellingen 'herkenning' en 'herkenning exp' vergelijkbare resultaten als met de standaardstrategie. Alle klankinstellingen leiden tot slechtere herkenning, maar het experiment is te beperkt om dit op statistisch significante manier te kunnen aantonen. instelling temporele strategie significantie standaard strategie NH herk (4.71 6) herk exp (5.67 6) klank (4.99 6) klank 1 exp (5.03 6) (2.94 8) ( ) klank (6.04 6) klank 2 exp 7.67 (4.30 6) p = slecht (6.29 4) Tabel 7.10: Gemiddelde herkenning van P7 met temporele strategie en standaardstrategie Zoals verwacht levert de instelling 'herkenning' een betere herkenningsscore op dan de andere instellingen, meer experimenten zijn nodig om hierover uitsluitsel te geven. Exponentiële modulatie heeft geen invloed op de herkenningsresultaten. Beoordeling. P7 beoordeelt alle instellingen ongeveer even goed als de standaardstrategie. De instellingen worden alle ongeveer gelijk beoordeeld. Tegen de verwachtingen in doen de 'klank'-instellingen het niet beter en de instelling 'slecht' niet slechter. Een mogelijke oorzaak is dat reeds uit de resultaten van de test naar de invloed van de parameters naar voor kwam

84 7.3 CI-gebruikers 75 dat de parametercombinaties weinig invloed hadden op de resultaten. De invloed van exponentiële modulatie op de klankbeoordeling is dus ook niet significant. instelling temporele strategie standaard strategie herk 6.50 (0.76 6) herk exp 6.33 (1.05 6) klank (0.67 6) klank 1 exp 6.00 (0.86 6) 6.75 (0.37 8) klank (1.18 6) klank 2 exp 6.00 (0.45 6) slecht 6.25 (0.85 4) Tabel 7.11: Gemiddelde klankbeoordeling P7 met temporele strategie en standaardstrategie Aanvullende analyse. Beter herkende melodieën worden beoordeeld als aangenamer (Spearman rho r = 0.664, p = 0.000), juister (r = 0.498, p = 0.000) en muzikaler (r = 0.459, p = 0.001). Ook hier is het niet duidelijk wat oorzaak en gevolg is. Juiste (niet valse) melodieën worden als aangenamer (Spearman rho r = 0.543, p = 0.000) en muzikaler (r = 0.555, p = 0.000) beoordeeld. (on)aangen. vals/juist scherp/dof (on)natuurl. (niet) muzik. herk 3.33 (0.33 6) 3.50 (0.34 6) 4.00 (0.37 6) 2.83 (0.17 6) 3.17 (0.48 6) herk exp 3.50 (0.34 6) 3.50 (0.34 6) 3.83 (0.17 6) 2.83 (0.48 6) 2.83 (0.75 6) klank (0.52 6) 3.17 (0.17 6) 1.00 (0.00 6) 2.83 (0.48 6) 2.67 (0.49 6) klank 1 exp 3.17 (0.48 6) 3.00 (0.63 6) 0.83 (0.17 6) 2.83 (0.48 6) 2.83 (0.40 6) klank (0.61 6) 3.17 (0.40 6) 1.00 (0.00 6) 3.17 (0.31 6) 2.83 (0.60 6) klank 2 exp 2.83 (0.40 6) 3.50 (0.34 6) 1.17 (0.31 6) 3.00 (0.45 6) 3.17 (0.31 6) slecht 3.25 (0.48 4) 3.50 (0.29 4) 4.25 (0.25 4) 2.00 (0.41 4) 3.00 (0.41 4) standaard 3.50 (0.27 8) 3.75 (0.25 8) 3.13 (0.30 8) 3.25 (0.25 8) 3.25 (0.16 8) Tabel 7.12: Gemiddelde beoordeling van P7 met temporele strategie en standaardstrategie Uit de vragenlijst blijkt dat P7 de voorkeur geeft aan de standaardstrategie maar dat hij de klank van beide strategieën als zeer onaangenaam ervaart. Dit strookt niet met zijn beoordelingen, die voor beide strategieën licht positief waren. Hij wil graag meer nuances horen wanneer hij naar muziek luistert. Hij luistert nooit lang naar muziek, en zou met de temporele strategie niet méér luisteren. Hij heeft geen behoefte aan de temporele strategie als extra programma in zijn processor Luik 2: foute melodie Het aantal uitgevoerde experimenten is voor elke proefpersoon zo klein dat geen van onderstaande bevindingen significant zijn. We geven ze echter mee omdat ze een idee geven van hoe de toonhoogteperceptie in zijn werk gaat met de temporele strategie. P2 scoorde bij het identificeren van uitgerekte melodieën op kansniveau, los van de grootte van de fout of de instelling van de temporele strategie. Dit geeft aan de hij hooguit de contouren waarneemt, maar niet de toonhoogte zelf. Zijn herkenningsscores waren dan ook zeer laag (zie ). P4 identificeerde 6 van de 8 uitgerekte melodieën correct. De instelling en de grootte van de fout zijn van geen belang. Van de twee melodieën met rekfactor 1.3 scoorde P4 beide correct, wat doet vermoeden dat hij deze uitrekking wel degelijk opmerkte.

85 7.3 CI-gebruikers 76 P5 identificeerde vier van de vijf sterk uitgerekte melodieën juist. Bij de kleine uitrekkingsfactoren identificeerde hij slechts één van de vier juist, en gaf hij aan dat er weinig verschil was tussen de juiste en de uitgerekte melodie. Bij twee van de drie fouten die hij maakte, vermeldde hij dat de juiste melodie ééntonig was en de uitgerekte melodie duidelijker. P2 identificeerde de melodie met de foute noot één maal juist en één maal fout. P4 merkte in 3 van de 4 melodieën de foute noot op. De geteste fouten waren steeds groot (in de orde van een kwint). P5 wist de grote fout twee van de twee keer te ontdekken voor stimulatie met een lage gemiddelde frequentie (120 Hz) op een lage elektrode. Bij stimulatie met een hoge gemiddelde frequentie hoorde ze geen enkele keer een verschil, ondanks de grote en opvallende fout. De kleine fout kon ze twee van de twee keer niet ontdekken. De resultaten van P2, P4 en P5 stemmen overeen met hun gemiddelde herkenningsscores voor temporele toonhoogte, resp. 7.88, en Ter vergelijking kunnen NH de foute melodie feilloos identificeren bij alle geteste uitrekkingsfactoren en voor alle geteste fouten. Uit de bovenstaande resultaten kan men besluiten dat geen enkele proefpersoon de toonhoogtes accuraat waarneemt. Dit valt te rijmen met een aantal artefacten zoals toonhoogte-omkering die beschreven zijn in de literatuur [Vandali et al. (2012)]. Dat P5 de uitgerekte melodie soms als duidelijker beoordeelt, doet vermoeden dat er voor elke CIgebruiker ook een bepaalde uitrekkingsfactor is die aanleiding kan geven tot nog betere muziekwaarneming en dat men deze uitrekkingsfactor moet opnemen in de muzikale fitting. Dat P5 de fouten op hoge frequentie niet opmerkte, stemt overeen met de bevinding van een bovengrens op de gevoeligheid voor rate pitch, beschreven in onder andere [Chatterjee et al. (2007)]. Interessant is dat P5 geen melding maakte van onduidelijkheid in de melodie, maar toch een grote fout niet opmerkte. Dit bevestigt de hypothese dat de hersenen een belangrijke rol vervullen bij het aanvullen van beperkte muzikale informatie. Vermoedelijk is de toonhoogte-informatie voor P5 maar zeer beperkt aanwezig bij temporele stimulatie boven de 400 Hz. Aangezien de eerste tonen van de melodie lager liggen en dus meer toonhoogteinformatie bevatten, is waarschijnlijk dat P5 in plaats van de hoge foute toon op te merken, de toonhoogte waarneemt die hij verwacht op basis van de context van de melodie. In dat geval zal het voor hem bovendien lijken alsof de melodie nog steeds juist en duidelijk is Luik 3: cadenzen Bij het beoordelen van de volmaaktheid van cadenzen leek P4 de opdracht niet goed te begrijpen. Bij het beoordelen van 9 cadenzen, scoorde hij op kansniveau. Dit was ook wat we verwachtten op basis van zijn resultaten en opmerkingen in het eerste en tweede luik. De NH controlepersoon was ook zeer onzeker, maar beoordeelde toch 11 van de 12 cadenzen correct. Het is mogelijk dat dit experiment niet voldoende concreet is voor een deel van de luisteraars, maar meer waarschijnlijk valt het resultaat van P4 te verklaren als volgt. Net zoals de NH controlepersoon was P4 niet zeker wat van hem verwacht werd. Voor de NH proefpersoon werd de opdracht snel duidelijk omdat de beluisterde melodieën duidelijk wel of niet ten einde waren. P4 nam de toonhoogte echter niet accuraat genoeg weer om de tonale spanning op te merken, dus bleef de opdacht tot het einde van de test onduidelijk. Het resultaat, van luik 3 is echter correct: P4 scoorde op kansniveau en kan dus geen tonale spanning waarnemen met de temporele strategie.

86 7.4 Synthese Synthese Onderstaande tabel vat voor alle proefpersonen de beste instellingen van de temporele strategie samen voor herkenning en voor klankbeoordeling. De resultaten worden vergeleken met de standaardstrategie. De onderste rij vermeldt de gemiddelden over de proefpersonen heen. temporeel standaard instell. + score herkenning instell. + score klankkwaliteit score herkenning score klankkwalit. voorkeur P2 herk exp klank 2 exp temp. P4 klank 1 exp klank 1 exp temp. P5 herk exp herk exp geen P7 herk herk std. G (3.65 4) 8.48 (0.70 4) (5.27 4) 7.14 (1.46 4) Tabel 7.13: Gemiddelde herkenning van P2 met temporele strategie en standaardstrategie Gemiddeld gesproken is de herkenning met de temporele strategie veel beter dan met de standaardstrategie, maar de test moet bij meer proefpersonen afgenomen worden om een statistisch significant resultaat te bekomen. Als we de melodieën met de beste herkenningsinstelling samennemen over alle proefpersonen, vinden we wel een trend (Kruskal Wallis, p = 0.072) dat de herkenning met de temporele strategie beter is dan met de standaardstrategie. Gemiddeld wordt de klankkwaliteit met de temporele strategie iets beter beoordeeld dan de klank met de standaardstrategie, maar het verschil is klein en niet significant. Behalve voor P7 levert de temporele strategie voor alle proefpersonen een voordeel voor herkenning en een gelijke klankkwaliteit. Voor P2 levert de temporele strategie ook een voordeel qua klank. Herkenning en klank zijn voor P7 een klein beetje beter met de standaardstrategie, wat zijn voorkeur voor deze strategie verklaart. We merken hierbij op dat P7 met de standaardstrategie al goede herkenningsresultaten haalt. Voor P2 valt de beste spraakinstelling niet samen met de beste klankinstelling. Voor deze proefpersoon levert de klankinstelling echter ook een aanvaardbaar herkenningsresultaat van 8.00 op 30, dat nog steeds de herkenning met de standaardstrategie van 5.67 op 30 overtreft. We kunnen dus besluiten dat de temporele strategie voor sommige CI-gebruikers een voordeel voor melodiewaarneming kan bieden op de standaard strategie. P4 en P7 scoren met de temporele strategie aanvaardbaar in vergelijking met een normaal horende en P5 scoort zelfs even goed. Voor alle proefpersonen behalve P2 leidt de instelling 'herkenning (exp)' ook tot betere herkenning dan de andere instellingen, en geeft minstens één van de 'klank'-instellingen aanleiding tot een goede klank. De instellingen hebben dus een duidelijke invloed op herkenning en klankkwaliteit, en een voorafgaande fitting is een noodzakelijke stap om tot een goede temporele melodiewaarneming te komen. Enkel bij P4 werd één van de 'klank'- instellingen in tegenstelling tot de verwachtingen slecht beoordeeld. P4 had op het moment van de test naar de invloed van de parameters nog maar een half jaar ervaring met zijn CI, dit verklaart mogelijks waarom één van de parametercombinaties 2 jaar later een ander effect

87 7.4 Synthese 78 bleek te hebben dan toen. Bij de andere proefpersonen bleef de invloed van de parametercombinaties wel constant. Exponentiële modulatie had enkel voor P4 mogelijks een positieve invloed op de herkenning. [Vandali et al. (2012)] stelden bij 6 proefpersonen vast dat exponentiële modulatie leidde tot een betere toonhoogterangschikking dan sinusmodulatie, en dat er minder toonhoogteomkering voorkwam. We hadden verwacht die vaststelling in onze resultaten terug te vinden als een herkenningsvoordeel voor exponentiële modulatie bij het merendeel van de proefpersonen, maar dit blijkt niet het geval. Verder wees luik 2 uit dat de toonhoogtewaarneming verre van accuraat is voor twee van de drie geteste proefpersonen, en dat een kleine uitrekking van de frequenties de melodie duidelijker zou kunnen maken.

88 CONCLUSIE 79 Hoofdstuk 8 Conclusie De gemiddelde CI-gebruiker neemt de toonhoogte en de klank van muziek zeer slecht waar via de standaardstrategie, die dient om spraak duidelijk weer te geven. Voor deze masterproef werkte ik op basis van een literatuurstudie (zie hoofdstuk 2) en voorafgaand onderzoek (zie hoofdstuk 4) een temporele toonhoogtestrategie uit (zie hoofdstuk 5) met als doel de waarneming van éénstemmige melodieën te bevorderen, zowel op het vlak van toonhoogte als op het vlak van klankkwaliteit. Vervolgens ontwierp ik een testprocedure (zie hoofdstuk 6) om na te gaan in welke mate de temporele toonhoogtestrategie er beter dan de standaardstrategie in slaagt om melodieën herkenbaar, muzikaal en aangenaam weer te geven. Ik ontwikkelde een programma om MIDIbestanden via de temporele strategie (zie 5.4) om te zetten naar elektrische pulstreinen, en een interface (zie 6.4) om dit programma te besturen in het kader van de geplande tests. Vervolgens voerde ik de test uit met 4 proefpersonen die reeds deelnamen aan een voorafgaande studie naar de invloed van bepaalde parameters op de klanwaarneming (zie 4.3). Uit de testresultaten kunnen we als antwoord op de onderzoeksvraag (zie 3.5) formuleren dat de temporele toonhoogtestrategie die in deze masterproef werd ontworpen (zie hoofdstuk 5), inderdaad een aangename en muzikale sensatie kan teweegbrengen bij drie van de vier proefpersonen. De herkenning is met deze strategie voor drie van de vier proefpersonen beter dan met de standaardstrategie. Voor de vierde proefpersoon is de herkenning gelijk voor beide strategieën. De herkenningsscore van deze proefpersoon ligt met de standaardstrategie echer al relatief hoog. Eén van de proefpersonen herkent zelfs even goed als een normaal horende met de temporele strategie. De klank met de temporele strategie is voor één proefpersoon aangenamer, voor de andere drie proefpersonen is ze even aangenaam als met de standaardstrategie. We stellen ook vast dat de voorafgaande muzikale parameterfitting een nuttige en nodige stap is om met de temporele strategie goede resultaten te bereiken. Omdat de parametervoorkeuren sterk verschillen tussen de proefpersonen, kunnen we bij de parameterfitting geen voorspellingen maken om de procedure te versnellen. Uit de testresultaten bleek ook dat een zekere uitrekking van de toonhoogtes de melodieherkenning kan verhogen, en dat de uitrekking daarom als extra parameter in de fitting moet worden opgenomen. De gebruikte testopstelling is nuttig gebleken om de onderzoeksvraag te beantwoorden, maar er kunnen nog verbeteringen worden aangebracht. We merken bijvoorbeeld dat P5 de

89 CONCLUSIE 80 melodieën even goed herkent als een normaal horende, maar uit het tweede luik blijkt toch dat hij de toonhoogte niet helemaal accuraat weerneemt. De scorefunctie voor de herkenning zou mogelijks beter de toonhoogtewaarneming kunnen reflecteren. Men zou de scorefunctie kunnen optimaliseren door een lineaire schaal op te stellen van totaal onduidelijke of valse akoestische melodieën tot perfect juiste melodieën. Als men normaal horenden met de bestaande scorefunctie beoordeelt terwijl ze die melodieën proberen te herkennen, en als men de resulterende herkenningsscores vergelijkt met de opgestelde lineaire schaal, zou men de scorefunctie kunnen aanpassen om de duidelijkheid van de melodie beter te weerspiegelen. De resultaten zullen mogelijks nog veel verbeteren als er een uitgebreidere fitting voorafgaat aan de selectie van de parameters voor de instellingen 'herkenning' en 'klank'. In deze uitgebreidere fitting kunnen dan meer parameterwaarden getest worden, zoals 10 mogelijke elektroden in plaats van 3. Ook de mogelijkheden om meerdere tonen tegelijk weer te geven moeten worden onderzocht. Een eerste experiment wees al uit dat de proefpersonen de verschillende mogelijkheden om meertonigheid in een pulstrein om te zetten op zeer verschillende manieren waarnemen, van 'ruis' tot 'harmonieus'. Om sluitende resultaten te kunnen voorleggen moet het onderzoek worden overgedaan met een grotere groep proefpersonen. Daartoe zou het handig zijn als men de muzikale fitting, de daaropvolgende parameterselectie en het opstellen van de liedjes- en parameterbestanden zou kunnen automatiseren. Verder moet een longitudinale studie uitwijzen of de melodiewaarneming zou verbeteren wanneer de proefpersonen de temporele strategie regelmatig zouden gebruiken, en of de spraakwaarneming daar dan niet onder zou lijden. Het zou zeer nuttig zijn om een akoestisch equivalent voor de pulstreinen te modelleren. Daarmee zou men bij normaal horenden kunnen onderzoeken waar de mogelijkheden en beperkingen van de temporele strategie liggen. Ook zou men bij normaal horenden kunnen nagaan wat bij dit soort stimuli het verband is tussen frequentiediscriminatie en melodiewaarneming, zodat we de vele resultaten over frequentiediscriminatie die reeds verschenen in de literatuur beter zouden kunnen interpreteren. Uit de testresultaten vermoed ik dat de temporele strategie voor veel patiënten een welkom extra programma in de standaardsprocessor zou zijn, en dat dit ook praktisch haalbaar is als de testprocedure geautomatiseerd wordt en in de vorm van een extra fitting wordt aangeboden aan de CI-gebruikers die dat wensen. Om in real-time naar muziek te kunnen luisteren zou er dan ook een toonhoogtevolger moeten toegevoegd worden aan de bestaande code, of zou de toonhoogte vanuit een MIDI-ingang aangeleverd moeten worden, bijvoorbeeld via een elektronisch instrument of een MIDI-speler. Als de strategie succesvol blijkt, kan in de toekomst een mp3-speler (of liever een MIDIspeler) aan de bestaande afstandsbediening worden toegevoegd, en zou er kunnen naar gestreefd worden dat bij het luisteren naar de radio of televisie een automatische omschakeling van de standaardstrategie naar de temporele strategie en vice versa zou gebeuren wanneer het geluid overgaat van spraak naar muziek en vice versa.

90 BIJLAGE A 81 BIJLAGE A: OMZETTING STROOMNIVEAUS The CI24M/R (CIC3 based) current level to current relationship is stated as: ( A) I µ = 10 e CL ln 255 ( 175) The CI24RE (CIC4 based) current level to current relationship is stated as: I (µa) CIC3 CIC CL 255 ( µ A) = I 1500 Below is a table to be used for conversion between current level and current (in µa) for CIC3 and CIC4 based implants. The diagram to the right is a graphical version of this conversion. Note that while the minimum current for CIC3 based implants is 10 µa, for CIC4 based implants a current level of zero results in zero current (the current source is disconnected from the electrode for CL = 0). Current Level Conversion Current Level I(µA) CIC3 I(µA) CIC *

91 BIJLAGE B 82 BIJLAGE B: SCOREFUNCTIE De scorefunctie vat de mate waarin een melodie herkend is, samen in één getal. Het is de bedoeling dat dit getal zoveel mogelijk de duidelijkheid van de toonhoogtes in de melodie weerspiegelt. We willen de herkenningsresultaten namelijk gebruiken om een uitspraak te doen over de verschillen in toonhoogteweergave tussen de temporele strategie en de standaardstrategie. Een melodie die niet herkend wordt, krijgt een score 0. Om genoeg detail toe te laten, kiezen we voor een score op 30 in de plaats van een score op 10. Vanzelfsprekend krijgt een onmiddelijk herkende melodie een score 30. Verder geven we volgende situaties een plaats op de schaal: - wie na één of twee maal luisteren niet op de titel van de melodie kan komen, maar de titel onmiddelijk kan zeggen als hij de vier meerkeuze-opties te zien krijgt, kon de melodie duidelijk waarnemen, maar zat met een geheugenprobleem. Deze situatie krijgt de redelijk hoge score van 20 op 30 - een melodie die met moeite herkend wordt, maar toch zonder hulp, is meer waard dan een melodie die onmiddelijk werd herkend met meerkeuze, aangezien de meerkeuze-opties pas worden aangeboden als de melodie ook met moeite nog niet herkend werd. Herkenning met moeite krijgt dus een score van 25 op wie moeite moet doen om uit de meerkeuze-opties de juiste melodie te zoeken, neemt de toonhoogte niet duidelijk waar. De uiteindelijke herkenning gebeurt dan waarschijnlijk op basis van ritme of contouren, als de proefpersoon lang genoeg heeft kunnen luisteren om alle liedjes eens op de melodie te 'passen'. Deze situatie krijgt de redelijk lage score van 5 op de overige categorieën bleken nodig om de nuances tijdens het testen weer te geven. Ze werden tussen de voorgaande ingepast. melodie score onmiddelijk herkend 30 vlot herkend 29 herkend zonder hulp 28 herkend zonder hulp, maar met moeite 25 met meerkeuze onmiddelijk herkend 20 met meerkeuze vlot herkend 18 met meerkeuze herkend 16 met meerkeuze herkend, maar met moeite 5 niet herkend 0 Het is het belangrijk dat de scores door dezelfde persoon worden toegekend, om te vermijden dat er verschillende interpretaties zijn van bvb. 'onmiddelijk herkend'.

92 BIJLAGE C 83 BIJLAGE C: TESTPROTOCOL Protocol test 2: bepalen prestaties met temporele toonhoogte Inhoudstafel - Proefpersonen..p. 1 - Hardware/software p. 1 - Voorbereiding...p Luidheid afregelen..p. 4 I. Melodieherkenning...p. 5 II. Foute melodie.....p. 6 III. Cadenzen...p. 6 IV. Akoestisch...p. 7 V. Vragenlijst...p. 7 Hardware/software Camera Extra batterijen (3xAA) L34 experimentele processor Computer met matlab r2010a Audio boxen die lage tonen kunnen afspelen 2 pennen en papier Eten en drinken voor deelnemers oortjes Alle formulieren geprint, informed consent dubbel USB stick Klok Totale duur test: +/- 1 uur en 20 minuten

93 BIJLAGE C 84 Voorbereiding Zet Voornaam Naam.xls en Voornaam Naam_Loudness.xls uit test 1 in de map met matlabcode. Voornaam Naam.xls Line 1-22: T and C level for electrode 1 to = inactive Line 23: Line 24: Line 25: Line 26: Line 27: Line 28: Implant type [1 = cic3 (CI24M, CI24R (ST/CS/CA)), 2 = cic4 (CI24RE(CA), CI512)] Stimulation mode Channel stimulation rate Implant stimulation rate Phase gap Phase width VN_Loudness.xls el nr freq stim type level Maak een lijst op met parameters en liedjes op basis van de data-analyse van test 1. Voor gedetailleerde instructies, zie parameterselectie.doc. VN_pars.xls VN_songs.xls VN_pars_expl.xls 97 rijen met parametercombinaties 97 rijen met titels van liedjes nadere uitleg, open zetten tijdens testen

94 BIJLAGE C 85 Camera Zorg dat het rode LED-lichtje van de experimentele processor in het zicht van de camera ligt. Code opstarten - Start mid2stim.m - Zet de experimentele processor aan - (Vul de naam van de proefpersoon in) - Klik op Open - Vink stream to implant aan - Klik op Initialize - Controleer of alles werkt door de magnet op de DIET Box te plaatsen en op Test te klikken - Vul VNLoudness in en klik op Open - Verander in VNLoudness2 - Vul VN_pars en VN_songs in, en klik op beide Open Foutmelding experimentele processor Sluit en open matlab Zet experimentele processor uit en aan, trek USB kabel uit en plug terug in Tests: Caller.exe (COM4!): who s there moet Serial Number en andere informatie teruggeven Zoek de processor in computer->properties->hardware->device manager als een COM port In matlab: vink stream to implant aan, klik Initialize, klik Test ( asa ) Informed consent (2 min) De proefpersoon en uitvoerder van de test moeten allebei het Informed consent formulier ondertekenen, de patiënt mag 1 exemplaar houden. Informed consent (1)

95 BIJLAGE C 86 Luidheid afregelen (5 min) Uitleg voor de proefpersoon : Voor we van start gaan met de eigenlijke test, willen we zeker zijn dat alle tonen even luid zullen klinken. Daarom zullen we eerst een korte fitting doen. U moet steeds aangeven of een toon te luid, te stil of aangenaam is. Om te zorgen dat alle tonen even luid zijn, mag u steeds verglijken met de eerste toon. U mag nu uw eigen magneet wisselen met deze van de experimentele processor. Gebruik comfortabel.doc (2) om de proefpersoon te helpen. Verander van magneet. Code: Aanpassen van gekende niveaus uit test 1: Klik op de elektrode van de gewenste combinatie in de tabel, en klik op Edit. Referentietoon: druk op 2 om te laten horen en de pijltjes om te wijzigen en te laten horen, of vul zelf een gewenst niveau in. Als het niveau goed (aangenaam, comfortabel) is, klik op Make_ref and Ready. Volgende elektroden: Edit of vul manueel in in vak 2. Om naar de referentietoon te luisteren, druk 1. Uitvoeren voor el 14 (900 (ref), 250, 100Hz), el 8 (900, 250, 100Hz) en el 20 (900, 250, 100hz). Voor zowel puls als sinusstimulatie. Klik vervolgens op Copy (Sine to exp) en regel de luidheid voor exponentiële stimulatie. Save regelmatig. Als alle elektroden gefit zijn, klik Save as en vervolgens Calculate. Als er later iets misgaat, kan je door op Open en vervolgens op Calculate te klikken, de informatie over de luidheid terughalen. Verander terug van magneet. Klik op Prepare patient samples!!!! (dit moet lang rekenen)

96 BIJLAGE C 87 I. Melodie herkenning (30 min) Uitleg voor de proefpersoon : We hebben onze muziekstrategie verder uitgewerkt, en willen nu testen hoe goed of slecht deze werkt. U krijgt een kinderliedje of een bekend melodietje te horen zonder woorden. U moet proberen dit te herkennen, door ons de titel of de woorden te zeggen. Voel u vrij om mee te zingen of te neuriën, dat is zeer waardevol voor het onderzoek. U mag opnieuw luisteren als u het liedje niet direct herkent, en als het echt niet lukt krijgt u een briefje met 4 mogelijkheden. We willen vooral weten hoe herkenbaar en duidelijk de melodie klinkt, niet per se hoe goed u het liedje nog kent. Als u de melodie niet direct herkent, vragen we u daarom om ook te vertellen hoe herkenbaar en duidelijk de melodie klinkt, en waarom u de melodie niet goed herkent, bvb. omdat ze vals is of omdat er veel ruis is. Het helpt ook als u alles vertelt wat in u opkomt als u naar de melodie luistert. Nadat u de melodie herkend hebt, willen we nagaan hoe de tonen klinken. Daarom moet u voor elke melodie volgend blad invullen (beoordeling_l34.doc (3)). Het eerste liedje dat u zal horen, moet u niet herkennen. Het dient om u een beetje vertrouwd te maken met de klank. multiple choice opties.doc (4). Voorgedefinieerde muziekvragen: voorgedefinieerde vragen.doc (5). Vul uitvoerder_exp_1_l34.xlsx (6) in! Wissel magneet Code: Zet de selectie op L34 en klik op Load mel rec. Laat achtereenvolgens alle nummertjes horen, herkennen en beoordelen. Samples worden automatisch opgeslagen en kunnen hersteld worden door te klikken op Load former samples.