Informatieoverdracht en -verwerking: Oefeningen

Transcriptie

1 Informatieoverdracht en -verwerking: Oefeningen 2 de bachelor ingenieurswetenschappen Katholieke Universiteit Leuven Academiejaar:

2 Inhoudsopgave Oefenzitting 1: Discrete informatiebronnen & Broncodering... 4 Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening 10: examenvraag Oefening 11: examenvraag Oefening 12: examenvraag Oefening 13: examenvraag Oefenzitting 2: Continue informatiebronnen en discretisatie Oefening 1: computersimulaties met Matlab Oefening Oefening Oefening Oefening Oefening 6: examenvraag Oefening 7: examenvraag Oefening 8: examenvraag Oefening 9: examenvraag Oefenzitting 3: Discrete en continue transmissiekanalen Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening

3 Oefening Oefening Oefening 12: examenvraag Oefenzitting 4: Fysische transmissiekanalen en Basisbandtransmissie Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening Oefening 9: examenvraag Oefening 10: examenvraag Oefenzitting 5: Doorlaatbandtransmissie en Multiplexen Oefening Oefening Oefening Oefening Oefening 5: examenvraag Oefening 6: examenvraag... 86

4 Oefenzitting 1: Discrete informatiebronnen & Broncodering Oefening 1 Een Morse-code bestaat uit een sequentie van puntjes en lijntjes en dient voor het overzenden van letters uit het alfabet. Een lijntje wordt voorgesteld door een puls met een lengte van drie eenheden, terwijl een punt wordt voorgesteld door een puls met een lengte van één eenheid. De waarschijnlijkheid van het voorkomen van een lijntje si 1/3 van de waarschijnlijkheid van het voorkomen van een puntje. Er wordt verondersteld dat de symbolen onderling onafhankelijk optreden. Gevraagd: 1. Bereken de hoeveelheid informatie van een puntje en van een lijntje. 2. Bereken de gemiddelde hoeveelheid informatie per symbool van een uitgezonden sequentie lijntjes/puntjes. 3. Veronderstel dat een puntje 1ms duurt en dat de pauze tussen twee symbolen eveneens gelijk is aan 1ms, bepaal dan het gemiddelde informatiedebiet van de informatiebron Oplossing: 1. Het alfabet A bestaat uit twee symbolen: een puls met lengte één en een puls met een lengte van drie eenheden Eerst worden de waarschijnlijkheden van de verschillende symbolen van het alfabet berekend: Oplossen van bovenstaand stelsel levert volgende kansen op: De hoeveelheid informatie per symbool i wordt uitgedrukt volgens onderstaande formule: Dit levert als resultaat voor een lijntje en een punt: 2. Aangezien de kansen voor elk symbool reeds berekend werden in het eerste onderdeel van deze oefening, kan de gemiddelde hoeveelheid informatie van een symbool van het alfabet A berekend worden als volgt:

5 3. Het informatiedebiet van de informatiebron kan bepaald worden d.m.v. onderstaande uitdrukking: Eerst wordt het transmissiedebiet r S bepaald. Aangezien men weet dat een streepje 4ms in beslag neemt, nl. een puls met lengte 3 en een pauze en een puntje 2ms, nl. een puls met lengte 1 en een pauze, kan de gemiddelde duur per symbool geschreven worden als:, - Hieruit kan het transmissiedebiet, de inverse van de gemiddelde duur per symbool gehaald worden: Bijgevolg vindt men dat het informatiedebiet gelijk is aan:

6 Oefening 2 Een zwart-wit tv-beeld bestaat uit 525 lijnen beeldinformatie. Veronderstel dat elke lijn bestaat uit 525 pixels, dat elk van deze pixels 256 grijsniveaus met een gelijke kans van voorkomen heeft en dat de grijsniveaus van opeenvolgende pixels en van opeenvolgende beelden onafhankelijk optreden. De beeldsnelheid bedraagt 24 beelden/seconde. Bereken het gemiddelde informatiedebiet die ene TV-uitzending levert. Oplossing: Het gemiddelde informatiedebiet die een TV-uitzending levert kan geschreven worden als volgt: Het transmissiedebiet is reeds gekend. Deze is gelijk aan de beeldsnelheid die 24 beelden/seconde bedraagt. Bijgevolg dient de gemiddelde hoeveelheid informatie per beeld nog berekend te worden. De gemiddelde hoeveelheid informatie per beeld kan geschreven worden door middel van de gemiddelde hoeveelheid informatie per pixel. De gemiddelde hoeveelheid informatie per pixel wordt geschreven door middel van onderstaande uitdrukking: Een zwart-wit tv beeld bestaat uit 525 lijnen, die elk bestaan uit 525 pixels. Dit betekent dat de gemiddelde hoeveelheid informatie per beeld kan gevonden worden door de gemiddelde hoeveelheid informatie per pixel te vermenigvuldigen met het aantal pixels per beeld. Dit levert onderstaande uitdrukking op: Bovenstaand resultaat invullen in de uitdrukking voor het gemiddelde informatiedebiet levert op dat het gemiddelde informatiedebiet die een TV-uitzending levert gelijk is aan:

7 Oefening 3 Een discrete bron zendt elke milliseconde een symbool uit. De vijf mogelijke symbolen hebben een waarschijnlijkheid 1/2, 1/4, 1/8, 1/16 en 1/16. Vind de gemiddelde hoeveelheid informatie per symbool, het informatiedebiet, alsook de waarschijnlijkheidsredundantie van de bron in de veronderstelling dat de opeenvolgende symbolen onafhankelijk optreden. Oplossing: De gemiddelde hoeveelheid informatie per symbool kan geschreven worden als volgt: Het informatiedebiet kan eenvoudig gevonden worden, aangezien het transmissiedebiet gelijk is aan 1 symbool/ms of 1000 symbolen/s. De waarschijnlijkheidsredundantie van de bron is een maat voor de geschiktheid van de informatiebron voor de informatie die men uit de bron kan halen. Hoe lager de redundantie, des te hoger de nuttige informatie. Deze wordt gegeven door onderstaande uitdrukking: De maximale gemiddelde hoeveelheid informatie per symbool wordt gehaald uit onderstaande uitdrukking: Invullen van de waarden voor de gemiddelde hoeveelheid informatie per symbool en de maximale gemiddelde hoeveelheid informatie per symbool in de uitdrukking voor de waarschijnlijkheidsredundantie geeft als waarde voor de waarschijnlijkheidsredundantie:

8 Oefening 4 Een bronalfabet a, b, c en d heeft volgende kansen: p(a) = 0.2; p(b)=0.3; p(c)=0.4 en p(d)=0.1. Stel een binaire code op met minimale gemiddelde woordlengte. Wat is de efficiëntie? Gebruik alfabet uitbreiding met uitbreiding tot groepen van twee symbolen. Hoeveel is de efficiëntie nu? Oplossing: 1. Binaire code met minimale gemiddelde woordlengte. De gemiddelde codewoordlengte kan gevonden worden d.m.v. onderstaande uitdrukking, met l i de codewoordlengte van codewoord i; In onderstaande uitdrukking wordt de efficiëntie weergegeven met r het aantal symbolen in het broncodealfabet. Aangezien het broncodealfabet binair is, is r gelijk aan 2: Om de efficiëntie te kunnen bepalen is de gemiddelde hoeveelheid informatie van een symbool nodig. Deze volgt uit onderstaande uitdrukking: ( Mits invullen van de bekomen gemiddelde hoeveelheid informatie van een symbool, bekomt men dat de efficiëntie gelijk is aan:

9 2. Alfabetuitbreiding met groepen van twee symbolen Duo van symbolen Waarschijnlijkheid Code dd da ad db bd dc cd aa ab ba ac ca bb bc cb cc

10 De gemiddelde codewoordlengte kan gevonden worden d.m.v. onderstaande uitdrukking, met l i de codewoordlengte van codewoord i; In onderstaande uitdrukking wordt de efficiëntie weergegeven met r het aantal symbolen in het broncodealfabet. Aangezien het broncodealfabet binair is, is r gelijk aan 2: Om de efficiëntie te kunnen bepalen is de gemiddelde hoeveelheid informatie van een symbool nodig. Deze volgt uit onderstaande uitdrukking: Mits invullen van de bekomen gemiddelde hoeveelheid informatie van een symbool, bekomt men dat de efficiëntie gelijk is aan:

11 Oefening 5 Vind H(X) voor de Markovketen die overeenkomt met een random walk met een koning over een 3 x 3-schaakbord: Wat kun je zeggen over H(X) voor een paard, een toren, een loper (er zijn er twee!), een koningin? Oplossing: Onderstaande afbeelding toont een vereenvoudigde Markovketen van de koning. Men kan eenvoudig zien dat onderstaand diagram symmetrie vertoont. Bijgevolg is er één onderdeel getekend en worden op basis van de subketen de kansen bereken. Bovenstaand diagram levert volgende vergelijkingen op: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) Oplossen van bovenstaand stelsel levert op als kansen: P(1)=P(3)=P(7)=P(9)=3/40, P(2)=P(8)=1/8, P(4)=P(6)=1/8 en P(5)=1/5. De gemiddelde hoeveelheid informatie per positie kan als volgt bepaald worden:

12 Een random walk veronderstelt een oneindig aantal stappen wat tot gevolg heeft dat: H g (X) n H s q i H(s i+ s i ) n H s q+ s q P j P(i j) P(i j) i j Veralgemeend stelt men in elk geval dus een overgangsmatrix op met de kolom die aangeeft uit welk punt er vertrokken wordt en de rij in welk punt men aankomt. Zo is Cij=P(i j). Om de coëfficiëntenmatrix A op te stellen voor het stelsel dat dient opgelost te worden voor het berekenen van de kansen, dient men eerst de eenheidsmatrix af te trekken van de overgangsmatrix : Nu heeft men de matrix D opgesteld, die echter lineair afhankelijke rijen heeft. Dit heeft tot gevolg dat er een extra vergelijking nodig is om het stelsel dat dient opgesteld te worden om de kansen te berekenen, één oplossing heeft. Hiertoe kan men één van de axioma s van Kolmogorov toepassen die ons vertelt dat de som van de kansen gelijk is aan 1: Men schrijft de coëfficiëntenmatrix bijgevolg als een gepartitioneerde matrix van de matrix D en een rijmatrix B met n elementen die elk gelijk zijn aan 1. Het stelsel dat dan uiteindelijk dient opgelost te worden om de kansen te berekenen is: 0 1 [ ]

13 Uitbreiding: -Paard: Een paard kan enkel L bewegingen maken. Dit levert onderstaande 9x9 overgangsmatrix op ( ) [ ] Oplossen van het stelsel dat op analoge wijze als bij de koning kan bekomen worden, levert volgende kansen op:, - Bijgevolg kan de gemiddelde hoeveelheid informatie per symbool berekend worden als: -Toren: De toren kan enkel in horizontale en verticale richting bewegen. Dit levert onderstaande overgangsmatrix op: ( ) [ ] Oplossen van het stelsel dat op analoge wijze als bij de koning kan bekomen worden, levert volgende kansen op:, -

14 Bijgevolg kan de gemiddelde hoeveelheid informatie per symbool berekend worden als: -Loper: Er zijn twee lopers in het spel: een loper in 1 en een loper in 2. Een loper kan enkel diagonaal bewegen. Beide gevallen worden hieronder behandeld: Loper 1: (enkel bewegen op oneven plaatsen) ( ) [ ] Oplossen van het stelsel dat op analoge wijze als bij de koning kan bekomen worden, levert volgende kansen op:, - Bijgevolg kan de gemiddelde hoeveelheid informatie per symbool berekend worden als: Loper 2: (enkel bewegen op even plaatsen) ( ) [ ] Oplossen van het stelsel dat op analoge wijze als bij de koning kan bekomen worden, levert volgende kansen op:, -

15 Bijgevolg kan de gemiddelde hoeveelheid informatie per symbool berekend worden als: Koningin: deze kan zowel horizontaal, verticaal en diagonaal bewegen. Dit levert onderstaande overgangsmatrix op: ( ) [ ] Oplossen van het stelsel dat op analoge wijze als bij de koning kan bekomen worden, levert volgende kansen op:, - Bijgevolg kan de gemiddelde hoeveelheid informatie per symbool berekend worden als:

16 Oefening 6 Welke van de volgende codes kan nooit een Huffman-code zijn? Oplossing: {0, 10, 11}=> OK {00, 01, 10, 110} => onvolledige Huffmanboom én niet direct decodeerbaar {01, 10} =>onmogelijk: takken niet volledig én niet direct decodeerbaar De tweede en derde code leveren geen Huffmancode op, aangezien elke tak een tegenhanger moet hebben, indien er sprake is van een Huffmancodering.

17 Oefening 7 Er zijn zes flessen wijn, waarvan je weet dat er precies 1 is die slecht geworden is (verschrikkelijk slecht smaakt). De kans dat fles i slecht geworden is, is p i, met 26(p 1,p 2,p 3,p 4,p 5,p 6 ) = (7,5,4,4,3,3). Je wil de slechte fles vinden. In welke volgorde moet je de flessen proeven om het aantal proeverijen te minimaliseren? (Denk eraan dat je de laatste niet meer moet testen als de eerste 5 goed waren.) Stel nu dat je wijn mag mengen vooraleer te proeven. Wat is nu het minimum gemiddeld aantal proeverijen nodig om de slechte fles te vinden? Welke mengeling moet je eerst proeven? Oplossing: : op basis van de grootste kans op slecht naar de kleinste. Eerste proeven: 11, 12, 21, 32, 23, 24, 42, Minimum gemiddeld aantal proeverijen nodig om de slechte fles te vinden, wordt gevonden door het bepalen van een Huffmanboom. De gemiddelde codewoordlengte geeft de maat weer voor het minimum gemiddeld aantal proeverijen nodig na menging.

18 Oefening 9 De waarschijnlijkheid van voorkomen van de letters in het Engelse alfabet is gegeven door tabel 1.1 in de cursustekst. Welke letter bevat de grootste hoeveelheid informatie? Welke letter bevat de kleinste hoeveelheid informatie? Een bestand bevat een Engelse test van 100 bladzijden met gemiddeld 2000 karkaters (=letters, spaties) per bladzijden. Bereken de gemiddelde hoeveelheid informatie in dit bestand als we veronderstellen dat opeenvolgende karakters onderling onafhankelijk optreden. Veronderstel dat we dit bestand overbrengen met een ASCII-karaktercodering van 8bit*/karakter met een debiet van 1200 symbolen/s, vergelijk dan het transmissiedebiet met het informatiedebiet. Wanneer ik je een woord wil laten raden en i vertel je de eerste letter, welk is dan de beste hint: T of X? Waarom? Oplossing: De hoeveelheid informatie van een letter wordt gegeven door onderstaande uitdrukking Hieruit volgt dat de letter met de kleinste waarschijnlijkheid de grootste hoeveelheid informatie heeft. Dit is m.a.w. de Z. De letter met de grootste waarschijnlijkheid heeft de kleinste hoeveelheid informatie. Dit is m.a.w. de spatie. De gemiddelde hoeveelheid informatie van dit bestand kan berekend worden door eerste de gemiddelde hoeveelheid informatie per letter te berekenen en die ter vermenigvuldigen met het aantal letters per bestand. De gemiddelde hoeveelheid informatie voor één letter is gelijk aan bit/symbool. Het informatiedebiet kan geschreven worden door onderstaande uitdrukking en geeft als resultaat: Het transmissiedebiet is gelijk aan het volgende : X is een betere hint, omdat deze minder vaak voorkomt dan de T en bijgevolg er ook minder woorden zijn die met een X beginnen, dan dat er woorden zijn die met een T beginnen.

19 Oefening 10: examenvraag Een discrete informatiebron met geheugen, heeft een alfabet A met 16 symbolen en een totale redundantie van 40%. De bron levert 1000 symbolen/s. We passen broncodering toe met een binair broncode-alfabet B en we bekomen een gemiddelde codewoordlengte van de broncodering van 2.75 bit*symbool uit A. De codewoordlengtes voldoen aan de uitdrukking l i =-log 2 (p i ) met p i de kans tot optreden van een symbool a i uit A. Gevraagd 1. Bereken de gemiddelde hoeveelheid informatie per symbool uit B na de broncodering? 2. Hoeveel symbolen (uit B) worden er per tijdseenheid geleverd? 3. Is het mogelijk het aantal geleverde symbolen (uit B) per tijdseenheid nog verder te verminderen? Zo neen: waarom? Zo ja: hoe? (zonder uit te werken). Oplossing: 1. De gemiddelde hoeveelheid informatie per symbool kan geschreven worden, d.m.v. het herschrijven van de uitdrukking van de totale redundantie naar de gemiddelde hoeveelheid informatie per symbool. Aangezien de gemiddelde hoeveelheid informatie per symbool uit A gegeven wordt door en dit gecodeerd wordt met gemiddelde lengte L, geldt er : 2. Het transmissiedebiet van B kan geschreven worden als volgt: 3. Wanneer men het transmissiedebiet uit B zou willen verminderen, is het nodig dat de gemiddelde codewoordlengte L wordt verminderd. Wanneer men dit poogt te doen bekomt men het volgende redenering Volgens het broncoderingstheorema geldt: Hieruit kan men concluderen dat L reeds zijn minimale waarde heeft. Bijgevolg is het onmogelijk om het transmissiedebiet van B te verminderen.

20 Oefening 11: examenvraag Een rat wordt in een Skinnerbox geplaatst. Een Skinnerbox is een proefopstelling om het leergedrag van proefdieren te onderzoeken: ze is uitgerust met een rode lamp, een groene lamp, een pedaaltje, een toevoergootje voor lekkere hapjes en een sirene. Na een groot aantal proefnemingen noteren we volgende resultaten: 1. Als de groene lamp brandt, duwt de rat gemiddeld in 80% der gevallen binnen de 30s op het pedaaltje en in 20% der gevallen reageert de rat niet binnen de 30S en gaat de rode lamp branden. 2. Als de rode lamp brandt reageert de rat in 80% der gevallen niet binnen de 30s en gaat de groene lamp branden en in 20% der gevallen duwt de rat binnen de 30s op het pedaaltje (rode lamp dooft) 3. Als de rat op het pedaaltje geduwd heeft komt in 30% der gevallen een leker hapje tevoorschijn en loeit de sirene in 20% der gevallen (deze kansverdeling is ingesteld door de onderzoeker die wil nagaan hoe de rat hierop inspeelt). 4. Na het lekkere hapje gaat de groene lamp branden. 5. Na het loeien van de sirene gaat steeds de rode lamp branden. De opeenvolgende toestanden van de Skinnerbox worden automatisch geregistreerd. Gevraagd: 1. Teken het toestandsdiagram. Bereken de kans van elke toestand. 2. Bereken de gemiddelde hoeveelheid informatie per symbool, de afhankelijkheidsredundantie en de totale redundantie van deze discrete informatiebron met geheugen. 3. Zoek een direct decodeerbare broncodering met de kortst mogelijke codewoordlengte op basis van een binair broncode-alfabet B om de waarschijnlijkheidsredundantie en afhankelijkheidsredundantie zoveel mogelijk weg te werken. 4. Bereken de gemiddelde codewoordlengte L en de efficiëntie van de gevonden broncodering. Waarom is de gevonden efficiëntie zo laag/zo hoog naargelang u minder/meer dan 90% bekomt? Oplossing: 1. Onderstaand diagram toont het toestandsdiagram met de waarschijnlijkheden. G= Groen lampje H= Hapje P= Pedaal S= Schok R= Rood lampje

21 2. De gemiddelde hoeveelheid informatie per symbool kan berekend worden door middel van onderstaande uitdrukking. Wanneer men de kansen die men heeft afgeleid uit bovenstaande figuur, invult in onderstaande formule, bekomt men als gemiddelde hoeveelheid informatie per symbool: uit A ( ), ( ) ( ) ( ) ( )- [ ( ) ], ( ) ( ) ] [ ( ) ] [ ( ) ] De afhankelijkheidsredundantie kan geschreven worden met behulp van onderstaande uitdrukking De totale redundantie kan geschreven worden als volgt: 3. Huffmancodering

22 Oefening 12: examenvraag Een prof is tijdens de proclamatie op een conferentie, maar wenst via zijn gsm de resultaten te ontvangen van zijn 200 studenten in een zo kort mogelijk bericht. De mogelijke uitslagen en de kans tot optreden zijn: A= niet-geslaagd: p(a)=0.5 B=geslaagd op voldoende wijze: p(b)=0.2 C=onderscheiding: p(c)=0.2 D=grote of grootste onderscheiding: p(d) Gevraagd: 1. Het assistententeam onderzoekt twee broncoderingsmethodes: - Huffmancodering met alfabetuitbreiding naar twee symbolen met een binair broncodealfabet - Huffmancodering met alfabetuitbreiding naar twee symbolen met een ternair broncodealfabet. Zij vergelijken de prestaties van deze twee broncoderingen met de situatie zonder broncodering waarin elk symbool wordt weergegeven door zijn binaire code: A=00, B=01, C=10 en D=11. Bereken voor de twee methodes de gemiddelde codewoordlengte, de efficiëntie en de compressiefactor. Welke methode kies je en waarom? Huffmancodering naar 2 symbolen met een binair broncodealfabet: DD 0.01 DC 0.02 DB 0.02 CD 0.02 BD 0.02 CC 0.04 CB 0.04 BC 0.04 BB 0.04 DA 0.05 AD 0.05 CA 0.10 BA 0.10 AC 0.10 AB 0.10 AA 0.25 Strategie Huffmanboom: trek eerst verbindingen in tabelvorm die exploderen, teken nadien Huffmanboom vertrekkende van onder naar boven totdat een tertiaire takstructuur opgebouwd dient te worden om verbinding te maken.

23 2. De prof analyseert de ontvangen resultaten en ontdekt een afhankelijkheidsredundantie gelijk aan Tot welke minimale lengte (bit*) zijn deze 200 resultaten theoretisch te comprimeren? De prof is overtuigd dat zijn studenten niet gefraudeerd hebben; wat denkt hij over de jury als je weet dat de studenten alfabetisch gedelibereerd werden?

24 Oefening 13: examenvraag We ontleden de examenresultaten in juni 2000 van de studenten 2 de kan. Burgerlijk Ingenieur en gebruiken de volgende notaties: N=niet geslaagd of onvolledige zittijd V=geslaagd op voldoende wijze O=geslaagd met odnerscheiding of met hogere graad In de alfabetische deliberatielijst vinden we: 66 studenten N na een student N 37 studenten N na een student V 27 studenten N na een student O 33 V na N, 26 V na V, 29 V na O; 31 O na N, 25 O na V, 24 O na O. Om het probleem eenvoudig te houden zeggen we niets over de uitslag van de eerste student in de rij; we laten hem buiten beschouwing en tellen hem niet mee in het totaal aantal studenten. We beschouwen deze resultatenlijst als een discrete informatiebron met 3 symbolen (N, V en O) en we gaan na of er afhankelijkheid optreedt van een symbool met het vorige symbool. De toestand van de informatiebron die overeenstemt met de uitslag van de eerste student wordt zoals afgesproken buien beschouwing gelaten. 1. Bereken de kansen waarmee de bron overgaat van de ene naar de ander toestand. Bereken de kans waarmee elke toestand optreedt. (hint: het is het gemakkelijkst de kansen zolang mogelijk in breukvorm te houden.) Verifieer je resultaten aan de hand van de vergelijkingen die tussen deze grootheden bestaan. Als je geen correct resultaten kan vinden, kies dan zelf eenvoudige numerieke waarden voor de overgangs-en toestandskansen waarmee je de rest van de vraag oplost. 2. Teken het toestandsdiagram van deze informatiebron met aanduiding van alle kansen. 3. Bereken de waarschijnlijkheidsredundantie en de afhankelijkheidsredundantie van deze bron. Welke conclusie trek je uit de gevonden waarde van de afhankelijkheidsredundantie? 4. We passen Huffmancodering toe met alfabetuitbreiding tot twee symbolen en een binair broncodealfabet. Teken de Huffmanboom en bereken de efficiëntie van deze broncodering.

25 Oefenzitting 2: Continue informatiebronnen en discretisatie Oefening 1: computersimulaties met Matlab Bij deze oefenzitting hoort een elektronische computersimulatie. Je kan deze vinden op de Toledo-website: (inloggen met je m-nummer en paswoord-bedien zoals met je mailaccount). Er wordt daar gebruik gemaakt van Matlab (een krachtig rekenprogramma op basis van matrices en vectoren). Dit impliceert dat continue signalen gediscretiseerd en gequantiseerd worden. We verwachten niet dat je Matlab leert programmeren (je zal immers de code niet zien), maar wel dat je de resultaten juist interpreteert. Om deze demo tot een goed einde te brengen heb je best een multimedia pc ter beschikking (met geluidskaart en luidsprekers). De standaard PC die je nu kan kopen, voldoet aan deze eigenschappen. Ook een browser met java-ondersteuning (vanaf Netscape 4.0 en vanaf Internet Explorer 4.0) kunnen handig zijn. Heb je dit niet, dan kan je toch nog de visuele berekeningen zien,maar kan je je resultaten niet beluisteren. Met deze demo proberen we je de invloed van een faseverschuiving en/of amplitudeverandering op verschillende signalen duidelijk te maken in het tijdsdomein en in het frequentiedomein. Je kan de resultaten visueel interpreteren, maar ook auditief vergelijken. Probeer eens de uiterste grens van het menselijk gehoor af te tasten. Opgelet dit verschilt van persoon tot persoon! Vergelijk eens met je collega s Wie heeft er het grootste auditief spectrum? Wie kan er vlot hoge tonen horen? Hou rekening met de offset van 430 Hz.

26 Oefening 2 Bereken de gemiddelde hoeveelheid informatie per bemonstering, het informatievermogen en de waarschijnlijkheidsredundantie van de volgende continue informatiebronnen, waarvan het uitgangssignaal een waarde aanneemt met als verdeling: De exponentiële verdeling: De verdeling p(x) met,waarbij x 1 en x 2 onafhankelijke normale stochastische variabelen zijn met gemiddelden en spreiding met i=1,2. We nemen aan dat opeenvolgende bemonsteringen geen onderlinge afhankelijkheid vertonen Oplossing: De exponentiële verdeling: Onderstaande uitdrukking geeft de gemiddelde hoeveelheid informatie geleverd door een continue informatiebron X weer. Toegepast op dit geval levert onderstaande integraal op die als resultaat voor de gemiddelde hoeveelheid informatie geleverd door een continue informatiebron X volgend resultaat oplevert: Het informatievermogen voor een continue informatiebron X, kan als volgt uitgedrukt worden: De waarschijnlijkheidsredundantie kan geschreven worden als volgt:. / ( )

27 De kansverdeling kan geschreven worden als: en. / met Onderstaande uitdrukking geeft de gemiddelde hoeveelheid informatie geleverd door een continue informatiebron X weer. Dit levert als gemiddelde hoeveelheid informatie geleverd door deze informatiebron: Het informatievermogen voor een continue informatiebron X, kan als volgt uitgedrukt worden: De waarschijnlijkheidsredundantie kan geschreven worden als volgt:

28 Oefening 3 Veronderstel dat we onderstaande continue signalen willen overbrengen. Bereken het frequentiespectrum, de nul-tot-nulbandbreedte en schets de signalen in het tijdsdomein en in het frequentiedomein. Oplossing: De Fouriertransformatie wordt beschreven door onderstaande integraal: + Dit levert onderstaande integraal op voor het eerste signaal: + Deze kan herschreven worden door de polaire vorm van het complex getal te schrijven naar de cartesische vorm, dit levert onderstaande uitdrukking op: Het derde signaal kan dan in het frequentiedomein geschreven worden als:

29 Oefening 4 1. Een continue informatiebron genereert een analoog signaal x(t) met een frequentiespectrum X(f). Dit signaal wordt bemonsterd aan: Teken het frequentiespectrum X(f) na bemonstering voor elk geval. Kan het originele signaal gereconstrueerd worden? 2. Elke bemonstering wordt gequantiseerd in één van 256 even waarschijnlijke niveaus. Veronderstel dat opeenvolgende bemonsteringen onafhankelijk zijn van elkaar. Wat is de gemiddelde hoeveelheid informatie per bemonstering? Hoeveel bedraagt het informatiedebiet van de bron? Hoeveel bedraagt het transmissiedebiet van de bron? Oplossing: 1. De Nyquistfrequentie is de minimale frequentie waaraan men moet bemonsteren, opdat er geen informatieverlies is. Het spectrum wordt verschoven en periodisch herhaald in het frequentiedomein a) b)

30 c) 2. De Nyquistfrequentie is een minimumfrequentie is de minimale waarde voor de bemonsteringsfrequentie. De gemiddelde hoeveelheid informatie per bemonstering kan geschreven worden als volgt: Het informatiedebiet is de informatie die doorgegeven wordt per tijdseenheid. Deze kan geschreven worden als het product van de gemiddelde hoeveelheid informatie per bemonstering en de bemonsteringsfrequentie. Op bovenstaande wijze kan voor de eerste twee gevallen het informatiedebiet berekend worden: Voor het derde geval dient het informatiedebiet berekend te worden via het maximale informatiedebiet: Het transmissiedebiet kan uitgedrukt worden door middel van onderstaande formule.

31 Oefening 5 We vergelijken twee continue informatiebronnen die bestaan uit het spraaksignaal van twee verschillende sprekers, beschouwd aan de uitgang van een microfoon. Het frequentiespectrum van beide spreker sen de kansverdeling voor de amplitude zijn gegeven in onderstaande figuren. Bereken de hoeveelheid informatie per bemonstering en het maximale informatiedebiet voor beide informatiebronnen, als de quantisatiestap Bereken het vermogen en het informatievermogen van beide signalen. Welke compressieverhouding is er mogelijk als we beide signalen aan 44 khz bemonsteren en quantiseren met 5bit*/bemonstering? Maak een vergelijking tussen de twee sprekers: gebruikte toonhoogtes en geluidssterkte, monotoon of niet-monotoon en de hoeveelheid informatie per tijdseenheid en het aantal bit*/s. Oplossing: De gemiddelde hoeveelheid informatie kan berekend worden als volgt: Dit levert respectievelijk voor spreker A en spreker B volgende resultaten op: De gemiddelde hoeveelheid informatie per bemonstering kan geschreven worden als:

32 Dit levert respectievelijk voor spreker A en spreker B onderstaande uitdrukkingen op en de respectievelijke resultaten: Het maximale informatiedebiet wordt gegeven door onderstaande uitdrukking: Dit geeft als maximale informatiedebiet voor A respectievelijk B, volgende uitdrukking: Het vermogen van een continu signaal kan berekend worden als volgt: Dit levert als vermogen voor spreker A, resp. spreker B: * + * + * + * + Het informatievermogen van een continue informatiebron wordt gegeven door onderstaande uitdrukking: Uit bovenstaande uitdrukking kan het informatievermogen voor A respectievelijk voor B gehaald worden.

33 De compressieverhouding kan gezien worden als de verhouding van de hoeveelheid bit* die worden geproduceerd per seconde tot de hoeveelheid informatie in bit per seconde. Er wordt met andere woorden de verhouding van de informatiedebieten, respectievelijk in bit* en bit. Dit levert onderstaande uitdrukking op: Dit levert voor spreker A, respectievelijk B volgende verhoudingen op:

34 Oefening 6: examenvraag We beschouwen een analoog muzieksignaal (mono, geen stereo) met frequenties tot 20 khz. De amplitude van het signaal heeft een kansdichtheid p(x) zoals getekend in de figuur. Figuur We bemonsteren dit signaal met een bemonsteringsfrequentie in overeenstemming met de vuistregel. Het aantal bit*/bemonstering wordt zo gekozen dat de gemiddelde signaal tot quantisatieruis-vermogenverhouding minimum 70 db bedraagt. Bereken het transmissiedebiet in bit*/s en het informatiedebiet in bit/s. Oplossing: De signaal-tot-kwantisatieruis-vermogenverhouding dient minimum 70dB te bedragen. Onderstaande uitdrukking geeft de signaal-tot-wantisatieruis-vermogenverhouding in functie van het aantal kwantisatieniveaus: Het transmissiedebiet kan als volgt geschreven worden: Aangezien de bemonsteringsfrequentie voldoet aan de vuistregel en f m gegeven is, kan men met behulp van het bekomen aantal kwantisatieniveaus, het transmissiedebiet bepalen. Het informatiedebiet kan geschreven worden in functie van de bemonsteringsfrequentie en de gemiddelde hoeveelheid informatie per bemonstering. De gemiddelde hoeveelheid informatie per bemonstering kan gevonden worden door middel van onderstaande uitdrukking: Waarbij de kwantisatiestap gevonden kan worden door de verhouding te nemen van het bereik van x bij de kansdichtheid over het aantal niveaus:

35 En de gemiddelde hoeveelheid informatie kan beschreven worden d.m.v. onderstaande integraal: Dit levert na uitwerken onderstaande oplossing voor H(X): Invullen van de bekomen tussenresultaten, geeft dat het informatiedebiet gelijk is aan:

36 Oefening 7: examenvraag In een digitale camera wordt de invallende lichtsterkte bemonsterd in een rooster van punten (pixels). Bij het bemonsteren wordt de lichtsterkte omgezet in een continue elektrische spanning. Deze spanning heeft een uniforme kansdichtheidsverdeling gaande van 0 tot 250 mv. de gemiddelde hoeveelheid informatie per bemonstering (per pixel) van deze continue informatiebron is bijgevolg 7.97 bit. Verklaar hoe het komt dat deze camera na kwantisatie een transmissiedebiet levert van 12 bit* per bemonstering. De gemiddelde hoeveelheid informatie na kwantisatie kan geschreven worden als: De gemiddelde hoeveelheid informatie kan bijgevolg geschreven worden als: Een verklaring kan enerzijds gezocht worden in de signaal tot ruisvermogenverhouding: Deze is echter hoog, wat betekent dat het effect van de ruis op de gemiddelde hoeveelheid informatie verwaarloosbaar is. Anderzijds kan redundantie zorgen voor het waargenomen fenomeen. De waarschijnlijkheidsredundantie is de volgende: Deze grote redundantie is de verklaring voor dit verschil.

37 Oefening 8: examenvraag We willen de Lessen voor de Eenentwintigste Eeuw uitzenden via KotNet. In dit kader onderzoeken we de overbrenging van het spraaksignaal naar de campus KULAK te Kortrijk. We leggen onze kwaliteitseisen vrij hoog omdat we de intonaties en de stemnuances van de sprekers belangrij vinden. Het gemiddeld spraaksignaal is gekarakteriseerd door het frequentiespectrum en door de kansdichtheid op de figuur op p Bereken de gemiddelde hoeveelheid informatie per bemonstering van het in amplitude begrensd spraaksignaal. 2. Bepaal de kwantisatiestap opdat de pieksignaal-tot-kwantisatieruisvermogenverhouding minstens 77 db zou bedragen. Bereken de gemiddelde hoeveelheid informatie per bemonstering na kwantisatie: vergelijk met het resultaat van punt 1 en verklaar het verschil. 3. Bereken het informatiedebiet en het transmissiedebiet van het gedigitaliseerde spraaksignaal als de bemonsteringsfrequentie gelijk is aan 1.1 maal de minimale bemonsteringsfrequentie. Oplossing: 1. De gemiddelde hoeveelheid informatie per bemonstering kan berekend worden a.d.h.v. onderstaande uitdrukking: Dit levert voor de gegeven kansverdeling onderstaande integraal en het volgende resultaat op: 2. De kwantisatiestap opdat de pieksignaal-tot-kwantisatieruis-vermogenverhouding minstens 77 db zou bedragen, kan op analoge wijze berekend worden als in oefening 6. Het enige verschil is dat men hier de pieksignaal-tot-kwantisatieruisvermogenverhouding heeft. Eerst dient de pieksignaal-tot-kwantisatieruis-vermogenverhouding geschreven te worden als een getal, met andere woorden de db wordt weggewerkt:

38 Bijgevolg kan het aantal kwantisatieniveaus bepaald worden door eerst K te bepalen en de tweedelige logaritme van K te nemen. Dit levert volgend resultaat uit voor het aantal kwantisatieniveaus: Het bereik van x in de kansverdeling kan afgelezen worden in de gegeven grafiek en is gelijk aan 2. Bijgevolg kan de kwantisatiestap geschreven worden als: 3. De minimale bemonsteringsfrequentie is gelijk aan het dubbele van de bandbreedte die in dit geval gelijk is aan 7 khz. De bemonsteringsfrequentie kan bijgevolg geschreven worden als: Het informatiedebiet kan geschreven worden als: ( ) Het transmissiedebiet wordt gegeven door onderstaande uitdrukking en is bijgevolg gelijk aan het volgende:

39 Oefening 9: examenvraag Tijdens EURO 2000 wil de VRT een uitstekende service leveren aan andere T.V.-stations. Alle ideeën zijn welkom. Wij onderzoeken volgend voorstel. De videobeelden worden doorgestuurd met gesproken commentaar in zes talen(nederlands, Frans, Engels, Duits, Spaans en Italiaans), samen met een getrouwe klankweergave van de sfeer in het stadion. 1. De zes spraaksignalen van de gesproken commentaar worden beperkt tot een maximale frequentie van 4545 Hz. Ze worden zo gedigitaliseerd dat de pieksignaaltot-kwantisatieruis-vermogenverhouding minstens 50dB bedraagt. Bereken het transmissiedebiet dat we theoretisch minimaal nodig hebben om 1 commentatorstem weer te geven! Welk transmissiedebiet zou je hier als ingenieur in de praktijk gebruiken? 2. Het sfeergeluid krijgt een bandbreedte van 0 Hz tot een maximale frequentie f m ; Het wordt zo gedigitaliseerd dat de gemiddelde signaal-tot-ruisvermogenverhouding minstens 96 db bedraagt. We geven aan het sfeergeluid hetzelfde transmissiedebiet als het debiet dat je in de praktijk toepast voor de zes commentatorstemmen samen (vorig onderdeel). Tot welke waarde f m kunnen we het sfeergeluid weergeven? Oplossing: 1. Door middel van de uitdrukking van de pieksignaal-tot-kwantisatieruisvermogenverhouding, kan K bepaald worden: Het transmissiedebiet kan geschreven worden d.m.v. onderstaande uitdrukking. Aangezien de maximale frequentie gegeven is (4545Hz), kan d.m.v. de vuistregel de bemonsteringsfrequentie bepaald worden. Bijgevolg bekomt men als transmissiedebiet: Als ingenieur hanteert men de vuistregel dat dus stel dat: en voor K een geheel getal,

40 2. In dit geval dient de gemiddelde signaal-tot-ruisvermogenverhouding minimaal 96 db te bedragen. Dit leidt tot onderstaande uitdrukking: Aangezien het transmissiedebiet nu zes maal het transmissiedebiet dient te zijn, dat berekend werd in vorige deelvraag, bekomt men volgende uitdrukking voor de bemonsteringsfrequentie: Bovenstaande bemonsteringsfrequentie invullen in de vuistregel, betreffende het verband tussen bemonsteringsfrequentie en maximale frequentie, levert onderstaande maximale frequentie op:

41 Oefenzitting 3: Discrete en continue transmissiekanalen Oefening 1 Veronderstel een bron die 4 symbolen A,B,C en, D genereert, aan een tempo van 100 symbolen/s. De symbolen worden gegenereerd met een even grote waarschijnlijkheid: We zullen van een dergelijk communicatiesysteem eerst een aantal karakteristieken berekenen, zoals het informatiedebiet van de bron, de symboolfoutenkans en de kanaalmatrix, de kanaalcapaciteit, de equivocatie (of twijfel) en de irrelevantie bij de informatieoverdracht en de maximale hoeveelheid overgebrachte informatie. Oplossing: De gemiddelde hoeveelheid informatie per symbool gegenereerd door de bron, wordt gegeven door: Het informatiedebiet van de bron is bijgevolg gelijk aan: De modulator zorgt ervoor dat de discrete symbolen worden omgezet in discrete golfvormen die over het kanaal worden verzonden. Bij ontvangst worden de discrete golfvormen terug herkend als symbolen door de demodulator. Door ruis in het kanaal is er echter een verschil tussen de golfvormen die door de modulator over het kanaal worden verzonden en de golfvormen die door de demodulator worden ontvangen. Hierdoor kan de demodulator een ander symbool herkennen dan de modulator gemoduleerd had.. Dit resulteert in een foutenkans per symbool, die wiskundig wordt voorgesteld door voorwardelijke waarschijnlijkheden. Eigenlijk zijn dit overgangswaarschijnlijkheden van een verzonden symbool x(aantal m) nar een ontvangen symbool y (aantal n) die gerangschikt worden in de kanaalmatrix Q die gekend wordt verondersteld:, - [ ]

42 De irrelevantie is de gemiddelde onzekerheid over het ontvangen symbool y j als we weten welk symbool x i we versturen (de onzekerheid vanuit de zender): ( ) De equivocatie of twijfel is de gemiddelde onzekerheid over het verstuurde symbool x i als we een symbool y j ontvangen. (de onzekerheid vanuit de ontvanger) ( ) ( ) Om dit te kunnen evalueren, moet de stochastiek van de uitgangssymbolen q(y j ) gekend zijn: * + Evenals de kans dat een symbool x i werd uitgezonden als y j ontvangen wordt, p ij : De matrix die de blokcode specifieert, wordt dan geschreven als: [ ] Dit geeft voor de equivocatie: ( ) De gemiddelde hoeveelheid overgebrachte informatie R kan op twee manieren berekend worden: -Vanuit de bron, volgens R=gemiddelde hoeveelheid informatie door de bron gegenereerd equivocatie ( )

43 -Vanuit de ontvanger, volgens 4=gemiddelde hoeveelheid informatie van de ontvangen informatiestroom-irrelevantie. De berekening van R vanuit de ontvanger wordt bijgevolg: ( ) Afgerond wordt er dus 1627 bit/s informatie van zender naar ontvanger overgebracht. Vergeleken met het informatiedebiet van de bron, die potentieel zou overgebracht kunnen worden, is dit 81%. De overige 19% gaat verloren door onzekerheid in de overbrenging via het kanaal. De symboolfoutenkans voor de verbinding, kan eveneens op twee manieren berekend worden -vanuit de ontvanger:, ( )- -vanuit de zender:, ( )-

44 Oefening 2 We wensen de binaire symbolen over te brengen langs een analoog telefoonkanaal met een transmissiedebiet van 900 symbolen/s en een symboolfoutkans P s We beschikken over een modem die discrete golfvormen genereert die kunnen overgebracht worden langs het telefoonkanaal. De modem biedt drie verschillende transmissiedebieten van 900,1800, 2700 golfvormen/s met respectievelijk een kans op foutieve detectie van ontvangen golfvorm: We kiezen een eenvoudige herhalingscode: elke golfvorm wordt driemaal herhaald, k=1, n=3,. De mogelijke codewoorden zijn 00, 001, 010, 100, 011, 101, 110, 111. Terwijl de geldige kanaalcodewoorden beperkt zijn tot 000 en 111. We decoderen met een eenvoudige meerderheidsregel: twee of meer nullen in een codewoord is gelijk aan nul, twee of meer enen in een codewoord is gelijk aan één. Deze decodering leidt tot een juiste beslissing als niet meer dan één golfvorm door de ruis foutief ontvangen wordt. De waarschijnlijkheid van een foute beslissing, is de symboolfoutkans P s : Terwijl het netto-transmissiedebiet repsectievelijk gelijk is aan 300; symbolen/s. De werking van de kanaalcodering is duidelijk; we voegen controlesymbolen toe, het nettotransmissiedebiet neemt af met de coderingsefficiëntie, maar de symboolfoutkans wordt gereduceerd beneden de drempelwaarde terwijl het nettotransmissiedebiet de vereiste 900 symbolen/s haalt. Het is duidelijk dat niet alle fouten gedetecteerd en gecorrigeerd worden. We kunnen ook het onderscheid maken tussen foutdetectie en foutcorrectie. We hebben gepoogd de fouten te detecteren en te corrigeren. Dit leidt tot onjuiste beslissingen als meer dan één golfvorm fout ontvangen werd en tot een symboolfoutkans van bij een nettotransmissiedebiet van 900 symbolen/s. Het volstaat ook de fouten proberen te detecteren en bij detectie van fouten om heruitzending te vragen. Hier worden enkel 000 en 111 geaccepteerd; in alle andere gevallen wordt een fout gedetecteerde en wordt heruitzending gevraagd. Men komt enkel tot een onjuiste beslissing als de drie symbolen foutief zouden ontvangen zijn: ( ) Bij een brutotransmissiedebiet van 2700 symbolen/s. Het nettotransmissiedebiet is moeilijker te berekenen. De ontvanger heeft tijd nodig om heruitzending te vragen bij ontdekking van fouten, waardoor het uitzenden vertraging oploopt.

45 Oefening 3 We beschouwen een (6,3)-blokcode met als generatormatrix: [ ] Oplossing: De symbolen gegenereerd door de bron worden verdeeld in blokken van k=3 symbolen. De codevectoren tellen n=6 symbolen. Er zijn 2 k =2 3 =8 mogelijke boodschappen: (000),(001), (010), (011), (100), (110), (111). De codevector horend bij de boodschap U=(011) wordt bepaald met: [ ] Op analoge manier kunnen de andere 7 codevectoren berekend worden: Het voorbeeld illustreert de generatie van codevectoren. In de praktijk bewaart de encoder de G-matrix in zijn geheugen en voert modulo-2bewerkingen uit op de blokken van k symbolen om de (n-k) controle symbolen te genereren. Er kan gemakkelijk nagegaan worden dat een codewoord C, gegenereerd door de generatormatrix G voldoet aan de vergelijking. De pariteitscontrolematrix wordt gebruikt in de decoder. Veronderstel dat we de codevector langs een kanaal overbrengen. De ruis veroorzaakt eventueel fouten en we ontvangen de vector Y=C+F met F een foutvector. De ontvanger kent noch C, noch F. Maar we verwachten dat C uit Y wordt opgevist en dat we uit C de oorspronkelijke boodschap U kunnen terugvinden. De decoder bepaalt de foutsyndroomvector van Y, dit is een (n-k) rijvector, gegeven door: Als Y een geldige codevector is vinden we een foutsyndroomvector gelijk aan nul. =De codevector horend bij de boodschap U=(011) is C=(011110). Voor deze codevector is de foutsyndroomvector S= (000). Als we C zonder fout ontvangen beslist dat C een geldige codevector is.

46 Uit C=(011110) leidt de decoder de boodschap af U=(011). Veronderstel dat er tijdens de overdracht een fout optreedt in het laatste symbool van C: De foutsyndroomvector S=(001) is verschillend van nul en stemt overeen met de zede rij uit als de fout optreedt in het zesde symbool van C. In dit geval kan de fout gedetecteerd en gecorrigeerd worden!

47 Oefening 4 Een bron genereert de symbolen x 1 en x 2, met waarschijnlijkheid p(x 1 ) =0.3 en p(x 2 )=0.7. Het transmissiedebiet bedraagt 1.25x10 6 symbolen/s. De informatiestroom wordt over een transmissiekanaal gestuurd met kanaalmatrix: [ ] 0 1 Bereken: - De stochastiek van de ontvangen informatiestroom - Het informatiedebiet van de bron en van de ontvangen informatiestroom - De irrelevantie en de equivocatie van de informatieoverdracht - De gemiddelde foutenkans voor de symbolen y 1 en y 2 - De gemiddelde hoeveelheid overgebrachte informatie, zowel absoluut als procentueel ten opzichte van de gemiddelde hoeveelheid informatie van de bron en ten opzichte van de gemiddelde hoeveelheid informatie van de ontvangen informatiestroom. Oplossing: - De stochastiek van de ontvangen informatiestroom wordt gegeven door onderstaande uitdrukking: Bijgevolg kan dit geschreven worden als: - De gemiddelde hoeveelheid informatie per symbool gegeneerd door de bron: Het informatiedebiet gegenereerd door de bron kan geschreven worden als: - De gemiddelde hoeveelheid informatie per symbool van de ontvangen informatiestroom:

48 - De irrelevantie is de gemiddelde onzekerheid over het ontvangen symbool y j als we weten welk symbool x i we versturen (de onzekerheid vanuit de zender): ( ) - De equivocatie kan geschreven worden als: ( ) En aangezien geldt dat: Bijgevolg is de equivocatie gelijk aan bit/symbool. - De gemiddelde foutenkans voor de symbolen y 1 en y 2, kan gevonden worden op twee manieren:, ( )-, ( )- - De gemiddelde hoeveelheid overgebrachte informatie kan geschreven worden als: Procentueel voor de bron: ( ) ( ) Procentueel voor de ontvangen informatiestroom:

49 Oefening 5 1.) Beschouw de discrete informatiebron gooien met een dobbelsteen, en het discrete transmissiekanaal met als ingang de bovenkant van de dobbelsteen en als uitgang de onderkant. Wat zijn H(X), H(Y X), R en de capaciteit van dit kanaal? Eerst wordt de kanaalmatrix geschreven voor het beschouwde kanaal: [ ] De gemiddelde hoeveelheid informatie aan de ingang: De gemiddelde hoeveelheid informatie van een uitgang Y gegeven ingang X, wordt gegeven door onderstaande uitdrukking en is gelijk aan nul, aangezien wanneer men de ingang (de bovenkant van de dobbelsteen) kent, er geen twijfel bestaat over het resultaat aan de uitgang (de onderkant van de dobbelsteen), aangezien hier slechts één mogelijkheid voor is.. : De gemiddelde hoeveelheid informatie aan de uitgang kan geschreven worden als: De gemiddelde hoeveelheid overgebrachte informatie wordt gegeven door: ( ) Aangezien voor elke kansverdeling geldt dat ( ) maximaal is, is ook Dit betekent dat de capaciteit gelijk is aan:

50 2.) Idem voor het kanaal met als ingang de bovenkant van de dobbelsteen en als uitgang de voorkant Eveneens wordt de kanaalmatrix voor dit kanaal opgesteld: [ ] De gemiddelde hoeveelheid informatie aan de ingang: De irrelevantie wordt gegeven door onderstaande uitdrukking en is gelijk aan nul, aangezien wanneer men de ingang (de bovenkant van de dobbelsteen) kent, er geen twijfel bestaat over het resultaat aan de uitgang (de onderkant van de dobbelsteen), aangezien hier slechts één mogelijkheid voor is. : ( ) De gemiddelde hoeveelheid informatie aan de uitgang kan geschreven worden als: De gemiddelde hoeveelheid overgebrachte informatie wordt gegeven door: ( ) Aangezien voor elke kansverdeling geldt dat ( ) maximaal is, is ook Dit betekent dat de capaciteit gelijk is aan:

51 Oefening 6 Stel je hebt n munten waaronder er misschien 1 vals is, d.w.z. dat hetzij lichter hetzij zwaarder is dan een goede. De munten kunnen met een balans gewogen worden. 1. In hoeveel mogelijke toestanden kan zo een set munten zich bevinden? Tel anderzijds ook hoeveel verschillende uitkomsten een opeenvolging van k wegingen kan geven. Vergelijk deze te tellen en leid hieruit een bovengrens af op n zodat k wegingen volstaan om een eventuele valse munt te vinden. 2. Vind een wegingsstrategie voor k=3 en n=12 (doordenkertje)

52 Oefening 7 Gegeven p(x,y)=1/3 voor (x,y)=(0,0), (1, 0), (0,1) en p(1,1)=0. Bereken H(X), H(Y), H(Y X), H(X,Y), H(Y)-H(Y X). Er wordt gebruik gemaakt van volgende formules: ( ) Dit leidt tot volgende kansen: Aangezien ( ), kan de kanaalmatrix als volgt opgesteld worden: ( ) [ ] Bijgevolg kan de gemiddelde hoeveelheid informatie aan in en uitgang geschreven worden als: De irrelevantie wordt dan geschreven als: ( ) De gemiddelde hoeveelheid overgebrachte informatie per symbool kan dan geschreven worden als:; ( )

53 Oefening 8 Er wordt gevraagd om de informatieoverdracht in bit/s te maximaliseren in functie van het transmissiedebiet f: Hierin stelt R(f) de gemiddelde hoeveelheid overgebrachte informatie voor. De grafiek van leert ons dat R maximaal is, als f=0. Alle symbolen worden dan foutloos voergedragen. De factor f wordt maximaal als f gaat naar f max. Het maximum van dient een compromis te vormen tussen deze twee factoren. Deze gegevens worden gebruikt om de kanaalmatrix Q(f) op te stellen: - De grafiek leert ons dat: - Foutief ontvangen symbolen zijn allen even waarschijnlijk: Dit levert ons onderstaande kanaalmatrix op: [ ] Het informatiedebiet is gegeven door: ( ( )) Eerst worden de kansen berekend: Bijgevolg kan H(Y) bepaald worden, deze is gelijk aan bepaald worden. Dit doet men als volgt:. Eveneens kan de irrelevantie ( ) ( ) Bijgevolg kan dit ingevuld worden in de formule voor het informatiedebiet: ( )

54 Oefening 9 We willen een continu signaal doorzenden en we vergelijken tee draadloze verbindingen - Verbinding SAT verbindt 2 satellieten met elkaar en de verbinding situeert zich dus volledig in de ruimte. De omgevingstemperatuur is er 4 K en de verzwakking tussen verzonden en ontvangen signaal is 130 db. - Verbinding RAD verbindt twee radiostations po aarde en de verbinding verloopt volledig door de atmosfeer. De temperatuur op aarde bedraagt 300K de signaalverzwakking over de verbinding bedraagt 30 db. Beide verbindingen benutten een bandbreedte van 10 MHz en een zendvermoen van 2 W. Bereken de capaciteit van beide verbindingen; Oplossing:; In het schema voor continue transmissiekanalen onderscheiden we de volgende signalen: Het begrip signaalverzwakking duidt op de verhouding tussen het vermogen van het uitgezonden signaal x en het vermogen van het uitgangssignaal u. Om de capaciteit te berekenen, wordt er gebruik gemaakt van de formule van Shannon: Voor de verbinding SAT levert dit volgende capaciteit op: Voor de verbinding RAD :