Informatie-overdracht en -verwerking. Daniël Slenders Faculteit Ingenieurswetenschappen Katholieke Universiteit Leuven

Transcriptie

1 Informatie-overdracht en -verwerking Daniël Slenders Faculteit Ingenieurswetenschappen Katholieke Universiteit Leuven Academiejaar

2 Inhoudsopgave 1 Discrete informatiebronnen en Broncodering 2 Vraag 10: examenvraag Vraag Antwoord Vraag 13: examenvraag Vraag Oplossing Continue informatiebronnen en Discretisatie 6 Vraag 6: examenvraag Vraag Oplossing Vraag 9: examenvraag Vraag Oplossing Discrete transmissiekanalen en Continue transmissiekanalen 9 Vraag 13: examenvraag Vraag Oplossing

3 Hoofdstuk 1 Discrete informatiebronnen en Broncodering Vraag 10: examenvraag Vraag Een discrete informatiebron met geheugen, heeft een alfabet A met 16 symbolen en een totale redundantie van 40%. De bron levert 1000 symbolen/s. We passen broncodering toe met een binair broncode-alfabet B en we bekomen een gemiddelde codewoordlengte van de broncodering van 2.75 bit*/symbool uit A. De codewoordlengtes voldoen aan de uitdrukking li = log 2 (p i ) met p i de kans tot optreden van een symbool ai uit A. 1. Bereken de gemiddelde hoeveelheid informatie per symbool uit B na de broncodering? 2. Hoeveel symbolen (uit B) worden er per tijdseenheid geleverd? 3. Is het mogelijk het aantal geleverde symbolen (uit B) per tijdseenheid nog verder te verminderen? Zo neen: waarom? Zo ja: hoe? (zonder uit te werken). Antwoord (1) H(B) Aangezien de totale redundantie gelijk is aan 0.4, is de gemiddelde hoeveelheid informatie per symbool uit A gegeven door: R t (A) = 1 H g(a) maxh(a) H g (A) = (1 R t (A))maxH(A) H g (A) = 2.4 bit/symbool(a) (1.1) 2

4 De compressieverhouding is gegeven door: compressieverhouding = log 2(16) 2.75 log 2 (2) compressieverhouding = 1.45 (1.2) De hoeveelheid informatie per symbool uit B is dan gegeven door: H(B) = H g (A) compressieverhouding H(B) = 3.48 bit/symbool(b) (1.3) (2) r t (B) Aangezien de bron 1000 symbolen per seconde levert en de gemiddelde codewoordlengte gelijk is aan 2.75 bit*/symbool, moeten er symbolen uit B per seconde geleverd worden = 2750 (3) min(l) De minimale waarde voor L is gegeven door: Aangezien voor de codewoordlengte geldt dat:, is L gelijk aan: L = H(A) log 2 (r) = H(A) l i = log 2 (p i ) L = i p i l i L = i p i log 2 (p i ) L = H(A) L heeft dus al zijn minimale waarde bereikt. Vraag 13: examenvraag Vraag We ontleden de examenresultaten in juni 2000 van de studenten 2de kan. Burgerlijk Ingenieur en gebruiken de volgende notaties: N=niet geslaagd of onvolledige zittijd 3

5 V=geslaagd op voldoende wijze O=geslaagd met odnerscheiding of met hogere graad In de alfabetische deliberatielijst vinden we: 66 studenten N na een student N 37 studenten N na een student V 27 studenten N na een student O 33 V na N, 26 V na V, 29 V na O; 31 O na N, 25 O na V, 24 O na O. Om het probleem eenvoudig te houden zeggen we niets over de uitslag van de eerste student in de rij; we laten hem buiten beschouwing en tellen hem niet mee in het totaal aantal studenten. We beschouwen deze resultatenlijst als een discrete informatiebron met 3 symbolen (N, V en O) en we gaan na of er afhankelijkheid optreedt van een symbool met het vorige symbool. De toestand van de informatiebron die overeenstemt met de uitslag van de eerste student wordt zoals afgesproken buien beschouwing gelaten. 1. Bereken de kansen waarmee de bron overgaat van de ene naar de ander toestand. Bereken de kans waarmee elke toestand optreedt. (hint: het is het gemakkelijkst de kansen zolang mogelijk in breukvorm te houden.) Verifieer je resultaten aan de hand van de vergelijkingen die tussen deze grootheden bestaan. Als je geen correct resultaten kan vinden, kies dan zelf eenvoudige numerieke waarden voor de overgangs-en toestandskansen waarmee je de rest van de vraag oplost. 2. Teken het toestandsdiagram van deze informatiebron met aanduiding van alle kansen. 3. Bereken de waarschijnlijkheidsredundantie en de afhankelijkheidsredundantie van deze bron. Welke conclusie trek je uit de gevonden waarde van de afhankelijkheidsredundantie? 4. We passen Huffmancodering toe met alfabetuitbreiding tot twee symbolen en een binair broncodealfabet. Teken de Huffmanboom en bereken de efficintie van deze broncodering. Oplossing (1) kansverdeling De volgende matrix geeft de kansverdeling weer van de overgangen: P = N V O N V 88 O De kans dat een toestand optreedt is dan gegeven door: P (N) = P (N)P (N N) + P (V )P (N V ) + P (O)P (N O) (1.4) P (V ) = P (N)P (V N) + P (V )P (V V ) + P (O)P (V O) (1.5) P (O) = P (N)P (O N) + P (V )P (O V ) + P (O)P (O O) (1.6) 4

6 In combinatie met de statistische voorwaarde dat P (N) + P (V ) + P (O) gelijk is aan 1, is dit oplosbaar. Met Maple uitwerken geeft: P (N) = P (V ) = P (O) = (1.7) (1.8) (1.9) (3) redundantie De wwarschijnlijkheidsredundantie is gegeven door: R w (A) = 1 De gemiddelde hoeveelheid informatie is gelijk aan: H(A) maxh(a) H(A) = i p i log 2 (p i ) H(A) = 1.55 bit/symbool De maximaal mogelijke hoeveelheid informatie is gelijk aan: maxh(a) = log 2 (3) maxh(a) = 1.58 De waarschijnlijkheidsredundantie is dus gelijk aan: R w (A) = 0.02 De gemiddelde hoeveelheid informatie per symbool is gegeven door: 66H(N N) + 37H(N V ) + 27H(N O) + 33H(V N) + 26H(V V ) H g (A) = H(V O) + 31H(O N) + 25H(O V ) + 24H(O O) Deze is gelijk aan: H g (A) = 1.54 bit/symbool De afhankelijkheidsredundantie is dan gelijk aan: R a (A) = 1 H g(a) H(A) R a (A) = 0.03 Deze waarde is heel laag, dus de afhankelijkheid tussen de resultaten van de studenten is erg klein. 5

7 Hoofdstuk 2 Continue informatiebronnen en Discretisatie Vraag 6: examenvraag Vraag We beschouwen een analoog muzieksignaal (mono, geen stereo) met frequenties tot 20 khz. De amplitude van het signaal heeft een kansdichtheid p(x) zoals getekend in de figuur. We bemonsteren dit signaal met een bemonsteringsfrequentie in overeenstemming met de vuistregel f s = 2.2f m. Het aantal bit*/bemonstering wordt zo gekozen dat de gemiddelde signaal tot quantisatieruis-vermogenverhouding minimum 70 db bedraagt. Bereken het transmissiedebiet in bit*/s en het informatiedebiet in bit/s. 6

8 Oplossing Als de gemiddelde signaal tot quantisatieruis-vermogenverhouding minstens 70dB moet bedragen, volgt hieruit dat het minmaal aantal kwantisatieniveaus gelijk is aan: ( ) S 70 db N 10 log 10 (K 2 1) 70 0 K K (2.1) Het transmissiedebiet is dan gelijk aan: r b = f s log 2 (K) r b = r b = bit /s (2.2) Aangezien er bemonsterd wordt met f s = 2.2f m is het informatiedebiet gelijk aan het maximaal informatiedebiet. Dit is gelijk aan: waarbij 2B = en H(X) gelijk is aan: H(X) = log 2 Het informatiedebiet is dus gelijk aan: H t (X) = 2BH(X) (2.3) H(X) = 3.92 bit/bemonstering ( ) ( ) log 2 12 (2.4) H t (X) = bit/s (2.5) Vraag 9: examenvraag Vraag Tijdens EURO 2000 wil de VRT een uitstekende service leveren aan andere T.V.-stations. Alle ideen zijn welkom. Wij onderzoeken volgend voorstel. De videobeelden worden doorgestuurd met gesproken commentaar in zes talen(nederlands, Frans, Engels, Duits, Spaans en Italiaans), samen met een getrouwe klankweergave van de sfeer in het stadion. 1. De zes spraaksignalen van de gesproken commentaar worden beperkt tot een maximale frequentie van 4545 Hz. Ze worden zo gedigitaliseerd dat de pieksignaal-totkwantisatieruis-vermogenverhouding minstens 50dB bedraagt. Bereken het transmissiedebiet dat we theoretisch minimaal nodig hebben om 1 commentatorstem weer te geven! Welk transmissiedebiet zou je hier als ingenieur in de praktijk gebruiken? 2. Het sfeergeluid krijgt een bandbreedte van 0 Hz tot een maximale frequentie fm; Het wordt zo gedigitaliseerd dat de gemiddelde signaal-tot-ruisvermogenverhouding minstens 96 db bedraagt. We geven aan het sfeergeluid hetzelfde transmissiedebiet als het debiet dat je in de praktijk toepast voor de zes commentatorstemmen samen (vorig onderdeel). Tot welke waarde f m kunnen we het sfeergeluid weergeven? 7

9 Oplossing (1) transmissiedebiet commentatorstem Als de pieksignaal-tot-kwantisatieruis-vermogenverhouding minimaal 50dB mag bedragen, volgt hieruit voor het aantal kwantisatieniveaus: ( ) S 50 db N v 10 log 10 (3K 2 ) K 3 = Met een bemonsteringsfrequentie gelijk aan f s = 2f m = 9090 Hz, is het transmissiedebiet gelijk aan: r b = f s log 2 (K) r b = bit/s In de praktijk zal de bemonsteringsfrequentie gelijk genomen worden aan f s = 2.2f m = 9999 Hz. Het transmissiedebiet is dan gelijk aan: r b = bit/s (2) transmissiedebiet sfeergeluid Met een minimale gemiddelde signaal-tot-ruisvermogenverhouding van 96dB, is het aantal kwantisatieniveaus gelijk aan: ( ) S 96 db N 0 10 log 10 (K 2 1) 96 Het toegelaten transmissiedebiet is gelijk aan: K r b = bit/s r b = bit/s De maximale frequentie van het sfeergeluid is dan gelijk aan: r b 2.2f m = log 2 (K) f m = Hz 8

10 Hoofdstuk 3 Discrete transmissiekanalen en Continue transmissiekanalen Vraag 13: examenvraag Vraag 1. Bij een binair symmetrisch kanaal is H(Y X) onafhankelijk van de kansen a en 1 a waarmee de symbolen van de binaire bron aan de ingang optreden; terwijl H(X Y ) er wel van afhangt. Verklaar. 2. Het fourcorrectievermogen van een binaire blokcode met minimumafstand d min is t = d min 1. Hoe kan je de minimumafstand d 2 min bepalen? Wat is de betekenis van een foutcorrectievermogen t=2? 3. Een discrete informatiebron genereert 4 verschillende symbolen A, B, C en D met respectievelijke kans tot optreden 0.15, 0.09, 0.29, We beschikken over een discreet transmissiekanaal waarin we 2 kanaalsymbolen a en b kunnen overbrengen. De kanaalmatrix ziet er als volgt uit: ( 0.8 ) Zoek met een eenvoudige redenering de code die elk bronsymbool codeert in twee kanaalsymbolen en die de kleinste gemiddelde symboolfoutkans oplevert. Leg uit hoe je de gemiddelde symboolfoutkans in dit geval kan berekenen. Oplossing (1) binair symmetrisch kanaal H(Y X) is onafhakelijk van de kans a aangezien al gegeven is welk symbool er aan de ingang optrad. Bij H(X Y ) is dit niet het geval, dus deze hangt wel af van de kans a. Dit kan ook exact berekent worden. De kanaalmatrix van een binair symmetrisch kanaal is gegeven door: ( ) 1 b b b 1 b 9

11 Invullen van de formules H(Y X) = i H(X Y ) = i p(x i )q ji log 2 (q ji ) (3.1) j q(y j )p ij log 2 (p ij ) (3.2) j leidt tot hetzelfde resultaat. (2) foutcorrectievermogen Je kan de minimale waarde d min bepalen als de minimale waarde van alle Hamming-afstanden tussen elk mogelijk paar codewoorden. Een foutcorrectievermogen t = 2 houdt in dat de code alle foutieve codewoorden kan corrigeren waarin maximum 2 foutieve symbolen voorkomen. Zo n code heeft een minimumafstand d min gelijk aan 5 (3) kleinste gemiddelde symboolfoutkans Om zo n klein mogelijke symboolfoutkans te hebben, moet het symbool dat het meeste voorkomt een zo n laag mogelijke foutkans van het kanaalsymbool hebben. Aangezien elk symbool uit 2 kanaalsymbolen bestaat, komt dat overeen met volgende code: D = bb C = ba A = ab B = aa Hierbij kunnen C en A nog omgewisseld worden, aangezien ze beide dezelfde symboolfoutkans hebben. Om de gemiddelde symboolfoutkans te berekenen, moet je het gewogen gemiddelde nemen van de respectievelijke symboolfoutkansen. Dit gewogen gemiddelde moet genomen worden voor de a en de b. Deze wegingen zijn: a : = 0.31 b : =

12 Hoofdstuk 4 Fysische transmissiekanalen en Basisbandtransmissie Vraag 5: examenvraag Vraag Een continue informatiebron produceert een uitgangssignaal x(t) met een frequentiespectrum X(f) zoals in de figuur, waarbij fm=20 khz. We wensen dit signaal over te brengen via een kabel over een afstand van 12 km. De kabel heeft een verzwakkingskarakteristiek zoals in de figuur. Kunnen we het analoge signaal x(t) langs deze kabel overbrengen in basisband, dus zonder modulatie? Het zendvermogen is 1mW en de ruistemperatuur bij ontvangst is 300K. Is de capaciteit van dit basisbandkanaal voldoende om het signaal x(t) over te brengen na digitalisatie als we kwantiseren met 4 bit*/bemonstering? Oplossing Aangezien het kanaal de frequenties vanaf Hz wegfiltet, analoge basisbandtransmissie onmogelijk. Digitaal is dit mogelijk indien de capaciteit van het kanaal hoger is dan het transmissiedebiet. De capaciteit is gegeven door de formule van Shannon: ( C = B log P ) u P n Hierin is de bandbreedte gelijk aan: De verzwakking is gelijk aan: B = = Hz A = 12km 5dB/km = 60 db 11

13 Het vermogen P u is dan gelijk aan: P u = P x A P u = P u = 10 9 Het ruisvermogen is gegeven door: P n = kt B P n = W De capaciteit is dan gelijk aan: C = bit/s Het transmissiedebiet is gegeven door: r b = f s log 2 (K) waarbij f s gelijk is aan 2.2f m = Hz en K gelijk is aan 2 n = 2 4 = 16. Het transmissiedebiet is dan gelijk aan: r b = bit/s Dit is lager dan de capaciteit, dus digitale transmissie is mogelijk. Vraag 9: examenvraag Vraag Van het transmissiekanaal tussen de Mars Pathfinder en een grondstation op aarde zijn de volgende gegevens bekend: de afstand is km, de winst van de zendantenne aan boord van de Mars Pathfinder is 25 db, de frequentie van de draaggolf is 8.43 GHz, de diameter van de ontvangantenne op aarde is 70m en de efficintie is 0.9. De effectieve ruistemperatuur bij ontvangst in het grondstation is 20K en het transmissiedebiet is kbit*/s. De modulatie heeft een efficintie van 1.5 (bit*/s)/hz. Met welk vermogen moet de zender aan boord van de satelliet het gemoduleerde signaal uitzenden opdat bij ontvangst een gemiddelde signaaltot-ruis-vermogenverhouding van 10 db gehaald wordt? Oplossing Volgens de radiovergelijking geldt: P o = P z 4πR 2 G za ɛ Hierin is G z de winst van de zender en gelijk aan: G z = 25dB =

14 A ɛ is de effectieve ontvangstoppervlak en gelijk aan: A ɛ = π A ɛ = 3464 m 2 Om een signaal-tot-ruis-vermogenverhouding van 10dB te halen, moet P o 10 keer zo groot zijn als P n. Het ruisvermogen is gegeven door: Hierin is B de bandbreedte en gelijk aan: P n = kt B Het ruisvermogen is dus gelijk aan: B = = 7373 Hz Het ontvangstvermogen is dus gelijk aan: P n = W P o = W Alles invullen in de radiovergelijking geeft voor het zendvermogen: P o = P z 4πR 2 G za ɛ P z = P 0 4πR 2 G z A ɛ P z = 8.61 W 13