Tentamen - Informatietheorie ( ) 22 augustus u

Transcriptie

1 Tetame - Iformatietheorie (473) augustus u Bij de opgave is het maximaal aatal te behale pute vermeld. Het aatal pute is. Het tetame bestaat uit 6 opgave. Bij de tetame is het gebrui va ee reemachie toegestaa. Het gebrui va dictaat, sheets of aateeige iet. Ogemotiveerde atwoorde worde fout gereed. Opgave ( pute) I oderstaade tabel staa vier biaire codes voor brosymbole i. Code A Code B Code C Code D 3 4 (3) a. Wele codes voldoe aa de ogelijheid va Kraft (4) b. Is ee code die aa deze ogelijheid voldoet uie decodeerbaar (3) c. Wele codes zij prefix-coditie codes l a. Ogelijheid va Kraft: a i b i De gegeve codes zij biaire codes dus a= e er zij 4 brosymbole dus b=4. Code A: l =l =l 3 =l 4 = Kraft: = => vervuld. Code B l =, l =, l 3 =, l 4 =3 Kraft: =.5 => iet vervuld. Code C l =, l =, l 3 =3, l 4 =3 Kraft: = => vervuld. Code D l =, l =3, l 3 =3, l 4 =3 Kraft: =.875 => vervuld. De codes A, C e D voldoe dus aa de ogelijheid va Kraft. b. ee, dat hoeft iet. De stellig va Kraft geeft aa dat er voor ee gegeve codewoordlegte ee direct decodeerbare code bestaat e iet dat de code waarva je de codewoordlegte weet oo direct decodeerbaar is. c. Code A e Code D zij prefix-coditie codes. Bij Code B is () ee prefix va () e zo oo bij Code C. Dit ue we het best zie a het teee va ee codeboom, waari de prefixe zij oderstreept. A B C D Teves ue we bij Code B oo zegge dat het iet aa de ogelijheid va Kraft voldoet. D.w.z. dat er gee prefix-coditie code bestaat voor de gebruite codewoordlegte e dus deze code gee prefix-coditie code a zij.

2 Opgave ( pute) Gegeve ee biaire geheugeloze bro B. De as op ee is p={}. De symbole die deze bro produceert worde aagebode aa ee broecoder voor ee biaire aaal. () a. Wat is de ortst mogelije gemiddelde codewoordlegte per brosymbool die odig is om de brosymbole uit B te represetere Veroderstel dat de broecoder er i slaagt deze ortst mogelije codewoordlegte per brosymbool te realisere: het is ee optimale ecoder. (7) b. Beredeeer wat de ase zij va de aaalsymbole die door de broecoder geproduceerd worde. () c. Zij deze aaalsymbole oderlig oafhaelij a. De gemiddelde codewoordlegte per brosymbool wordt gegeve door: l H( B) / lda Bij ee biaire geheugeloze bro (waarbij a=) is uit de formule af te lijde dat de ortst mogelije gemiddelde codewoordlegte per brosymbool de etropie is e a bereed worde met: b l H ( B) p i ldpi waarbij b= (biaire bro) e gegeve ()=p e dus ()=-()=-p i l pldp ( ld( b. Ee optimale ecoder realiseert de ortst mogelije codewoordlegte per brosymbool e er geld dus: H ( B) l H (B), hiermee wordt de redudatie:. Dat wil dus zegge dat er gee llda redudatie is e dus el aaalsymbool eveveel iformatie bevat, de ase va de aaalsymbole zij dus allemaal gelij. c. De brosymbole worde gecodeerd i codewoorde die bestaa uit ee bepaalde combiatie va codesymbole. Deze codewoorde (aaalsymbole) zij da oderlig oafhaelij.

3 Opgave 3 (3 pute) Gegeve ee geheugeloze biaire bro B met as op ee gelij aa p={}=/. () a. Maa ee biaire vaste-legte code die rijtje va =4 brosymbole codeert met ee codewoordlegte per brosymbool l =3/4. Geef duidelij aa hoe groot de foutas e is e hoe u er i geslaagd bet deze as zo lei mogelij te mae. (5) b. Wat wordt de foutas e idie u l =3/4 houdt terwijl u de legte va de browoorde laat toeeme e stadaardrijtje gaat codere e Voor ee stadaardrijtje X va legte geldt dat p Hieri is het aatal ulle i het rijtje. { X} p ( (5) c. Bepaal ee beedegres mi aa de as op ee stadaardrijtje {X}. Laat i ee formule zie hoe deze beede gres afhagt va de etropie. ( ) a. Met ee rij va =4 brosymbole uit ee biaire bro zij 4 = 6 verschillede browoorde te oderscheide. Deze moete worde weergegeve met behulp va M= l codewoorde, waarbij l=*l =4*3/4=3. Er zij dus i totaal 3 =8 codewoorde. Ee codewoord moet worde gereserveerd (foutwoord) om ee fout aa te geve. Er blijve dus 7 codewoorde om alle 6 browoorde te codere. De foutas e moet zo lei mogelij gehoude worde. Dit a gedaa worde door de browoorde met de grootste as va ee codewoord te voorzie e de codewoord met de leiste as te reservere als foutwoord. I de oderstaade tabel zij de 6 browoorde weergegeve teves is aagegeve wele va ee foutwoord of ee codewoord worde voorzie. Als foutwoord ue we eme. Browoord Kas [/] 4 Codewoord Geproduceerd browoord We ue e vide door de ase va de browoorde waarvoor de foutwoord wordt gebruit op te telle, waarmee de foutas wordt: e = 36/ 4 = 36/ =.36. b. Voor ee codewoordlegte per brosymbool et iets groter da de etropie is de foutas willeeurig lei te mae door te vergrote e stadaardrijtjes te ieze. We hebbe hier te mae met ee biaire geheugeloze

4 bro, de (biaire) etropie is: H(B)=h(=-pldp-(-ld(-=-/ld/-9/ld9/.469. De codewoordlegte per brosymbool l =3/4 e dat is groter da de etropie. Als we aar oeidig late toeeme da zal de foutas e oeidig lei worde e dus aar adere. d. Ee beedegres mi aa de as op ee stadaardrijtje {X} vide we door zowel de expoet va p als die va -p maximaal te ieze (op die maier geeft de bovestaade formule ee miimale waarde voor {X}). Uit p volgt: p p e ( p ) ( p ) ( p ) ( p ) We moete dus eme: ( p ) e - ( p ) (( ) Waarmee we voor mi vide: We ue dit verder schrijve als: ( p ) (( ) mi p ( p ( pldp ( ld ( ldp ld ( ( pldp ( ld ( ( ldp ld ( ) mi p ( p ( met h(=-pld(-(-ld(- de biaire etropie fuctie, ue we dit schrijve als: h( ( ldp ld ( ) mi Waari we zie dat de beedegres afhagt va de etropie h(.

5 Opgave 4 ( pute) (5) a. Bepaal ee uitdruig voor de capaciteit va ee biair symmetrisch aaal als fuctie va de foutas p voor het geval dat beide igagssymbole eve waarschijlij zij. (5) b. Waeer is de capaciteit gelij aa ul Motiveer. (5) c. Hoe veraderd de capaciteit als de igagssymbole met verschillede ase voorome Motiveer uw atwoord. (5) d. Geef de afleidig va de wederzijdse iformatie I(X;Y) va dit aaal. a. Als beide symbole eve waarschijlij zij, geldt: C=I(X,Y)=H(X)-H(X Y), met H(X)=-/ld/-/ld/=/+/= e H(X Y)=-pldp-(-ld(-. E dus C=+pldp+(-ld(- b. De capaciteit wordt ul als p=.5. Da is pldp=(-ld(-=-.5 e C=-.5-.5=. I dit geval wordt er gee iformatie overgedrage, immers da geeft ee otvage output symbool gee idicatie over het symbool dat gezode is. c. De capaciteit va ee biair symmetrisch aaal wordt gegeve door: C max I(X, Y) e wordt dus bereed door te ije bij wele waarde va de igagssymbool ase de wederzijdse iformatie maximaal is, oo als de igagssymbole met verschillede ase voorome. De capaciteit veraderd dus iet: C=+pldp+(-ld(-. d. De wederzijdse iformatie wordt gegeve door: I ( X ; Y ) H( X ) H ( X Y) H ( Y) H ( Y X ) Als we u stelle dat (x )=, (x )= - e we eme aa (y ) = e (y ) = - e de foutas is p da vide we met: H ( Y ) log ( )log( ) e H ( Y X ) plog p ( log( p( x i ) dat: Waarbij: I ( X ; Y) log ( )log( ) plog p ( log( ( p ) ( ) p.

6 Opgave 5 ( pute) Gegeve ee biair symmetrisch aaal met gelije igagsase, de fout p bedraagt -5. Het aatal symbole per secode is 4* 7. Geef aa hoe over dit aaal iformatie te trasportere is waarbij de foutas per boodschap leier is da 5* -8 bij ee trasmissie va * 7 boodschappe per secode. Door het verzode symbool te herhale a de foutas worde vermiderd. Bij twee maal herhale ue we stelle dat ee "" is verzode als ee of twee eer ee "" wordt otvage (, e ). De foutas die hierbij hoort is: 5 e p p( Dit is groter da 5* -8. Bij drie maal herhale ue we b.v. stelle dat ee "" is verzode als twee of drie maal ee "" wordt otvage (,, e ). De foutas wordt da: 3 e p 3p ( 3 dit is leier da 5* -8. We moete hierbij oo ije of trasmissie selheid voldoede is: Het aatal symbole per secode is 4* 7. Er worde drie symbole per boodschap verzode (drie maal herhale), het aatal boodschappe per secode is da: /3*4* 7 =4/3* 7. Dit is mider da de trasmissieselheid (* 7 boodschappe per secode). Dus met drie maal herhale a iet aa de gestelde eis voldaa worde. Met het toepasse va ee Hammig code lut het wel. We voege 3 symbole toe aa groepjes va 4 code symbole, da ue we trasmissie fout corrigere: j e ( j j Hiermee is e leier da 5-8, e de trasmissie va boodschappe is 4 uit de 7 bit e dat is groter da 7, dus deze oplossig voldoet wel. p

7 Opgave 6 ( pute) (5) a. Leidt de capaciteit af va ee cotiu aaal met additief ormaal verdeelde ruis met stadaard deviatie. (5) b. Wat is de capaciteit va ee telefooaaal met badbreedte B Hz e sigaal ruisverhoudig S/ (5) c. Wat is de capaciteit als de badbreedte 3 Hz is e de sigaal-ruisverhoudig 3 db bedraagt (5) d. Als i de badbreedte va het telefooaaal verdubbel, wat gebeurt er da met de capaciteit Motiveer uw atwoord. a. De capaciteit va ee cotiu aaal is: C s I max(x;y) max( H ( y) H ( y x) H max ( y) H ( ) Met additief ormaal verdeelde ruis: H max ( y) ld e y e H ( ) ld e Waarbij:, waarmee we vide voor de capaciteit: C s ld y x e e ld e x x ld ld b. S S C B Cs B ld( ) B ld( ) c. B=3 Hz e S/= 3 db = 3 = => C = 3 ld() 3* 4 symbole/sec. e. Als de badbreedte verdubbeld, verdubbeld iet oodzaelijerwijs oo de capaciteit. Het ruisvermoge is everedig met de badbreedte: = B, waarbij / de "oise power spectral desity" is. eme we de limiet voor B aar oeidig da rijge we: S S B S S lim C lim Blog ( ) lim log ( ),44 bits / s, B B B B S B waarbij gebrui gemaat is va de limiet: lim xlog ( ) log e,44. x x x