Video. Multimedia Rein van den Boomgaard Universiteit van Amsterdam

Maat: px

Weergave met pagina beginnen:

Download "Video. Multimedia Rein van den Boomgaard Universiteit van Amsterdam"

Sonja Renée Cools
7 jaren geleden
Aantal bezoeken:

1 Video Multimedia Rein van den Boomgaard Universiteit van Amsterdam 1

2 data explosion 1200 lines x 1600 pixels per line RGB, 24 bit (3 bytes) per color pixel Total uncompressed (raw) size is 5.8 Mbyte 36 photo s film: 200 Mbyte (about 1/3 of a CD-ROM) Download time: 1.5 hours (GSM); 12 minutes (ISDN/56k); 46 second (ADSL); 5 seconds (slow IntraNet); <1 second (fast IntraNet) 2

8 Mbyte 36 photo s film: 200 Mbyte (about 1/3 of a CD-ROM) Download time: 1.

3 data explosion 576 lines x 720 pixels per line YUV, 16 bit (2 bytes) per color pixel Total uncompressed (raw) size per frame is 830 kbyte 1 hour of video 75 GByte Download time: 16 hours (slow IntraNet); 2 hours (fast IntraNet) 3

size per frame is 830 kbyte 1 hour of video 75 GByte

4 compressie minimaliseer bitrate in de digitale representatie van het video signaal waarbij: signaal (beeld) kwaliteit behouden blijft codec niet te complex vertragingen in codec minimaal en voorspelbaar 4

5 compressie signal in f bit rate Coder R Decoder f signal out lossless compression: f = f lossy compression: f f 5

6 compressie afwegingen efficientie (bpp, bpf) lage bitrate gewenst signaal (beeld) kwaliteit f f zo klein mogelijk complexiteit (MIPS, geheugen) codec vertragingen instantaan afspelen van video stream 6

klein mogelijk complexiteit (MIPS, geheugen) codec

7 video compressie observaties spatiele correlatie spectrale correlatie R,G,B beelden vertonen grote overeenkomsten temporele correlatie naburige pixels zijn vaak gelijk pixels in verschillende frames vertonen overeenkomsten perceptuele redundantie het menselijk oog ziet niet alles 7

naburige pixels zijn vaak gelijk pixels in verschillende frames

8 lossless codering omkeerbaar: dus codering zonder verlies voorbeelden: entropie codering (gebaseerd op kansen van voorkomen) run length codering Hufman codering Arithmetische codering toepassingen: video editing 8

kansen van voorkomen) run length codering Hufman

9 lossy codering onomkeerbaar proces de gedecodeerde data is niet gelijk aan de originele data kwaliteit is afhankelijk van de compressie methode vb bron codering 9

10 hybrid coding combineert entropie met bron codering gebruikt in bijna alle gangbare video codecs JPEG MPEG-1 MPEG-2 MPEG-4 10

11 compressie ratio sterk bepaald door de kwaliteit van de video input data: ruis is moeilijk te coderen (daarom ook worden oude films opgeknapt voordat ze op DVD worden gezet) resolutie (spatieel en temporeel) quantisatie (bits per pixel) 11

worden oude films opgeknapt voordat ze op DVD worden gezet)

12 ontwerp keuzes lossy versus lossless compressie factor fixed of variable compressie factor bestand tegen transmissiefouten complexiteit van codec vergelijk DVD versus WebCam 12

13 resolutie verminderen 13

14 resolutie verminderen

15 aantal kleuren verminderen 24 bit ( different colors) 15

16 aantal kleuren verminderen 8 bit (256 different colors) Compression factor 3 16

17 aantal kleuren verminderen 6 bit (64 different colors) Compression factor 4 17

18 aantal kleuren verminderen 4 bit (16 different colors) Compression factor 6 18

19 aantal kleuren verminderen 1 bit (2 different colors) Compression factor 24 19

20 PCM (pulse code modulation) f Q f' Quantize the signal level into a fixed number of bits 20

21 prediction coding l j 4600 meaningful signals are often highly predictable: from the behaviour in the past, the future signal values can be aproximated 21

22 prediction coding f(n)=f(n)-f(n-1) f(n)=f(n-1)+ f(n) 22

23 difference coding + f M d Q d' - M is a memory module (time delay) d(n)=f(n)-f(n-1) 23

24 predictive coding + f M d - + f + M 24

25 predictive coding + f Q M - + f' + M 25

26 predictive coding + f Q M - + f' + M 26

27 MPEG video codering Kleur codering Spatiele resolutie vermindering Prediction Coding Bron codering Entropy Coding 27

28 MPEG Kleur RGB kanalen zijn sterk gecorreleerd Decorrelatie in YCbCr kleur systeem: Y = R G B Cb = B - Y Cr = R - Y Quantizatie in YUV kleursysteem veelal 16 bits voor YUV tezamen 28

29 MPEG resolutie Sample Y at full resolution Sample U and V at reduced resolution example: 4:2:2 Video Coding YYYYY YYYYY YYYYY U.U.U U.U.U U.U.U V.V.V V.V.V V.V.V This works because of the way the human eye works 29

30 prediction coding de pixel waardes f(x,y,t) voor vaste x,y kunnen met prediction coding worden gecodeerd waarom zal dit niet goed werken in de praktijk? 30

31 prediction coding om weinig verandering van waarde f te krijgen in difference signal moeten we het pixel 'volgen' in de tijd: MOTION COMPENSATION Motion compensation per pixel (optical flow) is te duur voor video: blocks! 31

32 motion compensation macro blok van 16x16 pixels search window is niet vastgelegd in standaard wat voor invloed heeft dit op kwaliteit van de codec? 32

33 bron codering het differene signaal (van het motion compensated signaal) wordt met een JPEG achtig algorithme gecodeerd ook in difference signaal kunnen we perceptueel zonder al te verlies de nadruk leggen op de lagere frequenties evenals in JPEG worden ook hier de AC coefficienten van de DCT runlength gecodeerd en wordt een entropy coding (Hufman) gebruikt voor de bit allocatie 33

34 MPEG encoder 34

35 MPEG decoder 35

36 GOPS Don't do difference coding for a long period of time! why not? 36

37 GOPS Don't do difference coding for a long period of time! (robustness and random access) At regular intervals encode a video frame with JPEG: the I-FRAMES In between the I-frames predictive coding can be used MPEG distinguishes: P-frames (predict from the past) B-frames ('predict' from past and future...) 37

38 video compressie standards Broadcast (high bit rate) Video conferentie (low bit rate) MPEG-1 MPEG-2 H.261 H.262 Interactief MPEG-4 38

39 H.261 ontworpen voor video telefoon en video conferentie over ISDN bitrate: n x 64kbps QCIF (172x144) CIF (352x288) Codering DCT a la JPEG Blok gebaseerde motion compensatie 39

40 H.263 low bit rate applicaties kbps SQCIF (128x96) 16CIF (1408x1152) codering lijkt op H

41 MPEG-1 ontworpen voor VHS video kwaliteit op CD-ROM 1.5 Mbps codering als H.261 met random access van frames snel vooruit / achteruit 41

42 MPEG-2 ontworpen voor 'broadcast' kwaliteit HDTV 2 Mbps en hoger gebruikt in o.a. DVD 42

43 nadelen geen universeel formaat voor zowel locale opslag als streaming geen interactie MPEG-4: meer dan alleen video... MPEG-7:? and more.. 43

Vergelijkbare documenten

Het JPEG compressie algoritme, IS

Het JPEG compressie algoritme, IS 10918-1 Een overzicht van het JPEG compressie algoritme door Mathias Verboven. Inhoudsopgave Inleiding.... 2 Stap 1: inlezen bronbestand.... 3 Stap 2: Veranderen van kleurruimte....