Bewegend beeld en geluid: Compressie en Distributie

Transcriptie

1 Bewegend beeld en geluid: en Distributie AVNet K.U.Leuven Bewegend beeld 2 1

2 Erik Luyten Ruimtelijke resolutie 7 x 10 = x 40 = x 160 = x 640 = x 20 = x 80 = x 320 = Grijswaarde resolutie 1 bit/ 2 2 bit/ 4 3 bit/ 8 4 bit/ 16 5 bit/ 32 6 bit/ 64 7 bit/128 8 bit/

3 Erik Luyten Kleurvorming: mengen van licht 3 x 8 bits rood kanaal groen kanaal blauw kanaal additieve kleurmenging 256 stappen rood 256 stappen groen 256 stappen blauw 5 Kleur(diepte) resolutie 24 bit kleur pallet 244 KB file 8 bit kleur pallet 28 KB file 8 bit optimized pallet 28 KB file 44bit bitkleur kleurpallet pallet Geen dithering 16 KB file 6 3

4 Erik Luyten Temporale resolutie 2 beelden/seconde 5 beelden/seconde 12,5 beelden/seconde 25 beelden/seconde 7 Van video naar computer Video beelden 25 beelden - 50 rasters per seconde Beperkt tot 576 effectieve lijnen (PAL) en 3x4 beeldverhouding (of HD!). Geïnterlinieerd beeld (interlaced) Computer beelden 60 to 80 beelden per seconde Geen beperkingen voor beeldformaat en beeldverhouding Niet-geïnterlinieerd (progressive) De-interlacing van video materiaal is wenselijk. 8 4

5 Erik Luyten Opletten met video: de-interlacing Field 1 Field Video signaal(niet gecomprimeerd) 576 pixels 768 pixels Elke pixel heeft 3 waarden: (3 bytes)! 25 beelden/seconde Rood: 256 stappen (1 byte)! Groen: 256 stappen (1 byte)! Blauw: 256 stappen (1 byte)! Datarate van het RGB videosignaal: 768(pix) x 576(lijn) x 3(byte) x 25(beeld)=32 MByte/sec(256 Mbit/sec) 10 5

6 Video signaal (component) 720 pixels 576 pixels 25 beelden/seconde Elke pixel heeft 3 waarden: (2 bytes)! Helderheid (Y): 256 stappen (1 byte)! Cr (R-Y): 128 stappen (1/2 byte)! Cb (B-Y): 128 stappen (1/2 byte) Datarate van het niet gecomprimeerd component video signaal : 720(pix) x 576(lijn) x 2(Byte) x 25(beeld)=20 MByte/sec(160 Mbit/sec) 11 HD formaat 768 x x 1080 Datarate van het niet gecomprimeerd component HD signaal : 1920(pix) x 1080(lijn) x 2(Byte) x 25(beeld)= ± 99 MByte/sec( ± 791 Mbit/sec) 12 6

7 Audio signaal Sampling Rate: 44,1 khz (CD) Bit Depth: 16 bit ( stappen) Stereo: x 2 16 bit x 2 x = bps 1,4 Mbit/sec Productie systemen werken meestal met een sampling rate van 48 khz 16 bit x 2 x = bps 13 Video distributie? 1 seconde video: 32 Mbyte (256 Mbit/sec) 1 minuut video: 1,9 GByte 1 uur video: 111 GByte Disk Netwerk floppy disk = 0,05 seconden CD-rom = 20 seconden 1 Gbyte hard disk = 32 seconden 16 Gbyte array = 8 min 30 sec Ethernet 100 Mbit/sec (shared) LAN 1/2.5 Ethernet 10 Mbit/sec (shared) LAN 1/25 ISDN lijn ( 2B + D) : 128Kbit/sec 1/2000 Modem aansluiting : 56 Kbit/sec 1/

8 Verminderde datastroom? 320x240, 25fps, 24 bit 160x120 pix 43,2 Mbit/sec 10,4 Mbit/sec 12,5fps 21,6 Mbit/sec 8 bit 14,4 Mbit/sec 15 technieken Lossless bij de compressie gaat geen informatie verloren Lossy er gaat(belangrijke?) informatie verloren (! medische toepassingen! ) Intraframe compressie binnen elk beeld afzonderlijk Interframe compressie tussen op elkaar volgende beelden Symmetrisch coderen en decoderen vragen evenveel rekenkracht Asymmetrisch het coderen vraagt meer rekenkracht, decoderen gaat sneller 16 8

9 Intraframe compressie (binnen één beeld) 100 pixels Run Length Encoding zonder compressie: een lijn van 100 maal één witte pixel 100 x 3 bytes = 300 bytes RLE compressie 100 identieke witte pixels achter elkaar 2 bytes voor het aantal pixels 3 bytes voor de kleurinfo = 5 bytes voor info over 100 pixels factor van 60:1 zonder verlies van informatie 17 Andere intraframe compressietechnieken Discrete Cosinus Transformatie JPEG, MPEG, DV, 2-dimensionele Fourier Transformatie Blokken van 8 x 8 pixels en 16 x 16 pixels Wavelet Compression MPEG-4 (still image), JPEG2000 Verbeteren van de beeldresolutie als meer data ontvangen worden. Vector Quantization Fractal Compression 18 9

10 Interframe compressie Beeld 124 Beeld Interframe: MPEG (Moving Picture Expert Group) GOP Group Of Pictures I-pictures: (Intra picture) referentie met volledige informatie voor een beeld (bv bij beeldwisseling,...) P-pictures: (Predicted picture) beelden worden voorspeld door gebruik te maken van de informatie in voorgaande I of P beelden. B-pictures: (Bi-directional predicted) terug samengesteld uit de informatie van voorafgaandelijk of nakomend I of P beeld. B-pictures worden niet gebruikt als referentie voor de opbouw van andere beelden. I B B P B B P B B P B B I " Group Of Pictures (GOP) 20 10

11 Codec, Architectuur of File formaat? Codec Specificeert hoe (beeld) informatie gecomprimeerd moet worden. Container: Synchronisatie van de verschillende media componenten. (video, audio, language tracks, text tracks,.) Toevoegen van interactiviteit, alternate tracks, File formaat: Specificeert hoe de data in het bestand opgeslagen worden (bv. interleaving video en audio) 21 Media platform platform distributie prijs alternates opmerkingen QuickTime Mac Windows (Linux) CD rom Download (HTTP) Streaming (RTSP) Player = gratis Pro = 30 Server= open srce RTSP alternates HTTP alternates Mixed alternates Skip prot.,instant - on QTVR, text, midi, SMIL,.. Voor productie en distributie Real Windows Mac Linux Streaming (RTSP) Download (HTTP) Player = gratis Superpass=$13/m Server=betalend RTSP alternates (Surestream techn.) Dynamisch Enkel voor distributie van hoofdzakelijk streaming content. Windows Media Windows (Mac) (Linux) Streaming ( ) Download (HTTP) CD rom Player=free Server= Windows2003 RTSP alternates Dynamisch Productie en distributie Enkel versie 9 beschikbaar op niet Windows platformen Flash (Spark, On2, h264) Windows Mac Linux CD rom Download (HTTP) Streaming Player=free Server= 4759? MPEG-4 Windows Mac Linux Streaming (RTSP) Download (HTTP) CD rom DVD, GSM,. Player=QT, Real, Server=open srce License fee In de toekomst scalable Industrie standaard Van handheld tot HD H

12 MPEG (moving picture expert group) MPEG-1 (file formaat) voor videocd video & audio track 25 bld/sec, progressive scan, 352x288 (CIF) Datarate typisch tussen 800Kb/sec en 2Mb/sec MPEG-2 (file formaat) DVD, satelliet, videorelais, video & audio track 25 bld/sec, interlaced en progressive scan, 720x576, ook HD mogelijkheid Datarate typisch tussen 2Mb/sec en 15Mb/sec MPEG-4 (architectuur, container) van handheld tot HD productie) Video, General audio, Speech Still, Mesh, face & body animation, parametric music, synthetic audio, programming,... Versions, part (2 of 10), profile, level 23 video subtitles background graphics Rendering and Composition MPEG-1, MPEG-2 MPEG-4 vs difference MPEG-1/2 compression transport Decompression display and scaling display and scaling video subtitles background graphics Compression Bitmap stream ASCI code Bitmap image Vector code MPEG-4 transport transport transport transport Decompression Scaling, Rendering and Composition display display 24 12

13 Codec s en bitrate Web? Distributie codec s Productie codec s 56 kbit 200 kbit 1 Mbit 9 Mbit 25 Mbit 256 Mbit H-263 Sorenson MPEG-4 H-261 MPEG-1 profile 0 profile 1 PIM, GSM,... MPEG-2 H.264 HD distributie uncompr. DV MPEG-4 Studio productie 25 Videocodecs vergelijken Cinepack : 4,2 Mbit/sec H-263 : 2 Mbit/sec MPEG 1: 1,8 Mbit/sec Sorenson : 1,35 Mbit/sec MPEG-4 : 960 Kbit/sec H.264 : 502 Kbit/sec 26 13

14 Audio codec s 16bit,48kHz,Stereo 5,7 MByte 1,5 Mbit/sec 31 MIDI file (synthesizer) 50,7 KByte 3,9 Kbit/sec (1/385) J-Cycle : bit, 44kHz,Stereo MP3 high 975,2 KByte 248,8 Kbit/sec 1/6 16bit,44kHz,Stereo QD2 high 181,8 KByte 46,4 Kbit/sec 1/32 16bit,22kHz,Mono IMA 4:1 357 KByte 91,2 Kbit/sec 1/16 16bit, 22kHz, Mono MP3 medium 121,7 KByte 30,4 Kbit/sec 1/49 16bit,22kHz,Mono QD2 medium 121 KByte 30,4 Kbit/sec 1/49 16bit,22kHz,Mono PureVoice 147 KByte 37,6 Kbit/sec 1/40 16bit, 8kHz, Mono MP3 low 30,6 KByte 8 Kbit/sec 1/187 16bit,11kHz,Mono QD2 low 30 KByte 7,9 Kbit/sec 1/190 16bit,11kHz,Mono PureVoice low 35,7 KByte 8,8 Kbit/sec 1/ MPEG-4 audio: AAC (advanced audio coding) 16bit,48kHz,Stereo 5,7 MByte 1,5 Mbit/sec 31 16bit, 24kHz,Stereo MP3 high 64 Kbit/sec 16bit, 22kHz, Mono MP3 medium 30,4 Kbit/sec 16bit, 16kHz, Mono MP3 low 16 Kbit/sec 16bit, 16kHz, Mono MP3 low 8 Kbit/sec 16bit, 44kHz,Stereo MPEG-4 AAC 64 Kbit/sec 16bit, 32kHz, Mono MPEG-4 AAC 32 Kbit/sec 16bit, 16kHz, Mono MPEG-4 AAC 16 Kbit/sec 16bit, 16kHz, Mono MPEG-4 AAC 8 Kbit/sec 28 14

15 Internet Distributie Progressive download (HTTP, FTP) file transport type (TCP protocol) Geen verlies van data: een verloren pakket wordt opnieuw doorgestuurd Niet bruikbaar voor rechtstreekse uitzendingen Volledig bestand moet doorgestuurd zijn vooraleer random access mogelijk is Geen speciale server nodig (HTTP protocol) Streaming media (RTP) Unicast of Multicast RTSP of RTMP transport (UDP protocol) Verloren data (waarschijnlijk) niet opnieuw door te sturen Bruikbaar voor rechtstreekse uitzendingen Random access mogelijk (niet voor Multicast) (enkel de data voor het gekozen fragment worden doorgestuurd) Kan enkel via een of meerdere (voor wereldwijde distributie) streaming servers HTTP streaming Voordelen van Download en RTP streaming De stroom wordt in korte stukken van 10 tot 30 seconden verdeeld die ieder als een eigen bestand doorgestuurd worden. Via een index bestand (xml, manifest) worden de korte fragmenten op de juiste manier achter elkaar gezet. 29 (Progressive) download Web server staalkaart/2004/video04.html staalkaart/2004/video04.mov <object classid="clsid:02bf25d5-8c17-4b23-bc80-d3488abddc6b" codebase=" width="320" height="195"> <param name="loop" value="false"> <param name="cache" value="true"> <param name="src" value="video04.mov"> <param name="autoplay" value="true"> <param name="controller" value="true"> <embed width="320" height="195" pluginspage=" src="video04.mov" type="video/quicktime" controller="true" autoplay="true" cache="true" loop="false"> </object> File : video04.mov TCP/IP 30 15

16 (video) podcasting Audio of audio/video distributie via internet Internet connectie enkel nodig voor download niet voor weergave. Download van file naar computer gebruiker Abonnement princiepe Zenders ---> Feeds Programma s ---> Episodes Audio: MP3 of AAC (Advanced Audio Codec) Video: MPEG-4 of h.264 (AVC) Download: via web server (HTTP) RSS: real simple syndication XML: structuur en inhoud van de feed itunes als client 31 Podcast delivery:directory Web server AVNet Aanvragen episodes Opvragen gegevens XML file Apple itunes Store Opzoeken in directory HTTP download episodes naar itunes Details en adres van de feed Client computer 32 16

17 Erik Luyten Podcast delivery: URL link Web server AVNet Opvragen web pagina HTML met itpc link Opvragen gegevens XML file + opstarten itunes Aanvragen episodes HTTP download episodes naar itunes Client computer 33 RTSP streaming Web server Videotechniek/medatech.html <object classid="clsid:02bf25d5-8c17-4b23-bc80-d3488abddc6b" width="384" height="304" codebase=" <param name="autoplay" value="true"> <param name="controller" value="true"> <param name="pluginspage" value=" <param name="target" value="myself"> <param name="type" value="video/quicktime"> <param name="src" value="jaarverslag0304_384k.mov"> <param name="href" value="rtsp://escher.avnet.kuleuven.be/mediatechnologie/mediatech_384k.mov"> <embed src="comtechn.mov" width="384" height="304" autoplay="true" controller="true" border="0" pluginspage=" target="myself" type="video/quicktime" href="rtsp://escher.avnet.kuleuven.be/mediatechnologie/mediatech_384k.mov"></embed> </object> Streaming server Datastroom RTP over UDP rtsp://escher.avnet.kuleuven.be/ mediatechnologie/mediatech_384k.mov 34 17

18 Streaming - unicast 35 Streaming - multicast 36 18

19 37 19