invloed van herschaling bij het comprimeren van HD-videobeelden

Transcriptie

1 Faculteit Ingenieurswetenschappen Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. Dr. Ir. J. Van Campenhout invloed van herschaling bij het comprimeren van HD-videobeelden door Timothy Suy Promotor: prof. dr. ir. Rik Van de Walle Thesisbegeleiders: lic. Peter Lambert ir. Jan De Cock Afstudeerwerk ingediend tot het behalen van de graad van Licentiaat in de Informatica Academiejaar

2 Dankwoord Allereerst wil ik mijn ouders bedanken voor hun jarenlange financiële en morele steun, en hun eindeloze geduld. Vervolgens wil ik een dankwoord richten aan mijn begeleiders, lic. Peter Lambert en ir. Jan De Cock, zonder wiens hulp en raad ik dit werk nooit had kunnen realiseren. Ook wil ik een woord van dank richten aan mijn promotor prof. dr. ir. Rik Van de Walle en de leden van de onderzoeksgroep Multiemedialab voor hun interesse in dit onderzoek. Tot slot wil ik mijn vrienden bedanken voor alle directe en indirecte hulp die ze geboden hebben bij het realiseren van dit werk, en hun steun tijdens de moeilijke momenten.

3 De auteur geeft de toelating deze scriptie voor consultatie beschikbaar te stellen en delen van de scriptie te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van resultaten uit deze scriptie.

4 Invloed van herschaling bij het comprimeren van HD-videobeelden door Timothy Suy Afstudeerwerk ingediend tot het behalen van de graad van Licentiaat in de Informatica Academiejaar Universiteit Gent Faculteit Ingenieurswetenschappen Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. J. Van Campenhout Promotor: prof. dr. ir. Rik Van de Walle Thesisbegeleiders: lic. Peter Lambert ir. Jan De Cock samenvatting Het coderen van digitale videobeelden is een rekenintensief proces. In dit onderzoek onderzoeken we of het introduceren van één of meerdere herschalingen voor het encoderen de complexiteit van het encoderingsproces kan verminderen terwijl de visuele kwaliteit hoog genoeg blijft. We zoeken de trade-off relatie tussen deze twee parameters. Hiervoor gebruiken we combinaties van drie lineaire herschalingsmethoden (nearest neighbour, bilineair en bicubisch), en herschalen we één, twee of drie keer tot de helft van de resolutie van de videosequentie. We meten het geleden kwaliteitsverlies en de complexiteit van het coderingsproces. trefwoorden: digitale video, codering, complexiteitsreductie, herschalen

5 Influence of resampling on compressing HDvideosequences Timothy Suy Supervisor(s): Rik Van de Walle, Peter Lambert, Jan De Cock Abstract This article describes the trade-off-relation between resolution and bitrate when coding digital video. We propose a technique to decrease encoding complexity while minimizing loss of visual quality. This technique consists of downsampling video sequences prior to encoding, thereby vastly decreasing encoding complexity. The loss of information as a consequence of this method will for the most part be compensated by using the same bitrate for a sequence of smaller resolution, thereby losing less information in the encoding step. Keywords digital video, resolution, bitrate, encoding complexity, visual quality I. INTRODUCTION The object of encoding is to convert video-sequences from one representation to another, more efficient one. This conversion introduces a certain loss of visual quality, which can be quantified and measured. A defining factor in this process is the bitrate: it states how many bits the encoder may use on average to encode one second of video. Given certain values for spatial resolution and frames per second we can convert this to the number of bits available per pixel. When the height and width of a video-sequence is halved we lose a certain amount of video-information and subsequently suffer loss of visual quality. However, if this smaller sequence is coded using the same bitrate as it would with the original, the number of bits per pixel is four times higher. Thereby, part of the loss of quality suffered by downsampling will be compensated by the lesser loss of quality suffered in the encoding process. Moreover, the complexity of the encoding process will be greatly decreased, allowing the same hardware to do more work, or cheaper hardware to perform the same task. In this paper we present the trade-off relation between complexity and visual quality when sampling video prior to encoding. II. RESOURCES In order for the proposed technique to be effective, the added complexity introduced by resampling any video sequence must be kept to a minimum. Therefore, this research is limited to linear resampling methods: nearest neighbour, bilinear and bicubic. Two test-sequences are used: sequence 1 consists of 1645 frames of 352 x 288 pixels (CIF), sequence 2 of 245 frames of 1920 x 1024 pixels (HD). The codec used in this research is x264, an open source implementation of the H.264 standard. III. MEASUREMENTS Visual quality can objectively be measured by using the Peak Signal to Noise Ratio (PSNR), which is defined as: PSNR 255 PSNR= 20 log10 (1) MSE Here, MSE is the Mean Square Error which is defined as: MSE MSE= m n ( I( x y) I' ( x, y) ) y= 1 x= 1, ² (2) The encoding complexity can be found by measuring the number of Frames Per Second that can be processed by the encoder. IV. METHODOLOGY Initially the different sampling-methods are tested on the test-sequences to find the combination that introduces the least loss of visual quality. In the initial phase, the two test-sequences are encoded. After decoding, the loss of visual quality and the number of encoded Frames Per Second are measured, and its values will be used as a benchmark for the remaining tests. Having found these benchmark-values, both test-sequences are downsampled using the three linear resampling-methods. The resulting sequences, whose height and width are exactly half the height and width of the original sequences, are encoded using the same parameters used in the initial phase. Again the number of encoded Frames Per Second are measured. These sequences are decoded again, and upsampled to their original resolution. The loss of visual quality is once again measured. The third phase adds another downsample step: the original files are downsampled twice, resulting in sequences that are 16 times smaller than their original. These are encoded (measuring the number of encoded Frames Per Second) and decoded, and upsampled twice. Afterward, the loss of visual quality is measured. The final phase adds a third sampling-step. The method used remains the same.

6 V. RESULTS When one sampling-step is introduced, the combination of nearest neighbour downsampling and bicubic upsampling introduces the smallest loss of visual quality versus classical encoding. complexity-reduction while maintaining an acceptable visual quality. The trade-off between visual quality (PSNR) and complexity (FPS) can be found in Figure 4. Figure 1: PSNR-values for one-step-sampling vs classical encoding The relative loss of visual quality is less than 1 db, while the number of encoded Frames Per Second is 2.8 times higher. Using two sampling-steps, the loss of visual quality is higher (4 db), but the number of encoded Frames Per Second is 2.7 times higher on average. Figure 2: PSNR-values for two-step-sampling vs classical encoding Figure 4: trade-off between visual quality and complexity. Figure 3 encoded FPS for 0, 1 and 2 resampling-steps VI. CONCLUSION The methods introduced in this paper give promising results considering the trade-off between loss of visual quality and complexity. With low-resolution sequences (CIF), introducing a downsampling-step prior to encoding yields good results for complexity-reduction while maintaining an acceptable visual quality. With high-resolution sequences (HD), introducing two downsampling-steps prior to encoding yields good results for REFERENCES [1] G. Sullivan and S. Estrop. Video Rendering with 8-Bit YUV Formats, 2002 [2] [3] library/en-us/dnwmt/html/yuvformats.asp [4] F. Sonnati. H.26x Video Compression Standards, 2004 [5] Iain E. G. Richardson. Video Codec Design, 2002 [6] [7] Iain E. G. Richardson. H.264 and MPEG-4 Video Compression, 2003 [8] M. Depaemelaere. Digitale Video: een overzicht van de JVT/AVC standaard. Master s Thesis, Universiteit Gent, 2003 [9] [10] S. Delrue. Photoshop plug-in voor het herbemonsteren van beelden. Master s Thesis, Universiteit Gent, 2003 [11] D. Srinivasulu. Just Noticeable Difference and it s application to video coding, 2006.

7 Inhoudsopgave 1 Inleiding probleemstelling methodologie Testbeelden Continue versus discrete beelden Kleurruimten Definitie De RGB-kleurruimte De YUV-kleurruimte Onderlinge compatibiliteit YUV 4:2: Standaard testsequenties Gebruikte beeldsequenties Videocodering Algemeen Inleiding Beeldstructuur Inter- en intracodering Beeldvolgorde Transformatie Quantisatie Entropiecodering H.264 en X H X Herschaling Inleidende begrippen Lineaire herschalingsmethoden Nearest neighbour-interpolatie Bilineaire interpolatie Bicubische interpolatie Implementatie Meten van visuele kwaliteit Menselijk Visueel Systeem Verschilbeelden Definitie Visualisatie

8 5.4 Just Noticeable Difference PSNR Definitie Implementatie Onderzoek Opstelling Testsystemen Voorbereidende fase: herschalen Methode Resultaten Conclusie Nulde fase: coderen Methode Resultaten Conclusie e fase: herschalen met 1 stap en coderen Methode Resultaten Conclusie e fase: herschalen met 2 stappen en coderen Methode Resultaten Conclusie e fase: herschalen met 3 stappen en coderen Methode Resultaten Conclusie Besluit Bijlage A: DVD Bibliografie

9 Lijst van Figuren afbeelding 1: continue beeld... 9 afbeelding 2: discreet beeld... 9 afbeelding 3: additieve kleurenmengeling [1] afbeelding 4: subtractieve kleurenmengeling [2] afbeelding 5: intensiteit versus tint afbeelding 6: spatiale structuur van het YUV 4:2:0 formaat afbeelding 7: bitstructuur van het YUV 4:2:0 formaat afbeelding 8: stefan afbeelding 9: mobile afbeelding 10: bus afbeelding 11: hall monitor afbeelding 12: coastguard afbeelding 13: foreman afbeelding 14: beeld uit de HD-sequentie afbeelding 15: opdeling in macroblokken en slices afbeelding 16: afhankelijkheden van I, P en B-beelden afbeelding 17: energieconcentratie na DCT-transformatie afbeelding 18: omzetting van een macroblok met DCT afbeelding 19: quantisatie van een getransformeerd blok afbeelding 20: zigzagscan afbeelding 21: omzetting naar (run, level)-paren afbeelding 22: bemonstering van een continue beeld afbeelding 23: voorbeeld van nearest neighbour-interpolatie afbeelding 24: beschouwde punten bij bilineaire interpolatie afbeelding 25: voorbeeld van bilineaire interpolatie afbeelding 26: beschouwde punten bij bicubische interpolatie afbeelding 27: voorbeeld van bicubische interpolatie afbeelding 28: origineel beeld (I) afbeelding 29: verstoord beeld (I ) afbeelding 30: verschilbeeld: Y-component (V Y) afbeelding 31: verschilbeeld: U- en V-component (V U en V V) afbeelding 32: herschalen met 1, 2 en 3 stappen afbeelding 33: sequentie 1 (CIF) herschalen met 1 stap afbeelding 34 : sequentie 2 (HD) herschalen met 1 stap afbeelding 35 : sequentie 1 (CIF) herschalen met 2 stappen afbeelding 36 : sequentie 2 (HD) herschalen met 2 stappen afbeelding 37 : sequentie 2 (HD) herschalen met 3 stappen

10 afbeelding 38: sequentie 1 (CIF) coderen aan verschillende bitsnelheden afbeelding 39: sequentie 2 (HD) coderen aan 3000 kbit/s afbeelding 40: PSNR en FPS van sequentie afbeelding 41: herschalen met 1 stap en codering: methode afbeelding 42: herschalen (1 stap) en coderen (CIF) afbeelding 43: herschalen en coderen geïnterpoleerd over bitsnelheid afbeelding 44: herschalen (1 stap) en coderen (HD) afbeelding 45: FPS voor herschalen (1 stap) en coderen (CIF) afbeelding 46: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 47: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) afbeelding 48: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 49: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) afbeelding 50: beeld uit sequentie 2 (HD) gecodeerd aan 3000 kbit/s afbeelding 51: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) afbeelding 52: herschalen met 2 stappen en codering: methode afbeelding 53: herschalen (2 stappen) en coderen (CIF) afbeelding 54: herschalen (2 stappen) en coderen (HD) afbeelding 55: FPS voor herschalen (2 stappen) en coderen (CIF) afbeelding 56: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 57: 2x gehalveerd (NN-NN), gecodeerd, 2x verdubbeld (BC-BC) afbeelding 58: 2x gehalveerd (NN-BC), gecodeerd, 2x verdubbeld (NN-BC) afbeelding 59: herschalen met 3 stappen en codering: methode afbeelding 60: herschalen (3 stappen) en coderen (HD) afbeelding 61: FPS voor herschalen (3 stappen) en coderen (HD) afbeelding 62: 3x gehalveerd (0-2-0), gecodeerd, 3x verdubbeld (2-2-0) afbeelding 64: trade-off tussen beeldkwaliteit (PSNR) en complexiteit (FPS)

11 Lijst van Tabellen tabel 1: opbouw testsequentie tabel 2: gebruikte testsystemen tabel 3: beste 10 (CIF) tabel 4: beste 10 (HD) tabel 5: gebruikte bitsnelheden tabel 6: gemiddelde PSNR en FPS tabel 7: FPS voor herschalen (1 stap) en coderen tabel 8: FPS voor herschalen (2 stappen) en coderen (CIF) tabel 9: FPS voor herschalen (3 stappen) en coderen (HD)

12 1 Inleiding 1.1 probleemstelling Digitale videobeelden vinden hun weg in een steeds breder wordend toepassingsveld: DVD s, digitale televisie, live streaming via het internet of op gsm-toestellen, maar ook opnames van bewakingscamera s of realtime monitoring van productieprocessen waarbij de omstandigheden geen menselijke waarnemers toelaten, Al deze toepassingen hebben hun eigen specifieke eisen en beperkingen, die zich voornamelijk concentreren rond drie gebieden: beeldkwaliteit, complexiteit en bandbreedte. Bij de meeste van deze toepassingen is er een minimumeis voor de beeldkwaliteit, maar nadat deze drempelwaarde bereikt is verschuift de nadruk naar complexiteit: een lagere complexiteit betekent namelijk dat meer beelden per tijdseenheid verwerkt kunnen worden, of dat met een gegeven aantal te verwerken beelden per seconde minder complexe en dus goedkopere hardware kan gebruikt worden. Met het coderen van een sequentie van digitale beelden gaat een deel van de informatie die die sequentie bevat verloren, wat resulteert in een verlaagde beeldkwaliteit. De mate waarin de beeldkwaliteit vermindert is onder andere afhankelijk van het aantal bits dat een codec mag gebruiken om een bepaalde sequentie te coderen. Hoe kleiner de spatiale resolutie van een beeld, hoe minder informatie dit beeld bevat. Wanneer we dus twee sequenties met een verschillende spatiale resolutie coderen met eenzelfde aantal beschikbare bits, zal het kwaliteitsverlies bij de kleinere van de twee minder zijn dan het kwaliteitsverlies van de grotere van de twee. Ook wanneer we een digitaal beeld (of een sequentie van digitale beelden) verkleinen, gaat er een deel informatie verloren. 6

13 Wanneer we opmerken dat het verkleinen of vergroten van een beeldsequentie typisch een lagere complexiteit heeft dan het coderen van een beeldsequentie, rijst de vraag: kunnen we met een aanvaardbaar verlies aan beeldkwaliteit de complexiteit van het codeerproces significant verminderen door een beeldsequentie te verkleinen voor het coderen, en deze terug te vergroten na het decoderen? Formeler stellen we de vraag: wat is de trade-off relatie tussen visuele kwaliteit en complexiteit wanneer we een herschalingsfase invoeren bij het coderen van digitale video In dit werk proberen we een antwoord te vinden op deze vragen. 1.2 methodologie Eerst worden de gebruikte begrippen en technieken toegelicht. Hoofdstuk 2 beschrijft digitale videobeelden. In hoofdstuk 3 komt videocodering aan bod. Hoofdstuk 4 handelt over herschalen en hoofdstuk 5 ten slotte behandelt objectief meten van visuele kwaliteit. Hoofdstuk 6 behandelt het eigenlijke onderzoek. Hierbij voeren we 1, 2 of 3 herschalingsstappen toe aan het codeerproces en onderzoeken we de winst aan complexiteit en het verlies aan visuele kwaliteit. Tot slot vergelijken we deze resultaten met elkaar. In hoofdstuk 7 schrijven we een algemeen besluit neer. 7

14 2 Testbeelden 2.1 Continue versus discrete beelden Continue beelden hebben een intensiteit en een kleurwaarde op elk punt in het reële vlak. Zowel deze intensiteit als deze kleur zijn reële waarden. Discrete beelden daarentegen hebben enkel een intensiteit en kleurwaarde op discrete punten, die op geijkte afstand van elkaar liggen. Beelden op een computerscherm zijn steeds discreet: ze worden opgebouwd door op discrete afstanden een punt af te beelden met een bepaalde discrete kleur en intensiteit. afbeelding 1: continue beeld afbeelding 2: discreet beeld 2.2 Kleurruimten Definitie Door mengeling van drie basiskleuren kan een heel spectrum aan kleuren gecreëerd worden. Deze techniek wordt onder andere gebruikt in beeldschermen en bij veelkleurendruk. Door elke basiskleur meer of minder invloed te laten hebben op de uiteindelijke mengeling kunnen bijna alle kleuren realistisch benaderd worden. Er is zowel additieve kleurenmengeling als subtractieve kleurenmengeling. Beide technieken zijn onderling compatibel, maar vertrekken vanuit andere basiskleuren. Additieve kleurenmengeling gebruikt rood, groen en blauw als basiskleuren. Deze techniek heet additief omdat we beginnen bij zwart en daar de drie basiskleuren bij optellen. Subtractieve kleurenmengeling heeft cyaan, magenta en geel als basiskleuren. Ze heet subtractief omdat we beginnen met wit, en daar de basiskleuren van aftrekken. 8

15 afbeelding 3: additieve kleurenmengeling [1] afbeelding 4: subtractieve kleurenmengeling [2] Door drie basiskleuren in een bepaalde verhouding te mengen krijgen we een bepaalde kleur. afbeelding 5: intensiteit versus tint Afbeelding 5 bevat 3 kleuren: kleur 1 en kleur 2 hebben dezelfde intensiteit maar een andere tint. Kleur 2 en kleur 3 hebben dezelfde tint, maar een andere intensiteit. We bekijken twee veelgebruikte kleurruimten De RGB-kleurruimte De RGB-kleurruimte maakt gebruik van drie kleurcomponenten om een kleur te beschrijven. Elk van de drie parameters kan een waarde aannemen gelegen tussen 0 en een bepaald maximum. In theorie is deze maximumwaarde arbitrair (bijvoorbeeld 1), en kunnen de parameters elke reële waarde tussen 0 en die waarde aannemen. In de praktijk echter zijn er maar een eindig aantal mogelijke waarden voor deze parameters (stel: N, typische waarde: 255), en wordt N gekozen als maximum. Op deze manier wordt het gebruik van reële getallen (die niet altijd exact kunnen worden voorgesteld in binaire systemen) vermeden. 9

16 2.2.3 De YUV-kleurruimte De YUV-kleurruimte vertrekt vanuit een ander standpunt: de expliciete scheiding tussen intensiteit en kleur. Een kleur in de YUV-kleurruimte wordt gedefinieerd door middel van 1 intensiteit- of lumacomponent, en 2 kleur- of chromacomponenten Onderlinge compatibiliteit Beide kleurruimten zijn onderling compatibel: elke kleur gedefinieerd in een van deze kleurruimtes kan worden uitgedrukt met waarden uit het domein van de andere kleurruimte. De omzetting van de ene na de andere kleurruimte aan de hand van formule 1 en 2 [3]. Merk op dat door afrondingsfouten deze conversie niet verliesloos is. R, G, B [0..1] Y = x R x G x B U = x (B - Y) = x R x G x B V = x (R - Y) = x R x G x B R, G, B [0..255] Y = x R x G x B + 16 U = x R x G x B V = x R x G x B formule 1: RGB naar YUV conversie Y, U, V [0..1] R = Y x V G = Y x U x V B = Y x U Y, U, V [0..255] R = x (Y - 16) x (V - 128) G = x (Y - 16) x (V - 128) x (U - 128) B = x (Y - 16) x (U - 128) formule 2: YUV naar RGB conversie 10

17 2.3 YUV 4:2:0 Het menselijke oog is in het spatiale domein aanzienlijk minder gevoelig voor kleurtinten (chroma) dan voor intensiteit (luma). Hierdoor wordt het mogelijk om de chromacomponenten op een lagere spatiale resolutie weer te geven zonder dat dit voor het menselijk oog waarneembaar is [4]. Dit wordt onderbemonstering genoemd. Het YUV 4:2:0 beeldformaat maakt gebruik van deze eigenschap. De spatiale resolutie van de lumacomponent is vier keer hoger dan die van de chromacomponenten. afbeelding 6: spatiale structuur van het YUV 4:2:0 formaat 11

18 In het YUV 4:2:0 formaat wordt elke component van een beeldpunt wordt beschreven aan de hand van 8 bits (256 verschillende waarden). Dit resulteert in mogelijke kleurwaarden voor elk beeldpunt. Een beeld met breedte M pixels en hoogte N pixels is een opeenvolging van (M x N x 12) bits: De eerste M x N x 8 bits bevatten de lumacomponent (Y). De volgende M/2 x N/2 x 8 bits bevatten de eerste chromacomponent (U). De laatste M/2 x N/2 x 8 bits bevatten de tweede chromacomponent (V). afbeelding 7: bitstructuur van het YUV 4:2:0 formaat 12

19 2.4 Standaard testsequenties Voor het testen van videocompressie-algoritmen zijn een aantal veelgebruikte testsequenties in het Common Intermediate Format (CIF, 352 x 288 pixels) beschikbaar, die elk een specifieke uitdaging vormen voor deze algoritmen. Op die manier is het mogelijk om met een beperkt aantal videosequenties toch een algemeen beeld te scheppen van de prestaties van het algoritme. Hieronder geven bij wijze van voorbeeld een frame uit enkele van deze sequenties. afbeelding 8: stefan afbeelding 11: hall monitor afbeelding 9: mobile afbeelding 12: coastguard afbeelding 10: bus afbeelding 13: foreman 13

20 2.5 Gebruikte beeldsequenties De eerste beeldsequentie die in dit onderzoek gebruikt wordt is een sequentie van 1645 beelden in CIF-formaat, opgeslagen in de YUV 4:2:0 ruimte. Deze is als volgt opgebouwd: Frame # bron Stefan Mobile Bus Hall monitor Coastguard Foreman tabel 1: opbouw testsequentie 1 Deze sequentie is zodanig gekozen dat ze veelzijdig genoeg is om een evenredige verdeling te vormen tussen de verschillende soorten uitdagingen voor een coderingsalgoritme, en lang genoeg om te vermijden dat de resultaten te afhankelijk zouden worden van de inhoud van de sequentie De tweede beeldsequentie die we gebruiken is een sequentie van 245 beelden in HD-formaat (1920 x 1024 pixels), eveneens opgeslagen in de YUV 4:2:0 ruimte. Deze sequentie is veel korter dan de eerste, omdat de rekentijden voor het uitvoeren van dit onderzoek al snel onaanvaardbaar lang worden bij sequenties van deze resolutie. We opteerden echter om ook beelden met een hoge resolutie te testen, omdat de waargenomen visuele kwaliteit relatief genomen minder snel afneemt wanneer we zulke beelden verkleinen en terug vergroten (omdat na verkleining nog steeds voldoende beeldpunten overblijven om het resulterende beeld mee te vormen). Afbeeldingen 8 tot 13 maken allen deel uit van sequentie 1. We vinden een beeld uit sequentie 2 in afbeelding 14. De volledige sequenties kunnen teruggevonden worden in DVD. 14

21 afbeelding 14: beeld uit de HD-sequentie 15

22 3 Videocodering 3.1 Algemeen Inleiding Wanneer elk beeldpunt van een digitale videosequentie volledig en expliciet beschreven wordt, blijkt de grootte van een videobestand veel te groot voor praktische toepassingen: een videosequentie van 800 x 600 pixels van 3 minuten (aan 25 frames per seconde) is al te groot om op een DVD-schijfje te passen. Ook overtreft de hoeveelheid te transfereren data per seconde ruimschoots de daarvoor beschreven standaarden. Om dit te verhelpen wordt digitale video gecomprimeerd. Dit kan omdat videobeelden veel redundante informatie bevatten. Deze redundantie kan voorkomen in zowel het spatiale domein (verschillende delen van een beeld bevatten gelijkaardige data) als het temporele domein (opeenvolgende beelden bevatten gelijkaardige informatie). Ook bevatten beelden veel informatie die het menselijke visuele systeem niet kan waarnemen, en dus als redundant wordt beschouwd voor praktische toepassingen. Dit is zogeheten subjectieve redundantie Beeldstructuur Een beeldsequentie bestaat uit een reeks beelden, die op hun beurt elk bestaan uit 3 matrices van getallen die de luminantie- en chrominantiecomponenten van deze beelden beschrijven. Om videosequenties te coderen worden deze matrices nog eens onderverdeeld in zogeheten macroblokken. Deze macroblokken zijn matrices van 16 x 16 pixels voor de luminantiecomponent en, afhankelijk van het onderbemonsteringsformaat, 16 x 16, 16 x 8 of 8 x 8 pixels voor de chrominantiecomponenten [5]. Macroblokken worden gegroepeerd in slices, zodanig dat elk macroblok tot precies een slice behoort. Op deze manier wordt het coderingsproces robuuster, omdat een beschadigd macroblok ten hoogste 1 slice kan beschadigen binnen hetzelfde beeld. 16

23 afbeelding 15: opdeling in macroblokken en slices Een videocodec beschrijft macroblokken aan de hand van andere gecodeerde of standaardmacroblokken. Hierdoor kan men een macroblok omschrijven met beduidend minder bits dan nodig zouden zijn om elke pixel van een macroblok te definiëren Inter- en intracodering Een beeld kan inter- of intragecodeerd worden. Bij intracodering wordt voor de beschrijving van macroblokken enkel gekeken naar andere macroblokken uit hetzelfde beeld. Hierbij maakt men gebruik van de spatiale redundantie van een beeld. De beste resultaten krijgt men echter door ook te kijken naar de beelden voor en/of na het huidige beeld, zodat men de temporele redundantie van een beeldsequentie kan betrekken in het codeerproces. Dit noemt men intercodering. Bij intercodering vertrekt men van een referentiebeeld. Het te coderen beeld wordt voorspeld aan de hand van dit beeld. 17

24 Wanneer opeenvolgende beelden sterk op elkaar lijken, en dus een grote temporele redundantie bezitten, kan dit uitgebuit worden door Motion Estimation (ME) [5]. Bij Motion Estimation wordt een macroblok uit het te coderen beeld niet enkel vergeleken met het bijpassende macroblok uit het referentiebeeld, maar ook met de andere macroblokken uit het referentiebeeld. Men zoekt dan het macroblok dat het dichtst aanleunt tegen het huidige blok, en berekent het verschilblok van beiden. Bij deze techniek moet men per macroblok extra informatie meeleveren i.v.m. het gebruikte macroblok uit het referentiebeeld (de zogeheten Motion Vector of bewegingsvector), maar dit wordt gecompenseerd door een verschilbeeld dat minder informatie bevat. Het terug opstellen van een macroblok aan de hand van een door de Motion Vector geïdentificeerd macroblok heet Motion Compensation (MC). Een verdere uitbreiding van deze technieken verkrijgt men door niet een maar twee referentiebeelden te gebruiken. Hierbij wordt een macroblok voorspeld aan de hand van het gewogen gemiddelde van twee macroblokken, elk uit een van de referentiebeelden. Een beeld dat enkel intragecodeerd is wordt een I-beeld genoemd (Intra Picture). Beelden die intergecodeerd zijn aan de hand van een enkel referentiebeeld zijn P-beelden (Predictive picture). Hierbij komt het referentiebeeld voor het te coderen beeld in de videosequentie. Tot slot noemt men beelden die zowel een beeld dat voor het te coderen beeld als een beeld dat erna komt gebruiken B-beelden (Bipredictive picture). Dit laatste impliceert dat beelden niet langer kunnen gecodeerd worden in de volgorde die ze in de sequentie hebben: om een B-beeld te berekenen moet zowel het voorliggende als het achterliggende referentiebeeld al gekend zijn. Opdat deze techniek zou werken is het essentieel dat zowel de decoder als de encoder dezelfde referentiebeelden gebruiken. Daarom maakt men niet zozeer gebruik van de originele beelden, maar zal men deze beelden na encodering terug decoderen, en deze gedecodeerde beelden als referentiebeeld gebruiken. 18

25 afbeelding 16: afhankelijkheden van I, P en B-beelden Beeldvolgorde Het eerste beeld uit een videosequentie is steeds een I-beeld, omdat er geen voorgaande beelden beschikbaar zijn om als referentiebeeld te dienen. Dan volgt een combinatie van (nul of meer) P- en B-beelden. Deze structuur van een I- beeld gevolgd door een specifieke combinatie van P- en B-beelden wordt een Group Of Pictures (GOP) genoemd. In principe kan een hele videosequentie bestaan uit een enkele GOP, maar in de praktijk houdt men de GOP kleiner (typisch tussen de 10 en de 300 beelden), en herhaalt men deze reeks. Op die manier wordt het mogelijk om een willekeurig beeld van een sequentie te bekijken, omdat ongeacht de positie van het beeld in de sequentie maximum N beelden moeten berekend worden, waarbij N de lengte van een GOP is. Bovendien wordt de codering op die manier robuuster, omdat fouten binnen een beeld zich niet buiten diens GOP zullen propageren Transformatie De macroblokken die we verkrijgen na inter- en intracodering lenen zich niet tot efficiënt comprimeren. De energie is namelijk vrij evenredig verdeeld over de blokken, en er is een sterke correlatie tussen aangrenzende punten. Om deze twee eigenschappen te counteren worden de macroblokken getransformeerd van hun huidige vorm naar een symbolische vorm, die niet leidt aan deze problemen. Een veel gebruikte transformatie is de Discrete Cosine Transformation (DCT), die zowel zorgt voor energie compactering (waarbij het merendeel van de energie in een beperkt aantal coëfficiënten beschreven zit) en decorrelatie (waarbij de onderlinge afhankelijkheden tussen coëfficiënten worden geminimaliseerd). 19

26 afbeelding 17: energieconcentratie na DCT-transformatie. afbeelding 18: omzetting van een macroblok met DCT. Bij DCT bevat de eerste coëfficiënt van een blok (DC) de gemiddelde waarde van het blok overeenkomstig met de laagste frequentie. De andere coëfficiënten (AC) beschrijven de fijnere details [6]. Merk op dat DCT niet verliesloos gebeurt: door afrondingsfouten is het niet steeds mogelijk om de originele blokken te reconstrueren met de Inverse Discrete Cosine Transformation (IDCT). 20

27 3.1.6 Quantisatie Na de transformatie van een blok wordt het gequantiseerd: elke positie in het gequantiseerde blok krijgt de waarde verkregen door de waarde op die positie in het getransformeerde blok te delen door de quantisatieparameter (QP) [5]. Hoe groter deze parameter (die aan het systeem wordt meegegeven voor het coderen), hoe hoger de compressie maar hoe lager de kwaliteit. afbeelding 19: quantisatie van een getransformeerd blok Entropiecodering Na quantisatie is de data die in de macroblokken zit opgeslagen sterk gecorreleerd. Dit heet statistische redundantie. Entropiecodering probeert deze redundantie weg te werken. De macroblokken nemen de vorm aan van ijle matrices. Wanneer we deze te beschouwen als eendimensionale rijen coëfficiënten i.p.v. tweedimensionale matrices, kunnen we deze coëfficiënten omzetten naar een efficiëntere voorstelling. Hiervoor introduceren we een volgorde voor het aflopen van de elementen van een blok. Aangezien de energie van een blok dat met DCT getransformeerd is zich voornamelijk in de linkerbovenhoek van dat blok bevindt, introduceren we een volgorde die de coëfficiënten met hoge energie eerst afloopt: de zigzagscan. afbeelding 20: zigzagscan 21

28 Na deze conversie wordt de rij coëfficiënten omgezet in (run, level)-paren, waarbij level een niet-nulcoëfficiënt is en run het aantal voorgaande nulcoëfficiënten. rij (run, level)-paren (0,79) (1,-2) (0,-1) (0,-1) (2,-1) afbeelding 21: omzetting naar (run, level)-paren Vervolgens wordt op deze (run, level)-paren een entropiecodering toegepast. Hierbij worden frequent voorkomende paren voorgesteld door een kort codewoord, en minder voorkomende door een lang codewoord [5]. Veelgebruikte entropiecodering vallen onder te brengen in twee categorieën: prefixcodes (o.a. Huffman-code, Golomb-code en Rice-code) en aritmetische codes (o.a. Context-based Adaptive Binary Arithmetic Coding). Voor een volledige bespreking van videocodering verwijzen we naar [5]. 22

29 3.2 H.264 en X H.264 Het Joint Video Team (JVT), een samenwerkingsverband tussen ITU-T Video Coding Experts Group (VCEG) and the ISO/IEC Moving Picture Experts Group (MPEG), ontwikkelde een nieuwe standaard voor videocodering, die in 2003 door de International Standards Organisation / International Electrotechnical Commission (ISO/IEC) als nieuwe internationale standaard werd aanvaard. Deze nieuwe standaard, MPEG-4 AVC (Advanced Video Coding), ITU-T H.264, of gewoonweg H.264 genaamd, vindt nu al zijn weg in verscheidene systemen en formaten (zoals onder andere 3GPP - 3rd Generation Partnership Project, DVB - Digital Video Broadcast en DVD - Digital Versatile Disk Video), ondanks het feit dat deze het experimentele stadium nog maar net ontgroeid is. De voornaamste reden hiervoor is de hogere performantie bij gelijke bitsnelheden ten opzichte van vorige generaties, een verbeterde schaalbaarheid en betere voorzieningen voor het streamen van video (het versturen van videodata over een netwerk om bij aankomst in realtime gedecodeerd en afgespeeld te worden). Voor meer informatie in verband met H.264 verwijzen we naar [7] en [8] X264 In dit onderzoek maken we gebruik van X264, een open source implementatie van de H.264 standaard. Voor meer informatie in verband met X264 verwijzen we naar [9]. 23

30 4 Herschaling 4.1 Inleidende begrippen Een continue beeld wordt omgezet naar een digitaal (discreet) beeld door een rooster over het beeld te schuiven, en in het midden van de cellen van dat rooster de bijhorende waarden voor kleur en intensiteit te bemonsteren [10]. afbeelding 22: bemonstering van een continue beeld. Wanneer we een beeld willen herschalen, schuiven we gewoon een ander rooster met kleinere of grotere cellen - over het originele continue beeld. Zo krijgen we beelden die met eenzelfde precisie groter of kleiner kunnen weergegeven worden wanneer het gebruikte afbeeldrooster hetzelfde is (bvb een scherm met vaste afstand tussen de beeldpunten). In de meeste gevallen is het originele continue beeld niet beschikbaar, en moeten we vertrekken van een discreet beeld met bijhorend rooster (het bronrooster) om het herschaalde beeld (met bijhorend rooster het doelrooster) te berekenen. Hierbij zullen we het discrete beeld door middel van een interpolatieformule omzetten naar een continue beeld (met een bepaalde waarde in elk reëel punt binnen haar spatiaal domein). Voor de keuze van een interpolatieformule zijn verschillende mogelijkheden beschikbaar. Deze zijn in twee grote groepen op te delen zijn: lineaire en niet lineaire. In dit onderzoek beperken we ons tot lineaire methoden. 24

31 4.2 Lineaire herschalingsmethoden Nearest neighbour-interpolatie Nearest neighbour-interpolatie is de eenvoudigste lineaire herschalingsmethode. In deze methode krijgt een punt in het doelrooster D de waarde van het dichtst bijgelegen punt in het bronrooster B. De locatie van dit laatste wordt berekend aan de hand van de locatie van het punt in het bronrooster, de breedte en hoogte van het doelrooster en de breedte en de hoogte van het doelrooster. D(X, Y) = B(X 0, Y 0 ) met X 0 = floor(x x (M b /M d )) Y 0 = floor(y x (N b /N d )) M b N b M d N d = hoogte van B = breedte van B = hoogte van D = breedte van D formule 3: nearest neighbour-interpolatie [10] Nearest neighbour-interpolatie is de eenvoudigste lineaire herschalingsmethode. Aangezien er slechts één enkel punt van het bronrooster in beschouwing wordt genomen bij het berekenen van de waarde in het doelrooster, is het bemonsterde beeld scherp, maar korrelig. afbeelding 23: voorbeeld van nearest neighbour-interpolatie 25

32 4.2.2 Bilineaire interpolatie Bij bilineaire interpolatie krijgt een punt in het doelrooster D een waarde die berekend wordt als een lineaire combinatie van de vier dichtst bijgelegen punt in het bronrooster B. Ook hier wordt de locatie van deze punten berekend aan de hand van de locatie van het punt in het doelrooster, de breedte en hoogte van het bronrooster en de breedte en de hoogte van het doelrooster. afbeelding 24: beschouwde punten bij bilineaire interpolatie De waarde van het punt P in D wordt gegeven door: D(X, Y) = (1-dx) x (1-dy) x B(X 0, Y 0 ) + dx x (1-dy) x B(X 0 +1, Y 0 ) + (1-dx) x dy x B(X 0, Y 0 +1) + dx x dy x B(X 0 +1, Y 0 +1); met X 0 = floor(x x (M b /M d )) Y 0 = floor(y x (N b /N d )) dx = (X x (M b /M d )) - X 0 dy = (Y x (N b /N d )) - Y 0 M b N b M d N d = hoogte van B = breedte van B = hoogte van D = breedte van D formule 4: bilineaire interpolatie [10] 26

33 Aangezien er vier punten van het bronrooster in beschouwing worden genomen bij het berekenen van de waarde in het doelrooster, is het bemonsterde beeld minder korrelig dan bij nearest neighbour interpolatie. Tegelijkertijd wordt het wel waziger. afbeelding 25: voorbeeld van bilineaire interpolatie Bicubische interpolatie Bij bicubische interpolatie maken we gebruik van een derdegraadsfunctie die de 16 omliggende punten van het bronrooster B gebruikt om de waarde van een punt in het doelrooster D te berekenen. De locatie van deze punten wordt ook hier berekend aan de hand van de locatie van het punt in het doelrooster, de breedte en hoogte van het bronrooster en de breedte en de hoogte van het doelrooster. 27

34 afbeelding 26: beschouwde punten bij bicubische interpolatie 28

35 De waarde van het punt P in D wordt gegeven door: D(X, Y) = [ (-0.5dx³ + dx² - 0.5dx) B(X 0, Y 0 ) + (1.5dx³ - 2.5dx² + 1) B(X 0 +1, Y 0 ) + (-1.5dx³ + 2dx² + 1.5dx) B(X 0 +2, Y 0 ) + (0.5dx³ - 0.5dx²) B(X 0 +3, Y 0 ) ] x (-0.5dy² + dy² - 0.5dy) + [ (-0.5dx³ + dx² - 0.5dx) B(X 0, Y 0 +1) + (1.5dx³ - 2.5dx² + 1) B(X 0 +1, Y 0 +1) + (-1.5dx³ + 2dx² + 1.5dx) B(X 0 +2, Y 0 +1) + (0.5dx³ - 0.5dx²) B(X 0 +3, Y 0 +1) ] x (1.5dy³ dy² + 1) + [ (-0.5dx³ + dx² - 0.5dx) B(X 0, Y 0 +2) + (1.5dx³ - 2.5dx² + 1) B(X 0 +1, Y 0 +2) + (-1.5dx³ + 2dx² + 1.5dx) B(X 0 +2, Y 0 +2) + (0.5dx³ - 0.5dx²) B(X 0 +3, Y 0 +2) ] x (-1.5dy³ + 2dy² + 0.5dy) + [ (-0.5dx³ + dx² - 0.5dx) B(X 0, Y 0 +3) + (1.5dx³ - 2.5dx² + 1) B(X 0 +1, Y 0 +3) + (-1.5dx³ + 2dx² + 1.5dx) B(X 0 +2, Y 0 +3) + (0.5dx³ - 0.5dx²)B(X 0 +3, Y 0 +3) ] x (0.5dy³ - 0.5dy²); met X 0 = floor(x x (M b /M d )) Y 0 = floor(y x (N b /N d )) dx = (X x (M b /M d )) - X 0 dy = (Y x (N b /N d )) Y 0 M b N b M d N d = hoogte van B = breedte van B = hoogte van D = breedte van D formule 5: bicubische interpolatie [10] Het bemonsterde beeld is minder korrelig dan bij de nearest neighbour- of de bilineaire methode, maar tegelijkertijd wordt het nog waziger. 29

36 afbeelding 27: voorbeeld van bicubische interpolatie Implementatie De drie methoden besproken in 4.2.1, en werden geïmplementeerd in C++. Een listing van de code is terug te vinden in Appendix A 30

37 5 Visuele kwaliteit 5.1 Meten van visuele kwaliteit Om verschillende codeertechnieken met elkaar te vergelijken hebben we nood aan een maat voor het meten van visuele kwaliteit. Visuele kwaliteit van een losstaand beeld is moeilijk objectief te meten, maar verlies aan beeldkwaliteit kan gemeten worden door twee beelden met elkaar te vergelijken en hun verschillen te kwantificeren. Deze verschillen kunnen ook gevisualiseerd worden aan de hand van verschilbeelden, die visuele controle van de verschillen toelaten. De hiervoor gebruikte technieken proberen een kwaliteitscriterium op te stellen aan de hand van objectieve gegevens. Aangezien visuele kwaliteit een subjectief gegeven is, is de relatie tussen de resultaten van deze technieken en de effectief waargenomen visuele kwaliteit niet absoluut. Twee vaak gebruikte modellen zijn Just Noticeable Difference (JND) en Peak Signal to Noise Ratio (PSNR). In dit onderzoek maken we gebruik van PSNR. 5.2 Menselijk Visueel Systeem Wanneer we beeldkwaliteit willen meten, is het belangrijk het Menselijk Visueel Systeem (MVS) in rekening te brengen. Met deze term wordt de combinatie van het oog, de retina, de oogzenuw en het brein aangeduid. Wanneer we een beeld bekijken, wordt licht opgevangen door het oog. Dit licht wordt door de retina omgezet in elektrische signalen die via de oogzenuw naar het brein worden getransformeerd. Het menselijk brein interpreteert deze signalen en zorgt er voor dat we het beeld zien. Het menselijk Visueel Systeem voldoet aan een aantal karakteristieken, die bijdragen tot een betere of slechtere perceptie van visuele kwaliteit. Hieronder sommen we de belangrijkste op [5]: 31

38 Het Menselijk Visueel Systeem is gevoeliger voor luminantie dan voor kleur. Daarom wordt YUV 4:2:0 vaak gebruikt bij digitale video s. Het MVS is gevoeliger voor hoge contrasten (veel verschil in luminantie) dan voor lage contrasten. Het MVS is gevoeliger voor lage spatiale frequenties dan voor hoge spatiale frequenties. Dit betekent dat luminantieverschillen die voorkomen over een groot gebied van het beeld sneller opgemerkt worden dan snelle veranderingen over een klein gebied. Het MVS is gevoeliger voor delen van beelden die langer persistent blijven. Dit houdt in dat een kleine onzuiverheid in een beeld sneller zal opgemerkt worden als ze zich propageert over opeenvolgende beelden. Beelden die elkaar afwisselen aan een frequentie van minimum 30 Hz creëren de illusie van een bewegend beeld. Wanneer we rekening houden met deze karakteristieken bij het meten van visuele kwaliteit zullen de verkregen resultaten dichter aanleunen bij de perceptie van beeldkwaliteit. 5.3 Verschilbeelden Definitie Het verschilbeeld van twee beelden is het beeld dat men verkrijgt door die beelden van elkaar af te trekken. Gegeven twee beelden I en I, elk met breedte N en hoogte M. Het verschilbeeld van I en I is een beeld V met breedte N en hoogte M. V wordt als volgt opgebouwd: V(x, y) = I(x, y) I (x, y) ; x = 0..N & y = 0..M formule 6: verschilbeeld Hierbij is I(x, y) de waarde van het beeldpunt op positie (x, y) in het vlak van het beeld I Visualisatie Een beeld in het YUV 4:2:0 formaat wordt beschreven aan de hand van 3 sequenties van getallen die respectievelijk de Y, U en V-component van dat beeld omschrijven ( 2.3). Wanneer een verschilbeeld gevisualiseerd wordt, 32

39 splitsen we dit best op in deze drie componenten. Op deze manier komt de visualisatie het best tot haar recht. afbeelding 28: origineel beeld (I) afbeelding 29: verstoord beeld (I ) afbeelding 30: verschilbeeld: Y-component (V Y) afbeelding 31: verschilbeeld: U- en V-component (V U en V V) 33

40 5.4 Just Noticeable Difference Just Noticeable Difference (JND) is een objectieve kwaliteitsmaat die rekening houdt met de karakteristieken van het MVS. Aan de hand van de twee te vergelijken beelden wordt een JND-map berekend. De waarden in deze matrix worden uitgedrukt in JND s. Een JND is een eenheid die overeenkomt met een kans van 75% dat het verschil tussen de twee beelden wordt waargenomen, twee JND komt overeen met (0,75 + 0,75 x (10,75)) = 93,75% kans op zichtbaarheid van het verschil [11]. Omdat het MVS verschilt van individu tot individu worden deze kansen statistisch bepaald met behulp van een testpubliek. De berekening van een JND-map complexer dan de PSNR. 5.5 PSNR Definitie De Peak Signal to Noise Ratio (PSNR) maakt gebruik van de Mean Square Error (MSE), die de euclidische afstand tussen twee beelden uitdrukt en als volgt berekend wordt voor twee beelden I en I met breedte M en hoogte N [5]: MSE= M N ( I( x, y) I'( x, y) ) y= 1x= 1 formule 7: MSE ² De PSNR geeft de verhouding weer tussen de MSE en het pieksignaal. Deze wordt gemeten op een logaritmische schaal en als volgt gedefinieerd [5]: 255 PSNR = 20 log 10 MSE formule 8: PSNR Deze grootheid wordt uitgedrukt in decibel. Hoe hoger deze waarde, hoe dichter beide beelden bij elkaar aanleunen. PSNRwaarden liggen typisch tussen 20 (zeer slechte visuele kwaliteit) en 50 (bijna geen merkbaar verschil). 34

41 In tegenstelling tot JND houdt PSNR geen rekening met het MVS. Hierdoor leunt het iets minder dicht aan bij de perceptie van visuele kwaliteit, maar daartegenover staat zijn relatief eenvoudige berekening en het feit dat het de meest gebruikte techniek is om visuele kwaliteit te meten Implementatie Een programma dat de PSNR-waarde van twee videosequenties berekent werd geïmplementeerd in C++. Een volledige listing van de code is te vinden in appendix A 35

42 6 Onderzoek 6.1 Opstelling Het onderzoek werd opgedeeld in verschillende fasen: In de voorbereidende fase testen we de in 4.2 besproken herschalingsmethoden. We verkleinen de testbeelden en vergroten ze terug, waarna we het verlies aan kwaliteit meten. We herschalen steeds met een factor 2 (d.w.z. de helft van de breedte en de helft van de hoogte van het originele beeld). Deze herschaling voeren we eerst een keer uit, vervolgens twee keer na elkaar (i.e. een kwart van de breedte en hoogte) en ten slotte drie keer (een achtste). In de nulde fase coderen we de originele beelden met de codec besproken in Daarna decoderen we ze terug. Ook hier meten we het verlies aan kwaliteit. Deze waarden zullen dienen als benchmark voor de resultaten uit volgende fasen. In de eerste fase halveren we de originele beelden met de drie methoden besproken in 4.2. Deze verkleinde beelden coderen we aan dezelfde bitsnelheden die we gebruikten in de nulde fase. Na decodering vergroten we de beelden terug tot hun originele grootte (met dezelfde drie methoden) en meten we het kwaliteitsverlies. Deze fase geeft ons (3 1 x 3 1 ) = 9 resultaten per testsequentie. In de tweede fase verkleinen we de beelden twee keer na elkaar. We coderen en decoderen met dezelfde parameters, vergroten terug twee keer en meten het kwaliteitsverlies. In deze fase verkrijgen we (3 2 x 3 2 ) = 81 resultaten per sequentie. In de derde fase beperken we ons tot de HD-testsequentie. Hier verkleinen we de beelden drie keer na elkaar. Weer coderen en decoderen we de sequenties met dezelfde parameters. Vervolgens vergroten we terug drie keer en meten het kwaliteitsverlies. Dit geeft (3 3 x 3 3 ) = 729 resultaten. In de nulde tot de derde fase registreren we steeds het aantal beelden per seconde dat door de encoder verwerkt wordt. 36

43 6.2 Testsystemen Voor dit onderzoek werden twee verschillende testsystemen gebruikt. Hun specificaties zijn weergegeven in tabel 2. Systeem 1 Systeem 2 Systeem PC PC Processor INTEL Pentium 4 INTEL pentium D Kloksnelheid 3.0 GHz 2 x 3.4 GHz Geheugen 1 GB 4 GB Besturingssysteem Microsoft Windows XP Professional edition with Service Pack 2 Microsoft Windows XP Professional edition with Service Pack 2 tabel 2: gebruikte testsystemen Systeem 2 werd gebruikt voor de test uit De overige tests werden uitgevoerd op systeem 1. Alle tests waarbij de complexiteit wordt gemeten aan de hand van het aantal gecodeerde beelden per seconde zijn uitgevoerd op hetzelfde systeem om de resultaten met elkaar vergelijkbaar te maken. 37

44 6.3 Voorbereidende fase: herschalen We wensen een beeld te schetsen van het kwaliteitsverlies dat herschalen met zich meebrengt Methode We verkleinen beide sequenties met de methoden uit 4.2 1, 2 en 3 keer, telkens met factor 2. Daarna vergroten we terug respectievelijk 1, 2 en 3 keer met factor 2. We meten het verkregen verlies aan de hand van de PSNRformule. afbeelding 32: herschalen met 1, 2 en 3 stappen 38

45 6.3.2 Resultaten De PSNR-waarden voor de verschillende methoden zijn terug te vinden in afbeeldingen 33 tot 37. De methode wordt als volgt gelezen: U_V: halveren met U, verdubbelen met V. UV_WX: halveren met U, halveren met V, verdubbelen met W, verdubbelen met X. UVW_XYZ: halveren met U, halveren met V, halveren met W, verdubbelen met X, verdubbelen met Y, verdubbelen met X. met U, V, W, X, Y, Z {0, 1, 2}, 0 = Nearest Neighbour, 1 = Bilineair 2 = Bicubisch. formule 9: interpretatie methode-as bij grafieken 1 stap: afbeelding 33: sequentie 1 (CIF) herschalen met 1 stap 39

46 afbeelding 34 : sequentie 2 (HD) herschalen met 1 stap 2 stappen: afbeelding 35 : sequentie 1 (CIF) herschalen met 2 stappen 40

47 afbeelding 36 : sequentie 2 (HD) herschalen met 2 stappen 3 stappen: afbeelding 37 : sequentie 2 (HD) herschalen met 3 stappen We beperken de test voor sequentie 1 (CIF) tot 1 en 2 stappen. 3 stappen gebruikt bij het eindresultaat nog (44 x 36) = 1548 pixels, waardoor het eindresultaat te weinig informatie bevat om nog een acceptabele visuele kwaliteit te leveren. 41

48 6.3.3 Conclusie Wanneer we kijken naar herschalen met 1 stap, zien we dat de beste methode bij beide sequenties de combinatie van nearest neighbour verkleinen en bilineair vergroten is. Het verloop van de grafieken van beide testsequenties loopt vrij gelijk. Gezien het grote verschil in zowel inhoud als resolutie suggereert dit dat de resultaten van deze test kunnen toegepast worden bij willekeurige beeldsequenties Bij herschalen met 2 of 3 stappen liggen de resultaten zeer dicht bij elkaar. De 10 beste resultaten voor de CIF-sequentie worden weergegeven in tabel 3, de 10 beste resultaten voor de HD-sequentie in tabel 4. De gebruikte methode wordt gelezen aan de hand van formule 9. methode PSNR 01_20 26, _11 26, _02 26, _12 26, _10 26, _20 26, _21 26,224 01_01 26, _02 26, _22 26,268 tabel 3: beste 10 (CIF) methode PSNR 020_220 32, _210 32, _201 32, _210 32, _220 32, _211 32, _120 32, _221 32, _202 32, _110 32,8455 tabel 4: beste 10 (HD) De resultaten liggen zeer dicht bij elkaar. De keuze van een verkleinmethode is dan ook vrij arbitrair. Toch blijkt dat de tien beste resultaten steeds verkleinen met de combinatie (nearest neighbour bicubisch nearest neighbour) of (bicubisch nearest neighbour - nearest neighbour). Dit is van belang omdat nearest neighbour herschalen 1 respectievelijk 2 ordes van complexiteit kleiner is dan bilineair en bicubisch herschalen. 42

49 6.4 Nulde fase: coderen Nu we de invloed kennen van herschalen op visuele kwaliteit, willen we weten wat het effect van coderen is Methode We coderen beide testsequenties met de codec besproken in $ Voor de CIF-sequentie gebruiken we meerdere bitsnelheden. Voor de HD-sequentie beperken we ons tot 1 bitsnelheid, omdat de rekentijd van een volledige test op de HD-sequentie meerdere weken in beslag neemt per gebruikte bitsnelheid. De gebruikte bitsnelheden zijn terug te vinden in tabel 5. CIF 50 kbit/s 75 kbit/s 100 kbit/s 125 kbit/s 150 kbit/s 175 kbit/s 200 kbit/s HD 3000 kbit/s 500 kbit/s 1000 kbit/s tabel 5: gebruikte bitsnelheden. Telkens registreren we het aantal beelden dat per seconde kon gecodeerd worden, en het verlies in beeldkwaliteit via de PSNR-methode. 43

50 6.4.2 Resultaten De PSNR-waarden voor het coderen van de CIF-sequentie kunnen gevonden worden in afbeelding 38. Afbeelding 39 geeft de resultaten voor het coderen van de HD-sequentie. Tabel 6 bevat de gemiddelde PSNR-resultaten voor beide, evenals het gemiddelde aantal beelden per seconde dat verwerkt kon worden door de codec (Frames Per Second - FPS). Afbeelding 40 plaatst de waarden voor sequentie 1 uit tabel 6 tegenover elkaar, gegroepeerd per bitsnelheid. afbeelding 38: sequentie 1 (CIF) coderen aan verschillende bitsnelheden afbeelding 39: sequentie 2 (HD) coderen aan 3000 kbit/s 44

51 tabel 6: gemiddelde PSNR en FPS. afbeelding 40: PSNR en FPS van sequentie Conclusie De visuele kwaliteit neemt toe naarmate meer bits aan de codec beschikbaar worden gesteld om een sequentie te coderen. Deze toename verloopt lineair. Het aantal berekende beelden per seconde neemt af naarmate de bitsnelheid verhoogd wordt. Ook hier is het verloop van de curve lineair. 45

52 6.5 1 e fase: herschalen met 1 stap en coderen Methode We verkleinen beide testsequenties 1 maal analoog aan de methode gebruikt in $ De resulterende sequenties zijn vier keer kleiner dan de originele (hoogte en breedte worden elk gehalveerd). Deze sequenties worden vervolgens gecodeerd zoals in Hierbij gebruiken we dezelfde bitsnelheden die we voor de originele sequenties gebruikten. Merk op dat de bitsnelheden gelijk zijn, maar de sequenties zelf 4 maal kleiner, zodat relatief genomen meer bits per pixel beschikbaar zijn voor de codec. Hierbij registreren we het aantal gecodeerde beelden per seconde Vervolgens decoderen we de beelden weer, en vergroten de alzo verkregen sequenties terug tot hun originele grootte, analoog aan de methode gebruikt in Vervolgens meten we het verlies aan visuele kwaliteit via de PSNRformule. We verwachten dat het verlies aan kwaliteit dat verkleinen met zich meebrengt grotendeels gecompenseerd zal worden door de vermindering in verlies die we krijgen als gevolg van een hoger aantal bits/per pixel in het codeerproces. Aangezien de code voor het herschalen zelf geschreven werd en de code voor coderen een geoptimaliseerde versie is die publiek beschikbaar wordt gesteld, besloten we om de complexiteit van het herschalen geen invloed te laten spelen in dit onderzoek. Wel merken we op dat de complexiteit van herschalen lager ligt dan de complexiteit van coderen bij digitale videobeelden [7]. afbeelding 41: herschalen met 1 stap en codering: methode 46

53 6.5.2 Resultaten De gemiddelde PSNR-waarden voor het verwerken van de CIF-sequentie kunnen gevonden worden in afbeeldingen 42 en 43. Afbeelding 44 geeft de resultaten voor het verwerken van de HD-sequentie. In beide afbeeldingen worden de resultaten uit getoond ter vergelijking. De volledige tabel met PSNR-waarden kan gevonden worden in Bijlage A, en wordt hier niet getoond wegens zijn grootte. Tabel 7 bevat het gemiddeld aantal gecodeerde beelden per seconde waarmee beide sequenties gecodeerd werd, voor de verschillende gebruikte bitsnelheden. Afbeelding 45 visualiseert deze gegevens. afbeelding 42: herschalen (1 stap) en coderen (CIF) 47

54 afbeelding 43: herschalen en coderen geïnterpoleerd over bitsnelheid. afbeelding 44: herschalen (1 stap) en coderen (HD) tabel 7: FPS voor herschalen (1 stap) en coderen 48

55 afbeelding 45: FPS voor herschalen (1 stap) en coderen (CIF) Conclusie Uit afbeelding 42 en 44 concluderen we dat het verlies aan visuele kwaliteit steeds minder is bij de klassieke methode dan bij de voorgestelde methode. Het verschil is steeds het kleinst bij het verkleinen met de nearest neighbourmethode en vergroten met de bicubische methode. Afbeelding 43 toont ons dat de verschillen in kwaliteitsverlies kleiner worden naarmate de bitsnelheid daalt. Uit tabel 7 en afbeelding 45 halen we dat het aantal gecodeerde beelden per seconde (FPS) afhankelijk is van de gekozen bitsnelheid en de resolutie van de te coderen sequentie. Wanneer we het aantal gecodeerde beelden per seconde bekijken t.o.v. de gebruikte bitsnelheid, zien we dat bij lage bitsnelheden het aantal gecodeerde beelden per seconde stijgt met de gebruikte bitsnelheid. Nadat een zekere drempelwaarde bereikt is (hier 75 kbit/s) daalt het aantal gecodeerde beelden per seconde terug. Deze trend is onafhankelijk van de resolutie van de gebruikte sequentie. Het aantal gecodeerde beelden per seconde is gemiddeld 2,96 keer hoger bij de methode met 1 herschaalstap dan bij de klassieke methode. Het verschil in kwaliteitsverlies varieert tussen 0,9 db en 3,5 db bij de HDsequentie, en tussen 0,7 db (50 kbit/s) en 11,2 db (1000 kbit/s) bji de CIFsequentie. 49

56 Mits een goede keuze van herschalingsmethoden kan de complexiteit van het codeerproces tot een derde verkleind worden, met een minimum aan extra kwaliteitsverlies. Tot slot voeren we een visuele controle uit op de sequenties die het kleinste verschil in kwaliteitsverlies hebben t.o.v. de klassieke methode (afbeeldingen 46, 47, 48, 49, 50 en 51). Uit deze controle blijkt dat ook de waargenomen visuele kwaliteit van beide sequenties zeer dicht bij elkaar aanleunen. afbeelding 46: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 47: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) afbeelding 48: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 49: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) 50

57 afbeelding 50: beeld uit sequentie 2 (HD) gecodeerd aan 3000 kbit/s. 51

58 afbeelding 51: zelfde beeld gehalveerd (NN), gecodeerd, verdubbeld (BC) 52

59 6.6 2 e fase: herschalen met 2 stappen en coderen Methode We verkleinen beide testsequenties 1 maal analoog aan de methode besproken in Vervolgens halveren we de verkregen sequenties nogmaals op dezelfde manier. De resulterende sequenties zijn zestien keer kleiner dan de originele (hoogte en breedte worden elk door vier gedeeld). Deze sequenties worden analoog aan de methode uit gecodeerd. We decoderen de beelden, en vergroten deze sequenties terug twee maal resulterend in sequenties die dezelfde grootte hebben als de originele sequenties. Ook hier meten we het verlies aan visuele kwaliteit via de PSNRformule. afbeelding 52: herschalen met 2 stappen en codering: methode 53

60 6.6.2 Resultaten Afbeeldingen 53 toont de resultaten voor sequentie 1 (CIF) gegroepeerd per methode, respectievelijk bitsnelheid. Afbeelding 54 toont de resultaten voor sequentie 2 (HD). Tabel 8 bevat het aantal gecodeerde beelden per seconde. Afbeelding 55 visualiseert deze resultaten en plaatst ze t.o.v. de resultaten uit de vorige fasen. afbeelding 53: herschalen (2 stappen) en coderen (CIF) afbeelding 54: herschalen (2 stappen) en coderen (HD) 54

61 tabel 8: FPS voor herschalen (2 stappen) en coderen (CIF) afbeelding 55: FPS voor herschalen (2 stappen) en coderen (CIF) Conclusie Het aantal gecodeerde beelden per seconde is tussen 3,43 en 7,21 keer hoger dan bij de klassieke methode. De verschillen in beeldkwaliteit worden echter ook groter (afbeelding 53). Na visuele controle blijkt dat bij de CIF-sequentie het verschil zeer duidelijk is (afbeeldingen 56 en 57). Bij de HD-sequentie is dit veel minder, en de beeldkwaliteit blijft opmerkelijk goed (afbeelding 50 en 58). 55

62 afbeelding 56: beeld uit sequentie 1 (CIF) gecodeerd aan 200 kbit/s afbeelding 57: 2x gehalveerd (NN-NN), gecodeerd, 2x verdubbeld (BC-BC) 56

63 afbeelding 58: 2x gehalveerd (NN-BC), gecodeerd, 2x verdubbeld (NN-BC) 57

64 6.7 3 e fase: herschalen met 3 stappen en coderen Methode We halveren de HD-testsequentie 3 maal, analoog aan de methode besproken in De resulterende sequenties zijn 64 keer kleiner dan de originele (hoogte en breedte worden elk door 8 gedeeld). Deze sequenties worden analoog aan de methode uit gecodeerd. We decoderen de beelden, en vergroten deze sequenties terug 3 maal resulterend in sequenties die dezelfde grootte hebben als de originele sequenties. Hier meten we eveneens het verlies aan visuele kwaliteit via de PSNR-formule. afbeelding 59: herschalen met 3 stappen en codering: methode 58

65 6.7.2 Resultaten Afbeelding 60 bevat de PSNR-waarden voor Herschaling met 3 stapen van de HD-sequentie. Tabel 9 geeft het aantal gecodeerde beelden per seconde weer, gegroepeerd per combinatie van verkleinmethodes. Afbeelding 61 ten slotte plaatst de gemiddelde waarden hiervan voor herschaling zonder en met 1, 2 of 3 stappen naast elkaar. afbeelding 60: herschalen (3 stappen) en coderen (HD) 59

66 tabel 9: FPS voor herschalen (3 stappen) en coderen (HD) afbeelding 61: FPS voor herschalen (3 stappen) en coderen (HD) 60