Opstellen van objectieve kwaliteitsmaten voor videocodering

Transcriptie

1 Faculteit Toegepaste Wetenschappen Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. J. Van Campenhout Opstellen van objectieve kwaliteitsmaten voor videocodering door Eveline Goegebeur Promotor: prof. dr. ir. R. Van de Walle Thesisbegeleider: lic. S. Lerouge Afstudeerwerk ingediend tot het behalen van de graad van Licentiaat in de Informatica Academiejaar

2 De toelating tot bruikleen De auteur en de promotor geven de toelating deze scriptie voor consultatie beschikbaar te stellen en delen van de scriptie te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting de bron uitdrukkelijk te vermelden bij het aanhalen van resultaten uit deze scriptie. 27 mei 2004 Eveline Goegebeur prof. dr. ir. R. Van de Walle i

3 Woord vooraf In de eerste plaats wens ik mijn ouders en grootouders te bedanken voor zowel hun morele als financiële steun. Vervolgens wil ik ook Fien Adriaen, Liesbeth Gesquiere, Delphine Commeene, Heidi Rollé, Ilse Dewaele, Yvette Breye, Noël Goegebeur, Pieter Vanderbeeken, Evelyn Peirs, Pieter Pattyn, David Vanneste, Ilse Van Loocke, Els Vergison, Lea Verbauwhede, Luc Goegebeur, Brecht Vanwijnsberghe, Jean-Marie Vanwijnsberghe, Georgette Breye, Maria Couvreur, Marc Goegebeur, Lindsey Vergote en Kristof Colpaert van harte bedanken voor hun tijd en medewerking. Zij vormden het publiek voor de subjectieve test zonder dewelke deze thesis niet tot stand zou gekomen zijn. Ten slotte bedank ik prof. Rik Van de Walle en Sam Lerouge voor hun hulp en begeleiding tijdens het voorbereiden en schrijven van deze thesis. ii

4 Opstellen van objectieve kwaliteitsmaten voor videocodering door Eveline Goegebeur Afstudeerwerk ingediend tot het behalen van de graad van Licentiaat in de Informatica Academiejaar Universiteit Gent Faculteit Toegepaste Wetenschappen Vakgroep Elektronica en Informatiesystemen Voorzitter: prof. dr. ir. J. Van Campenhout Promotor: prof. dr. ir. R. Van de Walle Thesisbegeleider: lic. S. Lerouge Samenvatting De kwaliteit van een videosequentie bepalen is een belangrijk aspect in het kader van schaalbare videocodering. Door te steunen op de bestaande kwaliteitsmaten PSNR en JND worden nieuwe maten opgesteld. Het doel van dit onderzoek is om een maat te ontwikkelen die de kwaliteit van een aantal opeenvolgende beelden zo goed mogelijk weergeeft. Dit gebeurt op basis van een vergelijking van de resultaten van het uitgevoerde subjectieve experiment en de ontwikkelde objectieve kwaliteitsmaten. De conclusie is als volgt: JND correleert best met de bekomen subjectieve resultaten. Zowel de JND die per sequentie werd berekend, als de maten die resulteren uit de JND-scores per frame blijken heel efficiënt. Niettemin zijn betere correlaties ontdekt wanneer met de eigenschappen van de videosequenties (beweging, bitrate, kleur en detail) rekening wordt gehouden. Het is opvallend dat JND niet zo goed scoort bij sequenties aan hoge bitrate. Trefwoorden: videocodering, kwaliteitsmaten, MSE, PSNR, JND iii

5 Inhoudsopgave 1 Inleiding Probleemstelling Doelstelling Methodologie Inhoud van bijgevoegde DVD Theoretische aspecten Organisaties International Telecommunication Union Video Quality Experts Group Bestaande objectieve kwaliteitsmaten voor individuele videofragmenten Mean Square Error Peak Signal-to-noise Ratio Just Noticeable Difference Kleurenruimtes RGB kleurenruimte YUV kleurenruimte Gebruikte codec Objectieve methodes Gebruikte methodes Gemiddelde PSNR Mean PSNR Experimentele methodes Werken met schuivend venster Overzicht van alle kwaliteitsmaten iv

6 4 De keuze van de sequenties Gebruikte videosequenties Dimensies Theoretische achtergrond Praktische problemen Belangrijke aspecten van een sequentie Concrete werkwijze Selectie van sequenties op basis van de Mean PSNR Maat voor hoeveelheid schommeling Subjectieve test Algemene omstandigheden van uitvoering Observators Opstelling materiaal Subjectieve testmethode Indeling Beoordelingsschaal Analyse van de gegevens Subjectieve resultaten Correlatieonderzoek Correlatiecoëfficiënt Spreidingsdiagram Mate van correlatie Bepaling van de optimale grootte van het venster Verband tussen subjectieve resultaten en objectieve kwaliteitsmaten Analyse in functie van de hoeveelheid beweging Weinig beweging Veel beweging Analyse in functie van de bitrate Hoge bitrate Lage bitrate Analyse in functie van de hoeveelheid kleur v

7 6.7.1 Weinig kleur Veel kleur Analyse in functie van de hoeveelheid detail Weinig detail Veel detail Conclusies Algemene kwaliteitsmaat Kwaliteitsmaat afhankelijk van de eigenschappen van een videosequentie A Afkortingen 49 B Beoordelingsschaal 50 C Inhoud bijgevoegde DVD 52 Bibliografie 55 vi

8 Lijst van figuren 1.1 Voorbeeld van een videosequentie die een constant verloop vertoont Voorbeeld van een videosequentie die een fluctuerend verloop vertoont ITU-logo VQEG-logo Additieve kleurenruimte Screenshot van de videosequentie foreman (geëncodeerd aan 400 Kbit/s) Grafiek van PSNR-waarden voor Y-, U- en V-componenten van de videosequentie foreman Grafiek van de Mean PSNR-waarden van de videosequentie foreman Grafiek van de Mean PSNR-waarden door te werken met een verschuivend venster van de videosequentie foreman Voorbeeld van wat er moet worden geknipt en toegevoegd om van SIF360 over te gaan naar CIF Mean PSNR met een constant verloop (sequentie container) Mean PSNR met een fluctuerend verloop (sequentie football) Voorbeeld van de bitratekeuze voor de sequentie football Spreidingsdiagram van JND-scores en subjectieve resultaten rekening houdend met alle sequenties Spreidingsdiagram van min Mean PSNR en subjectieve resultaten rekening houdend met sequenties die veel beweging vertonen Spreidingsdiagram van JND-scores en subjectieve resultaten rekening houdend met sequenties die weinig kleur vertonen vii

9 Lijst van tabellen 2.1 Indeling van JND-waarden Enkele kleuren voorgesteld in de RGB-kleurenruimte Enkele YUV-formaten Opslag van Y-, U- en V-waarden bij IYUV voor een nxm-frame Overzicht van de resultaten van de besproken kwaliteitsmaten zonder gebruik van een schuivend venster voor de videosequentie foreman Overzicht van de resultaten van de besproken kwaliteitsmaten aan de hand van een schuivend venster voor de videosequentie foreman Gebruikte dimensies voor geëncodeerde video Aantal waarnemers per leeftijdscategorie Enkele gekende waarden voor de PVD punts numerieke kwaliteitsschaal Bekomen subjectieve resultaten voor de kwaliteit van de onderzochte videosequenties Correlatiecoëfficiënten tussen experimentele kwaliteitsmaten toegepast op Mean PSNR en subjectieve resultaten voor verschillende venstergroottes Gemiddelde van alle correlatiecoëfficiënten tussen experimentele kwaliteitsmaten toegepast op Mean PSNR en subjectieve resultaten voor verschillende venstergroottes Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de hoeveelheid beweging Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de bitrate Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de hoeveelheid kleur viii

10 6.8 Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de hoeveelheid detail Algemene conclusies ix

11 Hoofdstuk 1 Inleiding 1.1 Probleemstelling Gedurende de laatste jaren kent het gebruik van het internet, en meer bepaald van breedbandnetwerken, een exponentıële groei. Maar omdat de beschikbare bandbreedte soms onvoldoende is om de volledige bitstroom door te sturen, worden er meer en meer technieken ontwikkeld voor schaalbare videocodering. Daarbij is het van belang de weergavekwaliteit van een videobeeld te kunnen bepalen ten opzichte van het origineel. Dit nadat de beelden geëncodeerd en opnieuw gedecodeerd werden. Tegenwoordig bestaan al enkele objectieve methodes om de kwaliteit van individuele videobeelden te bepalen. Twee van de meest gebruikte objectieve kwaliteitsmaten zijn de Peak Signal-to-noise Ratio (PSNR) en de Just Noticeable Difference (JND). Maar wat met de kwaliteitsbepaling van een opeenvolging van videobeelden? Kan er gewoonweg worden gesteld dat het gemiddelde van de bekomen PSNR- en JND-waarden van de individuele beelden een goede maat weergeeft voor de kwaliteit van de totale sequentie? Of zijn er betere kwaliteitsmaten? En zijn die dan niet afhankelijk van de soort videosequentie? 1

12 1.2 Doelstelling Naast het bepalen van de kwaliteit van een individueel videobeeld is het natuurlijk ook interessant dit te kunnen berekenen voor een aantal opeenvolgende videobeelden. Het spreekt voor zich dat dit zonder verder uitgebreid onderzoek niet waarheidsgetrouw kan weergegeven worden. Stel dat de kwaliteit van de opeenvolgende beelden in een sequentie tamelijk constant blijft. Een voorbeeld hiervan is te zien op grafiek 1.1 waar de PSNRwaarden worden weergegeven in functie van het framenummer (voorgesteld door de groene curve). Figuur 1.1: Voorbeeld van een videosequentie die een constant verloop vertoont. Intuïtief kunnen we al aanvoelen dat het gemiddelde van de PSNR-waarden van de individuele beelden weergegeven door de lichtblauwe lijn waarschijnlijk wel een goede maat zal zijn voor de kwaliteit van de totale sequentie. Dit zal natuurlijk verder onderzocht moeten worden en gestaafd met concrete voorbeelden. Maar is dit ook het geval wanneer de kwaliteit gedurende het verloop van de sequentie grote schommelingen vertoont zoals op grafiek 1.2? Het is nu mijn taak om aan te tonen op welke manier de kwaliteit van een sequentie het best kan weergegeven worden. Hierbij is de fluctuatie van kwaliteit tijdens de duur van de sequentie een belangrijke factor. In deze context is een 2

13 Figuur 1.2: Voorbeeld van een videosequentie die een fluctuerend verloop vertoont. sequentie een opeenvolging van videobeelden die aan een bepaalde beeldsnelheid worden afgespeeld. A priori zullen enkele objectieve kwaliteitsmaten moeten bedacht en uitgewerkt worden die voortbouwen op de reeds bestaande kwaliteitsmaten voor individuele videobeelden. Welke maat het meest betrouwbaar is om de kwaliteit van een sequentie weer te geven kan hieruit nog niet blijken. Hiervoor moet er een subjectieve test worden opgesteld. Die test laat een aantal personen onbewust de beste kwaliteitsmaat voor enkele sequenties bepalen. Uit deze subjectieve test moeten uiteindelijk de antwoorden op volgende twee vragen blijken. Welke objectieve maat is het meest geschikt om de kwaliteit van een videosequentie te bepalen? Is de kwaliteitsmaat afhankelijk van de soort videosequentie? Deze laatste vraag betekent dat het mogelijk is dat de methode om de kwaliteit van de sequentie weer te geven afhankelijk is van de eigenschappen van de onderzochte sequentie zoals de hoeveelheid detail, beweging, kleur, bitrate,... 3

14 1.3 Methodologie In de volgende hoofdstukken volgt een uitwerking van de hierboven aangehaalde problemen. Hoofdstuk 2 behandelt enkele theoretische aspecten die van belang zijn voor de verdere uitwerking van zowel de objectieve kwaliteitsmaten als de subjectieve test. Eerst worden als inleiding enkele organisaties besproken die momenteel op het gebied van beeldverwerking actief zijn. Daarna worden de bestaande objectieve kwaliteitsmaten voor individuele beelden, namelijk MSE, PSNR en JND verder uitgediept. Tenslotte volgt een bespreking van de gebruikte kleurenmode en encoder/decoder. Vanaf hoofdstuk 3 komt de meer praktische kant van het onderwerp aan bod. Allereerst wordt uitgelegd op welke manier de sequenties werden gekozen. In hoofdstuk 4 worden de ontwikkelde en verder te onderzoeken objectieve methodes nader belicht. Hoofdstuk 5 behandelt de uitgevoerde subjectieve test waarna in hoofdstuk 6 kan gestart worden met het zoeken naar verbanden tussen de ontwikkelde objectieve kwaliteitsmaten en de resultaten uit de subjectieve test. Om af te sluiten werden de belangrijkste bevindingen nog eens samengevat in hoofdstuk Inhoud van bijgevoegde DVD Het is vanzelfsprekend dat er voor dit soort testen een variatie aan videosequenties nodig is die als basis dienen om enkele verbanden tussen objectieve en subjectieve waarden te onderzoeken. De gebruikte videosequenties zijn te vinden op bijgevoegde DVD samen met de talrijke tabellen en grafieken die nodig zijn voor de verwerking en analyse van de data. Verder is deze thesis ook in pdf formaat te vinden op de DVD samen met enkele zelf geschreven java-programma s, het programma dat werd gebruikt om de videosequenties af te spelen, het invulblad waarop de resulaten werden genoteerd tijdens de subjectieve test en de gebruikte encoder/decoder. Een volledig overzicht van de inhoud van de DVD is te vinden in bijlage C. 4

15 Hoofdstuk 2 Theoretische aspecten 2.1 Organisaties A priori wordt een korte beschrijving gegeven van 2 organisaties die actief zijn op het vlak van beeldverwerking. Dit zijn de International Telecommunication Union en de Video Quality Experts Group International Telecommunication Union Figuur 2.1: ITU-logo Een eerste organisatie die actief is op het vlak van beeldverwerking is de International Telecommunication Union (afgekort: ITU) [1]. Deze internationale organisatie wordt gecoördineerd door overheidsinstellingen in samenwerking met de private sector. De ITU is de belangrijkste uitgever van zowel telecommunicatie-technologie als van de daarbij horende gestandaardiseerde informatie. 5

16 De ITU is opgesplitst in een aantal afdelingen die elk hun specifieke taak hebben. Zo houdt de afdeling ITU-D zich bezig met ontwikkeling, ITU-R met radiocommunicatie en ITU-T met standaardisatie Video Quality Experts Group Figuur 2.2: VQEG-logo De Video Quality Experts Group (afgekort: VQEG) [5] werd in 1997 opgericht en houdt zich, zoals de naam al doet vermoeden, voornamelijk bezig met het onderzoek naar de kwaliteit van videobeelden. De groep bestaat uit experts met een uiteenlopende achtergrond, maar het grootste deel ervan is eveneens actief in de International Telecommunication Union (zie paragraaf 2.1.1). 2.2 Bestaande objectieve kwaliteitsmaten voor individuele videofragmenten Zoals in het inleidend hoofdstuk reeds is aangehaald, bestaan er momenteel enkele manieren om de kwaliteit van individuele beelden te bepalen. Enkele van die kwaliteitsmaten zoals de MSE (zie 2.2.1), de PSNR (zie 2.2.2) en JND (zie 2.2.3) worden in de volgende paragrafen besproken. Hierbij bestaat het basisprincipe uit het vergelijken van een videofragment met het originele fragment nadat het werd geëncodeerd en opnieuw gedecodeerd. Dit is vooral gebaseerd op het vergelijken van pixelwaarden. De volgende drie objectieve kwaliteitsmaten zijn voor dit onderzoek van belang en vormen de basis voor de ontwikkeling van de objectieve kwaliteitsmaten voor videosequenties. 6

17 2.2.1 Mean Square Error De Mean Square Error 1 (afgekort: MSE) is een vaak gebruikte maat om de kwaliteit van een videobeeld te bepalen en wordt meestal uitgedrukt aan de hand van onderstaande eenvoudige formule: MSE = Ii=1 Jj=1 ( Y (i, j) Ỹ (i, j) ) 2 I J (2.1) De betekenis van de gebruikte symbolen is als volgt: I J = de resolutie 2. Y (i, j) = de luminantiewaarde van pixel (i,j) van de originele I * J frame. Ỹ (i, j) = de luminantiewaarde van pixel(i,j) van de gedegenereerde I * J frame. Hierbij wordt opgemerkt dat in vorige formule enkel en alleen rekening wordt gehouden met de helderheid (of de luminantie, een vaker voorkomende term voor de helderheid in deze context). Er bestaan eveneens varianten waarbij de chrominantie in rekening wordt gebracht, maar die zijn minder relevant omdat het menselijk oog een stuk gevoeliger is voor de luminantie dan voor de chrominantie. Wegens het feit dat de MSE in eerdere studies [8] een minder goede kwaliteitsmaat is gebleken, zal deze in het vervolg niet verder worden aangehaald, althans toch niet rechtstreeks. De MSE wordt wel gebruikt in de berekening van de PSNR (zie 2.2.2). Deze PSNR resulteert in een beter maat om de kwaliteit van een beeld te bepalen Peak Signal-to-noise Ratio De Peak Signal-to-noise Ratio (afgekort: PSNR) is een tweede manier om de beeldkwaliteit te bepalen. Bij de berekening van de PSNR wordt gesteund op de MSE en 1 gemiddelde kwadratische fout 2 De resolutie is het aantal individuele, niet in elkaar overvloeiende puntjes (pixels genaamd) die men in een beeld kan onderscheiden. Hoe hoger de resolutie, hoe fijner de puntjes en hoe gedetailleerder het beeld. 7

18 meer bepaald op de vierkantswortel ervan. Voor een 8-bit (0-255) beeld wordt deze maat voor kwaliteit op de volgende manier berekend: P SNR = 20 log ( 255 ) 10 RMSE (2.2) waarbij de gebruikte benaming het volgende betekent: RM SE = de Root-mean-squared Error is het equivalent van de vierkantswortel van de MSE (met de MSE bepaald door formule 2.1). De PSNR-maat wordt in decibels (db) uitgedrukt en verschilt van de MSE doordat er nu ook rekening wordt gehouden met de hoeveelheid bits die per pixel worden opgeslagen. Hierbij geldt de regel: hoe hoger de PSNR-waarde (of anders gezegd hoe lager de RMSE), hoe beter de kwaliteit van het beeld. Een PSNR-waarde ligt meestal tussen 20 en 40 db. Zowel MSE als PSNR zijn relatieve kwaliteitsmaten. Dit betekent dat het goede maten zijn om dezelfde beelden te vergelijken met een verschillende kwaliteit. Maar het vergelijken van twee totaal verschillende beelden aan de hand van hun PSNR-waarden of MSE-waarden heeft totaal geen betekenis. Het is volstrekt mogelijk dat een beeld met een PSNR van 20 db er veel beter uitziet dan een ander beeld met een PSNR van 30 db Just Noticeable Difference De derde en meteen ook laatste methode waarmee in dit onderzoek rekening wordt gehouden bij het opstellen van de objectieve kwaliteitsmaten (zie hoofdstuk 3), is de Just Noticeable Difference (afgekort: JND). Deze JND-scores kunnen bepaald worden door de JNDmetrix technologie [2] die ontwikkeld werd door Sarnoff Corporation. Dit programma geeft een objectieve maat weer voor het zichtbare verschil (zelfs het kleinst zichtbare verschil) tussen 2 beelden of 2 videosequenties. De bekomen waarden zijn dus een weergave van het feit of een waarnemer al dan niet een verschil ziet in een beeld nadat het gecomprimeerd werd (en dus na verlies van informatie). Het is voor de meeste van ons duidelijk dat verlies van informatie niet noodzakelijk een zichtbare verandering van kwaliteit tot gevolg heeft. JNDmetrix is dan 8

19 ook gebaseerd op de Just Noticeable Difference, een techniek die al een hele tijd wordt gebruikt om een waarneembaar verschil tussen twee stimuli te meten. Er is bijvoorbeeld uit experimentele tests, uitgevoerd met een groot testpubliek, gebleken dat we gevoeliger zijn aan blokvormige structuren (te wijten aan het gebruikte compressie algoritme) op een effen achtergrond dan dezelfde verschijnselen op een eerder drukke achtergrond. Hiermee werd dan ook rekening gehouden bij de ontwikkeling van de JNDmetrix-software. Er zijn eveneens ook nog een aantal andere regels die in de software werden ingebakken. Het concrete algoritme is echter niet vrijgegeven. De Just Noticeabel Difference ligt meestal tussen de waarden 1 en 5. De JNDeenheid is zo gedefinieërd dat 1 JND overeenkomt met het feit dat er 75% kans bestaat dat een waarnemer een verschil opmerkt tussen de twee bekeken beelden van verschillende kwaliteit. Een JND-verschil van 2 correspondeert met een waarschijnlijkheid van 93,75% (= * (1-0.75)) dat de observator een onderscheid merkt tussen de beelden. Bij 3 JND bedraagt dit al 98,44%. Tabel 2.1 geeft een algemene onderverdeling in de JND-waarden. JND-waarde Probabiliteit dat een Verschil tussen de 2 beelden verschil wordt waargenomen < 1 JND geen zichtbaar verschil 1 JND 75% nauwelijks waarneembare verschillen zelfs voor geoefende observatoren 2 JND 93, 75% 3 JND 98, 44% zichtbare verschillen na grondige observatie > 5 JND duidelijk waarneembare verschillen Tabel 2.1: Indeling van JND-waarden Wanneer de JND-waarde groter is dan 5 zijn er zo n grote verschillen merkbaar dat de beelden bijna niet meer bruikbaar zijn om de kwaliteit ervan te vergelijken. In tegenstelling tot de PSNR betekent een hogere JND-score een lagere beeldkwaliteit. 9

20 2.3 Kleurenruimtes Een kleurenruimte is een specifieke manier om kleuren voor te stellen aan de hand van een aantal (meestal 3 à 4) getallen en wordt meestal gebruikt in digitale toepassingen. De meest gebruikte en gekende kleurenruimte is ongetwijfeld de RGBkleurenruimte RGB kleurenruimte De RGB-kleurenruimte is een additieve kleurenruimte (zie figuur 2.3) waarbij rood, groen en blauw licht op allerlei manieren worden gecombineerd om andere kleuren te verkrijgen. Zo bekomt men geel door puur rood en groen licht samen te voegen. Magenta verkrijgt men door een combinatie van rood en blauw en cyaan wordt bekomen door blauw en groen te mengen. Figuur 2.3: Additieve kleurenruimte Bij deze kleurenmode worden 3 bytes per framepixel gebruikt voor de voorstelling van een kleur. Elke byte representeert een natuurlijk getal tussen 0 en 255. De eerste byte stelt de intensiteit rood voor, de tweede de intensiteit groen en de derde byte de intensiteit blauw. Enkele voorbeelden van kleuren voorgesteld in de RGBkleurenruimte zijn te vinden in tabel YUV kleurenruimte Een tweede interessante kleurenruimte is de YUV-kleurenruimte. Deze kleurenruimte bestaat uit een luminantie-component, voorgesteld door Y, die de helderheid voorstelt en twee chrominantie-componenten, voorgesteld door U en V, die te maken hebben met de kleur. 10

21 RGB-waarde Kleur (0, 0, 0) zwart (255, 255, 255) wit (255, 0, 0) rood (0, 255, 0) groen (0, 0, 255) blauw (255, 255, 0) geel (0, 255, 255) cyaan (255, 0, 255) magenta Tabel 2.2: Enkele kleuren voorgesteld in de RGB-kleurenruimte De waarden voor de verschillende componenten van de YUV-kleurenruimte worden afgeleid uit de RGB-waarden: Y = gewogen waarden van rode, groene en blauwe signalen U = C b = afgeleid uit Y en blauwe signaal van originele RGB V = C r = afgeleid uit Y en rode signaal van originele RGB Deze kleurenruimte wordt vooral gebruikt in digitale beeld- en videocompressie om volgende redenen: 1. YUV blijft compatibel met analoge zwart-wit televisie. Hierbij wordt enkel het Y-signaal gebruikt (de U- en V-sigalen worden genegeerd). 2. Bepaalde informatie kan gemakkelijk worden weggelaten om bandbreedte te besparen. Zo is het bijvoorbeeld mogelijk om de hoeveelheid U- en V-waarden te verminderen omdat het menselijk oog gevoeliger is voor de luminantiecomponent dan voor de chrominantie. Het is duidelijk dat door bepaalde informatie, met betrekking tot de chrominantie, weg te laten de kwaliteit van een beeld wordt gereduceerd. Er bestaan een aantal YUV-formaten (zie tabel 2.3) die van elkaar verschillen door het aantal bytes dat nodig is om een pixel voor te stellen. Wanneer alle informatie wordt behouden spreekt men van het YUV 4:4:4 formaat. 11

22 YUV-formaat YUV 4:4:4 YUV 4:2:2 YUV 4:2:0 YUV 4:1:1 YUV 4:1:0 Tabel 2.3: Enkele YUV-formaten Enkel het YUV 4:2:0 formaat wordt in dit onderzoek gebruikt. De reden hiervoor is dat de MPEG-compressie op YUV 4:2:0 beelden gebeurt. Daardoor zijn er een groot aantal tools ontwikkeld die met dit formaat werken. Het gebruikte programma om YUV-sequenties af te spelen 3 ondersteunt enkel het YUV 4:2:0 formaat. Dit formaat slaat voor 4 opeenvolgende Y-waarden slechts 1 U- en 1 V-waarde op. Dit betekent dat er slechts anderhalve byte nodig is om 1 pixel te kunnen weergeven (in de RGB kleurenmode en bij YUV in 4:4:4 formaat werden hiervoor 3 bytes gebruikt). Er zijn eveneens verschillende manieren voor de opslag van Y-, U- en V-componenten [4]. YUV-formaten kunnen in 2 groepen worden opgesplitst: Packed formats: Y, U en V worden samengevoegd in een macropixel en opgeslagen in een eendimensionale array. Planar formats: elk component wordt in een andere array opgeslagen. Het beeld wordt gevormd door een samensmelting van de 3 arrays. In het vervolg wordt met het planar formaat IYUV gewerkt waarbij de opslag van de verschillende componenten gebeurt zoals in figuur 2.4. Per frame worden eerst alle Y-waarden opgeslagen en vervolgens alle U- en uiteindelijk alle V-waarden. 3 YUVviewer MFC Application versie

23 Y(0,0) Y(1,0)... Y(n-2,0) Y(n-1,0) Y(0,1) Y(1,1)... Y(n-2,1) Y(n-1,1) Y(0,2) Y(1,2)... Y(n-2,2) Y(n-1,2) Y(0,3) Y(1,3)... Y(n-2,3) Y(n-1,3) Y(0,m-2) Y(1,m-2)... Y(n-2,m-2) Y(n-1,m-2) Y(0,m-1) Y(1,m-1)... Y(n-2,m-1) Y(n-1,m-1) U(0,0)... U(n-2,0) U(0,2)... U(n-2,2) U(0,m-2)... U(n-2,m-2) V(0,0)... V(n-2,0) V(0,2)... V(n-2,2) V(0,m-2)... V(n-2,m-2) Tabel 2.4: Opslag van Y-, U- en V-waarden bij IYUV voor een nxm-frame 2.4 Gebruikte codec Het is de bedoeling om kwaliteitsmaten te ontwikkelen voor gecodeerde videosequenties. Om die videosequenties te encoderen en vervolgens terug te decoderen wordt gebruik gemaakt van de Microsoft MPEG-4 Video Reference Software 4 [3]. Deze codec is zeker en vast niet de meest optimale, maar wordt om praktische redenen in deze thesis gebruikt. Er kan namelijk gemakkelijk gewerkt worden met YUV 4:2:0 bestanden zonder daarbij de code te moeten aanpassen. Deze software maakt gebruik van het MPEG-4 compressie-formaat [9]. De ontwikkeling van de codec gebeurde door Microsoft tijdens de testfase van het MPEG-4 standaardisatie-proces en is momenteel onder bepaalde restricties beschikbaar op het internet [10]. 4 versie : Microsoft-FDAM

24 Tijdens het encoderen dient enkel de naam van het parameterbestand te worden opgegeven. Daarin staan dan alle specificaties: welk bestand wordt geëncodeerd, waar is het te vinden, aan welke bitrate wordt geëncodeerd, de resolutie en enkele andere parameters die voor mij van minder belang zijn en dus voor alle gebruikte videosequenties dezelfde blijven. Na encodering wordt een cmp bestand gecreëerd en dat wordt opgegeven bij decodering. Daarnaast moeten ook de nieuwe bestandsnaam en de resolutie voor de gecomprimeerde videosequentie worden vermeld. Uiteindelijk bekomt men een nieuw YUV-bestand van dezelfde grootte als het originele YUV-bestand, maar aan verminderde kwaliteit. 14

25 Hoofdstuk 3 Objectieve methodes In dit hoofdstuk is het de bedoeling om de ontwikkelde objectieve methodes, die de kwaliteit van een videosequentie weergeven uit te leggen. Deze methodes omvatten zowel de eerder courant gebruikte methodes (zie paragraaf 3.1) als enkele experimentele methodes (zie paragraaf 3.2). Elke objectieve kwaliteitsmaat wordt toegepast op alle gekozen videosequenties (zie hoofdstuk 4) en vergeleken met de resultaten uit de subjectieve test (zie hoofdstuk 5). Door beide te vergelijken probeer ik een zo goed mogelijke maat voor de kwaliteit van een videosequentie te bekomen. Videosequentie foreman: Als voorbeeld wordt de videosequentie foreman (geëncodeerd aan de bitrate 400 Kbit/s) gebruikt om de objectieve methodes toe te lichten. (zie figuur 3.1) Een overzicht van de bekomen waarden voor alle besproken kwaliteitsmaten wordt gegeven in tabellen 3.1 en 3.2. Figuur 3.1: Screenshot van de videosequentie foreman (geëncodeerd aan 400 Kbit/s) 15

26 3.1 Gebruikte methodes Gemiddelde PSNR Een eerste methode bestaat uit het bepalen van de gemiddelde PSNR. De waarde wordt bekomen door het gemiddelde te nemen van alle PSNR-waarden van de individuele frames. Deze methodes worden toegepast op zowel de Y-, U- als V-waarden van een videosequentie. Omdat het menselijk oog een stuk gevoeliger is voor de luminantie (dus de Y) dan voor de chrominantie (de U en de V) zal het berekenen van de gemiddelde PSNR van de Y-waarden de meest optimale resultaten geven. Figuur 3.2: Grafiek van PSNR-waarden voor Y-, U- en V-componenten van de videosequentie foreman Videosequentie foreman: Wanneer we deze methode toepassen op de sequentie foreman bekomen we grafiek 3.2. De PSNR-waarden worden weergegeven in functie van het framenummer. De blauwe, rode en zwarte curves zijn achtereenvolgens de PSNR-waarden van U, V en Y. De groene rechte stelt de gemiddelde PSNR van de Y-waarden voor. 16

27 3.1.2 Mean PSNR Een tweede gekende manier is het bepalen van de Mean PSNR die per frame door volgende formule kan worden weergegeven: ( ) 4 Y P SNR + U P SNR + V P SNR Mean P SNR = 6 (3.1) waarbij de gebruikte benamingen het volgende betekenen: Y U V P SNR = PSNR-waarde van de Y-component van het frame. P SNR = PSNR-waarde van de U-component van het frame. P SNR = PSNR-waarde van de V-component van het frame. De uiteindelijke kwaliteitsmaat (genoteerd door avg Mean PSNR) wordt berekend door het gemiddelde te nemen van alle bekomen waarden door formule 3.1 toe te passen op elke frame van de sequentie. Figuur 3.3: Grafiek van de Mean PSNR-waarden van de videosequentie foreman De PSNR van de Y-component weegt 4 keer meer door dan die van de U- en V-component. Dit is een gevolg van het feit dat er gewerkt wordt met YUV 4:2:0 sequenties (hierbij worden immers 4 keer zoveel Y-waarden opgeslagen als U- en V-waarden zoals al eerder uitgelegd in paragraaf 2.3.2). 17

28 Videosequentie foreman: We zien op figuur 3.3 dat de grafiek van de Mean PSNR ongeveer identiek is aan die van de gemiddelde Y-PSNR, maar nu wordt ook in kleine mate rekening gehouden met de chrominantie. Dit impliceert dat de vorm van de curve niet echt drastisch is veranderd. Enkel de concrete waarden zijn wat gewijzigd. 3.2 Experimentele methodes Werken met schuivend venster Een venster betekent in deze context een aantal opeenvolgende waarden. A priori wordt de grootheid geselecteerd waarop het schuivend venster wordt toegepast. De keuze ging voornamelijk uit naar de Mean PSNR. Bij deze maat wordt, in tegenstelling tot de Y-PSNR, rekening gehouden met de luminantie en in kleinere mate met de chrominantie. Vervolgens moeten ook nog eens verschillende richtingen worden onderzocht. De mogelijke opties zijn als volgt: 1. Per venster het gemiddelde van de Mean PSNR bepalen (en dit herhalen voor alle vensters). (a) Van alle bekomen waarden het minimum als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. (b) Van alle bekomen waarden het maximum als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. 2. Per venster het maximum van de Mean PSNR bepalen (en dit herhalen voor alle vensters). (a) Van alle bekomen waarden het minimum als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. (b) Van alle bekomen waarden het gemiddelde als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. 3. Per venster het minimum van de Mean PSNR bepalen (en dit herhalen voor alle vensters). 18

29 (a) Van alle bekomen waarden het maximum als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. (b) Van alle bekomen waarden het gemiddelde als uiteindelijke kwaliteitsmaat voor de totale sequentie nemen. Uiteindelijk werd ook nagegaan wat het gevolg was van de toepassing van een schuivend venster op de JND-scores van individuele frames. Figuur 3.4: Grafiek van de Mean PSNR-waarden door te werken met een verschuivend venster van de videosequentie foreman Er is nog een ander belangrijk punt wanneer met een schuivend venster wordt gewerkt. Hoe groot moet het venster zijn? Een te klein venster zal waarschijnlijk geen betere resultaten geven dan de vorige besproken kwaliteitsmaten. Bij een te groot gekozen venster zou er te veel kostbare informatie verloren kunnen gaan. De meest optimale keuze van het venster zal dus uit verder onderzoek moeten voortvloeien. Videosequentie foreman: Op figuur 3.4 is het resultaat te zien van de toepassing van een schuivend venster van grootte 30 op de foreman-sequentie. Dit betekent dat bij de berekening van de maximale waarde van frame 20 het maximum wordt genomen van de Mean PSNR-waarden van frame 20 tot en met frame 59. Alle maximale waarden vormen de blauwe curve. 19

30 3.3 Overzicht van alle kwaliteitsmaten Tabel 3.1 geeft een overzicht van alle onderzochte kwaliteitsmaten waarbij geen schuivend venster werd toegepast. Tabel 3.2 daarentegen geeft de verschillende kwaliteitsmaten weer die resulteren uit het gebruik van een schuivend venster op de grootheden Mean PSNR en JND. De waarden in de laatste kolom van beide tabellen zijn de bekomen resultaten door telkens alle kwaliteitsmaten toe te passen op de sequentie foreman. Bij JND is het bovendien zo dat er kan worden geopteerd om de kwaliteit onmiddellijk voor een gehele sequentie of per frame te bepalen. min 27,26 PSNR Y max 35,00 avg 31,81 min 30,28 Mean PSNR max 37,02 avg 34,14 min 2,90 JND (per frame) max 6,62 avg 4,07 JND (per sequentie) 4,23 Tabel 3.1: Overzicht van de resultaten van de besproken kwaliteitsmaten zonder gebruik van een schuivend venster voor de videosequentie foreman Mean PSNR JND (per frame) min(max window30) 31,88 3,26 min(avg window30) 31,13 3,24 max(min window30) 36,49 4,68 max(avg window30) 36,78 5,17 avg(min window30) 33,40 3,44 avg(max window30) 34,75 4,91 Tabel 3.2: Overzicht van de resultaten van de besproken kwaliteitsmaten aan de hand van een schuivend venster voor de videosequentie foreman Het is duidelijk dat deze berekeningen uitgevoerd moeten worden op alle sequenties die eveneens in de subjectieve test aan bod komen. Zelfs voor het selecteren van de gepaste videosequenties en de keuze van de bitrate moeten reeds enkele resultaten gekend zijn (verdere uitleg hierover volgt in hoofdstuk 4). 20

31 Hoofdstuk 4 De keuze van de sequenties 4.1 Gebruikte videosequenties De gebruikte videosequenties zijn te vinden op volgende sites: test sequences/ index.jsp?terms and conditions=accept download/videos/ plambert/hd/d1/ In de eerste plaats wordt een overzicht gegeven van enkele vaak gebruikte dimensies voor geëncodeerde videobeelden en wordt aangehaald welke dimensie uiteindelijk werd gekozen en welke aanpassingen bepaalde videosequenties nog verder moesten ondergaan. Hierna volgen enkele aspecten waaraan aandacht moet worden besteed bij de keuze van de videosequenties zodat ze voldoende verschillend zouden zijn. Tenslotte is er een paragraaf gewijd aan de manier waarop de selectie van de gepaste bitrate, nodig bij de encodering van de sequentie, werd gedaan. 21

32 4.2 Dimensies Theoretische achtergrond Op het gebied van videocodering zijn er een aantal courant gebruikte dimensies, zoals CIF, QCIF,... (zie tabel 4.1). Een dimensie bepaalt de afmetingen van een beeld aan de hand van een breedte en een hoogte. Formaat Breedte Hoogte QCIF CIF SIF SIF CCIR Tabel 4.1: Gebruikte dimensies voor geëncodeerde video Praktische problemen Bruikbaarheid dimensies: Enkele van de vermelde dimensies in tabel 4.1 zijn voor dit onderzoek niet bruikbaar. Zo geeft de QCIF-dimensie een te klein beeld om in een subjectieve test te gebruiken. Bij CCIR601 videosequenties kunnen de beelden dan weer niet voldoende vloeiend worden afgespeeld met het beschikbare materiaal 1. De reden hiervoor is dat in totaal 28 videosequenties van elk ongeveer 10 seconden aan elkaar werden geplakt en dit met telkens 5 seconden grijs beeld ertussen. Zo bekomt men een videosequentie van een achttal minuten met een grootte van circa 900 MB. Verdere uitleg hierover wordt gegeven in hoofdstuk 5 waar de eigenlijke subjectieve test wordt besproken. Gebruikte dimensie: CIF is de meest bruikbare dimensie om de videosequenties aan het testpubliek te laten zien. Sequenties in die dimensie kunnen vloeiend worden afgespeeld en het publiek kan op een voldoende afstand van het scherm worden geplaatst. 1 Dell Inspiron 8600; Intel Pentium M 1,70 GHz; 512 MB RAM 22

33 Aanpassing van de sequenties: Sommige sequenties waren oorspronkelijk YUV 4:2:2 bestanden en werden via een zelf geschreven java programma omgezet naar YUV 4:2:0 (programma zie DVD). Bij andere sequenties was de dimensie SIF360. Deze videosequenties waren dus horizontaal te breed en verticaal te smal. Daarvoor schreef ik een javaprogramma om ze te kunnen omzetten naar CIF. De overbodige stukken links en rechts worden hierbij afgeknipt en boven- en onderaan worden zwarte stroken toegevoegd (programma zie DVD). Een voorbeeld hiervan is te zien op figuur 4.1 Er werd eveneens voor gezorgd dat alle sequenties hoogstens 300 frames lang zijn (programma zie DVD), zodat elke videosequentie niet langer duurt dan 10 seconden wanneer het aan een framerate van 30 wordt afgespeeld. Figuur 4.1: Voorbeeld van wat er moet worden geknipt en toegevoegd om van SIF360 over te gaan naar CIF 4.3 Belangrijke aspecten van een sequentie Het kiezen van gepaste sequenties om dan uiteindelijk de beste objectieve kwaliteitsmaten te kunnen selecteren, is zonder enige twijfel van cruciaal belang. Het is daarom interessant om eens te bekijken op welke manier videosequenties van elkaar kunnen verschillen. Met andere woorden: 23

34 Welke eigenschappen kunnen aan sequenties worden toegekend om ze in groepen onder te verdelen? Dit is interessant omdat het helemaal niet zeker is dat er een kwaliteitsmaat bestaat die een goed resultaat geeft voor alle soorten van videosequenties. Een onderverdeling van de sequenties kan worden bekomen op de volgende manier: 1. Is er veel detail aanwezig in het videobeeld of bestaat het uit grotere egale vlakken? 2. De hoeveelheid beweging. 3. De kleuren kunnen ook een manier zijn om een opdeling in de sequenties te maken. Een sequentie met felle kleuren zou bijvoorbeeld andere resultaten kunnen geven dan een sequentie met veel pasteltinten. 4. De bitrate (die in het parameterbestand van de codec wordt ingegeven) speelt eveneens een grote rol. 4.4 Concrete werkwijze Selectie van sequenties op basis van de Mean PSNR Ik heb me vooral gebaseerd op de Mean PSNR-waarden en meer bepaald op het gemiddelde en het verloop ervan om zo gevarieerd mogelijk de gepaste sequenties (en de bijhorende bitrate bij het encoderen) te kunnen selecteren. Met het verloop wordt bedoeld of de grafiek van de Mean PSNR ongeveer constant is of tamelijk schommelend. Het vooropgezette doel was ongeveer de helft van de sequenties te kiezen die een eerder constant verloop vertonen voor de Mean PSNR en voor de andere helft sequenties te kiezen die fluctuerend zijn. Bij een constant verloop is het zo dat alle waarden niet veel afwijken van het gemiddelde, waar dit bij een fluctuerend verloop wel het geval is. In figuur 4.2 en figuur 4.3 zien we de Mean PSNR-curves van de sequenties container en foreman. Beide sequenties werden geëncodeerd aan 800Kbit/s maar hebben een totaal verschillend verloop. 24

35 Figuur 4.2: Mean PSNR met een constant verloop (sequentie container) Figuur 4.3: Mean PSNR met een fluctuerend verloop (sequentie football) A priori waren er een vijftigtal YUV-sequentie geëncodeerd aan 5 verschillende bitrates, namelijk aan 200Kbit/s, 400Kbit/s, 600Kbit/s, 800Kbit/s en 1Mbit/s. Hogere bitrates leken me op het eerste zicht niet zo interessant omdat uit eerdere studies [8] is gebleken dat aan een bitrate van 1Mbit/s al een heel goede kwaliteit wordt bekomen voor het overgrote deel van de videosequenties. Van alle sequenties werd de Mean PSNR uitgezet in grafiek in functie van het framenummer. Het ge- 25

36 middelde van de Mean PSNR kan nu gemakkelijk worden bepaald maar wat met het verloop? Maat voor hoeveelheid schommeling Alle grafieken doorzoeken leek me een nogal onbegonnen werk. Daarom werd volgende maat opgesteld die de hoeveelheid schommeling uitdrukt: max Mean P SNR min Mean P SNR avg Mean P SNR In bovenstaande formule werd rekening gehouden met zowel het gemiddelde van de Mean PSNR 2 als het verloop van de Mean PSNR (via het maximum en minimum ervan). Maar waarom werd de standaarddeviatie niet gebruikt als schommelingsmaat? De standaarddeviatie σ is eveneens een maat voor de spreiding van een rij getallen om het gemiddelde, maar bij deze maat wordt geen rekening gehouden met de concrete waarde van het gemiddelde. De formule is als volgt: (x µx ) 2 σ = n De standaarddeviatie van de getallen 2, 5, 4 en 1 is bijvoorbeeld dezelfde als van de getallen 32, 35, 34 en 31, alhoewel het gemiddelde van de twee rijen getallen totaal verschillend is. Formule werden toegepast op alle sequenties (aan de 5 bitrates). Door de bekomen waarden te vergelijken met de Mean PSNR-grafieken kunnen enkele zaken in verband met het verloop van de Mean PSNR-functie worden afgeleid. Wanneer de berekende waarde kleiner is dan 0,20 is er sprake van een tamelijk constante functie, in het andere geval van een eerder schommelende functie. De bitrate waaraan een sequentie zal worden getoond, wordt zo gekozen dat wanneer er één van de 5 berekende waarden groter is dan 0,20 de sequentie met de hoogste waarde wordt gebruikt (zie voorbeeld op figuur 4.4). Dit komt dan overeen met de meest fluctuerende Mean PSNR-grafiek van de 5 grafieken (één grafiek per 2 Het gemiddelde van de Mean PSNR werd in hoofdstuk 3 voorgesteld door avg Mean PSNR 26

37 Figuur 4.4: Voorbeeld van de bitratekeuze voor de sequentie football bitrate). Wanneer alle berekende waarden kleiner zijn dan 0,20 wordt de sequentie die hoort bij de kleinste waarde gebruikt. Uiteindelijk is het de bedoeling om 28 sequenties over te houden. Maar doordat er meer sequenties voorhanden waren, konden de sequenties zo gekozen worden dat er 14 sequenties met een constant en 14 met een fluctuerend verloop overbleven, waarbij geen twee dezelfde sequenties (weliswaar aan andere bitrate) worden gebruikt. 27

38 Hoofdstuk 5 Subjectieve test Dit hoofdstuk behandelt de subjectieve test waarin een aantal sequenties worden getoond aan een zo groot mogelijk publiek. Hierbij moet rekening worden gehouden met de omgeving waarin de test wordt uitgevoerd. Er moet eveneens een gepaste testmethode worden gekozen en een kwaliteitsschaal waarop de waarnemers hun bevindingen noteren. 5.1 Algemene omstandigheden van uitvoering Wanneer een subjectieve test opgesteld wordt is het noodzakelijk dat alle testen in dezelfde omstandigheden worden uitgevoerd. De algemene condities waarin dit moet gebeuren werden door het ITU uitgewerkt en samengebracht in het rapport ITU-T Recommendation P.910 [7] Observators Bij de uitvoering van een dergelijke subjectieve test is het belangrijk een zo groot mogelijk testpubliek in te schakelen. Om de test voldoende relevant te maken moeten minstens 15 waarnemers de test ondergaan. Die observators worden verondersteld geen experts te zijn op het gebied van beeldkwaliteit en hebben een normaal zicht. Voor de analyse van de gegevens kan het ook interessant zijn om bepaalde informatie zoals leeftijd, geslacht en beroep over de waarnemers voorhanden te hebben. 28

39 Dit omdat het mogelijk is dat twee verschillende groepen totaal andere quotaties geven voor eenzelfde beeld. Leeftijdscategorie Aantal Tabel 5.1: Aantal waarnemers per leeftijdscategorie De subjectieve test werd uitgevoerd door 22 personen, waaronder 9 mannen en 13 vrouwen. De gemiddelde leeftijd van de waarnemers bedraagt 34 jaar. Het aantal personen per leeftijdscategorie werd in tabel 5.1 weergegeven Opstelling materiaal De beste omgeving om dergelijke subjectieve testen uit te voeren is een labo waar onder andere de lichtsterkte kan worden gemeten. Dit was praktisch gezien niet haalbaar. Niettegenstaande het feit dat alle testen thuis op een 17 CRT monitor werden uitgevoerd werd toch rekening gehouden met volgende aspecten: 1. Bij het gebruik van CRT-schermen mag de hoek tussen de waarnemers en de normaal niet groter zijn dan Er moet voldaan worden aan de regels van de preferred viewing distance. De afstand die de waarnemers van het scherm moeten verwijderd zijn, is afhankelijk van de hoogte van het scherm waarop de videosequentie wordt getoond en van de preferred viewing distance (afgekort: PVD). De berekening gebeurt op de volgende manier: Afstand tot het scherm = P V D Hoogte van het beeld De PVD kan worden bepaald aan de hand van enkele waarden uit het ITU-rapport weergegeven in tabel 5.2. Hieruit volgt dat de PVD voor een scherm van 24 cm hoogte 7,86 bedraagt. 29

40 Schermhoogte (in m) PVD 0, , , , , 91 5 > 1, Tabel 5.2: Enkele gekende waarden voor de PVD Voor de hoogte van het beeld zijn er 2 opties: Wanneer de beelden worden getoond aan een resolutie van 800x600 is de hoogte van het beeld 13,5 cm, waardoor het publiek op een afstand van circa 1 m van het scherm moet verwijderd zijn. Wanneer de beelden worden getoond aan een resolutie van 1024x768 en waarbij de ingebouwde zoom van de viewer wordt gebruikt, is de hoogte van het beeld 18 cm, waardoor het publiek op een afstand van circa 1,4 m van het scherm moet verwijderd zijn. Er werd geopteerd voor de laatste optie omdat het publiek iets verder van het scherm mag plaatsnemen en er zo telkens maximaal 3 waarnemers tegelijk de subjectieve test kunnen uitvoeren, rekening houdend met de maximale hoek. Niettegenstaande er geen apparatuur voorhanden was om de lichtsterkte te meten, werd er toch voor gezorgd dat er geen weerspiegeling van de omgeving in het beeld te zien was. Daarvoor moest de inval van direct licht op de monitor worden vermeden. Anderzijds kon de ruimte ook niet volledig donker worden gemaakt omdat er resultaten op papier moesten worden neergeschreven. Alle sequenties werden getoond op een 17 CRT monitor aan een resolutie van 1024 x 768 pixels en aan een frequentie van 85 Hz. Er werd een notebook gebruikt waarvan het bureaublad (gezet op 50 % grijs namelijk R:128 G:128 B:128) werd uitgebreid naar de monitor om zo een volledig grijze achtergrond op het scherm te kunnen verkrijgen. Op deze manier kunnen de waarnemers zich volledig concentreren op de videobeelden en is er geen afleiding door andere aspecten, zoals bijvoorbeeld het gebruikte programma om de YUV 4:2:0 videosequenties af te spelen. 30

41 5.2 Subjectieve testmethode Als testmethode voor het uitvoeren dan de subjectieve test werd gekozen voor de Single-stimulus with Multiple Repetition methode Indeling De Single-stimulus with Multiple Repetition (afgekort: SSMR) is een variant van de Single-stimulus (afgekort: SS) methode. Het verschil ligt in het feit dat bij de SSmethode de videobeelden slechts 1 keer worden getoond, waar bij de SSMR-methode ze 3 keer worden herhaald in verschillende presentaties. Volgens de richtlijnen van het ITU mag een volledige subjectieve test hoogstens een half uur in beslag nemen. De test bestaat uit een oefensessie en de eigenlijke testsessie. 1. In de oefensessie worden drie sequenties getoond. Er wordt tevens aan observators uitgelegd wat er van hen wordt verwacht en hoe ze de waargenomen bevindingen moeten noteren. 2. Nadat het voor de waarnemers helemaal duidelijk is hoe alles in z n werk gaat, wordt overgegaan naar de uiteindelijke testsessie. Die is opgedeeld in 3 stukken die verder als presentaties worden vernoemd. In iedere presentatie bevinden zich identiek dezelfde videobeelden zodat 3 keer hetzelfde videobeeld kan worden bestudeerd. Hierbij moet wel worden opgemerkt dat per presentatie de sequenties op een andere plaats moeten staan en eveneens in een andere volgorde moeten voorkomen. In totaal zijn er 28 sequenties in één presentatie. Bij de verwerking van de resultaten mag geen rekening gehouden worden met de resultaten van de eerste presentatie. Maar waarom is presentatie 1 dan nuttig? De eerste keer dat een observator een beeld bekijkt, let hij meer op de inhoud en minder op de beeldkwaliteit. Enkel de twee laatste presentaties worden bij de analyse van de data in rekening gebracht door het gemiddelde per sequentie te bepalen. 31

42 5.2.2 Beoordelingsschaal De waarnemers worden verondersteld na het bekijken van een videosequentie een waarde voor de kwaliteit ervan toe te kennen op papier. Elke sequentie duurt een tiental seconden gevolgd door 5 seconden grijs beeld. Het is de bedoeling dat de observators de volledige sequentie bekijken en pas daarna hun waarneming noteren. 10 Geen verdere verbetering mogelijk 9 Uitstekend 8 7 Goed 6 5 Neutraal 4 3 Slecht 2 1 Zeer slecht 0 Een slechtere kwaliteit kan niet worden voorgesteld Tabel 5.3: 11-punts numerieke kwaliteitsschaal Er werd geopteerd voor de 11-punts numerieke kwaliteitsschaal [6] (invulblad zie Bijlage B). Per sequentie moet een cijfer tussen 0 en 10 (zie tabel 5.3) worden gegeven. Hierbij moet een 0 toegekend worden aan sequenties waarvan men vindt dat de kwaliteit van het beeld niet slechter kan. Bij een 10 daarentegen wordt een perfect beeld waargenomen. 32

43 Hoofdstuk 6 Analyse van de gegevens 6.1 Subjectieve resultaten Om de data uit de subjectieve test van alle 22 personen te verwerken, werd reeds aangehaald dat per persoon de gemiddelde waarden van de resultaten uit de tweede en derde presentatie worden gebruikt. Hierdoor bekomt men 22 waarden per videosequentie, die de kwaliteit van de betreffende sequentie vanuit subjectief oogpunt voorstellen. Om met deze waarden verder te kunnen werken, zonder rekening te houden met het feit of de waarde afkomstig is van een bepaalde persoon, wordt het gemiddelde van de resultaten per videosequentie bepaald. Het is de bedoeling om algemene conclusies te kunnen trekken en niet per waarnemer de waarden te onderzoeken. De resulterende waarden per videosequentie zijn samengevoegd in tabel 6.1. De waarden liggen allemaal tussen 0 en 10. Hoe hoger de waarde is, hoe beter de kwaliteit van het beeld werd bevonden. 33

44 Benaming videosequentie Subjectieve kwaliteitswaarde mobile 2, 98 foreman 3, 41 coastguard 6, 55 crew 4, 86 deadline 5, 41 motherdaughter 8, 00 stefan 4, 66 table 1, 95 signirene 7, 68 akiyo 8, 34 news 8, 30 silent 7, 80 paris 2, 36 highway 5, 70 canoe 2, 45 display 5, 80 race 6, 75 testmessage 4, 48 balloon 4, 32 cartoon 8, 61 football 5, 82 horizon 3, 07 phone 8, 61 tempete 4, 07 waterfall 6, 84 ice 5, 66 harp 7, 07 city 2, 23 Tabel 6.1: Bekomen subjectieve resultaten voor de kwaliteit van de onderzochte videosequenties 6.2 Correlatieonderzoek Nu de subjectieve resultaten gekend zijn moeten er verbanden gezocht worden met de ontwikkelde objectieve kwaliteitsmaten (zie hoofdstuk 3) en moet bepaald worden hoe sterk deze verbanden zijn. Een maat om de sterkte van een verband tussen twee grootheden te meten is de correlatie. Deze maat kan zowel grafisch door middel van een spreidingsdiagram als rekenkundig aan de hand van een correlatiecoëfficiënt worden voorgesteld. 34

45 6.2.1 Correlatiecoëfficiënt De correlatiecoëfficiënt R geeft de mate van correlatie weer tussen twee grootheden. Het is een getal dat ligt in het interval [ 1, +1] en wordt als volgt berekend: R(x, y) = Cov(x, y) σ x. σ y waarbij: x en y de grootheden voorstellen waartussen een verband wordt gezocht. Cov(x, y) geeft de covariantie van x en y weer. Dit is een maat voor de spreiding van 2 gekoppelde variabelen en kan door volgende formule worden bepaald: ni=1 (x i µ x )(y i µ y ) Cov(x, y) = n waarbij n het aantal gegeven punten (x i, y i ) voorstelt. σ x en σ y staan voor de standaarddeviatie van x en y. Deze maat geeft een spreiding weer van een rij getallen om het gemiddelde en kan als volgt worden berekend: (x µx ) σ = 2 n Spreidingsdiagram Een spreidingsdiagram kan vervolgens zorgen voor de visuele voorstelling van de samenhang tussen twee grootheden. De twee grootheden in deze context zijn: De subjectieve kwaliteitswaarde van de videosequentie, bekomen uit de resultaten van de subjectieve test. De objectieve waarde gegeven door een bepaalde kwaliteitsmaat voor dezelfde sequentie. Alle punten in een spreidingsdiagram vormen een puntenwolk. Hoe dichter de punten van een puntenwolk bij elkaar liggen, des te sterker is het verband tussen de twee grootheden die in het spreidingsdiagram zijn uitgezet. De mate van correlatie 35

46 komt tot uiting in de mate waarin de puntenwolk naar een lijn neigt. Deze lijn wordt de centrale lijn genoemd Mate van correlatie De mate van correlatie is afhankelijk van de mate waarop de punten van een puntenwolk zich verdringen om de centrale lijn. Er kan sprake zijn van volledige correlatie, gedeeltelijke correlatie of geen correlatie. Bij volledige correlatie liggen alle punten van de puntenwolk op de centrale lijn. Bij een correlatiecoëfficiënt van -1 is er sprake van volledig negatieve correlatie, bij +1 van volledig positieve correlatie. Bij gedeeltelijke correlatie vormen de punten in het spreidingsdiagram een puntenwolk waarvan de tendens kan worden aangegeven door de centrale lijn. Er is sprake van geen correlatie als er geen enkel verband bestaat tussen de twee grootheden. In dit geval bedraagt de correlatiecoëfficiënt nul. Het doel is te streven naar een zo goed mogelijke correlatie tussen de subjectieve en objectieve resultaten. Zo goed mogelijk betekent zo dicht mogelijk bij het getal +1 of -1. Op deze manier kan de beste objectieve kwaliteitsmaat worden geselecteerd. 6.3 Bepaling van de optimale grootte van het venster Vooraleer verder kan worden gegaan met de bepaling van de beste kwaliteitsmaat, moet eerst nog een onderzoek worden verricht naar de optimale grootte van het venster. Deze venstergrootte wordt vervolgens gebruikt bij de kwaliteitsmaten die een schuivend venster impliceren. Door middel van de correlatie is het mogelijk om de bekomen subjectieve resultaten te vergelijken met de berekende waarden van elke experimentele kwaliteitsmaat met betrekking tot de Mean PSNR (zie paragraaf 3.2). Een samenvatting van de bekomen correlatiecoëfficiënten is te vinden in tabel 6.2. Uit deze tabel is af te leiden dat er geen noemenswaardig verschil is tussen de 36

47 Grootte max(avg) max(min) min(max) min(avg) avg(max) avg(min) 10 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , 8159 Tabel 6.2: Correlatiecoëfficiënten tussen experimentele kwaliteitsmaten toegepast op Mean PSNR en subjectieve resultaten voor verschillende venstergroottes onderzochte venstergroottes en de betrokken kwaliteitsmaten. Als de grootte van het venster de waarde 30 overschrijdt, stabiliseren de correlatiecoëfficiënten zich. Grootte Gemiddelde 10 0, , , , , , 8261 Tabel 6.3: Gemiddelde van alle correlatiecoëfficiënten tussen experimentele kwaliteitsmaten toegepast op Mean PSNR en subjectieve resultaten voor verschillende venstergroottes Bij waarden voor het venster onder de 30 blijkt het gemiddelde van de correlatiecoëfficiënten (zie tabel 6.3) een beetje kleiner te zijn dan bij een venster van 30. Dus mogen we stellen dat een venster van 30 voldoende goede resultaten geeft en deze grootte wordt dan ook verder gebruikt in de studie naar de beste kwaliteitsmaat. Aangezien de beelden aan een beeldsnelheid van 30 werden afgespeeld, komt een venster van 30 overeen met 1 seconde beeldmateriaal. 37

48 6.4 Verband tussen subjectieve resultaten en objectieve kwaliteitsmaten Er moet nog steeds een antwoord worden gegeven op de vraag: Welke objectieve maat is het meest geschikt om de kwaliteit van een videosequentie te bepalen? Het oplossen van dit probleem zal gebeuren door het samenvoegen van de berekende objectieve waarden en de bekomen resultaten uit de subjectieve test. Tabel 6.4 geeft de onderzochte kwaliteitsmaten weer met de bijhorende correlatiecoëfficiënten met betrekking tot de subjectieve waarden. We zien in de eerste plaats dat bijna alle waarden redelijk dicht bij elkaar liggen. Het minimum en maximum van de Y PSNR- en Mean PSNR-waarden (de kwaliteitsmaten min PSNR Y, max PSNR Y, min Mean PSNR en max Mean PSNR) en het maximum van de JND daarentegen vertonen een afwijking ten opzichte van de andere kwaliteitsmaten. Omdat bij een positieve (respectievelijk negatieve) correlatie gestreefd wordt om zo dicht mogelijk het getal +1 (respectievelijk -1) te benaderen, kunnen deze kwaliteitsmaten dan ook onmiddellijk als minder efficiënt worden beschouwd. Rekening houdend met alle videosequenties biedt JND (en meer bepaald max(min window30)) globaal de beste resultaten. De absolute waarde van de overeenkomstige correlatiecoëfficiënt ligt het dichtst bij het getal 1. Maar niettemin zijn er geen spectaculaire verschillen met de andere kwaliteitsmaten. De correlatie is hier negatief want hoe hoger de subjectieve waarde, hoe lager de JND-score. Een lagere JND-score betekent inderdaad een betere beeldkwaliteit (zie paragraaf 2.2.3). Wat opvalt is dat er een iets betere maat kan worden afgeleid uit de JND-scores van de aparte frames, dan de JND-score van de sequentie. Maar niettemin zijn de resultaten afgeleid uit een kleinschalige subjectieve test waardoor de correctheid van de bekomen resultaten zeker niet 100 procent zeker is. Het spreidingsdiagram dat hoort bij de subjectieve grootheid en de kwaliteitsmaat JND max(min window30) is voorgesteld in figuur 6.1. Er is duidelijk te zien dat alle punten een puntenwolk beschrijven waarvan de tendens wordt weergegeven door de rode rechte. 38

49 Kwaliteitsmaat Correlatiecoëfficiënt PSNR Y min 0,73 max 0,77 avg 0,85 Mean PSNR min 0,71 max 0,77 avg 0,84 min(max window30) 0,81 min(avg window30) 0,85 max(min window30) 0,85 max(avg window30) 0,82 avg(min window30) 0,82 avg(max window30) 0,85 JND min 0, 90 (per frame) max 0, 44 avg 0, 92 min(max window30) 0, 88 min(avg window30) 0, 90 max(min window30) 0, 93 max(avg window30) 0, 89 avg(min window30) 0, 92 avg(max window30) 0, 83 JND 0, 87 (per sequentie) Tabel 6.4: Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten Omdat uit tabel 6.4 enkel algemene conclusies kunnen worden getrokken met betrekking tot de beste kwaliteitsmaat, en er misschien wel beter kwaliteitsmaten te vinden zijn afhankelijk van het soort sequentie, moeten de verschillende aspecten van sequentie ook in rekening worden gebracht. Volgende paragrafen behandelen elk van de aspecten individueel. De JND-kwaliteitsmaten die werden bekomen uit de JND-scores van de aparte frames worden in het vervolg niet meer beschouwd. 39

50 Figuur 6.1: Spreidingsdiagram van JND-scores en subjectieve resultaten rekening houdend met alle sequenties 6.5 Analyse in functie van de hoeveelheid beweging In paragraaf werd reeds een maat ontwikkeld die de hoeveelheid fluctuatie weergeeft. Aan de hand van die schommelingsmaat konden de sequenties worden opgedeeld in 2 categorieën. Enerzijds zijn er de videosequenties waarvan de curve van de Mean PSNR een constant verloop vertoont. Deze categorie valt samen met beelden waarin weinig beweging voorkomt. Anderzijds zijn sequenties te vinden met een eerder fluctuerend verloop en deze stemmen overeen met beelden die als bewegend kunnen worden beschouwd. De schommelingsmaat komt dus eveneens overeen met een maat van beweging en wordt hier gebruikt om een opsplitsing in bewegende en rustige beelden te verkrijgen Weinig beweging Zoals verwacht en uit tabel 6.5 af te leiden is geven alle onderzochte grootheden een voldoende waarheidsgetrouwe maat voor de beeldkwaliteit van rustige beelden weer. Het is zeker en vast niet noodzakelijk om te werken met een schuivend venster. Deze maten blijken in sommige gevallen minder te correleren dan de courante maten. 40

51 Kwaliteitsmaat Correlatiecoëfficiënt Correlatiecoëfficiënt (weinig beweging) (veel beweging) min PSNR Y 0, 91 0, 17 max PSNR Y 0, 92 0, 80 avg PSNR Y 0, 93 0, 72 min Mean PSNR 0, 88 0, 20 max Mean PSNR 0, 90 0, 79 avg Mean PSNR 0, 90 0, 74 max (avg window30) 0, 91 0, 78 max (min window30) 0, 91 0, 79 min (max window30) 0, 89 0, 61 min (avg window30) 0, 89 0, 61 avg (max window30) 0, 91 0, 81 avg (min window30) 0, 90 0, 62 JND 0, 94 0, 74 Tabel 6.5: Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de hoeveelheid beweging Zelfs het minimum en maximum van de PSNR van de Y-componenten blijken nu eveneens goede maten te zijn Veel beweging Waar voor beelden met een eerder constante Mean PSNR-curve alle kwaliteitsmaten efficiënt bleken te zijn is dit helemaal niet het geval bij deze met een fluctuerend verloop. Tabel 6.5 levert hiervoor het bewijs. Nu blijken de maten max PSNR Y, max Mean PSNR, max(avg window30), max(min window30) en avg(max window30) heel wat beter te presteren. Opmerkelijk is hierbij dat bijna altijd het maximum van een grootheid het best met de subjectieve waarden correleert. Wanneer met het minimum van een grootheid wordt gewerkt, bekomen we echter correlatiecoëfficiënten zoals 0, 17 voor de min PSNR Y en 0, 20 voor de min Mean 41

52 Figuur 6.2: Spreidingsdiagram van min Mean PSNR en subjectieve resultaten rekening houdend met sequenties die veel beweging vertonen PSNR. Bij deze kwaliteitsmaten is er in dit geval helemaal geen sprake meer van een goede correlatie. Dit kan nog eens duidelijk in de verf worden gezet door middel van een spreidingsdiagram (zie figuur 6.2). De centrale lijn neigt in dit diagram naar een horizontale rechte wat uitdrukt dat er een minimaal verband bestaat tussen de twee gebruikte grootheden. Er is bovendien ook niet echt sprake meer van een puntenwolk. 6.6 Analyse in functie van de bitrate De gekozen sequenties werden geëncodeerd aan 5 verschillende bitrates, namelijk aan 200Kbit/s, 400Kbit/s, 600Kbit/s, 800Kbit/s en 1Mbit/s. De twee kleinste bitrates worden gecatalogeerd onder lage bitrate en 800Kbit/s en 1Mbit/s onder hoge bitrate Hoge bitrate Bij videosequenties geëncodeerd aan hoge bitrate blijkt JND helemaal niet de beste kwaliteitsmaat te zijn (zie tabel 6.6). Integendeel, de correlatiecoëfficiënten tonen aan dat er zelfs maar één slechtere onderzochte maat is wanneer enkel sequenties aan hoge bitrate werden beschouwd. Hier blijken avg PSNR Y, avg Mean PSNR en alle experimentele maten beter te scoren. 42

53 Kwaliteitsmaat Correlatiecoëfficiënt Correlatiecoëfficiënt (hoge bitrate) (lage bitrate) min PSNR Y 0, 62 0, 76 max PSNR Y 0, 72 0, 43 avg PSNR Y 0, 81 0, 69 min Mean PSNR 0, 65 0, 58 max Mean PSNR 0, 75 0, 33 avg Mean PSNR 0, 85 0, 56 max (avg window30) 0, 81 0, 40 max (min window30) 0, 86 0, 43 min (max window30) 0, 80 0, 53 min (avg window30) 0, 82 0, 55 avg (max window30) 0, 85 0, 55 avg (min window30) 0, 83 0, 59 JND 0, 63 0, 86 Tabel 6.6: Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de bitrate Lage bitrate Bij lage bitrates is de tendens blijkbaar het tegenovergestelde van wat er kon worden geconcludeerd bij hoge bitrate. Nu is het immers zo dat JND als beste maat naar voor komt en voor de andere kwaliteitsmaten soms heel slechte resultaten werden afgeleid (zie eveneens tabel 6.5). 6.7 Analyse in functie van de hoeveelheid kleur Het bepalen van het feit of een beeld al dan niet veel kleur bevat is voor interpretatie vatbaar. In dit opzicht wordt met veel kleur bedoeld of er een grote variatie aan felle kleuren aanwezig is. De onderverdeling gebeurde door aandachtig elk beeld te bestuderen en te catalogeren in 3 groepen. Er werd enkel gebruik gemaakt van de 2 uiterste groepen: 43

54 Kwaliteitsmaat Correlatiecoëfficiënt Correlatiecoëfficiënt (weinig kleur) (veel kleur) min PSNR Y 0, 81 0, 36 max PSNR Y 0, 81 0, 82 avg PSNR Y 0, 84 0, 83 min Mean PSNR 0, 80 0, 41 max Mean PSNR 0, 84 0, 83 avg Mean PSNR 0, 85 0, 85 max (avg window30) 0, 84 0, 85 max (min window30) 0, 88 0, 84 min (max window30) 0, 88 0, 74 min (avg window30) 0, 85 0, 77 avg (max window30) 0, 88 0, 86 avg (min window30) 0, 84 0, 78 JND 0, 94 0, 67 Tabel 6.7: Correlatiecoëfficiënten tussen kwaliteitsmaten en subjectieve resultaten in functie van de hoeveelheid kleur beelden met weinig kleur en deze met veel kleur. De beelden die niet konden worden bestempeld als veel of weinig kleur werden niet meegerekend Weinig kleur De resultaten die kunnen worden afgeleid uit tabel 6.7 vertonen grote gelijkenissen met die van de bitrate. Bij het ontbreken van veel kleur is JND veruit de beste maat om de kwaliteit te gaan bepalen, net zoals dit het geval was bij gëencodeerde sequenties aan lage bitrate. Het bijhorende spreidingsdiagram werd weergegeven in figuur 6.3. We zien duidelijk dat alle punten heel dicht bij de centrale lijn liggen. 44

55 Figuur 6.3: Spreidingsdiagram van JND-scores en subjectieve resultaten rekening houdend met sequenties die weinig kleur vertonen Veel kleur Wanneer het beeld een grote waaier aan felle kleuren bevat, is volgens de resultaten uit tabel 6.7 de JND-maat helemaal niet zo efficiënt. We merken tevens op dat alle kwaliteitsmaten die werden bekomen door het minimum van een grootheid te nemen niet zo n goede maten blijken te zijn met betrekking tot het aspect veel kleur. 6.8 Analyse in functie van de hoeveelheid detail De opdeling in veel en weinig detail gebeurde op dezelfde manier als bij de onderverdeling van de hoeveelheid kleur. Er werd hier dan ook enkel rekening gehouden met extreme sequenties waarbij het duidelijk was of ze veel of weinig detail vertonen Weinig detail Uit tabel 6.8 kan worden opgemaakt dat in het geval van weinig gedetailleerde beelden de JND opnieuw de best mogelijke maat is om de kwaliteit ervan te gaan weergeven. Alle andere onderzochte maten scoren ook niet slecht en in het bijzonder de experimentele kwaliteitsmaten. 45