Digitalisering en wiskundige analyse van parels en materiaalweergave

Transcriptie

1 Digitalisering en wiskundige analyse van parels en materiaalweergave in het Lam Gods Aleksandra Pizurica Universiteit Gent Vakgroep Telecommunicatie en Informatieverwerking Image Processing and Interpretation (IPI) group Future Media and Imaging FMI

2 Het Lam Gods Team Het Lam Gods, Hubert en Jan Van Eyck, 1432 Universiteit Gent KVAB Universiteit Gent Letteren en Wijsbegeerte Prof. Ingrid Daubechies Duke University VUB ETRO FMI 2

3 Het Lam Gods Team Prof Ingrid Daubechies Duke University Vorzitter internationale wiskundige unie ( ) 3

4 Het Lam Gods Team Emile Gezels Ingrid Daubechies Maximiliaan Martens Marc De Mey Aleksandra Pizurica Ljiljana Platisa FMI Bruno Cornelis Ann Dooms Tijana Ruzic 4

5 Het Lam Gods team 5

6 LamGods researchers team Sparse representations in image restoration and reconstruction University of Novi Sad, 2 Nov

7 Overzicht Digitalisering Virtuele restauratie Analyse van materialen 7

8 Overzicht Digitalisering Virtuele restauratie Analyse van materialen 8

9 Digitalisering van kunstwerken Digitale beelden Kleurreproductie Resolutie

10 Digitale beelden Pixel (212, 18, 43) Rood Groen Blauw 10

11 Digitale beelden R rood G groen B blauw

12 Waarom R, G en B componenten? relatieve absorptiespectrum (groen) Lichtreceptoren Staafjes (~ ) Nachtvisie, kleurenblind Kegeltjes (~ ) (blauw) Geelgroen tot rood (60%), Groen (30%), Blauw (10%) R G B (geelgroen tot rood) golflengte (nm) 12

13 Kleurreproductie: metamerisme Spectrum van een witte kleur [nm] Metamerisme: lichtbronnen van verschillende spectrale karakteristieken kunnen ervaren worden als dezelfde kleur [nm] Een goedgekozen combinatie van drie monochromatische bronnen wordt als dezelfde witte kleur ervaren! 13

14 Kleursensoren in digitale camera s en scanners Bayer pattern 14

15 Kleursensoren in digitale camera s en scanners relatieve absorptiespectrum (groen) (blauw) (geelgroen tot rood) golflengte (nm) interpolatie 15

16 Kleursensoren in digitale camera s en scanners relatieve absorptiespectrum (groen) (blauw) (geelgroen tot rood) golflengte (nm) golflengte (nm) 16

17 Resolutie beeld van het Internet (detail) Dierick collectie (detail) 17

18

19 Resolutie beeld van het Internet (detail) Dierick collectie (detail) 19

20 Resolutie beeld van het Internet (detail) Dierick collectie (detail) 20

21 Overzicht Digitalisering Virtuele restauratie Analyse van materialen 21

22 Craquelure barsten 22

23 Craquelure Grotere of kleinere scheur of barst die op de meeste oude schilderijen aanwezig is Oorzaken: veroudering, het krimpen en uitzetten van de drager Ongewenst patroon, toch samengaand met onze perceptie van oude meesterwerken 23

24 Waarom barsten opvullen? Het gedigitaliseerde beeld mooier maken uitdaging voor beeldverwerking specialisten Het schilderij kunnen zien zoals het eens was voor de beschadiging door de barsten Psychovisuele aspecten verandert de perceptie? Het paleografische ontcijferen van oude teksten kunnen we de tekst lezen? 24

25 Het verwijderen van de barsten Stap 1 Detectie Stap 2 Barsten opvullen 25

26 Detectie van de barsten: problemen 1. Sterk variërende lengte en breedte van de barsten 2. Sterk variërende kleur naargelang de achtergrond 3. Het overlappen met beelddetails 4. Witachtige wolken rond de barsten 26

27 Detectie van de barsten: problemen Donkere barsten Lichte barsten 27

28 Detectie van de barsten: methodes Verschillende methodes verschillende voor en nadelen Onze redenering: Combinatie van de verschillende aanpakken Gebruikmaken van de kennis rond de detectie van lijnachtige structuren in het algemeen (bloedvaten in medische beelden, wegen in satellietbeelden, enz) Nuttige concepten Morfologische filters Verlengde filters voor lijnachtige structuren Het leren van barstatomen 28

29 Detectie van de barsten: morfologie Wiskundige morfologie definieert zeer gepaste tools voor de detectie van bepaalde vormen Met een bepaald structuurelement voeren we de twee basisoperaties uit: Erosie (het object dunner maken) Dilatatie (het object dikker maken origineel erosie dilatatie Structuur element 29

30 Detectie van de barsten: morfologie Alle morfologische operatoren zijn combinaties van de erosie en dilatatie met een structuurelement S Sluiting(I;S) = Erosie(Dilatatie(I;S)) Opening(I;S) = Dilatatie(Erosie(I;S)) Structuurelement S Detectie van de barsten Donkere barsten: BlackTopHat (BTH) BTH(I;S) = Sluiting(I;S) I Lichte barsten: WhiteTopHat (WTH) WTH(I;S) = I Opening(I;S) Hoe kiezen we de grootte van de structuurelement S? Multischaal aanpak! 30

31 Filters voor lijnachtige structuren Oorspronkelijk werden deze filters gebruikt voor de detectie van de bloedvaten in medische beelden Een lijnsegment (barst) in de bepaalde richting correleert goed met een van deze (of met enkele) georiënteerde filters Wij combineren de resultaten in de verschillende richtingen 31

32 Het leren van barstatomen Stap 1: Zoek een verzameling elementaire beeldsegmenten (beeldatomen) die het beeld goed beschouwen 32

33 Het leren van barstatomen Stap 2: Zoek de meest voorkomende elementen voor vlakke (uniforme) beeldsegmenten (met duidelijke barsten) barstatomen 33

34 Het leren van barstatomen Stap 3: Reconstrueer het beeld met geleerde barstatomen 34

35 Nabewerking verfijning 35

36 Hybride aanpak Lijnachtige filters Morfologische operatoren + Stemmen Reconstructie uit barstatomen Binaire map & split 36

37 Het verwijderen van de barsten Stap 1 Detectie Stap 2 Barsten opvullen 37

38 Het opvullen van de barsten Oudere methodes vullen elke barstpixel afzonderlijk Recentere aanpakken vullen een beeldsegment (lapje) tegelijkertijd (patch gebaseerde methodes) Optimalisatieaanpak Locale methodes (kiezen de best passende kandidaat voor elk afzonderlijk positie) Globale methodes meerdere kandidaten afwegen of combineren rekening houdend met de ruimtelijke context 38

39 Patch gebaseerde restauratie Target patch Source patch + Composite patch 39

40 Patch gebaseerde restauratie Prioriteit: welke segmenten vullen we eerst op? Ruimtelijke context: globale optimisatie Mogelijke kandidaten Kleur gecodeerde volgorde Stukje in te vullen 40

41 Virtuele restauratie 41

42 Virtuele restauratie 42

43 Virtuele restauratie 43

44 Overzicht Digitalisering Virtuele restauratie Analyse van materialen 44

45 Materiaalweergave Input signal wavelet w 1 coefficients w 2 w 3 45

46 Materiaalweergave hist( ACR Value ) Skin Wood Metal hist( ACR Hue ) 46

47 Classificatie van juwelen 47

48 Classificatie van juwelen 0.05 Type Type 2... hist( ACR Value ) hist( ACR Hue ) Gems Type 1 detected with Hough transform (Bruno) Gems Type 2 detected manually 48

49 Het realisme van huidweergave

50 Het realisme van huidweergave

51 Het realisme van huidweergave

52 God de Vader 52

53 Zingende Engelen 53

54 De heilige kluizenaars 54

55 De rechtvaardige rechters 55

56 Statistische analyse: histogram Grafische weergave van de frequentieverdeling van in klassen gegroepeerde data Hoe vaak komt een bepaalde grijswaarde voor? materiaal 1 materiaal 2 Globale maat: Alleen het aantal waarden telt Maakt niet uit op welke plaatsen deze waarden voorkomen materiaal 3 Veelgebruikt voor de classificatie van materialen 56

57 Spatiogram: een veralgemeende histogram Histogram hist(b) = count b Relatieve aantal pixels met waarde binnen het interval b Spatiogram s(b) = ( count b, µ b, b ), µ b = ( µ xb, µ yb ) Veralgemening van het histogram: extra parameters Niet alleen het aantal pixels met een bepaalde waarde telt, maar ook hun plaatsen! µ y b Plot TYPE 1 Plot TYPE 2 count i 57 µ x 57

58 Classificatie van juwelen 58

59 Classificatie van juwelen 59

60 Classificatie van juwelen Welke kenmerken beschrijven de stijl van een schilder? 60

61 Nieuwe maten uit spatiogrammen Centrum van een bin aantal waarden spreiding Verschillende componenten van een spatiogram Wij definiëren vier nieuwe maten die berekend worden uit de spatiogrammen M1 drukt symmetrie uit M2 correleert goed met de gladheid van de oppervlakte M3 spreiding in de horizontale richting M4 spreiding in de verticale richting 61

62 Schilders vergelijken 62

63 Verschillende schilders Schilder 1 Schilder 2 Schilder 3 Schilder 4 Foto 63

64 Dankwoord Tijana Ruzic en Ljiljana Platisa, Universiteit Gent Bruno Cornelis en Ann Dooms, VUB Maximiliaan Martens en Emile Gezels, Universiteit Gent Marc De Mey, VLAC, KVAB Ingrid Daubechies, Duke University Meer informatie

65 Vergelijking Van Eyck parels