Een parallelle multilevel Monte-Carlo-methode voor de simulatie van stochastische partiële differentiaalvergelijkingen

Transcriptie

1 Een paraee mutieve Monte-Caro-methode voor de simuatie van stochastische partiëe differentiaavergeijkingen Pieterjan Robbe Thesis voorgedragen tot het behaen van de graad van Master of Science in de ingenieurswetenschappen: wiskundige ingenieurstechnieken Promotoren: Prof. Dr. ir. S. Vandewae Prof. Dr. ir. D. Nuyens Assessoren: Prof. Dr. ir. G. Samaey Prof. Dr. R. Vandebri Begeeider: G. Suryanarayana Academiejaar

2 c Copyright KU Leuven Zonder voorafgaande schrifteijke toestemming van zowe de promotoren as de auteur is overnemen, kopiëren, gebruiken of reaiseren van deze uitgave of gedeeten ervan verboden. Voor aanvragen tot of informatie i.v.m. het overnemen en/of gebruik en/of reaisatie van gedeeten uit deze pubicatie, wend u tot het Departement Computerwetenschappen, Ceestijnenaan 200A bus 2402, B-300 Heveree, of via e-mai info@cs.kueuven.be. Voorafgaande schrifteijke toestemming van de promotoren is eveneens vereist voor het aanwenden van de in deze masterproef beschreven (originee) methoden, producten, schakeingen en programma s voor industriee of commerciee nut en voor de inzending van deze pubicatie ter deename aan wetenschappeijke prijzen of wedstrijden.

3 Inhoudsopgave Samenvatting Lijst van Afkortingen en Symboen Ineiding. Monte-Caro-simuatie Agoritme voor MLMC-simuatie Overzicht van de masterproef Mutieve Monte-Caro voor eiptische stochastische partiëe differentiaavergeijkingen 3 2. Modeprobeem Sampen uit een stochastisch ved Eindige-voumemethode Resutaten Besuit Anayse van de MLMC-methode voor het modeprobeem Paraeisatie Parameteranayse van het modeprobeem Leveafhankeijke schatters Besuit Mutieve quasi-monte-caro-methoden Veragemeende situering van het modeprobeem Opossingsstrategie Roosterreges en functieruimten De MLQMC-schatter Het MLQMC-agoritme Theoretische rekenkost van de MLQMC-schatter Resutaten Besuit Mutieve Monte-Caro met meerdere eindfuncties 6 5. Uitbreiding naar meerdere eindfuncties Numerieke resutaten Besuit Concusies en verder werk 69 iii iv i

4 Inhoudsopgave A Anaytische uitdrukkingen voor eigenwaarden en eigenfuncties in de KL-expansie 73 B De poster 77 C Het artike 79 Bibiografie 87 ii

5 Samenvatting In een wiskundig mode voor een bepaad probeem of proces zijn de parameters vaak niet exact gekend. In een mode voor een wagen bijvoorbeed, dat wordt gebruikt tijdens een botsproef of crash test, is er een onzekerheid op de geometrie van de wagen door keine afwijkingen in het productieproces. Enkee voorbeeden zijn het gewicht van de motor, de voorspanning van de bouten, zwakke pekken in de carrosserie... Omdat de inputs van het mode onzeker zijn za ook de output onderhevig zijn aan bepaade onzekerheid. Het domein binnen de ingenieurswetenschap dat zich bezig houdt met het kwantificeren, karakteriseren en reduceren van deze onzekerheid noemt met onzekerheidskwantificatie (uncertainty quantification). In deze masterproef bestuderen we modeen in de vorm van partiëe differentiaavergeijkingen of PDEs. Deze modeen worden wiskundig opgeost door de geometrie te benaderen door een rooster van discrete punten. We onderzoeken en impementeren mutieve Monte-Caro (MLMC), een recente methode voor het kwantificeren van de onzekerheid in deze PDEs. In de kassieke Monte-Caro-methode wordt verschiende keren een opossing berekend voor verschiende reaisaties van de onzekere modeparameters. Voor eke reaisatie wordt dan een deterministisch probeem (zonder onzekerheid) opgeost. Nadien worden de vee deterministische opossingen gecombineerd tot een stochastische beschrijving van de opossing. Het nieuwe MLMC-agoritme combineert de kassieke Monte-Caro-methode met een sequentie van roosters met verschiende nauwkeurigheid. We tonen aan dat deze nieuwe methode een significante verbetering is ten opzichte van standaard Monte- Caro-technieken. We onderzoeken twee manieren waarop de methode nog verder kan worden versned. Vooreerst impementeren we het agoritme op een paraee computer. De vee deterministische probemen kunnen immers aen onafhankeijk van ekaar worden opgeost. Daarnaast onderzoeken we hoe de mutieve Monte-Caro-methode kan worden gecombineerd met zogenaamde quasi-monte-caro-punten. We tonen aan dat het voor bepaade probemen mogeijk is om een rekenkost te bereiken die omgekeerd evenredig is met de gevraagde toerantie op de fout. iii

6 Lijst van Afkortingen en Symboen Symboen E verwachte waarde-operator V variantie-operator a b a/b < constante a b a/b > constante a b a/b = constante Q de quantity of interest, een functionaa Ω R M = (m 0 2 ) d evestructuur (aanta roosterpunten op eve ) d de fysische dimensie van het probeem e( ) root-mean-suare-error (RMSE) van een schatter ɛ gevraagde toerantie op de RMSE N (N ) aanta sampes (op eve ) Y = Q Q verschi van de quantity of interest op eve en C (C ) rekenkost (op eve ) α orde van convergentie van E[ Q Q ] β orde van convergentie van V[Q Q ] γ toename van de rekenkost met M k(x; ω) dooratendheidstensor (stochastisch ved) λ correatieengte σ 2 variantie p(x, ω) druk (stochastisch ved) C(x, y) covariantiefunctie m KL aanta termen in de KL-expansie P N puntenset met N punten frac( ) fractionee dee verschuiving van een puntenset q aanta verschuivingen (shifts) mutipicatiefactor voor het aanta sampes in MLQMC C d iv

7 Afkortingen MC Monte-Caro MLMC mutieve Monte-Caro QMC quasi-monte-caro MLQMC mutieve quasi-monte-caro ODE gewone differentiaavergeijking PDE partiëe differentiaavergeijking SPDE stochastische partiëe differentiaavergeijking SDE stochastische differentiaavergeijking RMSE root-mean-suare-error MSE mean-square-error, RMSE 2 KL-expansie Karhunen Loève-expansie RKHS Hibertruimte met reproducerende kern v

8

9 Hoofdstuk Ineiding Bij het opsteen van een wiskundig mode voor een proces of probeem in de ingenieurswetenschap en de wetenschap in het agemeen zijn de parameters vaak niet exact gekend [0]. Onzekerheidskwantificatie uncertainty quantification houdt zich bezig met het karakteriseren en reduceren van deze onzekerheid in de modeparameters. Wanneer de input van een mode onzeker is, za immers ook de output onderhevig zijn aan een bepaade onzekerheid. Bronnen voor deze onzekerheid kunnen vaag gespecificeerde of wiekeurig variërende parameters zijn. Ook onzekerheid op de geometrie van het probeem, de beginvoorwaarden, materiaaeigenschappen e.d. kunnen onzeker zijn [8]. In deze masterproef bespreken we hoe de mutieve Monte-Caro-methode (MLMC) kan worden gebruikt voor het simueren van modeen beschreven door partiëe differentiaavergeijkingen. Monte-Caro-methoden zijn ontstaan in de oop van de nuceaire proeven tijdens het Manhattanproject in 943 [33]. De ontwikkeaars van de methode, Stan Uam en John von Neumann, suggereren dat de gebruikte computerexperimenten kunnen worden versned door de botsingen tussen de gesimueerde deetjes te benaderen met een statistisch equivaent. Net as het hee Manhattanproject beef ook de nieuwe methode geheim. Door Nichoas Metropois werd het pseudoniem Monte Caro gebruikt, naar het geijknamige casino in Monaco, waar de oom van Stan Uam een fervent gokker was. De kern van een Monte-Caro-simuatie is het voorsteen van de te berekenen grootheid as de verwachte waarde van een stochastisch proces, en vervogens deze grootheid te benaderen aan de hand van een groot aanta reaisaties van dat stochastische proces. In de jaren daarna won het Monte-Caro-agoritme aan popuariteit, voornameijk in de financiëe wered voor het simueren van aandeenkoersen en optieprijzen. Het grootste nadee aan de methode is de trage convergentie: er zijn zeer vee reaisaties van het stochastisch proces vereist om de opossing vodoende nauwkeurig te berekenen. Verschiende verbeteringen werden aangebracht om de convergentie van het agoritme te versneen door midde van variantiereductietechnieken. Daarnaast werden hee wat afgeeide technieken ontwikked zoas Markov Fysisch maakt men vaak een onderscheid tussen inherente onzekerheid (toeva) of epistemische onzekerheid (gebrek aan kennis) [6].

10 . Ineiding chain Monte Caro (MCMC), Metropois-Hastings... In 2008 werd door M. Gies het mutieve Monte-Caro-agoritme geformueerd as een mogeijke variantiereductietechniek [7]. De methode gebruikt een hiërarchie van geneste roosters. De verwachte waarde van het stochastisch proces op het fijnste rooster kan dan worden geschreven as de verwachte waarde van dat stochastisch proces op een ruw rooster, aangevud met een reeks correctietermen. Omdat de variantie van de correctietermen in de som kein zijn heeft men minder én goedkopere reaisaties nodig dan de standaard Monte-Caro-schatter. Dit mutieveidee werd eerder a voorgested door A. Kebaier [24] en onafhankeijk ook door S. Heinrich [22] in het kader van parametrische integratie. In een eerste dee van deze masterproef beschouwen we de theoretische fundamenten van de MLMC-methode. We bespreken standaard Monte-Caro-technieken en mutieve Monte-Caro-technieken in hun meest agemene vorm, steen een agoritme op en proberen een schatting te maken van de rekenkost.. Monte-Caro-simuatie Bij Monte-Caro-simuatie (MC) is men geïnteresseerd in de verwachte waarde van een functionaa Q = G(X) van X, een mutivariate toevasvariabee of toevasvector in de oneindigdimensionae kansruimte (Ω, F, P). Ω is de uitkomstenruimte, de verzameing van ae mogeijke uitkomsten van een kansexperiment; F is een gebeurtenis as deeruimte van Ω en P is een kansmaat met P(Ω) =. Deze functionaa Q : Ω R, ook we de eindfunctie of quantity of interest genoemd, kan een ineaire of nietineaire functie zijn van X (zie 3.2.3). Wanneer X berekend wordt as opossing van een vergeijking is X vaak niet exact beschikbaar. De opossing X kan dan worden benaderd door een eventuee discrete toevasvariabee X M. In het geva van een PDE bijvoorbeed, komt M overeen met de grootte van de ruimteijke discretisatie. De functionaa wordt dan Q M = G M (X M ), waarbij we aannemen dat de verwachte waarde van het verschi tussen Q en Q M naar nu convergeert voor M. Doorgaans is men dan geïnteresseerd in het vinden van de parameter α zodat E[Q M Q] M α, (.) en in het opsteen van een methode die deze parameter zo groot mogeijk maakt. Met de notatie a b wordt bedoed dat a b < c met c een zekere constante die niet afhangt van andere parameters en waarvan abstractie wordt gemaakt. Een anaoge definitie gedt voor a b en a b. De orde van convergentie in (.) is dan α. Voor het voorbeed van de PDE wensen we dat de verwachte waarde van het verschi tussen een functionaa van de opossing op het rooster en de functionaa van de oneindigdimensionae opossing naar nu gaat naarmate de ruimteijke discretisatiestap verkeint, en dat deze waarde naar boven begrensd is door c M α. We zijn geïnteresseerd in het schatten van E[Q]. Gegeven M dan zijn we op zoek naar benaderingen of schatters ˆQ [ ] M voor E[Q M ] waarvoor gedt dat E ˆQM E[Q] = 0. We kwantificeren de nauwkeurigheid van deze benaderingen aan de hand van de 2

11 .. Monte-Caro-simuatie root-mean-square error (RMSE) ( ) ( [ e ˆQM E ( ˆQ M E[Q]) 2]) /2. In wat vogt bespreken we Monte-Caro-simuatie en mutieve Monte-Caro-simuatie, die enke verschien in de gebruikte schatter ˆQ M voor E[Q M ]... Het standaard Monte-Caro-agoritme De standaard Monte-Caro-schatter voor E[Q M ] is ˆQ MC M,N N N Q M (ω n ), (.2) n= zie [5]. Het is de gemiddede waarde van een steekproef van N onafhankeijke trekkingen (sampes) Q M (ω n ), met ω n een reaisatie van ω, een stochastische parameter, die aangeeft dat de functionaa Q M een stochastische variabee is. Er zijn twee oorzaken van fouten in de schatter (.2): de benadering van Q door de eindigdimensionae functionaa Q M, gereateerd aan de ruimteijke discretisatie, en de stochastische fout door het benaderen van de verwachte waarde door het steekproefgemiddede. De bijdrage van deze fouten in de RMSE kan men vinden door de mean-square-error (MSE = RMSE 2 ) uit te schrijven: ) ] 2 ( ) [ 2 ( e ˆQMC M,N = E ˆQMC [ ( = E ˆQMC [ ( ˆQMC = E M,N E[Q] M,N E M,N E 2 [ ( = E ˆQMC = V [ ˆQMC M,N ( ˆQMC [ ] [ ] ) ] 2 ˆQMC M,N + E ˆQMC M,N E[Q] [ ]) 2 ( ˆQMC M,N + M,N E M,N E ] + (E [ ˆQMC M,N [ ˆQMC M,N E ]) ( E ]) ] 2 ( + E ] E[Q]) 2. [ ˆQMC M,N In de derde geijkheid vat het kruisproduct weg omdat [ [ ]] i.e. E ˆQMC M,N E ˆQMC M,N = 0. Omdat verder gedt dat en is [ [ ] E ˆQMC M,N = E N [ [ ] V ˆQMC M,N = V N [ ] ˆQMC M,N [ ˆQMC M,N [ ˆQMC M,N ˆQ MC M,N 2 E[Q]) + ] )] E[Q] ] ) 2 E[Q] een zuivere schatter is, ] N Q M (ω n ) = N E [Q M (ω n )] = E [Q M ] N n= n= ] N Q M (ω n ) n= = N 2 N V [Q M (ω n )] = N V [Q M] n= ( ) 2 e ˆQMC M,N = N V [Q M ] + (E [Q M Q]) 2. (.3) 3

12 . Ineiding De eerste term is de variantie van de Monte-Caro-schatter, die de stochastische fout voorstet door het benaderen van de exacte waarde van de functionaa door een eindige som, en afneemt met N. De RMSE van een Monte-Caro-schatter gaat dus met / N, een bekend resutaat [5]. De tweede term is afkomstig van de ruimteijke discretisatiefout, d.w.z. het verschi tussen Q M en Q. ( ) Een vodoende voorwaarde voor het bereiken van een RMSE e ˆQMC M,N keiner dan ɛ is dat beide termen in het rechterid van (.3) keiner zijn dan ɛ 2 /2. Voor de stochastische fout dient men een vodoende groot aanta sampes N te nemen. Voor de tweede term moet de ruimteijke discretisatie fijn genoeg zijn, zodat E [Q M Q] = O(ɛ). In de verondersteing dat V [Q M ] onafhankeijk is van M, is de schatter ˆQ MC M,N een vodoende nauwkeurige benadering voor E[Q] as N V [Q M ] ɛ 2 /2, of nog, N ɛ 2 en, gebruik makende van (.), as M ɛ /α. Veronderste dat de kost voor het berekenen van één sampe Q M (ω) naar boven begrensd is as vogt C (Q M (ω)) M γ, voor γ > 0. De kost van de Monte-Caro-schatter met N sampes is dan ) C NM γ. ( ˆQMC M,N De kost voor het bereiken van een RMSE van ɛ, ook we de ɛ-kost genoemd, vodoet dan aan de vogende vergeijking: ( ) C ˆQMC ɛ M,N ɛ 2 γ/α, (.4) zie [8], immers N ɛ 2 en M ɛ /α...2 De mutieve Monte-Caro-methode Het basisidee van mutieve Monte-Caro-simuatie (MLMC) [7] is eenvoudig: neem sampes niet enke uit één benadering Q M voor Q maar uit meerdere benaderingen Q M, = 0... L. Beschouw de geometrische reeks {M N : = 0... L} (.5) waarbij M = s M voor en met s een natuurijk geta groter dan één: M 0 < M <... < M L. De M -waarden zuen doorgaans overeenstemmen met het aanta roosterpunten in het discretisatierooster van een PDE. Deze noemt men dan eves. Ze corresponderen met discretisatieroosters met een verschiende fijnheid van discretisatiegrootte. Het mutieveidee bestaat erin om de verwachte waarde E [Q M ] niet rechtstreeks te schatten, maar eerder as de verwachte waarde op het vorige eve pus de verwachte waarde van een zekere correctieterm Y Q M Q M, of ] nog, E [Q M ] = E [Q M + E [Y ]. Dit idee kan recursief worden doorgevoerd, as vogt. Startend van 4 E [Q M ] = E [Q M0 ] L = ( ) E [Q M ] + E[Q M ],

13 .. Monte-Caro-simuatie en wegens ineariteit van de verwachte waarde, gedt dat E [Q M ] = E [Q M0 ] + L = ] E [Q M Q M = L E [Y ]. (.6) met Y 0 = Q M0. Met andere woorden, de verwachte waarde van de gezochte functionaa op het fijnste rooster ( = L) is geijk aan de verwachte waarde op het ruwste rooster ( = 0) pus een som van correctietermen die het verschi zijn in verwachte waarde tussen de opeenvogende eves. Men schat dus niet de verwachte waarde E [Q M ] op ek eve, maar we de verwachte waarde van opeenvogende verschien Y (ω). Merk op dat we in de vorige notatie nogmaas de expiciete afhankeijkheid van de stochastische parameter ω aangeven. We kiezen voor deze schatter eveneens de Monte-Caro-schatter (.2) Ŷ MC,N N N n= = ( ) Q M (ω n ) Q M (ω n ) (.7) met N het aanta sampes op ek eve. De mutieve Monte-Caro-schatter (verder MLMC-schatter genoemd) kan dan gedefinieerd worden as vogt: ˆQ MLMC M,{N } L =0 Ŷ MC,N. (.8) Voor Y kan eender weke zuivere schatter (unbiased estimator) worden gebruikt, zoas een quasi-monte-caro-schatter [5, 2] (zie Hoofdstuk 4) of een meer kassieke kwadratuur- of cubatuurrege. Beangrijk is we dat de schatting (.7) gebeurt op basis van dezefde stochastische parameter ω Ω op beide eves M en M. Eenzefde foutenanayse as voor de Monte-Caro-schatter evert ( ) [ 2 ( ) ] 2 e ˆQMLMC M,{N } = E ˆQMLMC M,{N } E[Q] = L =0 N V[Y ] + (E[Q M Q]) 2, (.9) immers, [ de verwachte ] waarden E[Y ] worden onafhankeijk van ekaar geschat en dus is V ˆQMLMC M,{N } = L =0 N V[Y ]. De fout op de MSE (.9) bestaat dus opnieuw uit twee deen: een stochastische fout voorgested door de variantie van de MLMCschatter en een discretisatiefout. Om een RMSE< ɛ te bekomen moeten beide termen opnieuw keiner zijn dan ɛ 2 /2. Merk op dat de discretisatiefout dezefde is as voor de Monte-Caro-schatter. Men kiest dus opnieuw M = M L ɛ /α. Een voorwaarde voor N vogt in..3. De MLMC-schatter is pas voordeig wanneer het goedkoper is om te vodoen aan e ( ˆQMLMC M,{N } ) < ɛ, zie (.9), dan aan e ( ˆQMC M,N ) < ɛ, zie (.3). Dit is het geva wanneer men minder en/of goedkopere sampes nodig heeft om de variantie van de schatter onder de ɛ 2 /2-grens te houden. Dit bijkt inderdaad zo te zijn voor de MLMC-schatter (.8) as twee voorwaarden zijn vodaan [8]: 5

14 . Ineiding. De variantie van Y gaat naar 0 as. Er zijn dus steeds minder sampes op ek eve nodig om E [Y ] te schatten naarmate groter wordt. Dit is de reden voor de voorwaarde dat de schattingen voor Q (ω) en Q (ω) moeten gebaseerd zijn op dezefde stochastische parameter ω Ω. 2. Voor vodoende keine M i, met i <, zijn sampes van Q Mi vee goedkoper dan sampes van Q M...3 Rekenkost van de MLMC-schatter De totae ɛ-rekenkost voor de MLMC-schatter wordt gegeven door ( ) C ˆQMLMC ɛ M,{N } = L N C, (.0) waarbij C de kost is voor het nemen van één sampe van Y (ω). Om te bepaen hoevee sampes N er op ek eve nodig zijn, kan men vogend optimaisatieprobeem beschouwen [8]. Men wenst de totae rekenkost van de MLMC-schatter te minimaiseren waarbij de variantie van de schatter binnen de gevraagde toerantie bijft. Het optimaisatieprobeem kan as vogt worden geformueerd: min N s.t. =0 N C N V[Y ] = ɛ2 2. (.) Merk op dat het aanta sampes op ek eve as een continue variabee wordt gezien. Bovenstaande formuering kan worden omgezet in een probeem zonder beperkingen via de methode van de Lagrangevermenigvudigers. Hiertoe definieert men de zogenaamde Lagrangiaan, L(N, λ ) = ( ) N C + λ N V[Y ] ɛ2 (.2) 2 waarbij λ een nieuwe variabee in het probeem is. De opossing van het oorspronkeijk optimaisatieprobeem (.) is een kritisch punt van de Lagrangiaan (.2). Door het toepassen van de eerste-orde optimaiteitsvoorwaarde (de partiëe afgeeide van de Lagrangiaan (.2) naar N moet nu zijn) verkrijgt men dat L V[Y ] = C λ N N 2 = 0 C N 2 = λ V[Y ] of N = λ V [Y ] C V [Y ] C (.3) 6

15 .. Monte-Caro-simuatie voor ek eve. Uit de tweede partiëe afgeeide van de Lagrangiaan vinden we de geijkheidsbeperking terug: L λ = N V[Y ] ɛ2 2 = 0. Combinatie met (.3) evert vogende vergeijking: N V[Y ] = ɛ2 2 C λ V[Y ] V[Y ] = ɛ2 2 C V[Y ] = ɛ2 λ 2 λ = 2 ɛ 2 C V[Y ]. (.4) Merk op dat (.3) hetzefde verband geeft as wanneer men de variantie van de schatter voor E [Y ] minimaiseert, waarbij de rekenkost op ek eve constant bijft. De Lagrangiaan wordt in dit geva ] L(N, λ 2 ) = V [Ŷ + λ 2 (N C cte) = en het kritisch punt vinden we as N V [Y ] + λ 2 (N C cte), L = N N 2 V[Y ] + λ 2 C = 0 λ 2 C N 2 = V[Y ] of N = λ2 V [Y ] C. Met de reaties (.3) en (.4) wordt de totae rekenkost voor de MLMCschatter (.0) ( ) C ˆQMLMC ɛ M,{N } = L N C =0 = λ L =0 = 2 ɛ 2 ( L =0 V[Y ]C V[Y ]C ) 2. 7

16 . Ineiding Wanneer de variantie V[Y ] sneer daat met dan de rekenkost C stijgt dan igt de dominante rekenkost op het ruwste rooster = 0. Dat betekent dat de rekenkost van het MLMC-agoritme proportionee za zijn met V[Y 0 ]C 0. De rekenkost voor gewone Monte-Caro is evenredig met V[Y 0 ]C L. Er is immers sechts één (fijnste) rooster waarop de sampes worden genomen. De winst aan rekenkost van mutieve Monte- Caro ten opzichte van de standaard Monte-Caro-schatter is dan proportionee met (C 0 /C L ) (M 0 /M L ) γ ɛ γ/α. Omgekeerd, wanneer de variantie V[Y ] sneer stijgt met dan de rekenkost C daat, dan igt de dominante rekenkost op het fijnste eve = L. De rekenkost van MLMC-schatter is proportionee met V[Y L ]C L. De winst in rekenkost za dan bepaad worden door de verhouding van de varianties V[Y L ]/V[Y 0 ]. De resutaten voor de ɛ-rekenkost van de MLMC-schatter worden samengevat in onderstaand Theorema []. Voor het bewijs verwijzen we naar [8, 7]. Theorema. Veronderste dat er positieve constanten α, β en γ bestaan met α min(β, γ) en dat vogende drie voorwaarden zijn vodaan: (i) E [Q M Q] M α, (ii) V[Y ] M β (iii) C M γ. en Dan gedt voor eke ɛ < exp( ) dat er een geta L en een rij {N } L =0 de MSE ( ) [ 2 ( ) ] 2 e ˆQMLMC M,{N } E ˆQMLMC M,{N } E[Q] < ɛ 2 bestaan zodat en dat ( ) C ˆQMLMC M,{N } ɛ 2 as β > γ, ɛ 2 (og ɛ) 2 as β = γ, ɛ 2 (γ β)/α as β < γ. (.5) Wanneer de probeemafhankeijke parameters α, β en γ gekend zijn, dan kan men voor een gegeven nauwkeurigheid ɛ een a priori schatting maken van de kost van het agoritme. Het eerste geva, β > γ in Theorema, komt overeen met een variantie die sneer afneemt dan de rekenkost stijgt. De dominante rekenkost igt op de ruwe roosters waar C = O(). Er zijn O(ɛ 2 ) sampes nodig om de gevraagde nauwkeurigheid te bereiken. Voor het tweede geva, β < γ in Theorema, neemt de rekenkost sneer toe met keiner wordende toerantie dan de variantie daat. De dominante rekenkost igt dan op de fijnste roosters. Omwie van de eerste voorwaarde in Theorema is 2 αl = O(ɛ) en dus is C L = O(ɛ γ/α ). As β = 2γ dan is de totae rekenkost O(C L ) en worden O() sampes genomen op eve L, het fijnste rooster. Voor het imietgeva β 0 benadert de kost van de MLMC-schatter de kost van de MC-schatter. Voor het grensgeva β = γ is de rekenkost en de bijdragen aan de totae variantie geijk verdeed over ae eves. In [7] wordt (.6) een teescopische som genoemd. Men zoomt as het ware tekens in op verschien tussen eves die dan uiteindeijk ineenschuiven om het echte 8

17 .2. Agoritme voor MLMC-simuatie resutaat te vormen. Het idee om een geometrische sequentie van stapgroottes te gebruiken is afkomstig uit de praktijk van de mutigrid methoden [3] voor het opossen van partiëe differentiaavergeijkingen. Op het fijnste rooster is de discretisatiefout het keinst, maar de kost voor een iteratie met bijvoorbeed Gauss-Seide is groot. Op het ruwste rooster is de discretisatiefout vee groter, maar de rekenkost ook vee keiner. Het mutieveagoritme (.6) kan ook geïnterpreteerd worden as recursieve controevariabeenstrategie: eke stochastische grootheid op eve wordt gecontroeerd door zichzef op een ager eve. Merk op dat een geometrische sequentie van eves M = {, 2, 4, 8...} niet steeds optimaa is [8]. Hoewe de resutaten die in Hoofdstuk 2 zuen besproken worden aangeven dat MLMC-simuatie erg effectief is, zou het kunnen dat een andere sequentie toch nog betere resutaten opevert..2 Agoritme voor MLMC-simuatie Om tot een werkend agoritme te komen moeten nog enkee componenten verder worden aangevud. Zo moeten hee wat parameters nog een waarde krijgen: M 0 (het aanta roosterpunten op het ruwste rooster), s (de geometrische factor in de evestructuur) en L (het aanta eves). In wat vogt bespreken we ook een praktische formue voor het aanta sampes N op ek eve en voor het stopcriterium. De overige parameters moeten oordeekundig worden gekozen. Vaak neemt men de geometrische factor s = 2 omdat het een natuurijke verfijning is van een discretisatierooster van een PDE. Voor bepaade SDEs toont Gies [7] aan dat de optimae waarde voor s geijk is aan 7. Dat betekent dat de roosterafstand in eve 7 keer keiner is dan op eve. Gies raadt dan aan om s 4 te gebruiken as vuistrege. Op die manier heeft men nog steeds de voordeen van een grote waarde voor s en zijn een vodoende aanta eves mogeijk om de systematische fout (bias) te schatten. M 0 hangt af van de maximaa toeaatbare stapgrootte in de ruimteijke discretisatie van de PDE in de gegeven toepassing. Het aanta eves L wordt bepaad door het fijnste rooster dat computationee aanvaardbaar is in de PDE toepassing. Uiteraard hangt deze waarde af van M 0 en s. Hoe meer eves men kan toevoegen, hoe groter de winst aan rekenkost door het gebruik van een mutieve Monte-Caro-schatter. Tot sot worden ae eementen samengebracht in een agoritme voor MLMC-simuatie..2. Een praktische formue voor N Om de RMSE < ɛ te houden moet de eerste term in (.9) keiner zijn dan ɛ 2 /2. Het optimae aanta sampes op ek eve is N = λ V [Y ] /C, zie (.3). Invuen 9

18 . Ineiding van (.4) voor λ geeft N = 2 ɛ 2 V[Y ]/C L i=0 V[Y i ]C i, (.6) zie [7]. Het optimae aanta sampes voor ek eve = 0... L kan dus pas worden berekend as de variantie V[Y ] gekend is. In de praktijk neemt men N 0 initiëe sampes van Y en schat men hieruit de variantie op eve. Daarna kan formue (.6) worden geëvaueerd en kan men het gewenste aanta sampes N op ek eve bepaen..2.2 Stopcriterium De optimae waarde van het aanta eves L kan on the fy worden berekend uit de steekproefgemiddedes en -varianties. Veronderste dat er een geta M bestaat zodanig dat de convergentie van het inkerid in (.) monotoon is voor eke M M. As E[Y ] = E[Q Q ] 2 α (zie Theorema ) dan is de overbijvende fout E[Q Q L ] = =L+ 2 α =L+ k= E[Q Q ] 2 αl 2 αk 2 αl k= 2 αk E[Q L Q L ] E[Q L Q L ] E[Q L Q L ] 2 αk k= ( ) 2 α ( ) 2 α waarbij de somformue voor een oneindige reeks werd gebruikt. Er is aan de gevraagde toerantie op de RMSE vodaan as E[Q Q L ] < ɛ/ 2, en dus vogt dat E[Y L ] = E[Q L Q L ] < ɛ 2 (2 α ). (.7) Door extrapoatie kan men ook het vorige punt E[Y L ] in rekening brengen. Zo verkrijgt men een meer robuust stopcriterium, dat ater in de numerieke experimenten wordt gebruikt: max{2 α ŶL, ŶL } < ɛ (2 α ), (.8) 2 zie [7, 8]. 0

19 .3. Overzicht van de masterproef.2.3 Agoritme: MLMC-simuatie Ae voorgaande bemerkingen samengenomen kan een agoritme voor MLMC-simuatie worden opgested [8]: Start met L =, geconvergeerd = fase; 2 repeat 3 L L + ; 4 Schat V[Y L ] door de steekproefvariantie voor een initiee aanta sampes N 0 ; 5 Bereken het optimae aanta sampes op ek eve = 0... L met (.6); 6 Neem extra sampes op ek eve L vogens de nieuwe N ; 7 if L then 8 Test op convergentie met (.8); 9 end 0 unti geconvergeerd; Stap (6) probeert de variantie van de schatter keiner dan ɛ 2 /2 te houden, terwij stap (8) er voor zorgt dat de resterende bias keiner is dan ɛ/ 2. Samen moeten deze twee beperkingen de fout op de RMSE binnen de gevraagde toerantiegrens ɛ houden. Het initiee aanta sampes voor de schatting van de variantie kiezen we as een constante, N 0. Merk op dat het agoritme heuristisch is. Het is immers niet wiskundig gegarandeerd dat het uiteindeijk berekende resutaat een RMSE heeft keiner dan de gevraagde toerantie ɛ. De meest deicate component van het agoritme is de schatting van de fout E [Q Q L ] via (.8). Een oordeekundige keuze voor de discretisatiefijnheid op het fijnste rooster, eve L, vergt een grondige kennis van het probeem. Ook bij het opossen van deterministische PDEs is het schatten van de fout en de constructie van een optimaa (eventuee adaptief) verfijnd rooster een moeiijk probeem. De opossing van dat probeem is nog voop onderwerp van onderzoek in hee wat onderzoeksgroepen. Dit igt dan ook buiten het bestek van deze masterproef. In ek geva is een overschatting van het fijnste eve L minder erg voor mutieve Monte-Caro dan voor gewone Monte-Caro. De MLMC-schatter werkt immers op L verschiende eves, en een te grote L resuteert enke in een hogere kost voor het fijnste rooster. De gewone MC-schatter zou enke sampes nemen op dat fijne (en dus dure) discretisatierooster..3 Overzicht van de masterproef Het vervog van deze tekst is as vogt ingedeed. In Hoofdstuk 2 bespreken we hoe het mutieve Monte-Caro-agoritme kan worden toegepast op het modeprobeem van een eiptische stochastische partiëe differentiaavergeijking. Deze vergeijkingen worden bijvoorbeed gebruikt bij het modeeren van grondwaterstroming doorheen poreuze media. In Hoofdstuk 3 tonen we aan dat het mutieveagoritme zich uitstekend eent tot paraee uitvoering, net as standaard Monte-Caro. Met behup van de paraee impementatie van het agoritme kan men de uitvoeringstijd tot 8

20 . Ineiding keer versneen. Voor een vodoende uitdagend probeem, dus keine toerantie, is de enige beperking het aanta processoren dat men ter beschikking heeft. Verder voeren we een parameteranayse uit van het modeprobeem en bestuderen we eveafhankeijke schatters. In de recente iteratuur probeert men het mutieve Monte-Caro-agoritme nog verder te versneen door het te combineren met bestaande variantiereductietechnieken. Enkee voorbeeden zijn MLMC met importance samping [4] en MLMC met antithetische variabeen [9]. Hoofdstuk 4 bevat de beangrijkste eigen bijdrage. We tonen aan dat men door het combineren van mutieve Monte-Caro en quasi-monte- Caro, as variantiereductietechniek, een substantiëe vermindering in rekenkost kan bekomen. In een aatste hoofdstuk bekijken we tensotte hoe het mutieveagoritme kan worden aangepast voor het berekenen van meerdere eindfuncties in éénzefde simuatie. 2

21 Hoofdstuk 2 Mutieve Monte-Caro voor eiptische stochastische partiëe differentiaavergeijkingen In dit hoofdstuk wordt een vee gebruikt modeprobeem voor de simuatie van stochastische partiëe differentiaavergeijkingen (SPDEs) besproken. Dergeijke vergeijkingen worden bijvoorbeed gebruikt bij onzekerheidskwantificatie voor grondwaterstroming. De onzekerheid in het probeem is de diffusiecoëfficiënt die kan worden gemodeeerd as een stochastisch ved. Één reaisatie van het stochastisch proces behest dan (i) een sampe nemen van het stochastisch ved en (ii) de deterministische partiëe differentiaavergeijking (PDE) opossen. Voor het eerste deeprobeem bekijken we de Karhunen Loève-expansie en eiden anaytische uitdrukkingen af voor de eigenwaarden en eigenfuncties die in deze expansie nodig zijn. De PDE wordt dan in de daarop vogende stap opgeost met behup van een eindige-voumemethode. We bestuderen de MLMC-schatter as variantiereductietechniek voor dit modeprobeem en tonen aan de hand van numerieke experimenten in één en twee dimensies de superioriteit ten opzichte van standaard Monte-Caro-methoden. 2. Modeprobeem Het beschouwde probeem is de stroming van grondwater doorheen een poreus medium [40]. Dergeijke stroming wordt beschreven door de wet van Darcy, genoemd naar de Franse wetenschapper Henry Darcy die in 856 zijn eerste bevindingen pubiceerde. Zijn experimenten toonden aan dat het debiet van een aminaire stroming doorheen een voume recht evenredig is met het verschi in waterhoogte aan de beide einden van dit voume en omgekeerd evenredig met de engte ervan [5]. Vanwege de age stroomsneheden in grondwater is het aminaire karakter van de stroming een gedige aanname. Het mode voor grondwaterstroming kan eveneens worden afgeeid as een vereenvoudiging van de agemene Navier-Stokes vergeijkingen. De onzekerheid in het probeem is de dooratendheid (hydrauic conductivity) k, een maat voor de weerstand die een voeistof ondervindt bij stroming door een 3

22 2. Mutieve Monte-Caro voor eiptische SPDEs poreus medium. As mogeijke toepassing vermeden we de risicoanayse bij de opsag van radioactief materiaa (of een andere, gevaarijke of pouerende stof). Grondwater dat in contact komt met geekt radioactief afva, kan in contact komen met de mens na transport door het aardoppervak. De kenmerken van een dergeijk grondwatertransport kunnen moeiijk experimentee worden opgemeten. Omwie van de grote tijdsschaen in het proces moet men zich behepen met modeen en simuaties. De kassieke vergeijkingen voor een stationaire éénfase-stroming bestaan uit de wet van Darcy gekopped met het divergentievrij sneheidsved van een onsamendrukbare stroming: q + k p = g (2.) q = 0 in een gebied D R d. In de praktijk is de dimensie d natuurijk geijk aan 3. Omwie van de hoge rekenkost gebruikt men echter ook vaak tweedimensionae (d = 2) of zefs ééndimensionae modeen (d = ). In (2.) is q de Darcyfux [m/s], p de drukgradiënt [Pa/m] en k = κ/µ de dooratendheidstensor. κ is de permeabiiteit gemeten in [m 2 ] of eenheden darcy en µ is de viscositeit in [kg/m/s]. Het rechterid g is een bronterm. Bemerk de anaogie met de wet van Ohm in de eektriciteitseer: de dooratendheid is omgekeerd evenredig met de weerstand, en de stroming q is het potentiaaverschi, p, gedeed door die weerstand. Met de aanname dat k een stochastisch ved is (zie hieronder) kan het modeprobeem (2.) worden herschreven tot een tweede-orde eiptische partiëe differentiaavergeijking (k(x; ω) p(x; ω)) = f(x; ω) (2.2) met f(x; ω) = g de divergentie van de gekende bronterm. De gezochte opossing p(x; ω) is eveneens een stochastisch ved op D Ω. In wat vogt beperken we ons tot D = [0, ] d. Het nemen van een sampe uit een SPDE bestaat atijd uit twee deen:. Neem een sampe van de stochastische parameter ω en hereid de SPDE naar een deterministische PDE, en 2. os het deterministisch probeem op. In wat vogt bespreken we de modeering van k as een stochastisch ved (random fied) en tonen we aan hoe k kan geschreven worden as een ineaire combinatie van orthogonae basisfuncties. Daarna bespreken we de eindige-voumemethode in één en twee dimensies as een opossingsstrategie voor een deterministische PDE. 2.2 Sampen uit een stochastisch ved De enige stochastische parameter in het modeprobeem (2.) is de dooratendheid k. Vaak wordt deze gemodeeerd as een stochastisch ved k(x; ω) D Ω. Dit is de natuurijke uitbreiding van een stochastisch proces met de tijd as enige dimensie, 4

23 2.2. Sampen uit een stochastisch ved x x Figuur 2.: Een typische reaisatie van het ognormaa verdeede ved k(x; ω) voor σ 2 = en λ = 0.0 en D = [0, ] 2. zoas bijvoorbeed een Brownse beweging, naar het meerdimensionae geva met ruimteijke dimensies. Het ved wordt gekarakteriseerd door een gemiddede waarde en een covariantiefunctie C(x, y). Beiden moeten worden geschat uit de data die voorhanden is. Vaak neemt men een ognormae verdeing aan voor k: een ved met scaaire waarden waarvan de ogaritme Gaussiaans is. Dit is een niet-triviae distributie die computationee voordeen biedt maar toch vodoende dicht bij de gemeten data aansuit. De dooratendheid is immers steeds positief en varieert sne, zefs over keine engte-schaen. Figuur 2. toont een typische reaisatie van een ognormaa verdeed ved, in twee dimensies. In de iteratuur stet men vogende vorm voor de covariantiefunctie voorop [8]: ( C(x, y) σ 2 exp x y ) p λ voor x, y D. (2.3) Hierin is p de kassieke p-norm in R d, σ 2 de variantie van het stochastisch ved en λ de correatieengte. Deze aatste bepaat hoe sterk de waarden van het ved in twee nabijgeegen punten van het ved met ekaar gecorreeerd zijn. Het geeft aan hoe groot de invoedssfeer van een webepaade positie is. Hoe groter de variantie en keiner de correatieengte, hoe griiger het ved, en dus hoe moeiijker de op te ossen SPDE (zie Hoofdstuk 3). Voor grondwaterstroming is men typisch geïnteresseerd in toepassingen met λ diam(d) en σ 2. De covariantiefunctie is stationair (een verschoven versie evert hetzefde resutaat op) en isotroop (ze hangt enke of van de afstand x y tussen de twee punten). Zo n functie C wordt een radiae basisfunctie (RBF) genoemd. De covariantiefunctie in één dimensie is weergegeven in Figuur 2.2. Er bestaan verschiende methoden voor het nemen van sampes uit een stochastisch ved met gegeven covariantiefunctie. De drie beangrijkste zijn weicht de poynomia chaos expansion [], de Karhunen Loève (KL)-expansie [6] en circu- 5

24 2. Mutieve Monte-Caro voor eiptische SPDEs C(x, y) 0.5 C(x, y) 0.5 y x y x Figuur 2.2: (a) Exacte covariantie-oppervak C(x, y), 0 x, 0 y voor een exponentiëe covariantie (2.3) in de -norm met correatieengte λ = en variantie σ 2 =. (b) 4-terms benadering door midde van een KL-expansie. ant embedding [2]. We gebruiken hier de KL-expansie voor het stochastisch ved Z(x; ω) og k(x; ω). Z(x; ω) is dus een Gaussiaans verdeed ved. Men wi nu Z schrijven as een oneindigdimensionae ineaire combinatie van orthogonae functies van de vorm Z(x; ω) = Z + θn f n (x)ξ n (ω), (2.4) n= anaoog aan de voorsteing van een functie op een eindig interva door een Fourierreeks. Eender weke basis van L 2 ([a, b]) kan worden gebruikt om een stochastisch proces voor te steen as een expansie in deze vorm, zoas voor het eerst bestudeerd door Kosambi [25]. Het beang van de (Kosambi )Karhunen Loéve-expansie, genoemd naar de Fin Kari Karhunen en de Amerikaan Miche Loève, bestaat er in dat deze de beste basis evert die de mean square error (MSE) op de eindige voorsteing minimaiseert. De coëfficiënten ξ n in deze spectrae voorsteing zijn ongecorreeerde toevasgetaen en de orthogonae basisfuncties f n worden afgeeid uit de covariantiefunctie (2.3). Beschouwen we het stochastisch proces Z(x; ω), x D, ω Ω met verwachte waarde over ae mogeijke reaisaties Z(x) en covariantiefunctie C(x, y) (dezefde as in (2.3)). De covariantiefunctie, ook we kerne genoemd, is een continue symmetrische positief semidefiniete functie die de covariantie van twee waarden van het stochastische ved Z op posities x en y uitdrukt: C(x, y) cov(z(x; ω), Z(y; ω)). Met deze covariantiefunctie is een integraatransformatie T geassocieerd van de vogende vorm: (T φ)(y) = x2 x C(x, y)φ(x)dx Merk op dat de KL-expansie kan worden gezien as aan speciaa geva van poynomia chaos expansion met maximae graad van de veeterm K = [0]. 6

25 2.2. Sampen uit een stochastisch ved waarbij C de kern (kerne) van de transformatie wordt genoemd en φ L 2 [x, x 2 ]. Omdat T een ineaire operator is, is het zinvo om te spreken over diens eigenwaarden en eigenfuncties. Vogens het Theorema van Mercer bestaat er een orthonormae basis {f n } n voor L 2 [x, x 2 ]. De functies f n zijn de eigenfuncties van de ineaire operator T horende bij de set van eigenwaarden {θ n } n van operator T. Merk op dat deze eigenwaarden θ n niet negatief zijn. De eigenwaarden θ n en eigenfuncties f n vodoen aan het eigenwaardenprobeem C(x, y)f n (x)dx = θ n f n (y). (2.5) D Verder gedt dat er een spectrae decompositie bestaat van de vorm C(x, y) = n=0 θ n f n (x)f n (y). Het zijn precies deze eigenwaarden en eigenfuncties die gebruikt worden in de expansie (2.4). Men kan aantonen dat de toevasgetaen ξ n (ω) in de KL-expansie (2.4) moeten vodoen aan [6] E[ξ n (ω)] = 0 en E[ξ n (ω)ξ m (ω] = δ nm. Enkee eigenschappen van de KL-expansie zijn [6]: Het coördinatensysteem gedefinieerd door de eigenfuncties van de kerne is optimaa in de zin dat het de MSE op de eindige voorsteing van het stochastisch proces Z minimaiseert (in de L 2 -norm). Wanneer het proces Z een Gaussiaans proces is met gegeven covariantiefunctie C, dan zijn de getaen ξ n (ω) in de KL-expansie normaa verdeed. In het geva p = in (2.3) en D = [0, ] kan men anaytische uitdrukkingen voor de eigenwaarden θ n en eigenfuncties f n vinden: f n (x) = A n (sin(w n x) + λw n cos(w n x)) n =, 2, (2.6) Hierin is w n de n-de van nu verschiende positieve opossing van de transcendente vergeijking tan w = 2λw λ 2 w 2. De constante A n is een normaisatieconstante zodat f n L2 [0,] =. De overeenkomstige eigenwaarden zijn θ n = 2λσ2 λ 2 w 2 n +. (2.7) De eigenwaarden staan weergegeven in Figuur 2.3. In die figuur wordt ook het beang van de correatieengte λ in (2.3) aangetoond. Zie Appendix A voor de afeiding van deze uitdrukkingen. Voor p = 2 en andere vormen van de covariantiefunctie moet men meer geavanceerde technieken zoas circuant embedding gebruiken. Voor de eigenschappen van stochastische veden in twee dimensies, kan men gebruik maken van een tensorproduct: θ 2D n = θi D n θj D n, f 2D n (x) = fi D n (x )fj D n (x 2 ) voor i n, j n N. (2.8) 7

26 2. Mutieve Monte-Caro voor eiptische SPDEs 0 λ = 0.0 λ = 0. λ = 0 3 θn n Figuur 2.3: Eigenwaarden θ n in één dimensie voor λ = 0.0, 0., en σ 2 = ten opzichte van de index n. In de praktijk moet men de oneindige som (2.4) afbreken na een eindig aanta termen m KL : Z Z mkl. Een benadering van de covariantiefunctie C(x, y) opgested met m KL = 4 termen staat weergegeven in Figuur 2.2. Om te bepaen hoevee termen vereist zijn om een zekere nauwkeurigheid te bereiken, kan men vogende eigenschappen gebruiken: de grootte van de eigenwaarde θ n neemt kwadratisch af met n: θ n O(n 2 ); wanneer de correatieengte λ < diam(d) is er een pateau waar de eigenwaarden nog geen asymptotisch gedrag vertonen: ae eigenfuncties horende bij deze eigenwaarden dragen evenvee bij tot de voorsteing van het stochastische ved (zie Figuur 2.3); en, tensotte, θ n = σ 2 dx. (2.9) n= D Omdat de getaen ξ n (ω) ongecorreeerd zijn vogt hieruit dat [ E Z Z mkl 2] = E θn f n ξ n (ω) 2 = n=m KL + θ n n=m KL + Omwie van de eerste observatie dat θ n O(n 2 ) vogt dat de RMSE door het afbreken van de KL-expansie O(m /2 KL ) is. Een zeer groot aanta termen m KL is dus vereist om een aanvaardbare reatieve fout te bereiken. 2.3 Eindige-voumemethode In 2.2 hebben we een manier opgested om een sampe te nemen van de hydrauische conductiviteitstensor k(x; ω). Voor een gegeven sampe moet nu de opossing van een 8

27 2.3. Eindige-voumemethode deterministische PDE worden berekend. In de context van de numerieke stromingseer (computationa fuid dynamics of CFD) wordt vaak een eindige-voumemethode gebruikt [5]. De behoudswetten worden dan toegepast op een controevoume (CV) zodat dat de numerieke fux wordt behouden [35]. Het verschi met de eindigedifferentiemethodes is dat het schema wordt uitgeschreven voor de fux in paats van voor de operator zef. In wat vogt bespreken we de eindige-voumemethode in één en twee dimensies. Het is beangrijk om op te merken dat de gebruikte discretisatietechniek geen ro speet in het MLMC-agoritme; men kan in principe eender weke methode gebruiken voor het opossen van een deterministische PDE Eindige-voumemethode in één dimensie De PDE (2.2) hereidt zich tot een ODE van de vorm d ( k(x; ω) d ) dx dx p(x) = f(x) x [0, ]. (2.0) Beschouw dan de vogende discretisatie: verdee [0, ] in m even grote deegebieden D i van engte /m met i =...m. Die deegebieden noemt men ook we ceen of controevoumes (CV s). Het centrum van ek deegebied is een punt, dat we noteren as x i. Integreren van de PDE over eke ce geeft geijkheid (k p) = D i f D i i m. De behoudswet (2.2) wordt dus uitgeschreven voor ek CV D i afzonderijk. Door het toepassen van de divergentiesteing van Gauss kan de integraa over het voume D i as een oppervak-integraa over de rand van het gebied worden geschreven. Ek van de bijdragen op de rand kunnen dan één voor één worden benaderd. k p n = D i f D i i m. (2.) Merk op dat de integraa over de rand van het gebied in het ééndimensionae geva zich hereidt tot een evauatie van de integrand in de eindpunten van het interva. Veronderste k i en f i de waarde van k en f in het centrum x i van het deegebied D i. Dan zoeken we een benadering p i voor de waarde van de druk p in x i. Het rechterid van (2.) kan worden benaderd via de middepuntsrege as xi+ 2 x i 2 f(x)dx = (x i+ 2 x i )f i f i 2 m. (2.2) Het inkerid is de som van de bijdrage op de rand tussen D i en D i, en D i en D i+. Om k op de rand te benaderen gebruikt men vaak het harmonisch gemiddede k i+ 2 = 2 + k i k i+ = 2k ik i+ k i + k i+. 9

28 2. Mutieve Monte-Caro voor eiptische SPDEs Voor het benaderen van p n, de naar buiten gerichte normae afgeeide, op de rand kan men een centrae differentie gebruiken: p n i,i = p i p i x i x i, en p n i,i+ = p i+ p i x i+ x i. De gediscretiseerde ODE (2.0) wordt dan [ ( ) ( )] pi p i k i + 2 x k pi+ p i i+ = f i 2 x m, en, met x = /m, waarin Σ i = ( k i 2 k i p i + Σ i p i k 2 i+ p i+ = f i 2 m 2, + k i+ ). In de numerieke experimenten nemen we voor het 2 ééndimensionae geva randvoorwaarden van het Dirichet-type aan: p(x = 0) = en p(x = ) = 0. Voor de inkerrand vervangen we het harmonisch gemiddede door de waarde van k in de eerst ce en benaderen we de fuxterm door (p p(x = 0))/( x/2). Een anaoge redenering gedt voor de inkerrand. Uitgeschreven in matrixvorm moet men dus voor ek sampe het vogende symmetrische tridiagonae stese opossen: Σ k + 2 k 2 2 Σ 2 k 2+ 2 k 3 2 Σ 3 k k m 2 Σ m k m + 2 k m Σ m 2 p p 2 p 3. p m p m = f /m 2 + 2k(x )p(x = 0) f 2 /m 2 f 3 /m 2. f m /m 2 f m /m 2 2k(x m )p(x = ) (2.3) Voor dergeijke steses kan men het zeer efficiënte Thomasagoritme gebruiken met een tijdscompexiteit O(m) [35] Eindige-voumemethode in twee dimensies Voor het tweedimensionae geva moet men PDE (2.2) opossen. Beschouw daartoe de discretisatie van D = [0, ] 2 in m 2 geijke vierkante ceen [( i D i,j = m, i ) ( j m m, j )], met i, j =... m. m 20

29 2.3. Eindige-voumemethode Het centrum van ek deegebied noteren we as x i,j. De engte van eke ce is x en de oppervakte x 2. Opnieuw integreren we (2.2) over eke ce D i,j, (k p) = D i,j f D i,j i, j m. Toepassen van de divergentiesteing evert k p n = D i,j f D i,j i, j m. (2.4) We noteren met k i,j en f i,j de waarde van k en f in het centrum x i,j van het deegebied D i,j. Dan zoeken we een benadering p i,j voor de waarde van de druk p in het centrum x i,j van eke ce. Het rechterid van (2.4) kan worden benaderd as f i,j x 2 f, of nog: i,j. Het inkerid is de som van de bijdragen op de inker- en m 2 rechterkant en boven- en onderkant van ek deegebied D i,j. Opnieuw gebruiken we het harmonisch gemiddede k om de dooratendheidstensor op de rand te benaderen. Voor de rand tussen D i,j en D i+,j, wordt dit k i+ 2,j = 2k i,jk i+,j k i,j + k i+,j en anaoog voor de andere drie bijdragen. Voor het benaderen van de naar buiten gerichte normae afgeeide p n op de rand kan men opnieuw een centrae differentie gebruiken. Voor de rand tussen x i,j en x i+,j wordt dit bijvoorbeed p n i+ 2,j = p i+,j p i,j x i+,j x i,j. Uiteindeijk bekomt men een anaoge discretisatie as (2.3.) [8] [ ( ) ( ) pi+,j p i,j k i+ 2,j x x k pi,j p i,j i 2,j x+ x ( ) ( ) ] pi,j+ p i,j k i,j+ x 2 x k pi,j p i,j i,j x = f i,j 2 x m 2, of, met x = /m, k i 2,jp i,j k i+ 2,jp i+,j + Σ i,j p i,j k i,j Het symboo Σ i,j staat nu voor k i 2,j + k i+ 2,j + k i,j 2,jp i,j k 2 i,j+ 2 p i,j+ = f i,j m 2. (2.5) + k i,j+ ). Voor de berekening 2 van de waarde p i,j in ce D i,j worden de vier naburige punten gebruikt. De bijdragen kunnen worden geordend as een moecue of stenci [35] van de vorm. 2

30 2. Mutieve Monte-Caro voor eiptische SPDEs Figuur 2.4: De structuur van de coëfficiëntenmatrix, corresponderende met de eindige voumediscretisatie, vergeijking (2.5). In de numerieke experimenten nemen we voor het tweedimensionae geva de kassieke randvoorwaarden aan van een zogenaamde fow ce [2]: Dirichetrandvoorwaarden inks en rechts en randvoorwaarden van het Neumanntype boven- en onderaan: p(x = 0) =, p(x = ) = 0, p n = 0, x2 =0 p n = 0. x2 = Een voorgeschreven fux kan men gemakkeijk aaneggen door de bijdrage op de rand te vervangen door de waarde van de fuxterm vermenigvudigd met x. De behandeing van de Dirichetrandvoorwaarden gebeurt anaoog as bij het ééndimensionae geva. De structuur van het resuterende ineaire systeem staat weergegeven in Figuur 2.4. Het inkerid in (2.5) geeft aaneiding tot een ije matrix met een zeer secht conditiegeta. Het kan efficiënt worden opgeost via een directe methode of met behup van iteratieve methodes. Verderop in deze tekst gebruiken we een ije Choeskyfactorisatie A = LL T, gevogd door het opossen van twee steses met een driehoeksmatrix as coëfficiëntenmatrix. 2.4 Resutaten In wat vogt passen we de MLMC-methode uit Hoofdstuk toe op het modeprobeem uit 2.. De sequentie van benaderingen (.5) kiezen we as M = m = (m 0 2 ) d met m 0 de roosterafstand op het ruwste rooster en d = {, 2} de dimensie van het probeem. De roosterafstand op eve is dan h = m, waarbij de roosterafstand bij eke verfijning gehaveerd wordt. In eerste instantie beschouwen we het ééndimensionae geva d =. We maken een gefundeerde anayse van de winst aan rekenkost ten opzichten van standaard Monte-Caro-technieken. Tot sot bestuderen we ook het tweedimensionae geva. 22

31 2.4. Resutaten 2.4. Resutaten voor het ééndimensionae geva De ééndimensionae probeemsteing is eerder a geschetst; PDE (2.2) hereidt zich tot ODE (2.0) en de randvoorwaarden kiezen we as p(0) = en p() = 0. De eindfunctie, waarvan we de stochastische karakteristieken wensen te berekenen, is de uitstroming op x =, Q = k p x. (2.6) x= We berekenen deze uitstroom door midde van een eerste-orde differentie op de rechterrand: Q = 2 h k(x m )p(x m ). De covariantiefunctie C(x, y) van de dooratendheidstensor k(x; ω) kiezen we van de vorm (2.3) met variantie σ 2 = en correatieengte λ = 0.3. Het aanta termen in de KL-expansie, m KL, is 800 en de ruwste roosterafstand m 0 = 6. Figuur 2.5 bovenaan inks toont de variantie van de eindfunctie Q op ek eve en het verschi Y = Q Q gebaseerd op N =e5 sampes. Merk op dat V[Q ] inderdaad constant is, zoas verwacht, terwij V[Y ] een sterk daende functie is. De heing van de ijn V[Y ] is ongeveer -2, waaruit vogt dat V[Y ] M β en dus β 2. Anaoog, en kijken naar Figuur 2.5 bovenaan rechts, de heing van de ijn E[Y ] is ongeveer -.75, waaruit vogt dat E[Y ] M α en dus dat α.75. Figuur 2.6(a) toont de reëe uitvoeringstijd in seconden voor het nemen van N = 000 sampes in één dimensie op verschiende eves. Dit bevestigt dat in het ééndimensionae geva γ. De voorwaarden (i) (iii) van Theorema zijn dus vodaan met β > γ. Dat wi zeggen dat er voor eender weke toerantie ɛ op de RMSE, hoe kein ook, een bovengrens van O(ɛ 2 ) is op de kost van het MLMC agoritme. Dit wordt bevestigd in Figuur 2.5, onderaan rechts. Daar wordt het product van ɛ 2 met de rekenkost uitgezet as functie van ɛ. Zoas voorsped door de theorie, krijgen we een (bijna) constante waarde. Figuur 2.5 onderaan inks toont het aanta sampes op ek eve voor verschiende toeranties ɛ op de RMSE in het MLMC-agoritme. Merk op dat de grotere variantie op eve 0 wordt weerspieged in het grote aanta sampes benodigd op dat eve. Voor de rekencompexiteit is dit een goede zaak. Leve 0 stet immers het ruwste rooster voor, waarop sampes van PDE (2.2) het goedkoopst zijn. Figuur 2.5 onderaan rechts toont een vergeijking van de kost van Monte-Caro-simuatie en mutieve Monte-Caro-simuatie. Deze standaardkosten werden berekend as voor mutieve Monte-Caro en C MLMC = N 0 M 0 + C MC = L = N M + M M 0 (2.7) L N M (2.8) =0 voor gewone Monte-Caro waarin N = 2ɛ 2 V[Q ] (zie [7]). Op die manier wordt hetzefde heuristische stopcriterium op ek eve gebruikt. De kost voor MLMC is 23

32 2. Mutieve Monte-Caro voor eiptische SPDEs og 2 V[ ] 0 og 2 E[ ] Q Q Q Q Q Q ɛ = 0.00 ɛ = ɛ = ɛ = MC MLMC N 0 6 ɛ 2 cost ɛ Figuur 2.5: Performantie van MLMC-simuatie voor het modeprobeem (2.) met λ = 0.3, σ 2 =, s = 2, m KL = 800 en m 0 = 6 in één dimensie. De eindfunctie is de uitstroom k p x op x =. niet aeen vee ager dan voor MC, ze neemt ook nauweijks toe met afnemende toerantie ɛ. In wat vogt bestuderen we de winst aan rekenkost van het MLMC-agoritme meer gedetaieerd. We nemen de ruimteijke discretisatie op het fijnste rooster constant, M L = = 256, dus L = 4. In Figuur 2.7(a) anayseren we hoe de kost van de methode toeneemt naarmate de toerantie δ op de standaarddeviatie van de schatter daat. De standaarddeviatie van de schatter is de vierkantsworte uit de stochastische fout (de variantie van de schatter) in (.9). Een toerantie δ op de standaarddeviatie komt dus overeen met een toerantie ɛ = 2δ op de RMSE (.3). De geschatte ruimteijke discretisatiefout op het fijnste rooster is E[Q M Q] ( ) = E[Q L Q L ] M α.066e-04, zie (.7). De eindfunctie is opnieuw de uitstroom op x =, k p x. De winst aan rekenkost door het toevoegen van een mutievestructuur is duideijk zichtbaar. De rekenkost van de standaard Monte- 24

33 2.4. Resutaten CPU-tijd [s] 5 0 CPU-tijd [s] 20 0 tijd [s] tijd [s] O(M L ) O(M γ L ) M L 0 3 M L 0 4 (a) D (b) 2D Figuur 2.6: (a) CPU-tijd voor L =0:9, m 0 = 6, m KL = 800, λ = σ 2 = en N = 000 opossingen van de eiptische PDE in één dimensie met ognormaa verdeede k uitgezet ten opzichte van het aanta roosterpunten in de discretisatie, M L = m L = m 0 2 L. (b) CPU-tijd voor L =0:6, m 0 = 4, m KL = 400, λ = σ 2 = en N = 50 opossingen van de eiptische PDE in twee dimensies met random gesampede k ten opzichte van het aanta roosterpunten in de discretisatie, M L = (m L ) 2 = (m 0 2 L ) 2. De sparse direct sover van Matab voor het opossen van het stese in 2D is CHOLMOD. In dit geva is γ =.436. Caro-schatter met een toerantie op de standaardafwijking van 2e-4 is even groot as de rekenkost van de 4-eve-schatter met een toerantie op de standaardafwijking van e-4. Dit igt onder de geschatte discretisatiefout op het fijnste rooster. In Figuur 2.7(b) verondersteen we de gevraagde toerantie op de standaardafwijking van de schatter constant, δ =e-3, en onderzoeken we hoe de kost van de MLMC-methode met een vast aanta eves L =:4 toeneemt met M L, het aanta roosterpunten in één dimensie. Hier bijkt duideijk de verbetering van MLMC ten opzichte van standaard MC. De kost voor het schatten van E[Q ] op een rooster met M L = 32 met standaard Monte Caro is even groot as de kost voor het schatten van E[Q ] op een rooster met M L = 28 met de 4-eve MLMC-methode. De theoretische winst in rekenkost uit zich ook in de reëe uitvoeringstijd, zoas getoond in Figuur 2.8. Deze figuur toont dezefde resutaten as Figuur 2.7(b), maar met de reëe uitvoeringstijd op de y-as, in paats van de standaardkost Resutaten voor het tweedimensionae geva Tot sot bespreken we ook enkee resutaten van een simuatie in twee dimensies. Net as in het ééndimensionae geva kiezen we de variantie σ 2 = en de correatieengte λ = 0.3. Het aanta termen in de KL-expansie is m KL = 400 waarbij de eigenfuncties worden geordend in vogorde van daende eigenwaarden θ n. De ruwste roosterafstand 25

34 2. Mutieve Monte-Caro voor eiptische SPDEs δ MC 2-eve MC 3-eve MC 4-eve MC standaardkost MC 2-eve MC 3-eve MC 4-eve MC 5-eve MC standaardkost (a) M L (b) Figuur 2.7: (a) Gevraagde toerantie op de standaardafwijking δ van de schatter versus gestandaardiseerde rekenkost voor verschiende schatters ˆQ MLMC M,{N }, L = :4. De horizontae streepijn is de geschatte discretisatiefout op het rooster. De eindfunctie is de uitstroom op x =, k p x. (b) Gestandaardiseerde rekenkost ten opzichte van het aanta roosterpunten M L voor een vaste toerantie δ =e-3 op de maximae standaardafwijking van de MLMC schatter met een vast aanta eves L =:5. CPU tijd [s] 0 2 MC 2-eve MC 3-eve MC 4-eve MC 5-eve MC ML L Figuur 2.8: Reëe uitvoeringstijd (CPU tijd in seconden) ten opzichte van het aanta roosterpunten M L voor een vaste toerantie δ =e-3 op de maximae standaardafwijking van de MLMC schatter met een vast aanta eves L =:5. 26

35 2.5. Besuit is m 0 = 8. As eindfunctie kiezen we de effectieve conductiviteit [2] Q = k eff k p 0 x dx 2, (2.9) x = de totae uitstroom op x =. De afgeeide wordt opnieuw benaderd met een eindige differentie en de integraa wordt benaderd door een kwadratuurrege. Omdat de druk p sechts in discrete punten gekend is, kiezen we voor de trapeziumrege [23]. Voor het tweedimensionae geva gedt dat M = (m ) 2 = (m 0 2 ) d. Men moet voor ek sampe een bandstese (2.5) opossen. Figuur 2.9 bovenaan toont de variantie van de eindfunctie Q op ek eve en het verschi Y = Q Q gebaseerd op N =e6 sampes. De heing van de ijn V[Y ] is ongeveer 3, waaruit vogt dat V[Y ] M β en dus β 3. Anaoog, de heing van de ijn E[Y ] is ongeveer 0.75, waaruit vogt dat E[Y ] M α en dus dat α Figuur 2.6(b) toont de reëe uitvoeringstijd in seconden voor het nemen van N = 50 sampes in twee dimensie op verschiende eves. In het tweedimensionae geva is γ.436. Figuur 2.9 onderaan inks toont opnieuw het aanta sampes op ek eve voor verschiende toeranties ɛ op de RMSE in het MLMC-agoritme. Figuur 2.9 onderaan rechts toont een vergeijking van de kost van Monte-Caro-simuatie en mutieve Monte-Caro-simuatie. Bemerk opnieuw de verbetering van MLMC ten opzichte van gewone MC, in overeenstemming met Theorema. 2.5 Besuit Voor het modeprobeem van een eiptische partiëe differentiaavergeijking met onzekerheid in de diffusiecoëfficiënt evert het gebruik van de mutieve Monte-Caroschatter een aanzienijke winst aan rekenkost op ten opzichte van de standaard Monte-Caro-schatter. Ook voor stochastische gewone differentiaavergeijkingen (SDEs) is het gebruik van een muieveschatter voordeig [7]. Voor PDEs is het voordee echter nog hee wat groter. Voor een PDE toepassing is het nemen van een sampe op een ruw rooster immers vee maen goedkoper dan op een fijn rooster. In dit hoofdstuk toonden we dat voor het sampen uit een stochastisch ved k(x; ω) in het geva p = in (2.3) er anaytische uitdrukkingen voor eigenwaarden en eigenfuncties bestaan. De resuterende deterministische PDE kan dan worden opgeost met bijvoorbeed een eindige-voumemethode. Enkee beknopte numerieke experimenten toonden de effectiviteit en de effciëntie van het agoritme aan, zowe in één as twee dimensies. In de recente onderzoeksiteratuur gaat men op zoek naar nog sneere varianten van het mutieveagoritme. Door gebruik te maken van variantiereductietechnieken probeert men de variantie van de termen in de teescopische som (.6) nog verder te veragen. Enkee voorbeeden zijn MLMC met importance samping en Continuation Mutieve Monte Caro (CMLMC), waar de MSE (.9) bestaat uit de gewogen som van de stochastische fout en de discretisatiefout. In het vervog van dit eindwerk bestuderen we nog twee technieken om het MLMCagoritme te versneen. In hoofdstuk 3 onderzoeken we hoe het agoritme kan worden 27

36 2. Mutieve Monte-Caro voor eiptische SPDEs og 2 V[ ] 0 og 2 E[ ] Q 8 Q Q Q Q Q N ɛ = 0. ɛ = 0.05 ɛ = 0.02 ɛ = 0.0 ɛ 2 cost MC MLMC ɛ Figuur 2.9: Performantie van MLMC-simuatie voor het modeprobeem λ = 0.3, σ 2 =, m KL = 400 en ruwste roosterafstand m 0 = 8 in twee dimensies. De eindfunctie is k eff (2.9). versned door paraee uitvoering en bestuderen we zogenaamde eveafhankeijke schatters. In hoofdstuk 4 gebruiken we quasi-monte-caro-punten voor het sampen uit het stochastisch ved en komen zo tot een mutieve quasi-monte-caro-agoritme (MLQMC). 28

37 Hoofdstuk 3 Anayse van de MLMC-methode voor het modeprobeem In dit hoofdstuk wordt het modeprobeem, een eiptische partiëe differentiaavergeijking met onzekerheid in de diffusiecoëfficiënt, in meer detai besproken. In een eerste dee bekijken we hoe de MLMC-benadering kan worden geparaeiseerd. Het za bijken dat, net as gewone Monte-Caro, de mutievebenadering efficiënt in parae kan worden uitgevoerd. Daarna wordt een parameteranayse uitgevoerd: hoe verandert de opossing van het modeprobeem in één en twee dimensies as de parameters in de stochastische coëfficiënt worden gewijzigd. Tot sot bespreken we de toepassing van zogenaamde eveafhankeijke schatters; deze aten toe om ook voor hee keine correatieengten λ de mutievestructuur te gebruiken. 3. Paraeisatie Net as gewone Monte-Caro-simuatie eent mutieve Monte-Caro zich uitstekend tot paraee verwerking. Gegeven het aanta sampes op ek eve kan men ek van deze deterministische probemen onafhankeijk van ekaar opossen. Er is immers geen communicatie tussen de verschiende processoren vereist wanneer de beschikbare hoeveeheid geheugen vodoende is om ek sampe op één processor te berekenen. In wat vogt geven we enkee definities die vaak worden gehanteerd binnen het domein van de parae computing. Deze aten dan toe om de performantie van het paraee agoritme te vergeijken met de sequentiëe impementatie. 3.. Definities De meest natuurijke grootheid om performantie van een parae agoritme te beschrijven is de speedup. Deze is gedefinieerd as vogt [2]: Definitie 3.. (speedup) Gegeven T seq, de sequentiëe uitvoeringstijd van een agoritme, en T par, de paraee uitvoeringstijd gebruikmakende van p processoren, dan 29

38 3. Anayse van de MLMC-methode voor het modeprobeem is de speedup S gegeven door S = T seq T par. (3.) Ideae speedup betekent dat S = p, immers, dan is de paraee uitvoeringstijd T par geijk aan de sequentiëe uitvoeringstijd T seq gedeed door het aanta processoren. Wanneer S < spreekt men van sowdown. Door gebruik te maken van caches is het soms ook mogeijk om S > p te bereiken. Niet ae agoritmes zijn even goed paraeiseerbaar. Om een reaistische vergeijk te maken dient men voor T seq het beste sequentiëe agoritme te gebruiken in paats van de uitvoeringstijd op p = processoren. Op die manier vergeijkt men de beste sequentiëe impementatie met de beste paraee impementatie, die eventuee een ander agoritme gebruikt. De speedup S hangt af van zowe het aanta processoren p as de probeemgrootte n. Men kan het geparaeiseerde agoritme dus vergeijken met de sequentiëe impementatie voor zowe een variërend aanta processoren p as een variërende probeemgrootte. Definitie 3.2. (sterke schaabaarheid) Een agoritme heeft een sterke schaabaarheid wanneer S(p) = T seq T par = O(p). (3.2) Definitie 3.3. (zwakke schaabaarheid) Een agoritme heeft een zwakke schaabaarheid wanneer S(n) = T seq(n) = O(). (3.3) T par (n) In een reaistische toepassing is het niet redeijk om sterke schaabaarheid te verwachten. Men za immers nooit hetzefde probeem opossen met een verschiend aanta processoren. Bovendien is een agoritme niet oneindig paraeiseerbaar: wanneer er evenvee processoren as eementaire taken zijn heeft het geen zin om extra processoren te gebruiken. In de praktijk is het aanta processoren een constante, en is de probeemgrootte een functie van dit aanta processoren. Het is daarom we ogisch om zwakke schaabaarheid van een agoritme te verwachten wanneer n. een eementaire taak of chunk is een deeprobeem dat kein genoeg is om op meerdere processoren te worden uitgevoerd maar groot genoeg om de overhead van de paraee uitvoering te overwinnen. Dit noemt men ook we de granuariteit. Hoe keiner de granuariteit, hoe groter de potentiëe winst door paraeisatie en dus de speedup, maar ook hoe groter de synchronisatie- en communicatiekost. 30

39 3.. Paraeisatie 3..2 Methode Men kan het MLMC-agoritme op drie verschiende manieren paraeiseren.. Paraeisatie van de PDE-sover: in ek deterministisch sampe kan men het ije stese dat moet worden opgeost opossen met een iteratieve methode. De basis van eke iteratieve methode is de matrix-vector vermenigvudiging. Door een gepaste matrixpartitionering is het mogeijk om deze vermenigvudiging in parae uit te voeren. 2. Homogene paraeisatie: op ek eve kan men het optimae aanta sampes N in parae nemen. Deze methode is het eenvoudigst, en heeft as bijkomend voordee dat eke deterministische opossing van de PDE op een gegeven rooster in principe even vee tijd in besag neemt. Op die manier heeft men automatisch een gepaste werkverdeing (oad baance). 3. Heterogene paraeisatie: men neemt sampes in parae over de verschiende eves heen. In ae vogende numerieke experimenten opteren we voor de tweede benadering. Een mogeijke beperking voor deze methode is geheugengebruik. Eke processor moet over vodoende geheugen beschikken om één sampe op het fijnste rooster onafhankeijk te kunnen berekenen. In de praktijk bijkt dit atijd het geva. Het fijnste rooster L is eerder beperkt door het geheugengebruik voor de opsag van ae eigenfuncties (tot 400 in het tweedimensionae geva) dan voor het opossen van de PDE. Voor compexe geometrieën of fijnere roosters kan men gebruik maken van domeindecompositie om deze hindernis te overwinnen. We gebruiken een Matab-impementatie van het MLMC-agoritme op de computercuster van de KU Leuven. Eke compute node bestaat uit twee 0-core Ivy Bridge 2.8GHz Xeon E5-2680v2 processoren met 64 GByte RAM en 25 MByte eve 3 cache Performantie We anayseren de performantie van de paraee impementatie aan de hand van Figuur 3.. De inkse grafiek toont de speedup (3.) ten opzichte van het aanta processoren voor een vaste probeemgrootte (toerantie) van ɛ = e-3. Voor het ééndimensionae geva is er een bijna perfecte speedup tot op p = 20 processoren. Voor d = 2 presteert het agoritme minder optimaa. Het MLMC-agoritme is dus bijna sterk schaabaar, en dit is ook wat men kan verwachten: er is geen overhead door synchronisatie of communicatie omdat ae sampes onafhankeijk van ekaar kunnen worden berekend. De rechtse grafiek toont speedup ten opzichte van de probeemgrootte. Hier speet de toerantie ɛ op de RMSE de ro van probeemgrootte, het is immers de enige instebare parameter voor de hoeveeheid werk in het MLMC-agoritme. Merk op hoe zowe voor d = as d = 2 er geen perfecte speedup wordt bereikt. Wanneer de 3

40 3. Anayse van de MLMC-methode voor het modeprobeem 20 5 d = d = d = d = 2 5 S(p) 0 S(ɛ) p ɛ (a) (b) Figuur 3.: (a) Speedup versus aanta processoren. (b) Speedup versus probeemgrootte, hier ɛ. speedup zich zou stabiiseren voor nog keinere toeranties dan is het MLMC-agoritme zwak schaabaar. 3.2 Parameteranayse van het modeprobeem De twee grootheden die het stochastische ved k(x; ω) karakteriseren zijn de correatieengte λ en variantie σ 2. Afhankeijk van het type poreus materiaa in het modeprobeem kan men een verschiend stochastisch mode met een verschiende correatieengte en variantie fitten voor k. Men kan zich nu afvragen wat het effect is van zo n verandering op de eindfunctie. Hieronder beschouwen we opnieuw het modeprobeem in één en twee dimensies, maar met verschiende waarden voor de parameters in het stochastisch mode Het D-probeem In het ééndimensionae geva zijn we geïnteresseerd in de uitstroom Q = k p. (3.4) x x = We beschouwen daartoe vogende combinaties van correatieengte λ en variantie σ 2 van het stochastisch ved k(x; ω): 32 A λ = 0.30, σ 2 =.00 m KL = 800 B λ = 3.00, σ 2 =.00 m KL = 250 C λ = 0.03, σ 2 =.00 m KL = 2500 D λ = 0.30, σ 2 = 0.50 m KL = 500 E λ = 0.30, σ 2 = 2.00 m KL = 200

41 3.2. Parameteranayse van het modeprobeem Hoe keiner de correatieengte en hoe groter de variantie hoe meer termen m KL er nodig zijn in de KL-expansie van stochastische ved en dus hoe moeiijker het probeem. Voor het standaardprobeem λ = 0.3 en σ 2 = is het aanta termen in de KL-expansie zo gekozen dat de keinste eigenwaarde (2.7) grootte-orde e-6 is. Voor de andere gevaen hanteren we een geijkaardig criterium, het aanta termen is eveneens weergegeven in bovenstaande tabe. Bemerk reeds het effect van een verandering van de variantie σ 2 op het aanta termen dat moet worden meegenomen in de ontwikkeing. De roosterafstand op het ruwste rooster is steeds h 0 = /6. Figuur 3.2 toont de verwachte waarde en variantie van de eindfunctie Q en het verschi Y = Q Q op ek eve voor ek van bovenstaande gevaen. Door het variëren van de correatieengte verandert de verwachte waarde van de eindfunctie. Hoe keiner de correatieengte, hoe moeiijker het probeem. Dit is zichtbaar in Figuur 3.2(a). De variantie op eve = 5 voor λ = 0.03 is ongeveer even groot as de variantie op eve = 2 voor λ = 3. Er zuen dus vee meer sampes nodig zijn op ek eve om de variantie van de schatter onder de gevraagde toerantie ɛ 2 /2 te brengen. Een anaoge redenering gedt voor de onzuiverheid (bias) in Figuur 3.2(b). Naarmate λ stijgt zijn er steeds meer eves nodig om de discretisatiefout keiner dan ɛ/ 2 te maken. Door het variëren van de variantie σ 2 verandert de verwachte waarde van de opossing sechts weinig. Hoe keiner de variantie van het ved k(x, ω), hoe keiner de variantie van de opossing. Naarmate de variantie van het ved stijgt wordt het probeem moeiijker: er zijn meer sampes nodig op ek eve om de stochastische fout te beperken en er zijn meer eves nodig om de discretisatiefout onder de gevraagde ɛ/ 2 te brengen. Bemerk hoe de variatie van σ 2 een eenvoudige verschuiving van de variantie van Q en Y teweeg brengt. De parameters α en β in Theorema zijn dus probeemafhankeijk: ze hangen af van de vergeijking (2.2) en de beschouwde eindfunctie (3.4), maar niet van de gebruikte parameters in het stochastische ved k(x; ω). Met α.75 en β 2 wi dat ( zeggen) dat we voor eke combinatie van λ en σ 2 dezefde asymptotische kost C ˆQMLMC M,{N } O(ɛ 2 ) mogen verwachten, evenwe met een andere constante. Tabe 3. toont de resutaten voor een parameteranayse van het modeprobeem met d = (één dimensie). Voor ek van de beschouwde gevaen (A -E ) berekenen we de gemiddede waarde en variantie van de eindfunctie voor verschiende toeranties ɛ op de RMSE. De tabe toont eveneens de variantie van de schatter en de geschatte onzuiverheid (in het kwadraat). Beide termen moeten keiner zijn dan ɛ 2 /2. De aatste koom toont de effectieve rekentijd in seconden. Ae simuaties werden uitgevoerd met behup van de paraee impementatie uit 3..2 met p = 20 processoren. Bemerk hoe de variantie van de schatter tekens zéér dicht tegen de ideae ɛ 2 /2 igt. Dit bewijst de effectiviteit van het optimaisatieprobeem (.6). Door het veranderen van de parameters van het probeem verandert ook het conditiegeta van het stese, afgeeid uit een eindige-voumediscretisatie, dat moet worden opgeost in ek deterministisch sampe van de eiptische SPDE. Tabe 3.2 toont een vergeijking van de grootte-orde van het conditiegeta van het stese voor de verschiende parametersets (A -E ) in Tabe 3.. Het conditiegeta stijgt naarmate 33

42 3. Anayse van de MLMC-methode voor het modeprobeem ɛ gemiddede waarde variantie variantie schatter geschatte onzuiverheid 2 tijd [s] λ = 0.3, σ 2 = 2 λ = 0.3, σ 2 = 0.5 λ = 0.03, σ 2 = λ = 3, σ 2 = λ = 0.3, σ 2 = e e e e e e+0 5e e e e e e+02 e e e e e e+03 5e e e e e e+04 e e e e e e+02 5e e e e e e+02 e e e e e e+03 5e e e e e e+04 e e e e e e+0 5e e e e e e+0 e e e e e e+03 5e e e e e e+03 e e e e e e+0 5e e e e e e+0 e e e e e e+03 5e e e e e e+03 e e e e e e+0 5e e e e e e+02 e e e e e e+03 5e e e e e e+04 Tabe 3.: Parameteranayse van het modeprobeem in één dimensie. 34

43 3.2. Parameteranayse van het modeprobeem geva = 0 = = 2 = 3 = 4 = 5 A B C D E Tabe 3.2: Grootte-orde van het conditiegeta van het stese in de eindigevoumemethode in één dimensie. toeneemt, en hoe moeiijker het probeem (C en E ) hoe sneer de stijging. 35

44 3. Anayse van de MLMC-methode voor het modeprobeem 0 0 og 2 V[ ] Q Y λ = 3 λ = 0.3 λ = 0.03 og 2 E[ ] Q Y λ = 3 λ = 0.3 λ = og 2 V[ ] 0 20 Q Y σ 2 = 0.5 og 2 E[ ] 0 20 Q Y σ 2 = 0.5 σ 2 = σ 2 = σ 2 = 2 σ 2 = Figuur 3.2: Parameteranayse van het modeprobeem met d =. Variantie (inks) en verwachte waarde (rechts) van de eindfunctie Q en het verschi Y = Q Q op ek eve voor verschiende λ met σ 2 = (bovenaan) en verschiende σ 2 met λ = 0.3 (onderaan). De resutaten zijn gebaseerd op het nemen van N =e6 sampes op ek eve. 36

45 3.2. Parameteranayse van het modeprobeem Afeiden van een kansdichtheidsfunctie Uit ae voorgaande experimenten bijkt dat de eindfunctie (3.4) net as het stochastisch ved k(x; ω) ognormaa verdeed is. Een ognormae verdeing heeft een kansdichtheidsfunctie f X van de vorm f X (x) = x 2πφ exp [ ] (og x θ)2 2φ 2, x > 0 immers, het ogaritme van de ognormae verdeing is normaa verdeed. De parameters θ en φ zijn de verwachtingswaarde en respectieveijk standaardafwijking van de natuurijke ogaritme van de variabee X. Voor deze verdeing gedt dat E[x] = e θ+ 2 φ2 ( ) V[x] = e φ2 e 2θ+φ2 ( ) [ ] 2. = e φ2 E [x] Gegeven dus de verwachte waarde en variantie van de eindfunctie dan kan men de parameters θ en φ van de ognormae verdeing schatten door het opossen van een stese van twee niet-ineaire vergeijkingen in twee onbekenden met behup van bijvoorbeed de methode van Newton-Raphson. Figuur 3.3 toont de kansdichtheidsfunctie voor het ééndimensionae geva voor ek van de gevaen in bovenstaande tabe. Voor een ognormaa verdeed ved met parameters λ = 0.3 en σ 2 =, bijvoorbeed, is de eindfunctie (3.4) ognormaa verdeed met parameters θ (gemiddede) en φ (variantie) Het 2D-probeem In de iteratuur zijn een aanta typische eindfuncties Q voorhanden voor het modeprobeem (2.2) in twee dimensies [38]. We bespreken enkee vee voorkomende gevaen. Puntevauatie: men beschouwt de druk p(x ; ω) op een bepaad punt x, vaak gekozen zodanig dat het niet samenvat met een roosterpunt x D = [0, ] 2. In een ruimteijke dimensie d > is de druk p vaak onbegrensd in de Soboevruimte H (D). Men reguariseert dit type functionaa dan ook vaak door het te benaderen door een okaa gemiddede p(x ; ω) D D p(x; ω)dx waarin D een deegebied is van D die x omvat. Fux: net as een puntevauatie van de druk kan men ook een puntevauatie van de fux k p benaderen door een okaa gemiddede. Naast ineaire functionaen kan men ook geïnteresseerd zijn in niet-ineaire functionaen: 37

46 3. Anayse van de MLMC-methode voor het modeprobeem 2 λ = 0.3, σ 2 =.2 λ = 0.3, σ 2 =.5 λ = 3, σ 2 = λ = 0.03, σ 2 = λ = 0.3, σ 2 = 2 λ = 0.3, σ 2 = fx(x) fx(x) x x Figuur 3.3: Kansdichtheidsfunctie f X van de eindfunctie voor ek van de testgevaen (A -E ). De eindfunctie (3.4) is tekens ognormaa verdeed, waarbij de parameters van de verdeing kunnen bepaad worden door het opossen van een stese van twee niet-ineaire vergeijkingen. Hogere-orde momenten: de meest voor de hand iggende niet-ineaire functionaa is het hogere-orde momenten van een ineaire functionaa: M k (p) = E[(p) k ] is het k-de orde moment van p(x; ω). Norm: men beschouwt de norm van het drukved, p(x) L2 (D). Uitstroming: men is geïnteresseerd in de totae uitstroom uit (een dee van) de rand Γ van het gebied D. In (2.9), bijvoorbeed, beschouwden we de fux doorheen de rechterwand van het gebied. In wat vogt beschouwen we voor het tweedimensionae geva een puntevauatie in x = ( , ) 52 (3.5) in paats van de uitstroom k eff. Dit is een roosterpunten dat, met h 0 = /8, voor 5 nooit samenvat met een roosterpunt. We opteren hier voor een andere eindfunctie dan in 2.4.2, omwie van de trage convergentie van de verwachte waarde E[ Y ] [7]. Net as in 3.2. beschouwen we enkee combinaties van λ en σ 2 om te onderzoeken wat het effect is van het mode voor het stochastisch ved k(x; ω) op de resutaten: 38 A 2 λ = 0.30, σ 2 =.00 m KL = 400 B 2 λ = 0.90, σ 2 =.00 m KL = 500 C 2 λ = 0.0, σ 2 =.00 m KL = 2900 D 2 λ = 0.30, σ 2 = 0.50 m KL = 600 E 2 λ = 0.30, σ 2 = 2.00 m KL = 2800

47 3.3. Leveafhankeijke schatters Voor het standaardprobeem λ = 0.3 en σ 2 = in twee dimensies is het aanta termen in de KL-expansie zo gekozen dat de keinste eigenwaarde grootte-orde e-5 is. Merk op dat in twee dimensies θn 2D = θi D n θj D n. Voor de andere gevaen hanteren we een geijkaardig criterium, het aanta termen is eveneens weergegeven in bovenstaande tabe. Een anaoge anayse as voor Figuur 3.2 eert dat de verwachte waarde van de eindfunctie (3.5) sechts weinig verandert bij de variantie van de parameters λ en σ 2. Naarmate de correatieengte daat of de variantie stijgt neemt ook de variantie en verwachte waarde van Y toe. Dat betekent dat men meer sampes en/of meer eves moet toevoegen om aan een gegeven toerantie ɛ op de RMSE te vodoen. Het probeem wordt dus moeiijker, iets wat ook zichtbaar is in Tabe 3.3. De parameters α en β in Theorema zijn opnieuw probeemafhankeijk: ze hangen af van de vergeijking en de beschouwde eindfunctie maar niet van de gebruikte parameters in het mode voor k(x; ω). Tabe 3.3 toont de resutaten voor een parameteranayse van het modeprobeem met d = 2 (twee dimensies). Voor een gegeven RSM-ɛ berekenen we de gemiddede waarde en variantie van de druk in x voor eke combinatie A 2 t.e.m. E 2. De derde en vierde koom tonen de variantie van de schatter en de geschatte onzuiverheid. De aatste koom toont de effectieve rekentijd in seconden. Ae simuaties werden uitgevoerd op de computercuster van de KU Leuven met p = 20 processoren. Merk opnieuw op hoe dicht de variantie van de schatter aaneunt bij de vereiste ɛ 2 /2 uit de foutenanayse Leveafhankeijke schatters De performantie van het MLMC-agoritme kan nog verder worden verbeterd door het invoeren van eveafhankeijke afbrekingen van de Karhunen-Loève-expansie. Deze zijn voornameijk nuttig wanneer het stochastisch ved k(x; ω) sterk oscierend is en varieert op een zeer keine engteschaa. Een ruw rooster, bijvoorbeed = 0, za dan niet in staat zijn om ae karakteristieken van k te onthuen. Door de benadering voor het stochastisch ved voortijdig af te breken kan men dit probeem vermijden. In wat vogt bestuderen we eerst het effect van het aanta termen in de KL-expansie in meer detai. Daarna bespreken we hoe men een gepaste keuze van afbrekingsstrategie moet maken. We besuiten met enkee numerieke resutaten Effect van het aanta termen in de KL-expansie Om na te gaan wat de potentiëe winst aan rekenkost is door het invoeren van eveafhankeijke schatters bestuderen we eerst het effect van het aanta termen in de KL-expansie van het stochastische ved m KL op de totae rekenkost. Figuur 3.4 toont de (genormaiseerde) rekentijd van het MLMC-agoritme met ɛ =5e-5 voor een variërend aanta termen m KL, zowe voor d = (één dimensie) as d = 2 (twee dimensies). Het geva d = is het modeprobeem (2.2) met λ = 0.3, σ 2 =, m 0 = 6 en k eff as eindfunctie. We vinden we een ineair verband met het aanta termen m KL. Voor het tweedimensionae geva is λ = 0.3, σ 2 = en m 0 = 8, en de eindfunctie is (3.5). We vinden een kwadratisch verband met het aanta termen m KL. Het 39

48 3. Anayse van de MLMC-methode voor het modeprobeem ɛ gemiddede waarde variantie variantie schatter geschatte onzuiverheid 2 tijd [s] λ = 0.3, σ 2 = 2 λ = 0.3, σ 2 = 0.5 λ = 0.03, σ 2 = λ = 3, σ 2 = λ = 0.3, σ 2 = e e e e e e+0 5e e e e e e+02 e e e e e e+03 5e e e e e e+04 e e e e e e+00 5e e e e e e+0 e e e e e e+02 5e e e e e e+03 e e e e e e+0 5e e e e e e+02 e e e e e e+03 5e e e e e e+04 e e e e e e+00 5e e e e e e+0 e e e e e e+02 5e e e e e-.3704e+03 e e e e e e+02 5e e e e e e+02 e e e e e e+04 5e e e e e e+04 Tabe 3.3: Parameteranayse van het modeprobeem in twee dimensies. 40

49 3.3. Leveafhankeijke schatters genormaiseerde tijd d= d= m KL Figuur 3.4: Effect van het aanta termen in de KL-expansie voor d = en d = 2 op de (genormaiseerde) rekentijd van het MLMC-agoritme. De toerantie op de RMSE is ɛ =5e-5 en de paraee impementatie met p = 20 processoren werd gebruikt. effect van het aanta termen m KL op de rekentijd van het MLMC-agoritme is dus dramatisch, en neemt toe naarmate de dimensie d =, 2,... stijgt Doesteing Het basisingrediënt voor mutieve Monte-Caro is de teescopische som (.6): E [Q M ] = E [Q M0 ] + L = ] E [Q M Q M = L E [Y ]. (3.6) Zoas eerder aangehaad mag men voor Q in (3.6) eender weke schatter gebruiken, zoang men voor het verschi Y = Q Q, = 0... L het verschi van twee dezefde schatters voor Q gebruikt. Men mag dus op ek eve de coëfficiënt k(x; ω) benaderen met een verschiend aanta termen zonder daarmee de geijkheid (3.6) te schaden. In [38] wordt aangegeven dat de performantie van de MLMC-schatter kan worden verbeterd door gebruik te maken van deze zogenaamde eveafhankeijke schatters. Het ruwe rooster (eve 0) za immers niet in staat zijn om ae kenmerken van het stochastische ved k(x, ω), dat varieert op een fijnere schaa, accuraat te benaderen. De introductie van eveafhankeijke schatters zorgt niet voor een bijkomende onzuiverheid in (3.6), maar men moet steeds oppassen om geen bijkomende modefouten te introduceren die trager convergeren dan de discretisatiefout. Beschouwen we het Gaussiaans verdeede stochastisch ved Z dat wordt afgebroken na m KL N termen (2.4): Z mkl (x; ω) E[Z(x; ω)] + m KL n= = θn f n (x)ξ n (x) (3.7) 4

50 3. Anayse van de MLMC-methode voor het modeprobeem Het bijhorende ognormaa verdeede ved is dan k mkl (x; ω) exp[z mkl (x; ω)] (zie [38]). Beschouw dan p mkl, de opossing van het modeprobeem (k mkl (x; ω) p mkl (x; ω)) = f(x; ω). (3.8) met de coëfficiënt k vervangen door de m KL -terms benadering. De convergentie van de eigenwaarden θ n ten opzichte van het aanta KL-termen kan zeer traag zijn (zie Figuur 2.3). Voor een goede benadering van E[Q L ] zijn dus een groot aanta termen vereist op het fijnste rooster = L. Wanneer de eigenwaarden {θ n } n N geordend zijn in daende grootte, dan zijn de bijhorende eigenfuncties geordend vogens toenemend aanta osciaties over D. Door het ved (3.7) nu af te breken na een gegeven aanta termen wordt dus tekens de bijdrage van de meest oscierende eigenfuncties genegeerd. Dit eidt tot zacht veropende probemen die op ruwe roosters preciezer kunnen worden opgeost. Uit [38, Sectie 4.] haen we dat M ω (p mkl ) M ω (p h m KL ) L p (Ω,H (D)) = O(h s ), 0 < s M ω (p) M ω (p mkl ) L p (Ω,H (D)) = O(m σ KL ), 0 < σ <. Hierin is M ω ( ) de functionaa waarin men is geïnteresseerd, p mkl de opossing van (3.8) (de opossing van het modeprobeem met afgebroken KL-expansie) en p h m KL de gediscretiseerde opossing van (3.8) met roosterafstand h. Om beide termen in de fout M ω (p) M ω (p h m KL ) te baanceren moet m KL, h s σ. Voor ognormaa verdeede stochastische veden met -norm covariantiefunctie is σ = s, en dus is m KL, h. Men kan aantonen dat deze resutaten de asymptotische kost (ɛ 0) van het MLMC-agoritme niet versechteren. Het voordee bij het gebruik van eveafhankeijke schatters is in absoute termen en voor een vaste toerantie ɛ. Immers, voor ognormaa verdeede k met een onderiggende expontentiëe covariantiefunctie in de -norm, is de optimae ruwste roosterafstand h 0 λ, zie [8]. Omdat in een praktische toepassing het fijnste rooster vast igt is dit mogeijk een beperking op het aanta eves dat men kan gebruiken. Door het invoeren van eve-afhankeijke schatters is er geen beperking meer op de grootte van h 0 en kan men de evestructuur bijven gebruiken Resutaten in één dimensie Figuur 3.5(a) toont de variantie van de eindfunctie (3.4) in één dimensie voor λ = 0.0 met een vast aanta termen in de KL-expansie. De mutieve Monte- Caro-methode is pas voordeig voor een ruwste roosterafstand keiner dan of geijk aan h 0 = (m ) = /64. Door het toevoegen van een eveafhankeijke schatter, waarbij men as vuistrege m KL h hanteert, kan men het aanta eves uitbreiden, zie Figuur 3.5(b). In Figuur 3.6 werd de kostenanayse uit Figuur 2.7 hernomen en vergeeken met een eveafhankeijke impementatie. Deze aatste evert een winst aan rekenkost met een factor 5.88 op het rooster met M = 32 ten opzichte van standaard Monte-Caro. De goedkoopste MLMC-schatter met vast aanta termen in de KL-expansie op dat rooster is de 2-eve schatter met kost 6.e+5. Het voordee 42

51 3.4. Besuit og 2 V[ ] 0 og 2 V[ ] Q Q Q (a) Q Q Q (b) Figuur 3.5: (a) Gedrag van de variantie van Q en Y = Q Q voor λ = 0.0, σ 2 =, m KL = 800, m 0 = 2 en N = 0 5 sampes in één dimensie. (b) Zefde figuur as in (a), maar met m KL = h. van het invoeren van eveafhankeijke schatters bijkt duideijk uit deze aatste figuur: men kan een mutieveschatter gebruiken op ruwere roosters met een agere kost tot gevog. Deze resutaten zijn erg beangrijk, zeker as λ 0: uiteindeijk za eke redeijke roosterafstand h 0 as ruw worden aanzien ten opzichte van de correatieengte λ. Door het invoeren van de eveafhankeijke afbrekingen kan de mutievebenadering ook worden toegepast voor zeer keine λ s. 3.4 Besuit Mutieve Monte-Caro-methoden hebben het potentiee om standaard Monte-Carosimuaties significant te versneen. In dit hoofdstuk werden twee technieken besproken om het modeprobeem, een eiptische PDE met ognormaa verdeede diffusiecoëfficiënt, aan te passen voor praktische doeeinden. In een eerste dee werd aangetoond dat MLMC uitstekend in parae kan worden uitgevoerd op een muticore machine. In principe kan men perfecte schaabaarheid verwachten: ek deterministisch sampe van de eiptische PDE kan onafhankeijk van ae andere worden berekend. Dit is ook wat geobserveerd werd in enkee numerieke experimenten. In een aatste dee bespraken we de toepassing van zogenaamde eve-afhankeijke schatters: door de KL-expansie voortijdig af te breken op ruwere roosters kan men de mutievestructuur uitbreiden met ruwere roosters, ook voor zeer age correatieengten λ. In het middendee werd een korte parameteranayse van het modeprobeem uitgevoerd. Het beek dat, zowe voor d = as d = 2, de parameters α en β in Theorema enke afhangen van het probeem en de eindfunctie. Men mag dus 43

52 3. Anayse van de MLMC-methode voor het modeprobeem standardised cost MC 2-eve MC 3-eve MC 4-eve MC 5-eve MC 2-eve MC trunc 3-eve MC trunc 4-eve MC trunc 5-eve MC trunc M Figuur 3.6: Gestandaardiseerde kost versus aanta roosterpunten M = m = m 0 2 voor λ = 0.3, σ 2 =, m 0 = 6 en een vaste toerantie op de standaardafwijking van de schatter, δ =e-3, voor schatters met vast aanta eves: (a) met m KL = 800 (voe ijn) en (b) m KL = h (streepijn, met abe trunc ). dezefde asymptotische kost verwachten voor eender weke correatieengte of variantie in het mode voor het stochastische ved k. 44

53 Hoofdstuk 4 Mutieve quasi-monte-caro-methoden Bij het opossen van PDEs met stochastische coëfficiënten is men geïnteresseerd in een grootheid die kan worden voorgested as de verwachte waarde van een functionaa van de opossing. In dit hoofdstuk tonen we aan dat deze grootheden zeer efficiënt kunnen worden bepaad door het combineren van (i) mutieve Monte-Caro en (ii) quasi-monte-caro (QMC). De structuur van dit hoofdstuk is as vogt: in een eerste dee situeren we het modeprobeem (2.2) in een meer agemeen kader. Daarna bespreken we rang--roosterpunten (rank- attice points), een famiie van punten voor QMC-integratie. Deze eementen worden dan gecombineerd tot een mutieve quasi-monte-caro-schatter (MLQMC). Om tot een praktisch agoritme te komen voeren we een worst-case-anayse van de fout uit. Dit evert opnieuw een uitdrukking voor het optimae aanta sampes op ek eve. Deze uitdrukking kan dan worden gebruikt bij het formueren van een mutieve quasi-monte-caro-agoritme. Bij het agoritme hoort ook een asymptotische schatting van de bijhorende rekenkost. Het hoofdstuk wordt besoten met enkee numerieke experimenten die de superioriteit van het nieuwe agoritme iustreren. 4. Veragemeende situering van het modeprobeem In de voorgaande hoofdstukken werd de stroming van grondwater doorheen poreuze media besproken. We toonden aan dat dit modeprobeem zich hereidt tot het opossen van een eiptische partiëe differentiaavergeijking met stochastische diffusiecoëfficiënt k(x; ω). Om de anayse van de MLQMC-schatter in te veragemenen, hernemen we hier het modeprobeem in een generieke context. Beschouw de SPDE (a(x, y) u(x, y)) = f(x) (4.) in een gebied D R d met gegeven randvoorwaarden (e.g. u = 0 op de rand van gebied D). Hierin is x D een fysische parameter (de ruimte) en y U is een aftebaar aanta stochastische parameters (e.g. normaa verdeede getaen in de 45

54 4. Mutieve quasi-monte-caro-methoden KL-expansie van een stochastisch ved). De fysische dimensie van het probeem is d. Verder nemen we aan dat de diffusiecoëfficiënt a(x, y) ineair afhankeijk is van de parameters y j : a(x, y) = ā(x) + y j ψ j (x). (4.2) De gemiddede waarde van de diffusiecoëfficiënt noteren we as ā en de functies ψ j zijn de eigenfuncties uit bijvoorbeed een KL-expansie van de covariantie-operator van het ved a(x, y). Onder mide voorwaarden op de gemiddede waarde ā en de fuctuatiecoëfficiënten y i kan men aantonen dat de som (4.2) convergeert en dat de opossing u van (4.) bestaat en enig is voor ae y U, zie [3]. We wensen nu de verwachte waarde van een continue functionaa G : Hmix (D) R van de opossing u(x, y) te berekenen. De ruimte Hmix is een Soboevruimte met dominating mixed smoothness, zie 4.3. De gezochte verwachte waarde is dan de integraa I(G(u)) = G(u(, y))dy. (4.3) 4.2 Opossingsstrategie De typische strategie voor het opossen van (4.3) bestaat uit drie deestappen: U (i) Breek de oneindige som in de voorsteing van de diffusiecoëfficiënt (4.2) af na een eindig aanta termen s: j= s a(x, y) = ā(x) + y j ψ j (x). j= Men noemt s de stochastische dimensie van het probeem. Deze waarde komt overeen met het aanta termen in de KL-expansie m KL uit Hoofdstuk 2. We noteren de verwachte waarde van dit afgebroken probeem as I s (G(u s )). Dan is I(G(u)) = im I s(g(u s )). s + (ii) Discretiseer de opossing van het afgebroken probeem u s tot u s h roosterafstand in de discretisatie is. waarin h de (iii) Benader de integraa I s door een kwadratuurrege Q s,n met N punten in s dimensies: I s (G(u)) Q s,n (G(u s h)). (4.4) Er zijn dus drie bronnen van fouten in de gevonden opossing: een afbrekingsfout (i), een discretisatiefout (ii) en een kwadratuurfout (iii). een Soboevruimte, vernoemd naar de Russische wiskundige Sergei Soboev ( ), is een vectorruimte van functies, uitgerust met een norm die een combinatie is van L p -normen van de functie zef en diens afgeeiden tot op zekere orde. De opossingen van partiëe differentiaavergeijkingen behoren van nature tot een Soboevruimte. 46

55 4.3. Roosterreges en functieruimten 4.3 Roosterreges en functieruimten Quasi-Monte-Caro-methoden zijn deterministische integratiemethoden die zijn ontworpen as aternatief voor Monte-Caro-integratie. In paats van de wiekeurige punten in Monte-Caro-simuaties neemt men een sequentie van meer uniform verdeede punten zodat sneere convergentie kan worden bereikt. De uniformiteit wordt gemeten aan de hand van de discrepantie (4.7), daarom noemt men dergeijke puntensets ook we age-discrepantiepunten [4, 30]. Veronderste dat men geïnteresseerd is in het benaderen van de integraa I gedefinieerd op een hoog-dimensionaa gebied U = [0, ) s I = U f(y)dy. (4.5) Een Monte-Caro-methode benadert deze integraa door een een kwadratuurrege met N punten en geijke gewichten /N van de vorm I N N f(y i ). (4.6) i= De punten y i, i =... N zijn een sequentie van s-dimensionae vectoren, onafhankeijk en uniform verdeed in de eenheidskubus [0, ) s. De centrae imietsteing [4] eert ons dan dat I ( N N i= f(y i ) ± c ) ασ N met betrouwbaarheidsniveau α. Het geta c α = Φ ( α/2) met Φ de cumuatieve distributiefunctie van de standaard normaaverdeing met gemiddede 0 en variantie. De variantie van f(y) is σ 2. Gegeven (een schatting voor) deze variantie σ 2 dan vogt hieruit het aanta benodigde sampes om een zekere nauwkeurigheid te bereiken. De Monte-Caro-schatter convergeert naar de integraa I as O(/ N), onafhankeijk van de dimensie s [30]. Wanneer we deze schatter (4.6) gebruiken voor de integraa (4.4) geeft dit I s (G(u)) N G(u s N h(, y n )) Q s,n (G(u s h)). n= Een quasi-monte-caro-methode benadert (4.5) op dezefde manier as (4.6), aeen worden de s-dimensionae integratiepunten y i niet gekozen as onafhankeijke en uniform verdeede punten in de eenheidskubus [0, ) s maar op een deterministische manier. Typische voorbeeden zijn Sobopunten en digita nets [20]. Om QMC-punten te kunnen vergeijken, met ekaar en met de uniforme verdeing, voert men het begrip discrepantie in. De discrepantie van een puntenset meet de afwijking ten opzichte van de uniforme verdeing. Voor een sequentie van punten y i [0, ) s definiëren we de okae discrepantie discr(j, P N ) #{P N J} N vo(j) (4.7) 47

56 4. Mutieve quasi-monte-caro-methoden voor een subset J van U. De okae discrepantie discr(j) is dus een maat voor het verschi tussen het werkeijke aanta punten in J en het verwachte aanta punten vo(j) in J. Voor een rechthoekige subset J(0, y ) verankerd in de oorsprong definieert men de sterdiscrepantie DN as [4] D N(P N ) = sup J E discr(j, P N ) met E de verzameing van ae mogeijke subsets J verankerd in de oorsprong. Verschiende definities voor het begrip discrepantie zijn mogeijk, a naar geang de gebruikte norm over de okae discrepantie discr(j). Men noemt een puntenset P N een age-discrepantieset as en sechts as DN (P N) = O(N (og N) s ), met andere woorden wanneer ze sneer convergeert dan standaard Monte-Caro-punten. Figuur 4. vergeijkt 50 wiekeurig verdeede punten in s = 2 dimensies met evenvee punten uit een rang--roosterrege (4.8). De beperkende factor in de nauwkeurigheid van standaard Monte-Caro-simuaties is het konteren van de wiekeurige uniform verdeede punten uit een pseudo-random number generator of PRNG, zie [5]. De punten zijn immers onafhankeijk: ze deen geen informatie met ekaar. Het is mogeijk dat twee punten zeer dicht bij ekaar iggen en daardoor de ruimte minder uniform opvuen. Quasi-Monte-Caro-methoden gebruiken een deterministische sequentie van punten die gecorreeerd zijn juist om die kontering te verhinderen. Merk op hoe het eenheidsvierkant in Figuur 4. meer uniform wordt opgevud. In wat vogt zijn we geïnteresseerd in zogenaamde rang--roosterreges (rank- attice rues) met punten ( ) nz y i = frac N + P N +, (4.8) waarin frac( ) het fractionee dee van een geta 2 is, z Z s een deterministische s- dimensionae genererende vector (generating vector) en U(0, ) s een wiekeurige verschuiving (random shift) met U de uniforme verdeing. We noteren deze set van roosterpunten (attice points) as P n en de opteing P N + moet moduo worden geïnterpreteerd. Wanneer deze set van punten wordt gebruikt voor het benaderen van I s (G(u)) (4.4) geeft dit I s (G(u)) N N n= ( ( ( ))) nz G u s h, frac N + Q s,n (P N + ; G(u s h)). Om een foutenschatter op het resutaat te bekomen neemt men in de praktijk q verschiende sets van onafhankeijke en identiek verdeede (iid 3 ) verschuivingen (shifts) j, j =... q: I s (G(u)) q Q s,n (P N + j ; G(u s q h)). j= 2 frac(x) = x mod as x > 0 en frac(x) = ( + x) mod as x < 0. 3 Een sequentie van stochastische variabeen is onafhankeijk en identiek verdeed (independent and identicay distributed of iid) as eke stochastische variabee dezefde kansverdeing heeft as ae andere en as ae stochastische variabeen ondering onafhankeijk zijn. 48

57 4.3. Roosterreges en functieruimten (a) (b) Figuur 4.: (a) 50 Monte-Caro-punten in s = 2 dimensies (b) 50 quasi-monte- Caro-punten in s = 2 dimensies in basis 2 met genererende vector z =[ 82667]. De verwachte waarde van de schatter is dan nog steeds de gewenste integraa I s en een foutenschatter vogt uit het betrouwbaarheidsinterva over de verschiende j. Om de uniform verdeede punten y te transformeren tot standaard normaa verdeede punten, zoas in het modeprobeem uit de vorige hoofdstukken, kan men gebruik maken van de inverse cumuatieve distributiefunctie: ξ i = 2Φ (y i ) = 2erf (2y i ) N, met N de normae verdeing. Vooraeer verder te gaan tot het construeren van een MLQMC-agoritme introduceren we enkee begrippen uit de numerieke anayse. Deze begrippen zuen van pas komen bij de foutenanayse van de schatter. We vogen hier grotendees [34]. De anayse van QMC integratie vereist typisch een functieruimte gedefinieerd ten opzichte van de punten y. We beschouwen de gewogen en niet-verankerde Soboevruimte Hmix waarin de norm van f = G(us h ) H mix gegeven wordt door f 2 Hmix = u {:s} γu [0,] u u f 2 (y [0,] s u y u ; y u )dy u dy u u. (4.9) De variabeen (y j ) j u worden voorgested door y u en de variabeen (y j ) j {:s}\u worden voorgested door y u. Er is een gewichtsparameter γ u geassocieerd met eke groep van variabeen y u = (y j ) j u met indices behorende tot de verzameing u. Voor het modeprobeem zijn deze gewichten γ u van het POD- of SPOD-type, zie [3] and [28]. De Soboevruimte Hmix is een speciaa geva van de Hibertruimten die hieronder worden besproken. Definitie 4.. (RKHS) De Hibertruimte met reproducerende kern ( reproducing kerne Hibert space of RKHS) H is een Hibertruimte 4 geassocieerd met een kernfunctie 4 Een Hibertruimte, vernoemd naar de Duitse wiskundige David Hibert ( ), is de 49

58 4. Mutieve quasi-monte-caro-methoden K die eke functie in de ruimte kan voortbrengen door midde van een inwendig product, of equivaent, eke functionaa T y (f) = K(, y, f H in H die een puntevauatie is in y U = [0, ) s is begrensd (en dus continu). Met eke RKHS is een kernfunctie geassocieerd as vogt: Definitie 4.2. (voortbrengende kernfunctie) Een functie K : U U R is een voortbrengende kernfunctie van de Hibertruimte H as en sechts as voor eke y U = [0, ) s en f H gedt dat K(, y) H en T y (f) = f(y). Men noteert de ruimte H met voortbrengende kernfunctie K as H(K). Definitie 4.3. (verschuivingsinvariantie) Een voortbrengende kernfunctie is verschuivingsinvariant ( shift invariant) as voor eke x, y, U = [0, ) s gedt dat K shinv (frac (x + ), frac (y + )) = K shinv (x, y), met K shinv de verschuivingsinvariante kernfunctie. As een voortbrengende kernfunctie verschuivingsinvariant is, dan kan ze geschreven worden in functie van één variabee: K shinv (x, y) = K shinv (frac (x y), 0). Deze verschuivingsinvariante kernfunctie K shinv (x, y) is de voortbrengende kernfunctie van een verschuivingsinvariante RKHS H shinv. Nu bijkt dat het atijd mogeijk is om de RKHS H om te vormen tot een geassocieerde RKHS H shinv door de kernfunctie K uit te middeen over ae mogeijke verschuivingen: K shinv (x, y) = U K (frac (x + ), frac (y + )) d Tot sot definiëren we de ergst-mogeijke fout (worst-case error) van de kwadratuurrege Q die de integraa I van functies f in de ruimte H(K) benadert as e 2 worst-case(q, V ) sup I(f) Q(f). (4.0) f H(K) f H(K) Men kan dan aantonen dat de mean-square worst-case-error in de RKHS H(K) gebruik makende van een rang--roosterrege P N + met wiekeurige verschuiving veragemening van een eucidische ruimte naar een ruimte met een eindig of oneindig aanta dimensies. De ruimte is uitgerust met een norm geïnduceerd door een inwendig product. Daardoor zijn afstanden en hoeken gedefinieerd. 50

59 4.4. De MLQMC-schatter geijk is aan het kwadraat van de ergst-mogeijke fout in de bijhorende ruimte H shinv met puntenset P N, zie [37]: ] E [e 2 worst-case(p N +, K) = e 2 worst-case(p N, K shinv ). Bovendien gedt voor een roosterrege met q wiekeurige verschuivingen dat ] E [e 2 worst-case(q P N, K) = q e2 worst-case(p N, K shinv ) waarin q P N de q wiekeurige verschuivingen van P N voorstet, zie [37] voor detais. 4.4 De MLQMC-schatter In wat vogt bespreken we hoe de QMC-schatter kan worden gecombineerd met de mutieve Monte-Caro-schatter tot een MLQMC-schatter Formuering van de MLQMC-schatter We hernemen de kerngedachte van het MLMC-agoritme: beschouw een sequentie van eves M, = 0,... en noteer de opossing van de PDE met afgebroken aanta termen in de diffusiecoëfficiënt op eve as u s. De mutieve Monte-Caro schatter die gebruik maakt van L eves is I s (G(u)) L ( Q G(u s ) G(u s ) ) Q L (G(u s )). =0 met Q een schatter voor het verschi G G(u s ) G(us ). Verder definiëren we G(u ) 0. As de variantie van het verschi G keiner is dan de variantie van G(u s ), en as sampes op eve = 0 goedkoper zijn dan op een fijner rooster, dan is de mutieveschatter goedkoper dan de standaard Monte-Caro-schatter. Gebruiken we voor Q een gewone Monte-Caro-schatter, i.e. Q (G ) = Q s,n (G ) dan bekomt met een mutieve Monte-Caro-agoritme (MLMC). As Q benaderd wordt door een quasi-monte-caro-schatter is, zoas bovenstaande roosterrege Q (G ) = Q s,n (P N + ; G ) dan bekomt men een mutieve quasi-monte-caroagoritme (MLQMC). Beschouwen we de set van verschuivingen = { 0,... L } dan kan men de MLQMC-schatter met gegeven rang--roosterrege definiëren as Q L ( ; G(u s )) = = L Q s,n (P N + ; G ) =0 L N N =0 n= [ ( ( ( ))) ( ( ( )))] nz nz G u s, frac N + G u s, frac N + We beschouwen dus een verschiende verschuivingsvector op ek eve. Merk op dat u s en us opnieuw gebaseerd zijn op een sampe met dezefde wiekeurige getaen. 5

60 4. Mutieve quasi-monte-caro-methoden Foutenanayse De anayse van de fout I(G(u)) Q L ( ; G(u s )) za ons opnieuw een optimaa aanta sampes N op ek eve opeveren. We schrijven I(G(u)) Q L ( ; G(u s )) = I(G(u)) L Q s,n (P N + ; G ) =0 L L = I(G(u)) I s (G ) + (I s Q s,n (P N + ))(G } =0 {{ } =0 } {{ } A B = A + B( ) waarbij we gebruik maken van de operatornotatie Q(P + )(G) = Q(P + ; G). De eerste (deterministische) term, A, is afkomstig van de afbrekingsfout en de discretisatiefout, A = [I(G(u u s L ))] = [I(G(u u L))]+[I(G(u L u s L ))]. De tweede term, B, is de kwadratuurfout. De mean-square error (MSE) wordt dan [ I(G(u)) E Q L ( ; G(u s )) 2] [ = E A + B( ) 2] ] = E [ A 2 + B( ) A B( ) [ = A 2 + E B( ) 2] [I(G(u u L ))] 2 + [I(G(u L u s 2 } {{ L))] } + L =0 E [ (I s Q s,n (P N + ))(G ) 2] } {{ } 2 (4.) waarbij de verwachte waarde wordt genomen over ae verschuivingen. In de derde geijkheid verdwijnt de kruisproductterm omdat de roosterrege een zuivere schatter is, i.e. E [B( )] = 0, de verschuivingen zijn immers iid. is opnieuw afkomstig van de afbrekingsfout en de discretisatiefout, en 2 is de stochastische fout. Het is deze aatste die we wensen te minimaiseren tegen vaste kost om het optimae aanta sampes N te bepaen. In de praktijk neemt men opnieuw q verschiende sets van iid verschuivingen,j, j =... q: 52 Q L q ( ; G(u s )) = L =0 L =0 q q Q s,n (P N +,j ; G ) j= Q, (4.2)

61 4.4. De MLQMC-schatter waarin Q een schatter is voor G gebruik makende van een gerandomiseerde rang--roosterrege met verschuiving,j. Er zijn dus L q verschiende verschuivingsvectoren van engte s. Met behup van de ergst-mogeijke foutenanayse uit 4.3 kan men voor deze q verschuivingen uit (4.2) de stochastische fout 2 schrijven as 2 = L =0 L =0 L =0 E [ (I s Q s,n (P N + ))(G ) 2] q e2 worst-case(p N ; H mix) G 2 H mix q G 2 Hmix Cs,δ 2 N 2δ waarin een puntenset werd gebruikt met convergentie O(/N δ ) en C s,δ een constante die afhangt van de dimensie van de integraa s en de gebruikte puntenset P N. Deze uitdrukking voor de stochastische fout van de MLQMC-schatter kan nu worden geminimaiseerd tegen vaste kost om het optimae aanta sampes N op ek eve te bepaen Optimaa aanta sampes Net as in..3 kunnen we een uitdrukking vinden voor het optimae aanta sampes op ek eve zodanig dat de stochastische fout wordt geminimaiseerd. Daartoe formueren we vogend minimaisatieprobeem: L min G 2 Cs,δ 2 N q Hmix N 2δ =0 s.t. qn C = cte, = 0... L. qn is het totae aanta sampes dat wordt genomen op eve en C is de kost van één sampe van G op eve. Dit is een optimaisatieprobeem met geijkheidsbeperking dat opnieuw kan worden geschreven as een probeem zonder beperkingen. Introduceren we daartoe de Lagrangevermenigvudiger λ dan geeft de eerste-orde optimaiteitsvoorwaarde dat of 2δ q N 2δ+ C 2 s,δ G 2 H mix + λqc = 0 N = 2δ+ 2δC2 s,δ G 2 Hmix λq 2. (4.3) C Gewone Monte-Caro-punten convergeren as O(N /2 ) dus is δ = /2, N = en q is het aanta sampes. Op die manier zijn de wiekeurige punten opnieuw 53

62 4. Mutieve quasi-monte-caro-methoden onafhankeijk. We vinden inderdaad dat het aanta sampes proportionee moet zijn met /C, zie (.3). Daarom kiezen we Cs,δ 2 G 2 V[G Hmix ]. We verondersteen dus dat de variantie ( ) 2 V[f] = f(y) f(y)dy dy [0,] s [0,] s een maat is voor de norm (4.9) Een praktische formue voor het aanta sampes Overeenkomstig.2. moet men (4.3) omvormen tot een praktisch bruikbaar criterium. In wat vogt nemen we aan dat QMC-punten met δ = worden gebruikt. We wensen dat de kwadratuurfout 2 keiner is dan ɛ 2 /2. Combinatie met (4.3) geeft N (V[G ) 2 q ɛ 2 C2 3 ] 2 L 3 s,δ Ci 2V[G i]. (4.4) Dit is ook de uitdrukking die ater in de numerieke experimenten za worden gebruikt. 4.5 Het MLQMC-agoritme Men kan nu, anaoog aan.2.3, een agoritme construeren gebruik makende van de resutaten (4.), (4.2) en (4.4). Om de vereiste QMC-punten te genereren maken we gebruik van de impementatie in [36] met een genererende vector z uit [26]. Het is beangrijk om op te merken dat de roosterrege uitbreidbaar moet zijn: het totae aanta punten is a priori niet gekend, en men moet de sequentie van punten kunnen stoppen en starten bij een webepaade index. Start met L = ; 2 repeat 3 L L + ; 4 Genereer q wiekeurige verschuivingen L,j ; 5 Schat V[G L ] door de steekproefvariantie voor een initiee aanta sampes q N 0 L ; 6 Bereken het optimae aanta sampes op ek eve = 0... L met (4.4); 7 for j =... q do 8 Neem extra sampes met verschuivingen,j op ek eve L vogens de nieuwe N ; 9 end 0 if L then Test op convergentie met (.7); 2 end 3 unti geconvergeerd; Stap (6) in het agoritme zorgt er voor dat de stochastische fout keiner is dan ɛ 2 /2, en stap () zorgt er voor dat de bias keiner is dan ɛ/ 2. De q verschuivingen aten 54 C i=0

63 4.6. Theoretische rekenkost van de MLQMC-schatter ons dan toe om een foutenschatter op te steen voor het bekomen resutaat. In [2] wordt aangegeven dat in principe q, het aanta verschuivingen per eve, ook afhangt van dat eve. Er is echter maar een mide afhankeijkheid en men raadt aan om een vast aanta verschuivingen 0 < q < 30 te gebruiken. Hoe keiner het aanta verschuivingen, hoe groter de winst aan rekenkost, maar hoe minder nauwkeurig de foutenschatter op het resutaat. 4.6 Theoretische rekenkost van de MLQMC-schatter Net zoas in..3 kan men de asymptotische ɛ-rekenkost van de MLQMC-schatter bepaen. Deze kost is dezefde as voor de MLMC-schatter (weiswaar met keinere N ) vermenigvudigd met q, het aanta verschuivingen: Combinatie met (4.3) geeft ( ) C Q L q ( ; G(u s )) = q L N C =0 ) C ɛ (Q L L q ( ; G(u s )) q /3 3 V[G L ]C 2. Wanneer dus de variantie V[G L ] twee keer zo sne of sneer daat met dan de kost C stijgt igt de dominante rekenkost op eve 0. Omgekeerd, wanneer de variantie V[G L ] meer dan twee keer zo sne stijgt dan de kost C daat igt de dominante kost op grootste eve L. Anaoog aan..3 kunnen we deze resutaten formueren as een Theorema. Neem aan dat men over een puntenset beschikt waarvoor het verband tussen de variantie van de schatter en de variantie van de grootheid waarin men is geïnteresseerd gegeven wordt door V[Q ] N 2δ V[G ]. Voor mutieve Monte-Caro betekent dit dat V[Ŷ] N M β en dus V[Y ] M β omdat V[Ŷ] = N V[Y ] (zie voorwaarde (ii) in Theorema ). Voor mutieve quasi- Monte-Caro met rang--roosterreges in Hmix verondersteen we het verband tussen de variantie van de schatter en de variantie van de functie V[Q ] = N 2 V[G ]. Onderstaand Theorema wordt gegeven in [39], in een icht andere vorm. Voor het bewijs verwijzen we ook naar [39]. Theorema 2. Veronderste dat er positieve constanten α, β en γ bestaan met α 2 min(β, 2δγ) en δ [/2, ) en dat vogende drie voorwaarden zijn vodaan: (i) [ ] E I s (G(u h s )) I(G(u)) M α, (ii) V[Q ] N 2δ M β (iii) C M γ. en =0 55

64 4. Mutieve quasi-monte-caro-methoden Dan gedt voor eke ɛ < exp( ) dat er een geta L en een rij {N } L =0 bestaan zodat de MSE ( [ 2 ( ) ] 2 e Q L q ( ; G(u ))) s E Q L q ( ; G(u s )) I(G(u)) < ɛ 2 en dat ( ) C Q L q ( ; G(u s )) ɛ /δ ɛ /δ (og ɛ) +/(2δ) ɛ /δ (γ β/2)/α as β > 2δγ, as β = 2δγ, as β < 2δγ. (4.5) Voor gewone mutieve Monte-Caro is δ = /2 en dus verwachten we een kost die groeit as /ɛ 2 as β > γ. Voor mutieve quasi-monte-caro met wiekeurig verschoven rang--roosterreges in H mix is δ = en verwachten we een kost O(ɛ ) as β > 2γ. In het imietgeva δ voor zogenaamde hogere-orde QMC-methoden is het zefs mogeijk om een exponentiee daende kost te bereiken in Theorema Resutaten In wat vogt bestuderen we de efficiëntie van het nieuwe MLQMC-agoritme aan aan de hand van enkee numerieke experimenten. We tonen eerst aan dat het agoritme convergeert, en dat het bovendien convergeert naar de juiste opossing. We beschouwen het modeprobeem (2.2) in twee dimensies en modeeren de diffusiecoëfficiënt as een ognormaa verdeed ved met correatieengte λ = en variantie σ 2 = en een vast aanta termen in de KLexpansie m KL = 50. Deze waarde komt overeen met de stochastische dimensie s uit voorgaande anayse en igt dichter bij de praktijk dan de 400 termen uit Hoofdstuk 3. De ruwste roosterafstand is h 0 = /8. De verdere parameters worden gespecifieerd in onderstaande tabe. parameternaam symboo waarde correatieengte λ variantie σ 2 ruwste roosterafstand h 0 /8 aanta KL-termen m KL 50 aanta verschuivingen q 0 schaafactor voor het aanta sampes N C s,δ 5 initiee aanta sampes voor variantieschatting N 0 6 orde van convergentie van voorwaarde (i) in Theorema 2 α.4956 orde van convergentie van voorwaarde (ii) in Theorema 2 β toename van de rekenkost γ.436 De eindfunctie is de druk op x = (0.5, 0.5), waarvoor de exacte waarde gekend is door onderstaande steing, zie [2]. 56

65 4.7. Resutaten 0 0 absoute fout % 4%4%4% 2% 8%4%2% absoute fout % 2% 8% 8% 6% 4%8% 6% ɛ ɛ (a) MLMC (b) MLQMC Figuur 4.2: Bereikte absoute fout ten opzichte van de gevraagde toerantie op de RMS-ɛ voor n = 50 simuaties op eke toerantie. De fout is voor ek van de gevaen normaa verdeed (Komogorov-Smirnovtest). De getaen bovenaan is het percentage aan simuaties dat een fout heeft groter dan gevraagde RMS-ɛ. Steing 4.. Gegeven het modeprobeem (2.2) op D = [0, ] 2 dan gedt dat voor x = (0.5, 0.5) E [p(x ; ω)] = 0.5. Bewijs. Beschouw de bijectie γ(x) ( x, x 2 ) op D en definieer k γ (x; ω) k(γ(x); ω) en p γ (x; ω) p(γ(x); ω). Dan vodoet het koppe (k γ, p γ ) eveneens aan het modeprobeem (2.2), immers p γ (x; ω) = p(γ(x); ω). Omdat het ognormaa verdeede ved k = og Z, met Z een Gaussiaans verdeed ved, een covariantiefunctie C(x, y) (2.3) heeft die invariant is onder de transformatie γ gedt dat k γ k en dus is E [p(x; ω)] = E [p γ (x; ω)] = E [ p(γ(x); ω)] = E [p(γ(x); ω)]. Verder gedt dat γ(x ) = x en dus is het gestede bewezen. Figuur 4.2 vergeijkt de bereikte absoute fout in n = 50 reaisaties van het MLMC- en MLQMC-agoritme voor verschiende toeranties op de RMSE. De fout is in ae gevaen normaa verdeed (Komogorov-Smirnovtest, [3]) met gemiddede waarde 0. Uit [32, Hoofdstuk 6] weten we dan dat 68.27% van de waarden binnen één standaardafwijking van het gemiddede iggen. Dit bijkt inderdaad het geva te zijn, zowe voor MLMC as voor MLQMC. De getaen boven de grafiek tonen het aanta reaisaties in procent met een absoute fout die toch groter is dan gevraagde RMS-ɛ. 57

66 4. Mutieve quasi-monte-caro-methoden N ɛ = 5e-3 ɛ = e-3 ɛ = 5e-4 ɛ = e-4 ɛ = 5e-5 ɛ = e-5 q N ɛ = 5e-3 ɛ = e-3 ɛ = 5e-4 ɛ = e-4 ɛ = 5e-5 ɛ = e (a) MLMC (b) MLQMC Figuur 4.3: (a) aanta sampes op ek eve voor verschiende toeranties ɛ op de RMSE voor MLMC (b) totaa aanta sampes op ek eve voor verschiende toeranties ɛ op de RMSE voor MLQMC. Merk op dat het vereiste aanta sampes vogens (4.4) een ondergrens heeft geijk aan het minimae aanta sampes q N 0 voor het schatten van V[G ]. methode orde MC MC* QMC QMC* MLMC MLQMC.0260 Tabe 4.: Orde van convergentie voor eke methode in Figuur 4.4. Vervogens bestuderen we in Figuur 4.3 hoe het totae aanta sampes verdeed is over de evestructuur. Het totae aanta sampes q N in het MLQMC-agoritme is beduidend ager dan in het MLMC-agoritme. De ondergrens op het totae aanta sampes is q N 0, het aanta sampes dat wordt genomen voor het schatten van V[Y ]. Deze afname in aanta sampes resuteert ook in een keinere standaardkost. Figuur 4.4 vergeijkt de gestandaardiseerde rekenkost (2.7) en (2.8) voor gewone Monte-Caro, quasi-monte-caro, mutieve Monte-Caro en mutieve quasi-monte- Caro. De bereikte orde van convergentie staat in Tabe 4.. Merk op dat we voor gewone Monte-Caro-simuatie (i.e. MLMC met L = ) geen O(/ cost) bereiken. Dat komt omdat de sampes voor verschiende toeranties op verschiende roosters worden genomen. Immers, we wensen de RMSE te mi- 58

67 4.7. Resutaten ɛ MC MLMC QMC MLQMC MC* QMC* rekenkost Figuur 4.4: Gevraagde toerantie ten opzichte van de gestandaardiseerde rekenkost voor ek van de vier methoden en geschatte orde van convergentie. nimaiseren, die bestaat uit een stochastische fout en een discretisatiefout. Het optimaisatiecriterium (.) minimaiseert deze eerste stochastische fout, onafhankeijk van de overbijvende discretisatiefout. Voor een grotere toerantie op de RMSE kan dan een ruwer rooster worden gebruikt die de discretisatiefout toch vodoende kein houdt. Dit ruwer rooster eidt tot een keinere standaardkost ten opzichte van dezefde simuatie op het fijnste eve L = 7. Wanneer we eenzefde simuatie (MC*) doen waarbij de roosterafstand h constant is op eve L = 7 verkrijgt men inderdaad de verwachte orde van convergentie voor een Monte-Caro-methode. Op anaoge wijze bereikt men geen O(/cost) voor QMC, we voor QMC* met een vast rooster. De MLMC-methode heeft een keinere standaardkost dan QMC maar zefde orde van convergentie. Merk op dat het resutaat vodoet aan Theorema 2: β > γ en δ = /2 dus is de asymptotische kost van agoritme O(ɛ 2 ). De nieuwe MLQMCmethode is een significante verbetering ten opzichte van de voorgaande methodes. Het combineren van QMC en een mutievestructuur eidt tot een methode die wé O(/cost) is. Er bestaat immers een α min{β/2, γ} en een β > 2γ. Uit Theorema 2 vogt dan dat de rekenkost van het MLQMC-agoritme O(ɛ ) is. Het verschi in orde van convergentie tussen deze methodes komt beter tot uiting wanneer de echte rekentijden worden beschouws, zie Figuur 4.5. Door extrapoatie van de echte tijden kan men voor een gevraagde toerantie ɛ op de RMSE de grootte-orde van de simuatieduur voor ek van de vier methoden schatten. Hoewe de MLQMC-methode convergeert naar de juiste opossing is een foutenschatter op het resutaat niet direct toegankeijk. Voor mutieve Monte-Caro is er een onmiddeijk verband tussen de variantie van de eindfunctie V[Y L ] en de variantie van de schatter V[ŶL], nameijk V[ŶL] = N V[Y ]. Voor mutieve quasi-monte- Caro moet men de variantie van de schatter haen uit de variantie V over de q verschuivingen van het gemiddede van de eindfunctie G voor N reaisaties. We vinden dat V[Q ] = N V een goed criterium is voor de variantie van de schatter. 59

68 4. Mutieve quasi-monte-caro-methoden totae simuatietijd [ s ] MC QMC MLMC MLQMC jaar 0 8 maand dagen 0 4 uur ɛ Figuur 4.5: Extrapoatie van de echte rekentijden voor een asymptotische toerantie ɛ 0. Op die manier kan men een adaptief agoritme opsteen voor C s,δ en deze parameter verhogen totdat de variantie van de schatter keiner is dan ɛ 2 /2. We vinden C s,δ Besuit In dit hoofdstuk toonden we aan dat de mutieveschatter (.8) significant kan worden verbeterd door het combineren van MLMC en wiekeurig verschoven rang-- roosterreges. Daartoe moesten we het modeprobeem (2.2) in een meer agemeen kader paatsen en opnieuw een uitdrukking zoeken voor de fout van de resuterende schatter. De worst-case-anayse van deze fout everde dan opnieuw een optimaa aanta sampes N. We observeerden dat de norm van de functionaa waarin men is geïnteresseerd grote overeenkomsten vertoont met de variantie. Door voor deze norm de variantie in te vuen kunnen we opnieuw een werkbaar agoritme voor MLQMC formueren. In principe moet men immers, zoas in [29], de RMSE afschatten met de gewogen som uit een CBC-agoritme indien de functionaa behoort tot een Soboevruimte met POD-gewichten [4, 27] of SPOD-gewichten [2, 3]. Dit eidt tot compexe uitdrukkingen voor (4.4). Bij het agoritme hoort ook een veragemeend Theorema dat de kost voor het agoritme voorspet, gegeven bepaade parameters van het probeem. In numerieke experimenten beek ten sotte duideijk de superioriteit van het nieuwe MLQMCagoritme ten opzichte van de bestaande methoden: MC, QMC en MLMC. 60

69 Hoofdstuk 5 Mutieve Monte-Caro met meerdere eindfuncties In dit hoofdstuk wordt bekeken hoe de mutieve Monte-Caro-methode kan worden uitgebreid voor het bepaen van meerdere eindfuncties in dezefde simuatie. Zo n situatie doet zich voor wanneer men bijvoorbeed geïnteresseerd is in het drukveroop angsheen een doorsnede van het fysische integratiedomein. Het za bijken dat de eindfunctie met de grootste mutievecorrectieterm bepaend is voor het aanta sampes op dat eve. Het hoofdstuk wordt besoten met enkee numerieke experimenten waarbij het modeprobeem, de stroming van grondwater doorheen poreuze media, wordt opgeost op meer uitdagende geometrieën. 5. Uitbreiding naar meerdere eindfuncties Veronderste dat men bij het simueren van een stochastische partiëe differentiaavergeijking niet geïnteresseerd is in de verwachte waarde van één enkee eindfunctie Q M, maar in de verwachte waarde van P functionaen Q M,p, p =... P. In paats van P afzonderijke simuaties te doen is het mogeijk om de verwachte waarde van ae eindfuncties te bepaen in sechts één simuatie zodanig dat aan een bepaade toerantie ɛ p op de RMSE is vodaan. Om het optimae aanta sampes op ek eve te bepaen kan men opnieuw een optimaisatieprobeem opossen. Men wenst de totae rekenkost L N C =0 te minimaiseren waarbij de stochastische fout voor ek van de P eindfuncties aan een ongeijkheidsbeperking moet vodoen: L =0 N V,p ɛ2 p, p =... P. (5.) 2 Hierin is V,p = V [Q,p Q,p ], de variantie van de mutievecorrectieterm voor eindfunctie p, en ɛ p is de gewenste nauwkeurigheid op de RMSE voor die eindfunctie. 6

70 5. Mutieve Monte-Caro met meerdere eindfuncties Dit eidt tot een optimaisatieprobeem met P beperkingen en de invoering van P Lagrangevermenigvudigers. Het is echter niet a priori duideijk wek van de P vermenigvudigers actief za zijn [8]. Een eenvoudigere en meer praktische benadering is het invoeren van V = max p V,p ɛ 2 p en as enige beperking in het optimaisatieprobeem te eisen dat L =0 N V 2. Dit is opnieuw een probeem met sechts één Lagrangevermenigvudiger en dezefde optimae opossing as voorheen. Concreet moet men in een simuatie dus op eve de variantie V,p van de eindfunctie p invuen in (.6) waarvoor V,p /ɛ 2 p maximaa is. Voor ek van de P overbijvende functionaen is (5.) dan zeker vodaan. 5.2 Numerieke resutaten In wat vogt worden bovenstaande resutaten toegepast op de eiptische SPDE in twee dimensies uit het modeprobeem (2.2). De meerdere eindfuncties die gezocht worden corresponderen tekens met het drukveroop p( x; ω) angsheen een doorsnede x van het domein. Eerst beschouwen we de eiptische PDE uit het modeprobeem met verschiende randvoorwaarden. Daarna wordt een medium dat bestaat uit meerdere agen bestudeerd. Tot sot bekijken we een geometrie met een centrae uitsparing Andere randvoorwaarden Herneem de probeemsteing van de eiptische PDE (k(x; ω) p(x; ω)) = f(x) op het domein [0, ] d, d = 2 zoas in Figuur 5.. De randvoorwaarden zijn die van een eenvoudige fow ce: een voorgeschreven druk p inks en rechts en geen uitstroom op x 2 = 0 en x 2 =. k is een ognormaa verdeed ved met correatieengte λ = en variantie σ 2 =. Het stochastische ved wordt voorgested door een KL-expansie met m KL = 400 termen. De roosterafstand op het ruwste rooster is h 0 = /8. Beschouw dit modeprobeem met p = en p 2 = 0. Er is geen bronterm (f 0). Figuur 5.2(a) toont de druk angsheen een doorsnede van het domein, aangeduid met de streepijn in Figuur 5.. De keurcode is de (genormaiseerde) kansdichtheid van de eindfunctie zodat de maximae kans voor eke positie angsheen de doorsnede is. De waarde 0 komt overeen met de 3σ-vuistrege [32]. Merk op dat de eindfunctie met maximae variantie zich in het midden van de doorsnede bevindt. Naarmate 62

71 5.2. Numerieke resutaten p n = 0 p p 2 x x p n = 0 Figuur 5.: Probeemsteing van de tweedimensionae fow ce: een voorgeschreven druk inks en rechts en geen uitstroom aan boven- en onderkant. men de randen nadert verkeint deze onzekerheid, om heemaa te verdwijnen op de rand. Daar is de exacte opossing immers gegeven door de randvoorwaarden. Figuur 5.2(b) toont dezefde resutaten voor het modeprobeem met p = 0 en p 2 = 0. De bronterm is nu f. Opnieuw is de variantie van de druk p(x; ω) maximaa op x = 0.5 en verdwijnt de onzekerheid aan de randen. De aanwezigheid van een bronterm f verhoogt de variantie van ae eindfuncties Geaagd medium Een rotsformatie die vaak wordt aangetroffen in de praktijk is een gekanaiseerd medium. We verdeen D = [0, ] 2 in drie horizontae agen en modeeren de permeabiiteit door verschiende stochastische veden. Voor de middenaag /3 < x 2 < 2/3 nemen we een correatieengte λ = 0., een variantie σ 2 = en een gemiddede waarde (i.e. og( Z) in (2.4)) µ = 4. Het ognormaa verdeede stochastisch ved wordt gereaiseerd met behup van een KL-expansie met 800 termen. We nemen aan dat de boven- en onderaag uit een identiek materiaa bestaat waarvoor de permeabiiteit kan worden gemodeeerd aan de hand van een ognormaa verdeed ved met correatieengte λ 2 =, variantie σ2 2 = en gemiddede waarde µ 2 = 0. In de KL-expansie worden 52 termen gebruikt. Deze probeemsteing wordt geschetst in Figuur 5.3. Verder nemen we aan dat p = 0 en p 2 = 0. De bronterm is f =. Beschouw dan een doorsnede van het domein angsheen de x 2 -as op x = 0.5, zoas aangegeven door de streepijn in Figuur 5.3. De druk angsheen deze doorsnede staat weergegeven in Figuur 5.4(a). De grijswaarden komen opnieuw overeen met de genormaiseerde kansdichtheidsfunctie. Merk op hoe de drieagenstructuur duideijk zichtbaar is. In het kanaa /3 < x 2 < 2/3 is de druk ager. De stroming kiest dan 63

72 5. Mutieve Monte-Caro met meerdere eindfuncties p(x) 0.6 p(x) x x (a) (b) Figuur 5.2: De druk angsheen een doorsnede van het domein in Figuur 5.. (a) het geva p =, p 2 = 0, f 0. (b) het geva p = 0, p 2 = 0, f deze weg met de minste weerstand, en dus keinste druk. De variantie van de de druk in het kanaa is keiner dan de variantie in de boven- en onderaag. Dit resutaat is in overeenstemming met de parameteranayse uit Hoofdstuk 3: hoe keiner de correatieengte, hoe keiner de variantie van de eindfunctie. De correatieengte λ geeft immers de afhankeijkheid weer tussen twee nabijgeegen punten van het domein. Merk op dat hier ook de druk aan de randen onzeker is, omwie van de Neumann-randvoorwaarde Andere geometrieën Beschouw een domein zoas voorgested in 5.5. Dit kan een stuk rots zijn waarin in het midden een vierkant gat werd geboord met afmetingen (/4 /4). Op de randen van dit gat verondersteen we de druk gekend, p =. Het ognormaa verdeede ved heeft correatieengte λ = en variantie σ 2 =. De druk aan de randen p = en p 2 = 0. Er is geen bronterm. De drukverdeing angsheen een doorsnede vogens de x -as in x 2 = 0.5 worden getoond in Figuur 5.4(b). Merk op dat de variantie van eindfunctie nu is daar waar de Dirichetvoorwaarden moeten vodaan zijn. Dit is ook het geva op de randen van de uitsparing. Om een meer diepgaande fysische anayse van het probeem te maken kan men ook de druk op verschiende punten in het ganse domein as eindfunctie kiezen. Dit aat toe om de contourijnen van het drukveroop over het ganse gebied te visuaiseren, zoas in Figuur 5.6(a). Uit dit drukprofie kan men dan de benaderende richting van de stroomijnen op ek van de punten bepaen. Deze zijn weergegeven door de pijen in 64

73 5.2. Numerieke resutaten p n = 0 materiaa p materiaa 2 p 2 x x 2 materiaa 0 0 x p n = x 2 0 Figuur 5.3: Probeemsteing van de geaagde tweedimensionae fow ce: een voorgeschreven druk inks en rechts en geen uitstroom aan boven- en onderkant. De bovenste en onderste aag bestaat uit een identiek materiaa, waarvan de permeabiiteit wordt gemodeeerd door een ognormaa verdeed stochastisch ved p(x2) 0.2 p(x) x 2 x (a) (b) Figuur 5.4: (a) de drukverdeing angsheen een doorsnede van het domein [0, ] 2 op x = 0.5 vogens de x 2 -richting voor het gekanaiseerde medium. (b) de drukverdeing angsheen een doorsnede van [0, ] 2 op x 2 = 0.5 vogens de x -richting voor het probeem met centrae uitsparing. 65

74 5. Mutieve Monte-Caro met meerdere eindfuncties p n = 0 p p 2 x x p n = 0 Figuur 5.5: Voorsteing van een stuk rots in het gebied [0, ] 2 met een vierkante uitsparing in het midden. De streepijn is de doorsnede zoas getoond in Figuur 5.4(b). dezefde figuur. De variantie van de druk op deze punten is getoond in Figuur 5.6(b). De variantie is maximaa in het punt (0.76, 0.55). Aan de randen x = 0, x 2 = 0 en op de uitsparing is de variantie nu omwie van de Dirichetrandvoorwaarde. De rekentijd voor een dergeijke simuatie is substantiee groter (+56.2%) dan voor het geva waar sechts één eindfunctie wordt gezocht. Men moet immers op ek eve en voor ek sampe de opossing interpoeren in de gevraagde punten, hier [0:0.0:] 2. Ook de extra geheugentoegangen speen een ro. 5.3 Besuit In dit hoofdstuk werd aan de hand van enkee numerieke experimenten aangetoond dat de MLMC-schatter zeer goed uitbreidbaar voor het zoeken van meerdere eindfuncties met behup van sechts één simuatie. Het is die eindfunctie met grootste variantie die bepaend is voor het aanta sampes dat op ek eve moet worden genomen. De enige beperkende factor is de toename aan rekentijd voor het verwerken van ae eindfuncties in ek sampe op ek eve. Enkee numerieke experimenten op meer uitdagende geometrieën iustreerden het gebruik van meerdere eindfuncties. Met deze uitbreiding van het MLMC-agoritme is men in staat om fysische anayses van het modeprobeem uit te voeren. Tot sot is het beangrijk om te vermeden dat men avorens de simuatie te starten moet weten in weke eindfuncties men mogeijk geïnteresseerd is. Dit in tegensteing tot de stochastische Gaerkinmethode [0] waar men de opossing benadert as een afgebroken poynomia chaos expansion. Één zeer omvangrijke opossing van het bekomen stese evert dan een resutaat waaruit ae gewenste eindfuncties kunnen worden afgeeid. 66

75 Besuit 0.9 x x x (a) x (b) Figuur 5.6: De contourijnen van de verwachte waarde van de druk in discrete punten [0:0.0:] 2 (inks). De pijen geven de richting van de stroomijnen aan. De contourijnen van de variantie van de druk (rechts). 67

76

77 Hoofdstuk 6 Concusies en verder werk De recente (her)ontdekking van het mutieve Monte-Caro-agoritme is een startpunt voor vee recente onderzoeksiteratuur. In deze thesis bestudeerden we hoe het mutieveagoritme kan worden gebruikt voor het simueren van modeen beschreven door partiëe differentiaavergeijkingen (PDEs) met wiekeurige diffusiecoëfficiënt. Het modeprobeem dat door vrijwe ae iteratuur wordt gebruikt is de stroming van voeistoffen doorheen poreuze media in een tweedimensionaa gebied. De stochastische diffusiecoëfficiënt wordt dan beschreven door een ognormaa verdeed stochastisch ved. Omdat de kost voor het opossen van een deterministische PDE in hogere mate afhangt van de roosterafstand dan voor stochastische differentiaavergeijkingen is de winst aan rekenkost groter. Ook de resutaten in deze thesis bevestigen dat de mutievestructuur zeer efficiënt is in het veragen van de variantie van de stochastische grootheid waarin men is geïnteresseerd. Omdat een keinere variantie zich vertaat in minder reaisaties van het stochastisch proces heeft dit een effectieve veraging van de rekenkost tot gevog. In Hoofdstuk 2 tonen we aan dat voor het modeprobeem in twee dimensies, met een toerantie e-4 op de verwachte fout, het mutieve Monte-Caro agoritme 75 keer sneer is dan de kassieke Monte-Caromethode. Bovendien, hoe keiner de gevraagde toerantie, hoe groter de winst aan rekenkost. Gegeven een gewenst aanta reaisaties van het stochastisch proces, dan kan men a deze deterministische probemen onafhankeijk van ekaar opossen. Op die manier is het mutieveagoritme, net as standaard Monte-Caro, perfect paraeiseerbaar, zie Hoofdstuk 3. In dat hoofdstuk impementeren we het MLMC-agoritme op de computercuster van de KU Leuven. De paraee impementatie van het modeprobeem in twee dimensies is tot 5 keer sneer dan de sequentiëe impementatie, wanneer 20 processoren worden gebruikt. Voor het ééndimensionae geva is dit zefs 8 keer sneer. Verder bijkt dat men uit een simuatie eveneens de kansverdeing van de gewenste stochastische grootheid kan afeiden. Ae voordeen van de standaard Monte-Caro-schatter bijven dus behouden. In Hoofdstuk 3 tonen we aan dat de asymptotische kost voor het simueren van een eiptische partiëe differentiaavergeijking met ognormaa verdeed ved niet afhangt van de gebruikte parameters in dat ved, zoang de correatieengte keiner 69

78 6. Concusies en verder werk is dan de roosterafstand op het ruwste rooster. Indien deze aatste voorwaarde niet vodaan is, kan men gebruik maken van eveafhankeijke afbrekingen in de beschrijving van het stochastische ved. In de iteratuur hecht men vee beang aan de combinatie van de mutieveidee met bestaande variantiereductietechnieken, met wisseend succes. Sechts enkee veebeovende varianten zijn Mutieve Markov chain Monte Caro (MLMCMC), waarin observaties van de eindfunctie worden geïncorporeerd, MLMC met importance samping [4], een variantiereductietechniek, en Continuation Mutieve Monte Caro (CMLMC), waarbij de RMSE bestaat uit de gewogen som van de stochastische fout en de discretisatiefout [9]. In Hoofdstuk 4 combineren we de MLMC-schatter met QMC-integratie. Dit nieuwe agoritme betekent een nog grotere winst aan rekenkost, omdat de wegekozen punten zorgen voor een sneere convergentie van de verwachte waarde van de stochastische grootheid waarin men is geïnteresseerd. Voor een toerantie e-4 op de verwachte fout, is het nieuwe MLQMC-agoritme nogmaas een factor 2 sneer dan de mutievemethode. Verder iustreren we dat, voor bepaade probemen, het mogeijk is om een rekenkost te bereiken die omgekeerd evenredig is met de gewenste toerantie op de verwachte fout. Het formueren van een stochastische foutenschatter igt echter niet voor de hand. Het kan verder interessant zijn om te onderzoeken weke van deze variantiereductietechnieken moeten/kunnen worden gecombineerd om de rekenkost van het agoritme zo aag mogeijk te houden. In Hoofdstuk 5 tonen we aan dat de mutievemethode ook toepasbaar is voor meer reaistische probemen dan het modeprobeem, en dat het mogeijk is om meerdere eindfuncties met één enkee simuatie uit te rekenen. Dit wordt geïustreerd met enkee berekeningen voor PDEs met meer agemene randvoorwaarden, met een meer compexe diffusiecoëfficiënt overeenkomstig verschiende materiaen in het opossingsdomein, en op een meer compex gebied. In ek van deze gevaen is het gedrag van de MLMC-opossingsmethode sterk geijkaardig aan dat van het eenvoudige modeprobeem. 70

79 Bijagen 7

80

81 Bijage A Anaytische uitdrukkingen voor eigenwaarden en eigenfuncties in de KL-expansie Invuen van de covariantiefunctie (2.3) voor het ééndimensionae probeem in het eigenwaardenprobeem (2.5) eidt tot de vogende integraavergeijking 0 σ 2 e µ x y f(y)dy = θf(x), (A.) met µ = /λ, in de iteratuur vaak een Fredhom integraavergeijking van de tweede soort genoemd. Het absoute waardeteken in (A.) kan worden weggewerkt door het integratiegebied op te spitsen as x 0 σ 2 e µ(x y) f(y)dy + σ 2 e µ(x y) f(y)dy = θf(x). x (A.2) Eénmaa afeiden naar x geeft x µ σ 2 e µ(x y) f(y)dy + µ σ 2 e µ(x y) f(y)dy = θf (x). 0 x (A.3) Merk hierbij op dat, om de afgeeide binnen het integratieteken te brengen, de integratierege van Leibniz moet worden gebruikt: d b(x) b(x) g(x, t)dt = g x (x, t)dt + g(x, b(x))b (x) g(x, a(x))a (x). dx a(x) a(x) Nogmaas afeiden naar x geeft x µ 2 σ 2 e µ(x y) f(y)dy + µ 2 σ 2 e µ(x y) f(y)dy 0 x 2µσ 2 f(x) = θf (x). 73

82 A. Anaytische uitdrukkingen voor de KL-expansie Immers, de integratierege van Leibniz voor een tweede-orde afgeeide is d 2 b(x) b(x) d 2 g(x, t)dt = g xx (x, t)dt + g x (x, b(x))b (x) g x (x, a(x))a (x) x a(x) a(x) + [ g x (x, b(x)) + g t (x, b(x))b (x) ] b (x) + g(x, b(x))b (x) [ g x (x, a(x)) + g t (x, a(x))a (x) ] a (x) g(x, a(x))a (x) De integraavergeijking (A.) kan dus worden geschreven as een tweede-orde differentiaavergeijking µ 2 θf(x) 2µσ 2 f(x) = θf (x). (A.4) Introduceer de nieuwe variabee w as w 2 = 2µσ2 µ 2 θ θ dan wordt de differentiaavergeijking (A.4) f (x) + w 2 f(x) = 0, 0 x. (A.5) De randvoorwaarden horende bij de differentiaavergeijking (A.5) vogen uit het evaueren van vergeijking (A.2) en (A.3) in x = 0 en x =. Voor x = 0 wordt dit en anaoog voor x =, σ 2 e µx 2 f(y)dy = θf(0) 0 µ σ 2 e µx 2 f(y)dy = θf (0) 0 µf(0) f (0) = 0 µf() + f () = 0 (A.6) (A.7) De integraavergeijking (A.) is dus omgevormd tot een gewone differentiaavergeijking (A.5) met randvoorwaarden (A.6) en (A.7). De opossing van de differentiaavergeijking (A.5) is van de vorm f(x) = A sin(wx) + B cos(wx). Het toepassen van de randvoorwaarden evert vogend stese op: { (µ tan w + w) A + (µ w tan w) B = 0 w A + c B = 0 (A.8) Het homogene stese (A.8) heeft een niet-triviae opossing as en sechts as de determinant geijk is aan 0. Dit geeft aaneiding tot de transcendente vergeijking 74 tan w = 2µw w 2 µ 2.

83 De opossing van deze vergeijking is een rij w n, n =, 2, 3... met w de eerste van nu verschiende positieve opossing. De resuterende eigenfuncties zijn dan ( f n (x) = A n sin(w n x) + w ) n µ cos(w nx) n =, 2, met A n een normaisatieconstante zodat f n L2 [0,] =. De overeenkomstige eigenwaarden zijn θ n = 2µσ2 wn 2 + µ 2 = 2λσ2 λ 2 wn

84

85 Bijage B De poster 77

86 Een paraee Muti-Leve Monte-Caro methode voor de simuatie van stochastische partiëe differentiaavergeijkingen Probeemsteing Uncertainty Quantification (UQ) Master Wiskundige ingenieurstechnieken Masterproef Pieterjan Robbe Resutaten Situatieschets Stroming van grondwater doorheen poreuze media Wet van Darcy eiptische PDE, Onzekerheid in modeparameters door gebrek aan data Resutaten Gezocht: de verwachte waarde van een functionaa van de opossing Promotor S. Vandewae D. Nuyens Figuur: domein met uitsparing Figuur: Een typische reaisatie van Opossing Basis = hiërarchie van geneste roosters met roosterafstand Academiejaar Schrijf de verwachte waarde van de eindfunctie as opeenvogende correcties ten opzichte van het vorige ruwe rooster 0 teescoping sum Figuur: Verwachte waarde van de druk en stroming Figuur: Variantie van de druk Vergeijking van de performantie Schat nu eke bijdrage in de som door gewone MC MLMC schatter Waarom werkt MLMC? Sampes op eve Foutenanayse: MSE zijn vee goedkoper dan op eve stochastische fout aanta sampes discretisatiefout aanta eves MLQMC: neem integratiepunten beter dan wiekeurig (rank- attice rue) Figuur: Simuatietijd voor MC, QMC, MLMC en MLQMC