Postbus 2120 8203 AC LELYSTAD tel. 0320-294 242 fax. 0320-253 901 www.hkv.nl Postbus 260 2600 AG DELFT tel. 015-285 0125 fax. 015-285 0126 www.vortech.nl Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter Technisch Rapport Datum mei 2002 Auteur(s) Helena Kalk Jan Stijnen In opdracht van Rijkswaterstaat/RIKZ Overeenkomst RKZ-1159 Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enigerlei wijze hetzij elektronisch, mechanisch, door fotokopieën, opnamen, of op enige andere manier, zonder voorafgaande schriftelijke toestemming van de opdrachtgever. c Rijkswaterstaat/RIKZ 2008.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 2 Management samenvatting Dit rapport geeft een overzicht van de literatuur die van belang is geweest voor de ontwikkeling en implementatie van het Kalman filter in de software van WAQUA/TRIWAQ. Ook voor toekomstige ontwikkelingen op het gebied van Kalman filteren is dit rapport van nut. Bijzondere aandachtspunten liggen bij het steady-state Kalman filter met een Chandrasekhartype algoritme en het Reduced Rank SQuare Root (RRSQRT) algoritme. Het overzicht van boeken, artikelen, websites, etc. heeft niet alleen betrekking op algemene introducties en achtergronden van het filter, maar ook op meer gedetailleerde wiskundige onderbouwingen en aanwijzingen voor programmeurs. Van iedere titel is een korte omschrijving opgesteld in dit rapport.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 3 Inhoudsopgave 1 Inleiding 4 1.1 Kalman filtering................................... 4 1.2 Doelstelling van dit literatuuronderzoek...................... 5 2 Bronnen 6 2.1 Introductie...................................... 6 2.2 Boeken........................................ 6 2.3 Artikelen....................................... 8 2.4 Het internet..................................... 10 2.5 Overige....................................... 11 Bibliografie 13
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 4 Hoofdstuk 1 Inleiding 1.1 Kalman filtering Allereerst dient te worden opgemerkt dat dit document geen introductie tot Kalman filtering is. Veel van de begrippen in het volgende hoofstuk zijn specifiek voor Kalman filtering, welke een onervaren lezer misschien zullen overvallen. De paragraaf hieronder geeft een korte beschrijving van het idee achter Kalman filtering. Het bestuderen en voorspellen van een fysisch proces kan door gebruik te maken van elementaire natuurwetten. Dit zijn bijvoorbeeld de wetten van behoud van massa, impuls of energie. Op basis van deze wetten kunnen we wiskundige modelvergelijkingen formuleren die het gedrag van het verschijnsel bij benadering beschrijven. Het bestuderen van het gedrag van een fysisch verschijnsel kan ook door uitsluitend gebruik te maken van meetinformatie. Metingen geven echter zelden een volledig beeld van het proces. Er kan slechts op een beperkt aantal locaties metingen worden gedaan en bovendien zijn veel grootheden in het geheel niet te meten. Slechts via het gebruik van modellen kunnen metingen worden aangevuld. Dit kan door gebruik te maken van Kalman filtering. Behalve een optimale schatting van het modelresultaat produceert het Kalman filter ook een onbetrouwbaarheid van deze schatting. Deze kan gebruikt worden bij het optimaliseren van de meetinspanning. Door: prof. dr. ir. A.W. Heemink (TU Delft) Uit: Beter meten door te rekenen Kalman filtereren [7] is oorspronkelijk begonnen als oplossing voor het schatten van een toestandsprobleem in lineaire tijdsinvariante modellen. In dit soort modellen wordt een lineair
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 5 stochastisch dynamisch systeem voorgesteld door een aantal differentiaalvergelijkingen, die het verloop van de toestand in de tijd beschrijven. Vervolgens werd een aantal algebraïsche vergelijkingen geïntroduceerd die deze toestanden vergelijkbaar maakten met metingen. Sinds de eerste publicatie over het Kalman filter is dit in allerlei vormen toegepast, onder andere voor het schatten van begincondities en parameters. De hoeveelheid varianten en ontwikkelingen op het gebied van Kalman filteren is groot: nieuwe afleidingen en interpretaties zijn ontwikkeld, uitbreidingen naar niet-lineaire en tijdsvarieërende situaties zijn gerealiseerd en er zijn ook een groot aantal suboptimale filters ontwikkeld. 1.2 Doelstelling van dit literatuuronderzoek Het doel van het voorliggende rapport is een selectie maken uit de grote hoeveelheid informatie die beschikbaar is over het Kalman filter en de vele varianten. Denk hierbij niet alleen aan boeken en artikelen, maar ook aan handleidingen, collegemateriaal en het internet. De varianten van het Kalman filter die bij het RIKZ voornamelijk gebruikt worden zijn een steady-state Kalman filter met het algoritme van Chandrasekhar en het suboptimale Reduced Rank Square Root (RRSQRT) filter. In dit rapport is een selectie gemaakt van materiaal dat beschikbaar is over met name deze twee varianten van het Kalman filter. Daarnaast is informatie verzameld over het Kalman filter in zijn algemeenheid en eventuele overige achtergrondinformatie. Deze aanvullende informatie is in het rapport opgenomen voor mensen die meer willen weten over het Kalman filter, of mensen die hiermee willen gaan werken, maar niet weten waar ze moeten beginnen. Van deze geselecteerde informatiebronnen wordt kort en bondig een omschrijving gegeven en wordt tevens vermeld voor wie het interessant is. Het hier geselecteerde materiaal is voor een groot deel afkomstig van prof. dr. ir. A.W. Heemink van de TU Delft en van dr. ir. M. Verlaan van het RIKZ.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 6 Hoofdstuk 2 Bronnen 2.1 Introductie Er is gekozen voor een onderverdeling van de literatuur per type bron. Voor deze onderverdeling zijn de volgende categorieën gebruikt: 1. Boeken (sectie 2.2) 2. Artikelen (sectie 2.3) 3. Het internet (sectie 2.4) 4. Overige (sectie 2.5) Per categorie zijn de titel van het werk en de auteur(s) vermeld, alsmede voor wie het betreffende werk van interesse zou kunnen zijn. De geselecteerde werken zijn vooral uitgekozen op hun relevantie voor het RIKZ. Dit betekent dat de werken informatie geven over Kalman fiteren in het algemeen, maar in het bijzonder over het steady-state Kalman filter met het Chandrasekhar algoritme en over het RRSQRT-algoritme. Verder is er informatie gegeven die specifiek voor programmeurs van belang is. 2.2 Boeken Van alle boeken die over het Kalman filter geschreven zijn, noemen wij hier slechts vier. De eerste twee geven de lezer naast algemene achtergrondinformatie, een grondige analyse van het Kalman filter. De laatste twee zijn de proefschriften van Heemink en Verlaan.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 7 Stochastic models, estimation and control Maybeck, P.S. [8] Voor wie: beginners (wiskundige kennis een pré) Voor mensen die weinig ervaring hebben met filtertheorie raden we aan om zeker hoofdstuk 1 van dit boek over stochastische modellen, schattingen en besturing te lezen. Hoewel de overige hoofdstukken wellicht wat technisch (wiskundig) van aard zijn, geeft het boek een compleet en grondig beeld. Zowel optimale filter technieken voor situaties met een lineair systeem, alswel ontwerp en performance analyses van Kalman filters worden hier besproken. In dit boek is ook informatie over square root filters te vinden. Stochastic Processes and Filtering Therory Jazwinsky, A.H. [6] Voor wie: beginners (wiskundige kennis een pré) Het boek van Jazwinsky is een klassieker die een algeheel beeld geeft over lineaire, maar ook niet-lineaire filtertheorie. Een grote hoeveelheid achtergrondinformatie over kansrekening en stochastische processes, die aan de basis van Kalman filteren ligt, wordt uitvoerig beschreven in de eerste hoofdstukken van het boek. Verder wordt veel aandacht besteed aan zowel discrete als continue Kalman filters. Storm Surge Prediction Using Kalman Filtering Heemink, A.W. [2] Voor wie: geïnteresseerden voor Chandasekhar-type algoritmes Het proefschrift van Heemink is de introductie van het Kalman filter bij het RIKZ geweest. Het beschrijft een zeer praktijkgerichte studie van het Kalman filter, waarbij een nieuwe methode ontwikkeld is voor de voorspelling van waterstanden langs de Nederlandse kust. Een combinatie van een standaard Kalman filter met een niet-lineair getijdemodel van de gehele Noordzee was destijds, vanuit computertechnisch oogpunt in ieder geval, nog niet realiseerbaar. Daarom is gebruik gemaakt van een benadering van de getijdebeweging door een een-dimensionaal model. Waterstanden, snelheden en onzekere parameters worden on-line door het model geschat met behulp van het Kalman filter. Daarnaast is tevens een twee-dimensionaal model gebruikt. Om de rekenlast te verminderen is gekozen voor een tijdsinvariant filter. De tijdrovende filter vergelijkingen hoeven dan slechts een keer opgelost te worden, ook als er nieuwe metingen beschikbaar komen. Om de rekentijden nog verder te beperkingen is gebruik gemaakt van het Chandrasekhar algoritme.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 8 Efficient Kalman Filtering Algorithms for Hydrodynamic Models Verlaan, M. [13] Voor wie: toepassers van het RRSQRT-algoritme Het proefschrift van Verlaan geeft een goed beeld van zowel de theorie als de praktijk van het Kalman filter. De lezer krijgt een algemene introductie van data-assimilatie en meerdere soboptimale filters zijn vergeleken. Vervolgens wordt het RRSQRT-filter geïntroduceerd. In plaats van het toepassen van de volledige covariantiematrix in het filter wordt gewerkt met een benadering hiervan. Verder wordt een tweetal uitbreidingen van het RRSQRT-filter voorgesteld voor niet-lineaire modellen. Het proefschrift bevat verder een heel aantal praktijkgerichte voorbeelden, die de werking van het Kalman filter nader illustreren. Tevens worden meerdere eigenschappen van het RRSQRT algoritme en voorbeelden (groot en klein) uitgewerkt en geïllustreerd. Een eerste toepassing betreft een tweedimensionaal waterbewegingsmodel voor de voorspelling van stormvloeden. In de tweede toepassing wordt een methode voorgesteld om waterstanden te reconstrueren. Tenslotte worden in de derde toepassing radarmetingen van oppervlaktesnelheden in een driedimensionaal waterbewegingsmodel geassimileerd. Tot slot is het bewijs van convergentie van het RRSQRT algoritme opgenomen in dit proefschrift. 2.3 Artikelen De geselecteerde artikelen zijn voornamelijk keuzes die zijn voorgekomen uit het onderzoek van de ontwikkelaars van het RRSQRT-algoritme: Martin Verlaan en Arnold Heemink. A new approach to linear filtering and prediction problems Kalman, R.E. [7] Voor wie: geïnteresseerden in een van de eerste artikelen over het filter Dit is het oorspronkelijke artikel van Kalman. In het artikel wordt een nieuwe reeks vergelijkingen gepresenteerd die een oplossing geven hoe metingen in een lineair model kunnen worden geassimileerd. De vergelijkingen van Kalman werden meer bruikbaar geacht dan het toendertijd gangbare Wiener filter. Two-dimensional Shallow Water Flow Identification Heemink, A.W. [3] Voor wie: geïnteresseerden in het Chandrasekhar algoritme
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 9 Het artikel geeft een beschrijving van een discreet tijdsinvariant Kalman filter dat gebruikt wordt voor het indentificeren en voorspellen van twee-dimensionale ondiepwaterstroming met behulp van waterstandsmetingen. Door het introduceren van systeemruis is het mogelijk het model in te bedden in een stochastische omgeving. Op die manier worden onzekerheden meegenomen in de berekeningen. Een Chandrasekhar-type algoritme wordt gebruikt om een steady-state filter te verkrijgen. Zes-uurs voorspellingen worden gebruikt om de werking van het filter te laten zien. Data-assimilation for Non-lineair Tidal Models Heemink, A.W., Kloosterhuis, H. [5] Voor wie: geïnteresseerden voor toepassing van Chandrasekhar-algoritme In dit artikel worden metingen gecombineerd met een niet-lineair getijdemodel met behulp van het Kalman filter. Het model is gebaseerd op de twee-dimensionale ondiepwater vergelijkingen. Er wordt gebruik gemaakt van gekleurde ruis in de impulsvergelijkingen. In het deterministische deel van de vergelijkingen wordt gebruik gemaakt van een ADI methode, het stochastische deel gebruikt het Euler schema. Een Chandrasekhar-type filter wordt gebruikt om de constante gain matrix van het extended (uitgebreide) Kalman filter voor het zwak-lineair systeem te bepalen. De mogelijkheden van het filter worden geïllustreerd aan de hand van de assimilatie van waterstandsmetingen in een getijdemodel van de Noordzee. Reduced Rank Square Root Filters for Large Scale Data Assimilation Problems Verlaan, M. and Heemink, A.W. [14] Voor wie: geïnteresseerden in het RRSQRT-filter Dit is het eerste artikel over het RRSQRT algoritme. Dit algoritme wordt geïllustreerd door de lineair gedempte golfvergelijking te beschouwen, die gezien kan worden als een vereenvoudigde versie van de ondiepwatervergelijkingen. Dit artikel geeft een goede introductie en motivatie voor het gebruik en de ontwikkeling van het RRSQRT algoritme. Kalman Filtering in two and three-dimensional Shallow Water Flow Models Verlaan, M. and Heemink, A.W. [15] Voor wie: toepassers van het RRSQRT-algoritme Dit artikel is een wat algemener artikel betreffende het RRSQRT-algoritme. Een tweetal toepassingen van dit suboptimale Kalman filter worden besproken. De eerste toepassing maakt gebruik van een twee-dimensionaal model waarbij getijde metingen worden
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 10 geassimileerd in het model om op die manier een nauwkeurige reconstructie van de waterstand op de open rand van het model te verkrijgen. In de tweede toepassingen worden radar metingen van oppervlakte stromingen geassimileerd in een drie-dimensionaal ondiepwater model. 2.4 Het internet Als een additionele bron van informatie zijn verschillende interessante websites beschikbaar. We geven hier een selectie van sites die we de lezer aanraden om te bezoeken. http://www.cs.unc.edu/~welch/kalman Welch, G., [16] Voor wie: iedereen Deze webpagina van de faculteit Computer Science van de Universiteit van North Carolina bevat meerdere links die betrekking hebben op Kalman filteren. Er zijn enkele diktaten en verwijzingen beschikbaar, maar ook onderzoeksresultaten en zelfs software. Een syllabus getiteld An introduction to the Kalman filter kan opgehaald worden. Deze syllabus geeft uitgebreide informatie over kansrekening, random variabelen, stochastiche benaderingen en discrete en uitgebreide (extended) Kalman filters. http://dao.gsfc.nasa.gov/subpages/kalman.html Data Assimilation Office, Goddard Space Flight Center, NASA, [1] Voor wie: iedereen Een interessante site over het gebruik van verschillende data-assimilatie technieken in de numerieke weersvoorspelling. Het onderzoek op deze site kan worden opgesplitst in vier verschillende (maar gekoppelde) categorieën: benaderende Kalman filters voor lineaire dynamica, benaderende Kalman filters voor niet-lineaire dynamica, Kalman filters voor het assimileren van atmosferische tracers en het adaptief afregelen (online) van stochastische parameters. http://dao.gsfc.nasa.gov/dao_people/todling/meto6580.htm Todling, R., [9] Voor wie: iedereen (wiskundige achtergrond is een pré) Deze site van het Data Assimilation Office van NASA bevat een diktaat van het college Estimation Theory and Foundations of Data Assimilation en geeft een introductie over data-assimilatie in het algemeen en voor de atmosfeer in het bijzonder. De eerste helft
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 11 van het diktaat gaat in op het wiskundige raamwerk (statistiek en schatten van parameters), terwijl de tweede helft vooral problemen uit de atmosferische data-assimilatie beschrijft. http://ta.twi.tudelft.nl/wagm/verlaan Verlaan M. [12] Voor wie: iedereen die geïnteresseerd is in het RRSQRT-algoritme De website van Martin Verlaan bevat meerdere artikelen over het RRSQRT-algoritme en is een grote bron van informatie hierover. Er is ook een software vandaan te halen dat een aantal voorbeelden combineert met verschillende suboptimale filters. Hieronder vallen onder andere verschillende varianten van het RRSQRT-algoritme. De software is geschreven in Matlab. 2.5 Overige Als laatste zijn er nog enkele items die niet in een precieze categorie vallen. Het zijn een diktaat van prof. Heemink en twee interne rapporten van, geschreven door Van t Hof. Daar deze toch als relevant voor deze literatuurstudie worden gezien noemen we ze hieronder: Filtertheorie Heemink, A.W. [4] Voor wie: iedereen met een basiskennis van wiskunde In dit collegediktaat van de faculteit der technische wiskunde en informatica staan het Kalman filter en de voorspelling met discrete systemen voorop. Een goede introductie voor een ieder die geïnteresseerd is in Kalman filter. Er worden een aantal voorbeelden besproken. Ook wiskundige termen als waarneembaarheid, bestuurbaarheid, filter divergentie en numerieke aspecten komen aan bod. Kalman filtering stap voor stap Hof, B. van t [10] Voor wie: iedereen die aan de slag wil met het Kalman filter In dit rapport beschrijft Van t Hof het principe en gebruik van het Kalman filter aan de hand van een volledig uitgewerkt voorbeeld. Ook het gebruik van het RRSQRT-filter wordt uitgelegd. Door het hele rapport heen wordt gewerkt met een fysisch voorbeeld
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 12 dat gebaseerd is op een temperatuurvergelijking. Eigenschappen en verbetering van het RRSQRT-filter worden uitvoerig besproken. Berekeningen in Kalman filters in het algemeen en hun weergave in de WAQUA/TRIWAQprogrammatuur Hof, B. van t [11] Voor wie: programmeurs Met name diegenen die aan de slag gaan met de echte implementatie van het Kalman filter in de WAQUA/TRIWAQ software van het RIKZ zullen veel aan dit document hebben. Er wordt een duidelijk verband gelegd tussen de theorie en de wijze waarop dit terugkomt in de programmatuur. De programma-technische aspecten, die niet specifiek in de wiskundige formulering zijn terug te vinden, worden ook behandeld. Uitleg over het lineaire filter, het RRSQRT-filter en het ensemble Kalman filter wordt gegeven. De gebruikte variabelen, compound arrays en subroutines worden gestructureerd vermeld. Verder zijn in het document enkele voorbeelden opgenomen en suggesties voor verbetering en optimalisering van de code gegeven.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 13 Bibliografie [1] NASA Data Assimilation Office, Goddard Space Flight Center. http://dao.gsfc.nasa.gov/subpages/kalman.html. [2] A. W. Heemink. Storm Surge Prediction Using Kalman Filtering. PhD thesis, Twente University of Technology, 1986. [3] A. W. Heemink. Two-dimensional shallow water flow identification. Appl. Math. Modelling, 12:109 118, April 1988. [4] A. W. Heemink. Filtertheorie. PhD thesis, Delft University of Technology, Delft, 1996. [5] A. W. Heemink and H. Kloosterhuis. Data assimilation for non-linear tidal models. International Journal for Numerical Methods in Fluids, 11:1097 1112, 1990. [6] Jazwinsky, A.H. Stochastic Processes and Filtering Theory. Academic Press, New York, 1970. [7] R.E. Kalman. A new approach to linear filtering and prediction problems. Trans. ASME, J. Basic Eng., 82D:35 45, 1960. [8] Maybeck, P. S. Stochastic models, estimation and control. Academic Press, New York, 1979. [9] R. Todling. http://dao.gsfc.nasa.gov/dao_people/todling/meto6580.htm. [10] B. van t Hof. Kalman filtering stap voor stap, 1999. [11] B. van t Hof. Berekeningen in kalman filters in het algemeen en hun weergave in de waqua/triwaq-programmatuur, 2002. [12] M. Verlaan. http://ta.twi.tudelft.nl/wagm/verlaan. [13] M. Verlaan. Efficient Kalman Filtering Algorithms for Hydrodynamic Models. PhD thesis, Delft University of Technology, Delft, apr 1998.
Literatuuronderzoek ten behoeve van de technische documentatie van het Kalman filter 14 [14] M. Verlaan and A. W. Heemink. Reduced rank square root filters for large scale data assimilation problems. In Second International Symposium on Assimilation of Observations in Meteorology and Oceanography, pages 247 252. World Meteorological Organization, WMO, March 1995. [15] M. Verlaan and A.W. Heemink. Kalman filtering in two and three-dimensional shallow water flow models. In Hydroinformatics 98, august 1998. [16] G. Welch. http://www.cs.unc.edu/~welch/kalman.