Meten is weten? Performance benchmark bij een geo-ict migratietraject

Transcriptie

1 Meten is weten? Performance benchmark bij een geo-ict migratietraject Student: Begeleiders: Professor: Sandra Desabandu Edward Verbree (GIMA/TU Delft) en Pieter Bresters (CBS) Peter van Oosterom (GIMA/TU Delft)

2 INHOUD Motivatie en Achtergrond Doel en scope Onderzoeksvraag Beantwoording (deel-)onderzoeksvragen: Situatie CBS: organisatie, workload, resources Ontwikkeling benchmark Resultaten per onderzoeksvraag Resultaten benchmark Geo-ict trends Lessons learned Conclusies Aanbevelingen Q&A AGGN gebruikersmiddag CBS 09/12/2015 2

3 MOTIVATIE EN ACHTERGROND Dave Peters, (2014) AGGN gebruikersmiddag CBS 09/12/2015 3

4 MOTIVATIE EN ACHTERGROND 80% van de producten gemaakt met ArcInfo WS Ontwikkeld over een lange periode MAAR: Esri stopt met support van ArcInfo Workstation op Kennis ArcInfo WS neemt af Beperking ArcInfo Workstation met data basisregistraties (voorbeeld: BAG panden) AGGN gebruikersmiddag CBS 09/12/2015 4

5 DOEL EN SCOPE Advies over geo-ict infrastructuur Ontwikkeling benchmark Lessons learned van andere organisaties Organisationele beperkingen meenemen Trends ogv geoprocessing meenemen Alleen programmatuur van ESRI: Arc/Info Workstation, ArcGIS Desktop and ArcGIS Pro AGGN gebruikersmiddag CBS 09/12/2015 5

6 HOOFDVRAAG Which alternatives to the current geo-ict infrastructure can be proposed for Statistics Netherlands that meet performance requirements of its geoprocessing activities and are suitable for implementation within the organizational constraints of Statistics Netherlands? AGGN gebruikersmiddag CBS 09/12/2015 6

7 O1. SITUATIE CBS Diversiteit van gebruikers en applicaties, daardoor niet als een groep gehoord Weinig capaciteit voor functioneel applicatiebeheer Instabiliteit ArcGIS Desktop Een aantal tools werden als trager in ArcGIS Desktop ervaren dan ArcInfo WS Eigen oplossingen: lokale installatie heavy users en opsplitsen datasets Onvoldoende netwerkcapaciteit van en naar datacetrum Mogelijkheden Innovatielab AGGN gebruikersmiddag CBS 09/12/2015 7

8 Voorbeelden van tools UNION INTERSECT DISSOLVE NEAR 8

9 O2: OPBOUW BENCHMARK Literatuuronderzoek: veel maar niet geheel toepasbaar op CBS situatie vaak focus op enkele performance factor, bv parallel processing, ruimtelijke indexen benchmark trade-off tussen factoren uit literatuur, toepasbaarheid in ArcGIS en beschikbare resources AGGN gebruikersmiddag CBS 09/12/2015 9

10 O2: OPBOUW BENCHMARK (Godfrind, 2008) AGGN gebruikersmiddag CBS 09/12/

11 O2: OPBOUW BENCHMARK AGGN gebruikersmiddag CBS 09/12/

12 O2: OPBOUW BENCHMARK Nullijn Hardware R&& Synthetische data Hardware R&& Optimaliseren ArcGIS Desktop 10.1 Hardware R&& Hardware Innovatielab ArcGISPro Innovatielab AGGN gebruikersmiddag CBS 09/12/

13 O3: Resultaten nullijn AGGN gebruikersmiddag CBS 09/12/

14 O3: Resultaten synthetische data AGGN gebruikersmiddag CBS 09/12/

15 O3: Resultaten verschillende configuraties AGGN gebruikersmiddag CBS 09/12/

16 O3: Validatie AGGN gebruikersmiddag CBS 09/12/

17 O3: Samenvatting resultaten benchmark ArcGIS Desktop 10.1 laat in de meeste tools betere performance zien, maar wel substantiele verslechtering bij de JOIN and DISSOLVE Lineair verloop van de test met synthetische data Netwerk en workspacelaten geen verbetering De factoren index, sorteren en compressing laten geen verbetering zien bij de geteste ruimtelijke tools in ArcGIS 10.1 Upgrading hardware is niet de oplossing DISSOLVE verschil in performance mogelijk op dataformat terug te voeren, maar JOIN niet Validatie van de output data laat inconsistenties zien bij de INTERSECT en na het compressen van de data AGGN gebruikersmiddag CBS 09/12/

18 O4: Geo ICT trends AGGN gebruikersmiddag CBS 09/12/

19 O5: Lessons learned Migratie naar Desktop geleidelijk traject Grootte/plek in de organisatie van geo-afdeling kan van belang zijn PBL interview heeft interessante opties opgeleverd (zoal grid computers, virtuele implementatie), maar heeft ook een flexibelere (Geo) ICT infrastructuur. Open Source of andere commerciele software nog nauwelijks verkend Meeste organisatie hebben deel van migratietraject uitbesteed Ervaringen na migratie naar ArcGIS Desktop zijn gemengd, kan per tool of model verschillen Dit hangt ook af van belang van performance AGGN gebruikersmiddag CBS 09/12/

20 DISCUSSIE ONDERZOEK Resultaten op micro niveau Zijn de huidige performance requirements wel reëel? Zeer beperkt aantal respondenten voor deelvraag 5 Onderzoek nieuw door real life setting en combinatie commerciële software Snelheid van technische innovatie vs snelheid van aanpassing door organisaties Mogelijkheden voor nader onderzoek AGGN gebruikersmiddag CBS 09/12/

21 Conclusies Alternatief 1: Migreren binnen ArcGIS Alternatief 2: Met andere afdelingen investeren in nieuwe infrastructuur Alternatief 3: Innoveren met interne en externe partners In alle gevallen: zorg voor goed inbedding in de organisatie en voldoende capaciteit (opleiding, tijd, bemensing) AGGN gebruikersmiddag CBS 09/12/

22 AANBEVELINGEN : benchmark Herhalen synthetische scenario s op de Big Data computer Herhalen benchmark scenario s met ArcGIS Pro op de fat client Herhalen benchmark bij het PBL? AGGN gebruikersmiddag CBS 09/12/

23 AANBEVELINGEN: ONDERZOEK Redesign methods base on performance benchmark Uitvoeren benchmark met andere open source en commerciele GIS software (Conduct benchmark with other GIS software: open source and proprietary) Uitbreiden van de benchmark met realtime en spatiotemporele data (Extend benchmark with realtime, spatio-temporal data) AGGN gebruikersmiddag CBS 09/12/

24 AANBEVELINGEN: MIGRATIETRAJECT Lange termijn visie geo ict (Establish geoinformation vision for the long term ) Onderzoeken mogelijkheden R Spatial (Collect information on use of R Spatial) Samenwerking tbv verbetering performance geoprocessing tools (Try to cooperate with other ArcGIS user organizations to lobby for improvements of certain tools) Opstellen Service Level Agreements (SLA s) AGGN gebruikersmiddag CBS 09/12/

25 Vragen AGGN gebruikersmiddag CBS 09/12/