Realisatie uitwijkomgeving bij een financiële instelling Brand. Voor veel mensen geen ding waar ze zich dagelijks mee bezig houden. Ook bij de meeste bedrijven wordt er weinig aandacht besteed aan het bestrijden van de gevolgen van calamiteiten zoals brand. Toch verdient ook continuïteitsmanagement de nodige aandacht van de ictmanager. In deze case study bespreken we een belangrijk onderdeel hiervan, nl. het creëren van een uitwijkmogelijkheid voor het internetkanaal. We zullen een aantal principes van goed project- en procesmanagement volgens Premium illustreren met voorbeelden uit deze case. Opdracht Medio 2006 was er nog geen adequate uitwijk georganiseerd voor het internetkanaal van een grote bancaire instelling in Nederland. De opdracht was het opleveren van continuïteitsmaatregelen om de beschikbaarheid van het internetkanaal, gedurende een calamiteit op het rekencentrum van deze bancaire instelling, te borgen. Onder continuïteitsmaatregelen werd onder meer verstaan het implementeren van extra infrastructuur op een externe locatie en het opstellen van procedures om een calamiteit op te vangen. Werkzaamheden René Fikke, medewerker van Premium Business Consultants BV, was projectmanager van de workstream: Service Center Connectivity in het project behorende bij de opdracht. Het was zijn taak om de logische en technische koppelingen tussen de internetsystemen en de transactieverwerkende systemen te inventariseren en aan te brengen in de uitwijkomgeving. Hij stuurde een team aan met specialisten op het gebied van MQ, Spazio, XCom en firewalls. Aanleiding en historie Sinds de start van het internetbankieren stond de productieomgeving van het internetkanaal op het rekencentrum van de betreffende bancaire instelling. Er was geen uitwijkomgeving beschikbaar, dus bij calamiteiten (bijvoorbeeld brand) zou het internetkanaal uitvallen en dus ook de website. Uitwijk is een eis van De Nederlandse Bank (DNB). Het hebben van een uitwijkomgeving bepaalt of een financiële instelling van DNB als bankier via het internet mag werken. DNB stelde dat eind december 2006 de uitwijkomgeving gerealiseerd diende te zijn. Het voorkomen van imago- en klantverlies, dat ontstaat als de website bij calamiteiten meer dan 48 uur niet beschikbaar zou zijn, was voor de bancaire instelling een belangrijke tweede reden om de uitwijk te realiseren.
Eind 2005 werd een voorfase gestart waarin een adviesdocument werd opgesteld over de verschillende oplosrichtingen: 1. Uitwijk op basis van cold stand-by 2. Uitwijk op basis van hot stand-by 3. Implementatie van Twin Sites. Naar aanleiding van dit adviesdocument had de Program Board in eerste instantie gekozen voor de inrichting van Twin Sites. Hierbij wordt productie gedraaid op twee fysieke locaties. Begin 2006 bleek tijdens het ontwerpen dat de technische belemmeringen, kosten, doorlooptijd en risico s te hoog uitvielen bij Twin Sites. Men koos voor de hot stand-by variant. In deze variant worden wijzigingen in infrastructuur en applicaties direct overgenomen in de uitwijkomgeving en worden kanaaldatabases continu gerepliceerd tussen productie- en uitwijkomgeving. Zo kan men bij calamiteiten binnen korte tijd overschakelen naar de uitwijkomgeving. Begin 2006 werd besloten uitwijk als managed service af te nemen. In een managed service constructie levert een derde partij het volledige beheer van de omgeving. De bancaire instelling contracteerde hiervoor een ICT-leverancier en liet de uitwijkomgeving bouwen in een aparte beveiligde locatie. Medio juni 2006 werd de uitvoer van het project gestart met het inrichten van een aantal deelprojecten ( workstreams ): Business Requirements, Infrastructure, Certification & Security, Service Center Connectivity, Testing, Contracting, Managed Service en Applications. Communicatie en besluitvorming vond plaats via de Project Board. Daarnaast is een Senior Supplier Board ingericht, en een aparte Program Board en een Executive Board vanwege de belangrijke rol van de externe partners. Projectscope Op hoofdlijnen bestond de scope van dit project uit de onderstaande onderdelen: Het implementeren van de benodigde extra infrastructuur inclusief alle noodzakelijke applicatie-, infrastructurele- en systeemsoftware op de uitwijklocatie Het inrichten van de bijbehorende uitwijkprocedures Het aanpassen van de beheer- en veranderprocessen om te waarborgen dat de uitwijkomgeving gelijk blijft aan de productieomgeving Het beschrijven en inrichten van de benodigde processen inclusief de beheerprocessen en procedures Methoden om continuïteitsmaatregelen als managed service af te nemen onderzoeken en de meest geschikte oplossing realiseren. De eerste fase had als focus de functionaliteiten betalen en effecten. In de tweede fase (oplevering eind 2007) werden de overige functionaliteiten beschikbaar gesteld voor de uitwijkomgeving. Op de uitwijklocatie moesten eind 2006 in ieder geval beschikbaar zijn: Inloggen Bekijken saldo en mutatieoverzicht Overschrijven (nationaal en internationaal) Effectenordering en beleggen in fondsen Specifieke batches die nodig zijn voor synchronisatie en dergelijke. De uitwijk van de transactieverwerkende systemen viel buiten de scope van het project. De Service Centers verzorgen zelf een uitwijk van de transactieverwerkende services.
Resultaat Uiteindelijk is het project probleemloos, zonder verstoring van de productieomgeving, en binnen de gestelde tijd en budget afgerond. De daadwerkelijke realisatie vond plaats in slechts zes maanden.
Hoe goed project- en procesmanagement projecten succesvol maakt Gebruik maken van methodieken zoals ITIL of Prince2 wordt door niet ingewijden vaak als bureaucratisch en tijdrovend ervaren. Premium maakt juist gebruik van deze methodieken vanwege de uiteindelijke tijdswinst die met deze zorgvuldigheid wordt behaald. Hieronder staat een aantal voorbeelden genoemd vanuit dit project die deze visie ondersteunen. Goede communicatie is cruciaal voor de goede afloop van een project. Dit kwam bijvoorbeeld terug in de afstemming met functionele en technische beheerders van de transactieverwerkende systemen. Door goede afstemming werd er geen onnodig werk gedaan en was er draagvlak voor de gekozen weg. Zeker zo belangrijk was het verwachtingsmanagement. De complexiteit van een selfcare website wordt snel onderschat door de buitenwacht. Het complexe geheel van de hardware en software voor het beheer, de applicaties en transactieverwerking kan niet zomaar gekopieerd worden naar een tweede locatie. Doordat de verwachtingen in toom werden gehouden bleef de prestatiedruk op het projectteam acceptabel. Verder is intensieve communicatie naar alle betrokken partijen cruciaal voor de juiste aandacht voor het project bij de diverse managementlagen. Indien een beroep op deze managers werd gedaan kon er snel geschakeld worden, aangezien ze goed geïnformeerd waren over de status van het project. Testen loont altijd de moeite, alleen de intensiteit verschilt per project. Ook met zeer zorgvuldige voorbereiding kunnen er fouten worden gemaakt. Daarom voerden we meerdere tests uit. We werden bijvoorbeeld verrast doordat één van de tientallen firewallrules niet was enabled. Verder bleek onder andere dat een onverwachte default authorisatie instelling in de MQ Queue Manager antwoordberichten tegenhield. Creëer een projectteam met werkelijk mandaat om haar taken uit te voeren. De realisatie van de uitwijkomgeving was een complexe taak waarbij uiteindelijk meer dan honderd collega s waren betrokken. In het begin had het projectteam geen eigen mandaat. De versnipperingen van bevoegdheden over de afdelingen heen leidde tot zeer veel afstemmingsactiviteiten wat vertragend werkte op de voortgang. Het informele netwerk van iedere projectmedewerker zorgde er in dit stadium voor dat op snelle effectieve wijze gehandeld kon worden. Dit was niet gelukt indien de standaardprocessen zouden zijn gevolgd. Dit is echter onwenselijk omdat er met informele toezeggingen geen tijdig projectresultaat gegarandeerd kan worden. Naarmate de deadlines naderden werd steeds duidelijker dat er aan DNB-eisen voldaan moest worden en kreeg het projectteam een eigen mandaat waarmee de prioritering weer in de formele planning kon worden opgenomen. Hou de focus op het beoogde eindresultaat. Bij activiteiten met veel overlap tussen deelprojecten, zoals bijvoorbeeld bij het inrichten van alle koppelingen, is het belangrijk om het eindresultaat in het oog te houden. Waar stopt bijvoorbeeld de applicatie en waar begint de koppeling? Hoort het opstellen van firewall-rules bij het inrichten van de infrastructuur of bij het inrichten van de koppeling? Wie test dat het betalingsverzoek op de correcte server wordt afgehandeld? Om het eindresultaat te kunnen garanderen is daarom het deelproject Connectivity toegevoegd. Hiermee werd voorkomen dat het opbouwen en testen van de koppelingen onvoldoende zou worden opgepakt. Hou het team gemotiveerd. Successen werden gevierd. Aangezien het project onder zeer hoge tijdsdruk stond, en de projectmedewerkers zeer lange dagen maakten, is het van belang dat bij bereikte resultaten op een gepaste wijze wordt stilgestaan zodat ook de waardering naar het team kan worden uitgesproken over de bereikte resultaten. Voorbeelden zijn eenvoudige borrels, gebak bij projectoverleg en een kleine attentie tijdens Sinterklaas.
Houd de configuratiedatabase up-to-date. Er bestond geen up-to-date configuratiedatabase waaruit alle benodigde informatie kon worden gedestilleerd. Hierdoor was geen duidelijk en consistent beeld beschikbaar wat er gerealiseerd diende te worden, zoals de koppelingen naar de transactieverwerkende systemen. De ketenplaat, zoals deze configuratiedatabase genoemd werd binnen de financiële instelling, werd een belangrijke spin-off vanuit de workstream Connectivity. De ketenplaat, momenteel formeel in beheer bij Configuratie Management, geeft een overzicht van alle applicaties, batches, services, webservers en transactieverwerkende systemen die een rol spelen in de internetketen. De gegevens zijn beschikbaar voor zowel test-, acceptatie- als productieomgeving. De ketenplaat wordt dagelijks up-to-date gehouden door configuratiegegevens (versienummers, services), van de verschillende omgevingen, in te lezen. De ketenplaat wordt regelmatig gebruikt binnen incident- en problemmanagement, tijdens testtrajecten, bij Service Level Management en in discussiestukken over bijvoorbeeld monitoring. Beveiliging en beschikbaarheid zijn belangrijk en moeten in het beleid verankerd zijn. Het korte tijdbestek om een gehoste uitwijkomgeving in te richten mocht de veiligheid van de gegevensstromen niet in gevaar brengen. Klantgegevens moesten geheim blijven, ongeautoriseerde toegang tot en gebruik van (betalingen, etc) interne banksystemen moest voorkomen worden, en raadpleeg- en mutatie-acties vanuit de uitwijkomgeving mochten de reguliere productieomgeving niet verstoren. Het ontbreken van beleid ten aanzien van gevoelige klantgegevens en de hosting bij een externe partij compliceerde het traject. Dit security-issue was al aan het begin van het project bekend en is eigenlijk nooit goed opgelost (ondanks goedgekeurde deviations ). Gevolg was veel (terechte) weerstand bij projectmedewerkers, complexe en niet gewenste technische oplossingen (denk aan SANbeheer, firewall-blokkades), en veel discussie over de wijze van testen van de uitwijkomgeving. In het project zijn uiteindelijk meerdere maatregelen genomen om de veiligheids- en beschikbaarheidsrisico s weg te nemen: een zorgvuldig opgestelde review van externe koppelingen waarin alle in- en uitgangen zijn aangegeven, vele nachtelijke confidence tests waarin ook de transactieverwerkende systemen participeerden, en technische maatregelen zoals het dichtzetten van alle (firewall en MQ) koppelingen (worden alleen tijdens een uitwijktest en een uitwijkbesluit opengezet). Verder speelden ook niettechnische aspecten een rol, zoals het plaatsen van camera s en het opzetten van een nauwkeurige toegangsregistratie bij de serverruimte. Nieuwsgierig? Welk Passend Resultaat wilt u bereiken? Bent u benieuwd hoe wij door Denken & Doen dit resultaat kunnen helpen realiseren? Neem dan contact met ons op! www.premium.nl Startbaan 8, 1185 XR Amstelveen 020-7173977