Calamiteitenplannen, business continuity en de praktijk

Transcriptie

1 Calamiteitenplannen, business continuity en de praktijk WAT IS ER 15 JAAR NA DE BRAND IN HET TOENMALIGE DATACENTRUM TERECHT GEKOMEN VAN DE GELEERDE LESSEN

2 Agenda Wie ben ik Terug naar 20 November 2002 Wat waren de geleerde lessen Wat is nog meer veranderd Wat willen we nog verbeteren

3 Wie ben ik Erik Nijboer Afdelingshoofd LISA / ITO IT Beheerorganisatie

4 Terug naar 20 November 2002

5 Het gebouw hoe idyllisch 5

6 Plattegrond gebouw 6/15/2017

7 Eerste blik 6/15/2017

8 Een foto-impressie 6/15/2017

9 Waar rook is 6/15/2017

10 is vuur 6/15/2017

11 Hoogwerk 6/15/2017

12 Wat rest 6/15/2017

13 .is restant 6/15/2017

14 Spookzaken 6/15/2017

15 Restant werkplekken 15

16 SURF beschikbaarheid 16

17 SARA-ticket-melding 17 From: SARA Network Information Centre Sent: woensdag 20 november :07 To: Subject: TICKET-gigaport OPEN Ticket Name: gigaport Ticket Status: open Ticket Type: unscheduled Ticket Source: SARA Ticket Scope: link Site/Line: Enschede Ticket Owner: Problem Fixer: nic Ticket Opened: :57 MET Problem Start: :30 MET Closed: End: Problem Description: Er is brand in Enschede. Alle apparatuur is buiten dienst op dit moment. Nadere informatie volgt. Affected: Alle aansluitingen in PoP Enschede. Actions: Brandweer. Time to Fix: Onbekend. Fix:

18 Wat bleef behouden

19 Wat bleef behouden (i) Niets aan centrale netwerkapparatuur Niets aan centrale systemen Een decentraal deel telefooncentrale Een verbrande ruimte in een verbrand gebouw 6/15/2017

20 Wat bleef behouden (ii) TWEE KOFFERS MET BACKUP-TAPES 6/15/2017

21 Ondervonden problemen bij herstel

22 Ondervonden problemen (i) Geen stroom en netwerkaansluiting in tweede ruimte (was in opbouw) Onduidelijkheid soort vervangende apparatuur (o.a. backup) Onvoldoende restorecapaciteit Geen adequate beveiliging 6/15/2017

23 Ondervonden problemen (ii) 23 Hardware voor restore was niet hetzelfde Grote werkdruk kleine groep medewerkers Onderlinge bereikbaarheid (ook geen telefoon)

24 Geleerde lessen destijds En hoe kijk ik er nu tegen aan

25 Geleerde lessen (i) Gemikt op een oplossing met huisleveranciers Iedereen doet aan acquisitie, sluit je af Gekozen lijn, stem je af en zet je door Geen NOODSCENARIO S! Kosten extra tijd 6/15/2017

26 Geleerde lessen (ii) Maak gebruik van interne hulp Houdt overzicht Zet oogkleppen op Papier is net zo belangrijk als elektronisch 6/15/2017

27 Moraal hoog houden 27

28 Geleerde lessen (iii) Communiceer duidelijk naar eindgebruikers Wees helder Doe aan verwachtingsmanagement Laat werkafspraken vallen en meldt dat 6/15/2017

29 Geleerde lessen (iv) Tweede ICT-ruimte belangrijk, spreiding risico s Bewaren backup tapes in ander gebouw dan datacentra een goede zaak Werkplekken van beheerders moeten niet in een datacentrum zijn 6/15/2017

30 Nieuwe firewall 30

31 Geleerde lessen (v) Tijd doet vergeten: inventariseer tijdig oude situatie maak draaiboek houdt logboek bij blijf communiceren, eerste week is waardering, tweede week is gewoon en derde week vraagt waarom nog niet klaar 6/15/2017

32 Geleerde lessen (vi) Zorg voor een eindevaluatie De eerste week is alles mogelijk en speelt geld geen rol Jaren zeuren nu binnen 1 uur opgelost Vrijgeven applicaties na functionele test 6/15/2017

33 Tussendoor 33

34 Geleerde lessen (vii) Configuratiemanagement is belangrijk Ga intelligent om met risico s en kostenplaatjes Opslag manuals en media elders en dubbele exemplaren Licenties gekoppeld aan hardware 6/15/2017

35 Geleerde lessen (viii) Oefenen is zinvol, net als bij EHBO en ontruiming Gebruikersgroepen maken van test een productie omgeving zonder melding, daardoor geen adequate backup 6/15/2017

36 Wat is er de afgelopen 15 jaar nog meer aangepast

37 Algemeen (i) Eerste jaren weinig. Gericht op nieuw tweede datacentrum (Teehuis) Belang van beveiliging

38 Algemeen (ii) Technieken Werkwijzes Audits door accountants

39 Datacentra Omgevingsaanpassing Toegangscontrole datacentrum Cameracontrole in datacentra (intern en extern) Verschillende ruimtes met verschillende toegangsrechten Toegangssysteem zelf bedienen ipv via bewakingsdienst Externe toegang via bewakingsdienst

40 Housing Data vloer op verdieping Inrichting koude gangen Datacentrum management tool Ontwikkeling backup/restore bij de UT Procedure uitschakelen systemen Disaster recovery plannen

41 Divers Redundantie in DC s Vernieuwen netwerkinfrastructuur in DC s SPOF SURFnet

42 Wat staat er nog op het programma

43 Vervangen derde locatie Discussie wel / geen cloud of hybrid cloud Vaker testen recovery plannen Denken over derde network aansluiting Test uitschakelen netstroom

44 Hoe ziet het er nu uit?

45

46

47 Blijf alert en ook kritisch

48 Vragen 6/15/2017???