Qi ict whitepaper Business Continuity en Disaster Recovery: High Availability in server & storage omgevingen Klantnaam : Qi ict Datum : augustus 2010 Versie : 1.1 Auteur : Qi ict Document : BC en DR: HA in server & storage omgevingen
Inhoudsopgave 1. Algemeen... 2 1.1. Versie geschiedenis... 2 2. Inleiding... 3 3. RPO & RTO... 4 4. Synchrone replicatie technieken... 5 4.1. Storage virtualisatie... 5 5. A- synchrone replicatie technieken... 7 5.1. Volume Shadowcopy Service (VSS)... 7 6. Server & desktop virtualisatie i.c.m. replicatie... 9 7. Back-up & restore technieken... 10 7.1. Back-up to disk... 10 7.2. Deduplicatie... 11 7.3. LAN free back-up & VSS... 14 7.4. Gevirtualiseerde omgevingen veilig stellen en herstellen... 15 8. Datacommunicatie... 16 8.1. Dark fiber... 16 8.2. CWDM en DWDM... 17 8.3. Passieve xwdm... 18 8.4. Actieve xwdm... 18 9. Samengevat... 19 i
1. Algemeen 1.1. Versie geschiedenis Versie Datum Veranderingen 1.0 Juli 2010 Initieel document 1.1 Aug 2010 Wijzigingen 2
2. Inleiding Deze whitepaper beschrijft een aantal technieken die in moderne server en storage omgevingen gebruikt kunnen worden om te voldoen aan high availability eisen. Alvorens de juiste technieken te selecteren en toe te passen is het van belang een goed beeld te hebben van welke beschikbaarheid de diverse applicaties moeten leveren. Afhankelijk van deze eisen en het beschikbare budget kan vervolgens de best passende oplossing ontworpen worden. Virtualisatie van zowel de server als de storage omgeving zijn veelgebruikte technieken om op een kostenefficiënte wijze de beschikbaarheid te verhogen. High availability en uitwijklocaties zijn erg nauw met elkaar verbonden. Hoofdstuk 8 gaat in op de verbindingen tussen deze locaties en enkele moderne technieken om een zo optimaal mogelijk gebruik te maken van deze veelal kostbare verbindingen. 3
3. RPO & RTO Alvorens een goed design van de optimale storage en disaster recovery infrastructuur te kunnen ontwerpen is het van belang te onderzoeken welke eisen de business aan de beschikbaarheid van de omgeving en bepaalde applicaties stelt. Onderstaand een uitleg van twee veel gebruikte termen die in grote mate de toe te passen technologieën bepalen. Stap 1: Bepalen van de RPO (Recovery-Point Objective) / RTO (Recovery-Time Objective) doelstellingen. Hoeveel dataverlies is acceptabel en binnen welke tijdsperiode moet de dienstverlening weer hersteld zijn. Deze doelstellingen kunnen eventueel per applicatie opgesteld worden, vaak is het zo dat deze eisen voor de gehele (of grote delen van de) omgeving worden uitgevoerd. Met name in gevirtualiseerde server omgevingen zijn RPO/RTO doelstellingen eenvoudiger en kosten efficiënter te bewerkstelligen. Recovery-point Objective (Data verlies) Metrocluster Recovery-time Objective (Hersteltijd) Synchrone replicatie & Weken Dagen Uren Min. clustering Min. Uren Dagen Weken A-synchrone replicatie Voorbereid Tape back-up Restore actie Disaster moment Stap 2: Uitgaande van de RPO/RTO doelstellingen en het beschikbare budget kan bepaald worden welke technologie(en) de juiste beschikbaarheid en hersteltijd van data en applicaties kan verzorgen. 4
4. Synchrone replicatie technieken Het hoogst haalbare niveau van beschikbaarheid is gebaseerd op synchrone data replicatie. In geval van synchrone datareplicatie wordt ervoor gezorgd dat elke schrijfactie op de hoofdlocatie pas bevestigd wordt zodra deze schrijfactie op de uitwijklocatie is uitgevoerd en bevestigd. Dus een waarborging van de consistentie van de gerepliceerde data! De eis die aan de storage systemen wordt gesteld is dat deze gelijkwaardig zijn qua performance en capaciteit, zodat schrijfacties op de uitwijklocaties geen belemmering vormen voor de hoofdlocatie. Een tweede eis die aan de omgeving wordt gesteld is de bandbreedte en latency tussen de beide locaties. Veelal wordt gebruik gemaakt van directe Fibre Channel verbindingen tussen de systemen, waarbij WDM technieken voor een optimalisatie van de betreffende darkfiber kunnen verzorgen. Zodra de data beschikbaar is op beide locaties ontstaat de mogelijkheid om applicaties op de uitwijklocatie beschikbaar te maken. De meest eenvoudige vorm is een volledig gevirtualiseerde omgeving waarbij zowel de applicatiedata als het gevirtualiseerde besturingssysteem op beide locaties beschikbaar is. Tijdens een omschakeling naar de uitwijkomgeving kunnen systemen gestart worden en kan de dienstverlening zo snel mogelijk hersteld worden. Met name server virtualisatie leverancier VMware is hier sterk in met hun site recovery manager software die geautomatiseerd een failover en failback kan uitvoeren en simuleren. 4.1. Storage virtualisatie Storage array virtualisatie is momenteel een techniek binnen de storage wereld die de beschikbaarheid van applicaties in combinatie met synchrone replicatie nog een niveau hoger kan leggen. In geval van storage array virtualisatie wordt er op storage area netwerk (SAN) niveau een virtualisatie laag gevormd boven de diverse storage array s in de omgeving. Een schrijf actie naar de storage virtualisatielaag wordt automatisch uitgevoerd op de onderliggende geografisch gescheiden storage array s. Deze techniek in combinatie met high availability features van server virtualisatie kunnen ervoor zorgen dat een applicatie zonder onderbreking beschermd is tegen uitval van een volledige locatie. 5
SAN SAN FC Virtualisatie laag SAN SAN Storage array Storage array Storage array Storage array Figuur 1 Storage virtualisatie 6
5. A- synchrone replicatie technieken A-synchrone replicatie wordt gebruikt indien een geringe onderbreking van de dienstverlening en een bepaald dataverlies acceptabel is. In geval van a- synchrone replicatie wordt op gezette tijden data van een bepaalde applicatie gerepliceerd naar een uitwijklocatie. A-synchrone replicatie stelt minder hoge eisen aan de verbinding tussen de locaties. In geval van A-synchrone replicatie is het van belang na te denken over de consistentie van de te repliceren data. Op het moment dat een replicatie actie wordt gestart van bijvoorbeeld een email omgeving waar continue mails en andere data in de mailstore wordt weggeschreven moet deze mailstore op het moment van replicatie in een consistente staat gebracht worden. Windows server systemen kunnen hiervoor gebruik maken van de Volume Shadowcopy Service (VSS) en de integratie van deze service met het storage array. 5.1. Volume Shadowcopy Service (VSS) VSS is een service die ervoor kan zorgen dat er een consistente kopie van een volume gemaakt kan maken in een Microsoft server omgeving. Met consistent wordt bedoeld dat de data(base) die in bewerking is op het moment dat er een snapshot gemaakt dient te worden naar disk wordt geschreven alvorens de snapshotactie (replicatie) uit te voeren. Tijdens het creëren van het snapshot worden alle schrijfacties naar het volume tijdelijk op een andere locatie opgeslagen en pas naar het doelvolume geschreven nadat de snapshot actie is afgerond. Lees acties blijven voortdurend mogelijk. Writers Volume Shadow Copy Service (VSS) Requestor System provider Hardware provider Software provider Volumes Figuur 2 Schematische weergave VSS 7
VSS gaat uit van de volgende drie deelnemers in de actie; Requestor De requestor is degene die de actie initieert, bijvoorbeeld een back-up applicatie of een snapshot applicatie. Writer De Writer is de applicatie die data opslaat op een of meerdere volumes die deelnemen aan de VSS actie. Bijvoorbeeld een database of een Mail applicatie. Provider De provider is de component die de daadwerkelijke kopie (clone, snapshot) zal gaan maken. Bijvoorbeeld een storage array (hardware provider) of de in het besturings systeem geïntegreerde system provider. 8
6. Server & desktop virtualisatie i.c.m. replicatie Server & desktop virtualisatie is een veelgebruikt middel om de uptime van omgevingen te verhogen. Server virtualisatie verzorgt een hardware onafhankelijkheid door het creëren van een virtualisatie laag tussen het besturingssysteem en de onderliggende hardware. In volledig gevirtualiseerde en hoog beschikbare omgevingen wordt alle data (besturings systeem + applicatie data) opgeslagen op een gecentraliseerd storage array. Dankzij deze centralisatie wordt het mogelijk een gehele omgeving te repliceren naar een uitwijklocatie en deze omgeving op een kosten efficiënte wijze beschikbaar te maken. Naast een beschikbaarheid van de applicaties vanuit IT oogpunt, kunnen tevens gebruikers gebruik maken van de applicaties vanaf remote (thuis)werkplekken. 9
7. Back-up & restore technieken Afhankelijk van de RPO/RTO wensen is een applicatie back-up vrijwel altijd een vereiste, zodat in geval van bijvoorbeeld een menselijke fout de mogelijkheid bestaat om de applicatie data te herstellen naar een bepaald moment in de tijd waarop de betreffende data nog in een juiste staat is. Denk hierbij bijvoorbeeld aan het verwijderen van een aantal records in een database, eenmaal verwijderde records worden gerepliceerd naar de uitwijklocatie, en gaan dus verloren! Hierbij is het zaak om een back-up te kunnen herstellen naar een moment waarbij de records nog in de database aanwezig waren. Een hulpmiddel hierbij kan het gebruik van snapshots zijn die als aanvulling op de dagelijkse back-up gemaakt worden. Bijvoorbeeld een database snapshot die elke 30 minuten wordt aangemaakt zorgt ervoor dat de RPO wordt verkleind tot 30 minuten in tegenstelling tot maximaal 24 uur bij de dagelijkse back-up. Een dergelijk snapshot is tevens zeer snel te herstellen waardoor de RTO voor deze applicatie ook drastisch afneemt. De volgende technieken zijn beschikbaar om aan diverse RPO/RTO eisen binnen de back-up te voldoen; 7.1. Back-up to disk Back-up-to-disk biedt als grootste voordeel de mogelijkheid om eenvoudig meerdere systemen gelijktijdig veilig te stellen en te herstellen, waar tape omgevingen hiervoor afhankelijk zijn van het aantal tape drives. Back-up naar disk kan op meerdere manieren uitgevoerd worden, de meest voorkomende manieren zijn; Back-up naar een interne disk van de (dedicated) back-up-server In veel gevallen is de tape drive, autoloader of robot via scsi, Fibre Channel of SAS direct aangesloten op de back-up server, in deze gevallen is het logisch om de back-up naar disk naar een interne (SAN) disk in deze server te schrijven. De back-up jobs kunnen bijvoorbeeld s nacht draaien en overdag kan de data naar tape geschreven worden voor off-site back-up. Een voordeel van deze oplossing is dat er meestal geen extra hardware voor aangeschaft hoeft te worden of dat de hardware aanschaf beperkt kan blijven tot een aantal interne SATA schijven voor de back-up server. Indien de hoeveelheid data en de performance eisen toenemen kan gebruik gemaakt worden van geoptimaliseerde NAS of VTL back-up appliances. Back-up naar een Virtuele Tape Library (VTL) Een VTL is een op schijf technologie gebaseerd apparaat dat door de backup software als een tape device wordt gezien. Veel fabrikanten voorzien kun VTL systemen van een de-duplicatie functie op Block niveau, deze functie wordt zeer efficiënt indien er enkel full back-ups gemaakt worden. Dergelijke systemen zijn geoptimaliseerd om back-up streams zo snel mogelijk naar de 10
onderliggende schijven weg te schrijven, ondermeer door gebruik te maken van SSD technologie i.c.m. deduplicatie. Back-up naar een NAS appliance Sinds enkele jaren voorzien steeds meer fabrikanten hun disk gebaseerde back-up appliances van een NAS interface die de implementatie ervan in bestaande omgevingen vereenvoudigd. Deduplicatie technieken zijn uiteraard voorzien. Enkele leveranciers voorzien hun high-end back-up systemen van zowel VTL als NAS functionaliteit. Replicatie voorzieningen zijn tevens een standaard feature waarbij enkel de gewijzigde datablokken gerepliceerd hoeven te worden. 7.2. Deduplicatie Onderstaande illustratie geeft schematisch de levensloop van een email met een bijlage van 2 MB weer. Figuur 3 Levensloop van een email met een 2MB bijlage Een email met een bijlage van twee MB wordt naar vijf mensen verzonden die allen de bijlage opslaan in hun persoonlijke home directory. De totale opslagbehoefte is nu reeds gegroeid naar 20MB. Vervolgens wordt er wekelijks een full back-up van de volledige omgeving gemaakt. Na vier weken is de bijlage reeds 40 (4 x 10) maal opgeslagen in de back-up omgeving. De volgende stap is de maandelijkse full back-up die vijf jaar bewaard moet worden. Na vijf jaar bestaan er 600 (12 x 5 x 10) kopieën van het bestand. Dit is uiteraard een vereenvoudigde weergave van de werkelijkheid, maar dit geeft wel aan hoe eenvoudig een bestand vele malen op diverse locaties opgeslagen wordt. Om dit probleem in de back-up omgeving op te lossen is de-duplicatie ontwikkeld. De-duplicatie kan op twee manieren uitgevoerd worden, op bestandsniveau of op Block-level niveau. De-duplicatie op bestandsniveau wordt ook wel sis (single instance store) genoemd en is de minst efficiënte methode van de twee. Sis zal op basis van de eigenschappen van een bestand een bestand opslaan op schijf of zal, 11
indien dit bestand reeds opgeslagen is, een verwijzing naar het reeds opgeslagen bestand maken. Dus het kleinst mogelijke detail wat betreft deduplicatie is een bestand, dit geeft ook meteen de beperking van deze methode aan. Exchange maakt bijvoorbeeld ook gebruik van een soort van sis d.m.v. het eenmalig opslaan van een bijlage die naar meerdere mensen binnen dezelfde Exchange omgeving is verzonden. De-duplicatie op Block niveau kan hogere de-duplicatie ratio s halen dan single instancing. De reden hiervoor is dat de-duplicatie op Block niveau eenvoudig weg meer details heeft, een bestand wordt namelijk op meerdere blokken op het storage systeem opgeslagen. Een mooi voorbeeld dat het verschil tussen beide aangeeft is het wijzigen van een aantal woorden in een.doc bestand. Single instancing zal dit bestand als een volledig nieuw bestand herkennen. In het geval van de-duplicatie zal het systeem enkel de gewijzigde blokken opslaan en een verwijzing naar de reeds opgeslagen blokken plaatsen. Onderstaande tekeningen geven dit schematisch weer. Data de-duplicatie vergelijkt nieuw weggeschreven blokken data met reeds eerder weggeschreven blokken. Indien een datablok overeenkomt met een reeds bekend blok zal enkel een verwijzing naar het overeenkomende blok geschreven worden, dus enkel unieke blokken data worden opgeslagen. 12
De efficiëntie van de-duplicatie hangt van de volgende factoren af; Het type data, ofwel de hoeveelheid dubbele data die binnen een backup; De back-up policy. Des te vaker er geback-upped wordt, des te hoger het de-duplicatie ratio; De mate waarin de data wijzigt. Des te minder wijzigingen, des te hoger de de-duplicatie ratio. Afhankelijk van bovengenoemde factoren zijn maximale ratio s van 1:10 tot 1:50 mogelijk. Onderstaande afbeelding geeft dit weer. Enkele back-up pakketten bieden de mogelijkheid om de veilig te stellen hosts te betrekken in het de-duplicatie proces zodat naar wens bepaalde of alle de-duplicatie acties op de host uitgevoerd kunnen worden. Een voordeel hiervan is dat slechts gewijzigde of nieuwe datablokken veilig gesteld hoeven worden, dus extreem korte back-up tijden! 13
7.3. LAN free back-up & VSS Onderstaande figuur geeft schematisch weer welke stappen worden doorlopen tijdens het creëren van een (VSS) snapshot, geïnitieerd door een back-up pakket, in samenwerking met een storage array. Local Area Network (LAN) 1. 3. Backup Server Applicatie Server Applicatie Server Applicatie Server Storage Area Network (SAN) 4. 5. 2. Snapshot 6. Storage array Tape library Figuur 4 Veilig stellen van een snapshot naar (virtuele) tape De back-up software initieert het back-up proces op basis van een ingesteld schema; 1) Gebruik makend van scripting (en VSS) zorgt de back-up applicatie ervoor dat de veilig te stellen applicatie zich gereed maakt voor het maken van een snapshot. Dit houdt in dat schrijfacties niet meer naar disk worden geschreven, maar dat lees acties onverminderd plaats kunnen vinden. Vervolgens leegt het bestandssysteem zijn schijf cache naar disk; 2) Gebruik makend van scripting zorgt de back-up applicatie ervoor dat het storage array een snapshot van het veilig te stellen volume maakt. Dit neemt enkele seconden in beslag; 3) Gebruik makend van scripting zorgt de back-up applicatie ervoor dat de veilig te stellen applicatie al zijn functies hervat; 4) Gebruik makend van scripting zorgt de back-up applicatie ervoor dat het zojuist gemaakt snapshot aan de back-up server wordt gekoppeld; 5) De back-up software schrijft vervolgens het zojuist gekoppelde snapshot naar tape of disk; 6) Indien de schrijfactie geslaagd is zal de back-up software het snapshot van het storage systeem verwijderen. 14
7.4. Gevirtualiseerde omgevingen veilig stellen en herstellen Een gevirtualiseerde serveromgeving veilig stellen kan voor issues zorgen indien dit op de traditionele wijze via het LAN uitgevoerd wordt. Het veilig stellen van een gevirtualiseerd systeem belast de onderliggende hardware en dus indirect alle VM s die op deze hardware actief zijn. Integratie van back-up pakketten met de management omgeving van de virtuele infrastructuur is een must. Een veelgebruikte techniek omvat de integratie van back-up software i.c.m. (array) snapshot functionaliteiten van de virtuele infrastructuur. Een dergelijk snapshot kan bijvoorbeeld gekoppeld worden aan een back-up systeem en vervolgens veilig gesteld worden naar tape of schijf. Moderne omgevingen maken het inmiddels mogelijk om enkel Block-level verschillen van een VM veilig stellen, wat voor zeer snelle back-up tijden kan zorgen! Het herstellen van VM s kan in veel gevallen op VM-, volume- of bestandsniveau. 15
8. Datacommunicatie Een vast onderdeel tijdens het bedenken c.q. creëren van een uitwijkscenario is de verbinding tussen de hoofdlocatie en de uitwijklocatie. In paragraaf 3 is aandacht besteed aan het RPO/RTO principe en de daarbij behorende mogelijkheden op het gebied van dataopslag zoals synchrone en asynchrone replicatie. In deze paragraaf worden een aantal zaken benoemd die in ogenschouw genomen kunnen worden op het gebied van datacommunicatie. 8.1. Dark fiber Een mogelijkheid is om uit te gaan van een dark fiber verbinding direct gekoppeld op de SAN switches. In deze situatie worden de SAN switches voorzien van mini-gbics (SFP s) die geschikt zijn voor het overbruggen van een grote afstand, deze SFP s zijn vaak duur in aanschaf in vergelijking met SFP s die bedoeld zijn voor het overbruggen van korte afstanden. In het geval dat de dark fiber direct gekoppeld wordt op de SAN switches is er geen sprake van redundantie. De SAN switches zijn enkelvoudig uitgerust en ook de dark fiber verbinding is enkelvoudig uitgerust, daarbij komt dat de dark fiber verbinding alleen gebruikt kan worden voor in dit geval FiberChannel verkeer (1/2/4 Gbps) en dat er geen andere protocollen getransporteerd kunnen worden over de dark fiber verbinding. Kortom de koppeling van de dark fiber verbinding direct op de SAN switches is een oplossing maar op het moment dat een van deze componenten uitvalt zal er geen verbinding meer zijn tussen de hoofdlocatie en de uitwijklocatie, in geval van asynchrone replicatie is het probleem minder groot dan in het geval van synchrone replicatie. Maar te allen tijde een ongewenste situatie. 16
8.2. CWDM en DWDM Er zijn alternatieven voor het direct koppelen van de dark fiber verbinding op de SAN switches. Een voorbeeld daarvan is het plaatsen van actieve of passieve xwdm apparatuur die zorgt voor de belichting van de fiber verbinding tussen de hoofdlocatie en de uitwijklocatie. Om xwdm techniek toe te passen kan de reeds beschikbare dark fiber verbinding gebruikt c.q. hergebruikt worden en in plaats van deze direct op de SAN switches te koppelen worden er nu zogenoemde multiplex/demultiplex modules geplaatst waarop de dark fiber verbinding aangesloten worden. Het is mogelijk om meerdere dark fiber verbinding aan te sluiten op de xwdm apparatuur waardoor de redundantie volledig geregeld kan worden door de xwdm apparatuur ook al zijn de SAN switches enkelvoudig uitgevoerd. Bij het overbruggen van afstanden groter dan +/- 40 kilometer zullen bij het gebruik van Fiber Channel de buffer credits van de SAN switches aangepast moeten worden om problemen te voorkomen. Een groot voordeel bij het gebruik van xwdm techniek is dat men niet gebonden is aan het gebruik van 1 protocol op de dark fiber verbindingen, er kunnen meerdere protocollen fysiek geschieden van elkaar, op basis van verschillende golflengtes, getransporteerd worden over die ene dark fiber verbinding. Binnen de xwdm wereld zijn er twee technieken te onderscheiden. 17
8.3. Passieve xwdm Passieve xwdm houdt in dat er alleen een multiplex/demultiplex module gebruikt wordt om de verschillende protocollen die over de lijn getransporteerd worden te multiplexen, de golflengte die gebruikt wordt wordt bepaald door de mini-gbics (SFP s ) die in de ethernet en/of SAN switches geplaatst worden. In dit geval wordt er gebruik gemaakt van SFP s met een bepaalde golflengte in de SAN en/of ethernet switches die geschikt zijn voor het overbruggen van de lange afstand. In het geval van passieve xwdm kan de redundantie niet geregeld worden door de multiplex module maar zullen de SAN switches redundant gekoppeld worden aan meerdere multiplexers, de SAN switches zullen in dit geval moeten bepalen welk pad het meest optimaal of beschikbaar is. Passieve xwdm kan zoals het woord passief al aangeeft werken zonder dat er een externe voedingsbron benodigd is. 8.4. Actieve xwdm Actieve xwdm houdt in dat er behalve een multiplex/demultiplex module nog een aantal modules geplaatst kunnen worden om bijvoorbeeld meerdere ethernet kanalen te combineren en vervolgens pas de multiplexer in te sturen en over een bepaalde golflengte naar de uitwijklocatie te transporteren. Een groot voordeel van actieve xwdm is dat de SAN en/of ethernet switches uitgerust kunnen worden met standaard SFP s (goedkoper) die geschikt zijn voor de korte afstand (multimode 850 nm). De SAN en/of ethernet switches worden dan gekoppeld aan transponder modules. In de transponder module worden SFP s geplaatst met een bepaalde golflengte en die worden weer gekoppeld aan de multiplex/demultiplex module. In het geval van actieve xwdm is het mogelijk om de SAN en/of ethernet switches te koppelen aan de transponder module en de transponder module te koppelen met twee multiplex/demultiplex modules waardoor redundantie in geval van een redundante dark fiber verbinding gewaarborgd is. De xwdm apparatuur zorgt dan op basis van beschikbaarheid van de dark fiber verbindingen voor de redundantie, zelfs als de switches omgeving enkelvoudig uitgevoerd is. In dit geval ligt de verantwoordelijke beslissing welk pad gekozen wordt dus niet bij de SAN en/of ethernet switches maar bij de xwdm apparatuur en dat is een groot verschil ten opzichte van passieve xwdm. 18
9. Samengevat Het ontwerpen van de juiste omgeving aangepast aan de gestelde eisen en budgettering is een complexe zaak. Een goede start is server virtualisatie in combinatie met een juist geschaalde centrale opslagomgeving en de juiste back-up methodieken om deze omgeving veilig te stellen. Met name de centralisatie van de storage biedt vervolgens mogelijkheden om de gehele omgeving te repliceren naar een uitwijklocatie waar vervolgens aan de gestelde disaster recovery (RPO/RTO) eisen voldaan kan worden. 19