Back-up Kris Joris 1 juni 2011 1
Inleiding Bijna wekelijks ontvangt CIPAL vragen rond back-up oplossingen van onze collegasysteembeheerders op de besturen. o Het snel kunnen terugzetten van een volledig systeem na een defect o Back-up to disk o Deduplicatie o Vaulting o Back-up van Windows 2008 o Vragen met een budgettaire achtergrond Tijdens deze sessie zal CIPAL de vragen bundelen en de meest praktische oplossingen toelichten met hun voor- en nadelen. In het tweede deel van deze sessie stelt CIPAL een nieuw project voor: o Back-up As A Service o Een gloednieuwe dienst die CIPAL uitwerkt o Interactieve benadering om de dienst beter af te stemmen op uw wensen 1 juni 2011 2
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 3
De verschillende back-up softwares Optie: back-up software o CA Arcserve Brightstor o Symantec Backupexec o N.v.t. hier : Netbackup, Tivoli Storage Manager Back-up van Windows 2008 servers o CA Arcserve moet versie 12.5 min, nu15 worden Competitieve upgrading o Van Arcserve => Backup Exec Fysisch Virtueel Symantec Backup Exec x x CA Arcserve - Brightstor x Comp.upgrd 1 juni 2011 4
De producten voor VMware omgevingen Optie: back-up software o Symantec Backup Exec 2010 VMware Suite + 1 agent o Symantec Enhanced Agent for VMware Virtual Infrastructures o Symantec Remote Agent for Linux or UNIX Servers De producten voor fysische servers o Symantec Backup Exec 2010 (Core) o Symantec Agent for Windows Systems o Symantec Remote Agent for Linux or UNIX Servers o CA Arcserve backup r 15 for Windows (Core) o CA Arcserve backup r15 Client agent for Windows o CA Arcserve backup r15 Client Agent for Linux 1 juni 2011 5
Optie: standaard back-up Bij een back-up van een actieve server zal de back-up log steeds wisselende fouten geven. o Bestandservers Alle gebruikers moeten normaal uitgelogd zijn Sommige systeembestanden zijn steeds in gebruik Logbestanden staan altijd open o Databaseservers en mailservers De database staat altijd open De database buffers zijn mogelijk niet geflushed o Groter back-up window door retries Wat configureert CIPAL o Eigen CIPAL scripts o Pre- en postback-up scripts voor database servers (export en back-up mode) o Pre- en postback-up scripts voor stilleggen van verschillende services (DHCP, DNS, WINS, Indien mogelijk in functie van de globale werking van het bestuur) o Geen acties voor fysische of virtuele bestand- en mailservers! Bestanden die openstaan worden, m.u.v. Backup Exec, NIET opgenomen in de back-up. 1 juni 2011 6
Optie: online back-up Online back-up zorgt ervoor dat alle open bestanden niet langer een probleem vormen. o Er wordt gewerkt met specifieke agents. o Gebruikers kunnen gewoon verder werken. o Minder fouten in de back-up log o Logbestanden kunnen effectief teruggezet worden van back-up o Databaseserver steeds de juiste back-up toestand o Mailserver steeds online met correcte back-up. Mailboxen en mails kunnen individueel teruggezet worden. Database Exchange Open file Fysiche servers Virtuele server Symantec CA Symantec CA Agents voor Microsoft SQL Server en Oracle Agent for Microsoft Exchange Server Open file agent CA Arcserve Backup r15 Agent for Windows Agent for Oracle (of For Microsoft SQL server) CA Arcserve Backup r15 Agent for Windows Agents for Microsoft Exchange CA Arcserve Backup r15 Agent for open files on Windows Agents voor Microsoft SQL Server en Oracle Enhanced Agent for Microsoft Exchange Server Ingebakken in basis agent Competitie upgrading Competitie upgrading Competitie upgrading 1 juni 2011 7
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 8
D2D versus Robot Disk versus tape o I/O snelheid LTO 5 tape : 1,5 TB overdrachtssnelheid van 504 GB/uur, maximum snelheid: 280MB/sec, streaming. o I/O snelheid 15 K SAS disk : 450 GB, Sequentieel 122-204MB/sec o Bewaartijd Disk: 7 jaar Tape: even lang maar driveafstelling gevoeliger. o Capaciteit Taperobots hebben een grotere capaciteit Deduplicatie zorgt voor meer capaciteit op disk. Wat kiezen? o U bepaalt welke medium u wenst te gebruiken o CIPAL biedt beide back-up media aan o CIPAL biedt eveneens de combinatie van deze back-up media aan. 1 juni 2011 9
Een normaal back-up schema Incrementele week back-up Full-back-up Full-back-up Week Maandag Dinsdag Woensdag Donderdag Vrijdag Maand 1 I1 I2 I3 I4 F1 2 I1 I2 I3 I4 F2 3 I1 I2 I3 I4 F3 4 I1 I2 I3 I4 F4 F4 5 I1 I2 I3 I4 F5 6 I1 I2 I3 I4 F1 7 I1 I2 I3 I4 F2 8 I1 I2 I3 I4 F3 F3 9 I1 I2 I3 I4 F6 10 I1 I2 I3 I4 F5 11 I1 I2 I3 I4 F1 12 I1 I2 I3 I4 F2 F2 13 I1 I2 I3 I4 F7 14 I1 I2 I3 I4 F6 15 I1 I2 I3 I4 F5 16 I1 I2 I3 I4 F1 F1 17 I1 I2 I3 I4 F8 18 I1 I2 I3 I4 F7 19 I1 I2 I3 I4 F6 20 I1 I2 I3 I4 F5 F5 21 I1 I2 I3 I4 F9 22 I1 I2 I3 I4 F8 23 I1 I2 I3 I4 F7 24 I1 I2 I3 I4 F6 F6 25 I1 I2 I3 I4 F10 26 I1 I2 I3 I4 F9 27 I1 I2 I3 I4 F8 28 I1 I2 I3 I4 F7 F7 Incrementele week back-up Full-back-up Full-back-up Week Maandag Dinsdag Woensdag Donderdag Vrijdag Maand 29 I1 I2 I3 I4 F11 30 I1 I2 I3 I4 F10 31 I1 I2 I3 I4 F9 32 I1 I2 I3 I4 F8 F8 33 I1 I2 I3 I4 F12 34 I1 I2 I3 I4 F11 35 I1 I2 I3 I4 F10 36 I1 I2 I3 I4 F9 F9 37 I1 I2 I3 I4 F13 38 I1 I2 I3 I4 F12 39 I1 I2 I3 I4 F11 40 I1 I2 I3 I4 F10 F10 41 I1 I2 I3 I4 F14 42 I1 I2 I3 I4 F13 43 I1 I2 I3 I4 F12 44 I1 I2 I3 I4 F11 F11 45 I1 I2 I3 I4 F15 46 I1 I2 I3 I4 F14 47 I1 I2 I3 I4 F13 48 I1 I2 I3 I4 F12 F12 49 I1 I2 I3 I4 F16 50 I1 I2 I3 I4 F15 51 I1 I2 I3 I4 F14 52 I1 I2 I3 I4 F13 F13 1 juni 2011 10
Tapedrive in de back-up server Tape Library Enternus LT20, 40 en 60 Rechtstreekse streaming van servers naar tape Combinatie met andere types back-up mogelijk Optie: vaulting & robots Back-up server Back-up software Tape library option bij meerdere drives in robot Eternus LTO SLOTS Drives Clean LT20 4, 5 8 1 1 LT40 4, 5 24 2 1 LT60 4, 5 48 4 1 1 juni 2011 11
Wordt afgehandeld door de back-up software Data wordt gedurende een bepaalde tijd op disk bewaard Na de back-up op disk wordt de data naar tape overgeschreven Voordeel en nadelen: o Oplossing back-up window probleem bij moeilijke streaming, asynchroon naar tape o Meestal snellere restore maar afhankelijk van diskcapaciteit Werking Optie: diskstaging Back-up server Storage D3 D4 D5 D6 F1 D3 D4 D5 D6 F2 D3 D4 D5 D6 F1 D3 D4 maa F2 din F2 woe F2 don F2 vrij F2 zat F2 zon F2 maa F2 din F2 woe F2 don F2 vrij F2 zat F2 zon F2 maa F2 din F2 woe F2 don F2 vrij F2 zat F2 zon F2 maa F2 din F2 1 juni 2011 12
Wordt afgehandeld door de back-up software Data wordt gestreamed naar een bestand op schijf Bestanden vervangen de tapes Voordeel en nadelen: o o o Werking Oplossing back-up window probleem bij moeilijke streaming. Snelle restore maar veel diskcapaciteit nodig bij normaal back-up schema Enkel de disk bevat uw back-up data. Optie: Disk to Disk Back-up server Storage 1 juni 2011 13
Disksystemen Disken in de back-up server DAS (Direct Attached Storage) o Eternus JX40 : Tot 72 Tbyte ISCSI, SAS of Fiber channel o Eternus DX60: van 2 tot 24 disks o Eternus DX80: van 2 tot 120 disks o Snapshots Eternus DX90 o Idem DX80 o Replication 14 1 juni 2011
Disksystemen Iomega StorCenter px4-300r Network Storage Array 15 1 juni 2011
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 16
Optie: images Commands via Vmware vsphere CLI Back-up server CIPAL scripts De back-up server ziet de externe datastore Bv via Cifs VMhost moet de externe datastore kunnen zien. Bv via nfs\vmware V M 1 Esxi V M 2 Shutdown VM Copy Vmx, vmxf en nvram naar NAS VM snapshot mode Poweron VM Copy Vmdk naar NAS Commit snapshot D2D NAS, SAN Geen interne disken of DAS Storage SAN of interne disken 1 juni 2011 17
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 18
Deduplicatie Variable-length Blocks Data Set R G Y B PP O G B YY R R OO Data Set = R, G, Y, B, P, O, G, B, Y, R, O Deduplicatie o Verdeling van de data in variable-length blocks op basis van data-dependent delimiters o Elk blok krijgt een unieke hash o Er wordt een lijst met de originele volgorde van de blokken aangemaakt o Deze lijst en de unieke blokken worden opgeslagen o Compressie van de opgeslagen blokken 1 juni 2011 19
Insert Fixed length blocks A B C D E F G H I Deduplicatie Fixed block boundaries Insert one, change all Variable length blocks A B C D Data-dependent delimiter Insert E B C D Insert one, change one 1 juni 2011 20
Deduplicatie 21 1 juni 2011
Optie: capaciteitsverhoging via deduplicatie Eternus CentricStor 800 Disk to Disk FC ISCSI VTL OST NFS CIFS Disk staging Images CPU en GEHEUGEN DIA & RAID 1 juni 2011 22
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 23
Optie: disaster/recovery voor uw back-up Indien mogelijk de back-up server in een andere ruimte / gebouw dan uw servers plaatsen Diskstaging en tapes geven u de mogelijkheid om uw back-up extern te bewaren en dus een disaster/recovery oplossing aan uw bestuur aan te bieden én dit zonder het verlies van een snelle restore van disk Replicatie van uw Disk to Disk oplossing o Opletten met de functionaliteiten die de goedkopere disken bieden op het vlak van replicatie. o Indien u beschikt over twee SAN s kan u eventueel een kopie van de back-up bewaren op een andere SAN. Overshoot is echter ook niet nuttig. o De professionele oplossingen (zoals de CS800) beschikken over high-end replicatietechnieken die gelijk zijn aan deze van de huidige moderne SAN s. 1 juni 2011 24
Optie: proactieve serviceverlening Het nakijken van een back-up is steeds belangrijk. Een specifiek supportcontract om proactief het verloop van uw backup te controleren. o Specifiek voor VMware gebruikers o Back-up omgeving dient door CIPAL ondersteund te worden o Op een afgesproken tijdstip per maand de loggings en scheduling bekijken o Op een afgesproken tijdstip per jaar een disaster / recovery test scenario uitvoeren o Aan te passen aan de wensen van het bestuur Kostprijs is afhankelijk van de afgesproken inhoud van de testscenario s. 1 juni 2011 25
Optie: recovery from Point Of Crash Een oplossing die bij een defect van een disk op uw databaseserver toelaat om te recoveren tot enkele transacties vóór de crash. Vraag een specifieke server en storage configuratie. o Besturingssysteem staat op diskarray 1 met eigen controller o Database staat op diskarray 2 met eigen controller o Redo-log bestanden van de database worden weggeschreven op de diskarray 1 o Indien Array 2 vernietigd wordt, dan kunnen de back-up (tape of andere oplossing) en de redo-log op array 1 ervoor zorgen dat de data tot zeer kort voor de crash hersteld wordt. o Enkel mogelijk bij databases (Oracle) Bij SAN configuraties dient men rekening te houden met de specifieke configuratie van de disken en/of de synchronisatie naar een andere SAN. Deze configuraties zullen steeds een zeer specifieke aanpak vragen, zodat er zekerheid kan worden geboden rond het beoogde resultaat. 1 juni 2011 26
Een praktische en budgettair vriendelijke back-up oplossing Overzicht deel 1 o Optie : Back-up software o Optie : Standaard back-up o Optie : Online back-up o Optie : Vaulting o Optie : Diskstaging o Optie : Disk to Disk o Optie : Images o Optie : Capaciteitsverhoging door deduplicatie o Optie : Disaster/recovery voor uw back-up o Optie : Proactieve serviceverlening o Optie : Recovery from Point Of Crash VMware Data Recovery 1 juni 2011 27
VMware Data Recovery Luc Boeckx 1 juni 2011 28
VMware Data Recovery 1.2: overzicht Wat is VMware Data Recovery (VDR)? Wanneer VDR gebruiken? Hoe VDR bekomen? Wat zijn de voordelen van VDR? Wat zijn de beperkingen van VDR? Hoe werkt VDR? VDR instellingen Guest OS recovery / restore 1 juni 2011 29
Wat is VMware Data Recovery (VDR)? Back-up/Restore server specifiek voor VMware omgeving vanaf vsphere (ESX 4.x) Back-up en Restore van VM s (Guest OS) o Via VMhost management network (networkbased) GEEN SAN bv.: VMhosts met enkel lokale storage (geen SAN) o Via SAN storage network (Storage based SAN) Voorwaarde is SCSI hot-add option Complete VM image back-up (VM config + vmdk s)
Als enige back-up oplossing Wanneer VDR gebruiken? o waarbij VMware vsphere administrators vcenter gebruiken als hun enige beheerstool (servers = 100% VMware) o met 1 VM image back-up / dag o Back-up medium = disk only (D2D) Als aanvulling in bestaande (back-up) omgevingen: o met een traditionele file level back-up waar RTO belangrijk is
Hoe VDR bekomen? ESX 4.x / vsphere is vereist Inbegrepen in de licenties vsphereenterprise Plus, Advanced, en Essentials Plus Suites A la carte met vspherestandard Edition
Wat zijn de voordelen van VDR? (1) Virtual Appliance en Plugin Werkt met ESX en ESXi Volledig geïntegreerd met vcenter Geen bijkomende agents op Guest OS Kan VMDK s van VM s excluden o bv: enkel de VM config en system volume back-uppen; geen data volume Deduplicatie en compressie gebeuren automatisch o Block based o In-line destination
Wat zijn de voordelen van VDR?(2) Mogelijke status van VM op het moment van de VM back-up : o Power OFF Meest consistente status! (Guest OS is korte tijd niet beschikbaar) Shutdown VM via vcenter task neem snapshot start VM via vcenter task Beschikbaar voor alle Guest OS en o Power ON Consistente status door Guest scripting (services zijn korte tijd niet beschikbaar) Stop services voor quiescing (in ruststand brengen) neem snapshot start services Beschikbaar voor alle Guest OS en Consistente status door Guest VSS support VSS (Volume Shadow Services) writers zullen getriggerd worden voor quiescing neem snapshot Enkel Windows (Windows2008, Windows2003) Consistente status door de combinatie van Scripting en VSS support Crash consistente status zonder Guest scripting en zonder Guest VSS
Wat zijn de beperkingen van VDR? Back-up Datastore beperkt tot 2 x 500GB (dedupeddata) back-up disks Vb 1. Gemeente Rumst: o Active storage = 1,2 TB o Back-up (dedup) storage = 500 GB (local storage) Alle VM s 1 FULL image/dag Retention policy = 3 (1 most recently, 1 weekly, 1 monthly) Vb 2. OCMW Wijnegem o Alle VM s enkel de systeemvolumes; 1 x / week o Retention policy = 3 (1 most recently, 1 weekly, 1 monthly) 8 concurrent VMDK back-ups Aanbevolen voor max. 100 VM s / VDR appliance o Meer dan 1 VDR is mogelijk
Hoe werkt VDR? Back-up 1. Trigger VM back-up via VDR scheduler 2. Creëer VM snapshot 2a. Prefase: Quiesce de VM 2b. Snapshot gecreëerd 2c. Postfase: VM server is nu beschikbaar voor gebruik 3. Kopieer VMDK data naar VDR back-up medium - Gebruik Dedup op back-up locatie - Gebruik CBT bij source
Hoe werkt VDR? Recovery
VDR instellingen (1) Een back-up locatie creëren o VMFS storage op VMhost (beste performantie) Direct storage : Eternus JX40 : Tot 72 Tbyte iscsi storage : Eternus DX60 : van 2 tot 24 disks Eternus DX80 : van 2 tot 120 disks FC Storage Eternus DX90
VDR instellingen (2) Een VDR back-up job creëren stap voor stap o Selecteer virtuele machine(s) + VMDK(s) o Selecteer back-up locatie o Back-up window o Retention Policy
VDR instellingen (3) Back-up job status checken o Tabblad Reports : Events Running Virtual Machines Warnings and Errors o Tabblad Config : VDR Log file
Guest OS recovery / restore Je kan een volledige VM restoren (VM configuratie + VMDK(s)) Je kan een individuele VMDK restoren Je kan een VM restoren naar een andere naam (geen overwrite) Je kan een individuele file restoren o File level restore (VDR agent op guest OS is vereist) o Enkel Windows
Deel 2 Back-up As A Service Kris Joris 1 juni 2011 42
Back-up As A Service Uitwerking van een gecentraliseerde oplossing voor back-up t.b.v. onze vennoten o Infrastructuur (hardware + software) o Dienstverlening Verschillende mogelijke oplossingen m.b.t de infrastructuur o Verschillende benaderingsmethodes o Resulteren in een verschillende topologie o Universele oplossing geeft een hoge investeringskost CIPAL wenst echter de dienstverlening optimaal af te stemmen op uw vraag Interactieve benadering om een beter afstemmen op uw wensen te bekomen 1 juni 2011 43
Centrale back-up en deduplicatie? Back-up As A Service DEDUPLICATION AT TARGET DEDUPLICATION AT SOURCE Network Network Target deduplicatie is enkel op de lokale LAN mogelijk Source deduplicatie transporteert enkel de veranderingen over de WAN Source deduplicatie belast uw servers Replicatie op block-level (zoals bij SAN s) transporteert enkel de veranderende diskblokken. 1 juni 2011 44
Back-up As A Service Back-up Appl. Back-up 2 Disk H O Target deduplicatie H O Target deduplicatie H O Target deduplicatie H O Target deduplicatie Replication H O Target deduplicatie H O H O H O Target deduplicatie 1 juni 2011 45
Back-up As A Service Back-up Appl. Backup 2 Disk H O Target deduplicatie Source deduplicatie Replication H O Target desuplicatie H O Target deduplicatie H O Target deduplicatie H O Target deduplicatie H O Target deduplicatie 1 juni 2011 46
Back-up As A Service Back-up Appl. PD PV PD PV Physical Library Back-up 2 Disk H O Target deduplicatie Replication H O Target deduplicatie 1 juni 2011 47
Gesprekken met een aantal fabrikanten zijn lopende Analyse van de wensen en inschatting deelnemers Uitwerking van het businessmodel o Infrastructuur volgens het intercommunale karakter o Met respect voor het gebruik o Diensten i.f.v. de klant POC Voorstelling aan mogelijke deelnemers Piloten Productie Back-up As A Service 1 juni 2011 48
1 juni 2011 49
Hoe ziet uw serveromgeving eruit? Interactieve benadering o Fysische servers o Virtueel o Virtueel met SAN o Virtueel met een ontdubbelde SAN Heeft u de mogelijkheid om infrastructuur onder te brengen op twee verschillende locaties? o Is er glasvezel tussen deze lokalen? o Heeft u een ADSL, VDSL, of een andere gelijkaardige verbinding? o Is er in de toekomst een mogelijke hogesnelheidsverbinding gepland? 1 juni 2011 50
Hoe neemt u vandaag back-ups? Interactieve benadering o Traditioneel: Fysische servers met tapedrive en back-up software op elke server? Fysische servers met tapedrive en agents op de andere fysische servers? o Back-up server: Heeft u een specifieke server die de back-ups afhandelt van al uw fysische en virtuele servers? Heeft u hieraan een robot gekoppeld? Werkt u met één tapedrive? o Disk 2 Disk (2 tape) Maakt u vandaag reeds gebruik van D2D? Maakt u vandaag gebruik van staging? Wenst u in de toekomst te werken met D2D? Wenst u in de toekomst een langere archivering van uw data te bekomen via staging? Wenst u in de toekomst gebruik te maken van VDR? Acht u het noodzakelijk om in toekomst deduplicatie te gebruiken? 1 juni 2011 51
Interactieve benadering Als u gebruik zou moeten maken van een gecentraliseerde back-up oplossing, zou u dan wensen dat : o Uw huidige gebruikte software voor back-up behouden kan blijven? o U lokaal een B2D oplossing behoudt of verkrijgt in combinatie met een centrale kopie op CIPAL? o U lokaal een snapshot / image back-up mogelijkheid behoudt of verkrijgt in combinatie met een centrale kopie van uw normale bestandsback-up? o Het een totaal nieuwe back-up oplossing is? Wenst u de mogelijkheid om tapes van uw back-up te maken? Vindt u het noodzakelijk om uw back-up voor langere tijd te kunnen bewaren? Zou u het interessant vinden dat CIPAL automatisch uw maandelijkse back-ups centraal op onze robots bewaart voor u? Wenst u de mogelijkheid om PC s centraal te back-uppen? 1 juni 2011 52
Controleert u elke dag uw back-up? Interactieve benadering Zou u wensen dat iemand uw back-up regelmatig nakijkt? o Dagelijks? o Wekelijks? o Maandelijks? Zou u wensen dat er iemand regelmatig beperkte restore testen uitvoert? Zou u wensen dat er iemand regelmatig een disaster/recovery test uitvoert? 1 juni 2011 53
Interactieve benadering Wenst u gebruik te maken van een gecentraliseerd back-up systeem als deze mogelijkheid u zou aangeboden worden door CIPAL? Wenst u een van de piloten te zijn bij het opzetten van een dergelijk gecentraliseerd back-up systeem? 1 juni 2011 54