OCMW Brugge - Dienst Informatica - presentatie Steve Vandenbroecke: ICT Coördinator OCMW Brugge Steven Cozyns: Technische Commercieel Coördinator CEVI NV SESSIE 1: BLADE INSTALLATIE OCMW BRUGGE 1
Tijdslijn Grote organisatie, vanaf 2002 explosie van data en werkstations Veel servers, grotendeels vernieuwd in 2004 Na verhuis naar nieuwe hoofdzetel in 2005: stabiele omgeving maar steeds meer groei en nood aan servers 2009: plan om groot aantal servers te vervangen Serverroom 2008 2
Vereisten nieuwe oplossing bijkomende servers, vervangen servers zonder dat er extra plaats wordt ingenomen meer storage capaciteit behoud van oude serverlokaal impact naar gebruiker: minimaal Voorstudie Begin 2009: eerste studie beschikbare ruimte en opnieuw rangschikken bestaande servers, Resulataat van studie: 3
Resultaat Voorstudie Resultaat Voorstudie nood aan bijkomende serverracks maar geen plaats Stroom zeer groot Koeling problematisch Informeren bij onze ICT-leveranciers 4
Hoe vereisten invullen Input: Plaats beperkt Veel servers Nood aan extra flexibele storage Uitbreiding naar de toekomst noodzakelijk Oplossing: Voordelen Virtualiseren Consolidatie Reduceren aantal servers stroomverbruik, koeling, plaats Beheerbaarheid 5
Voordelen Virtualiseren Vmotion Manueel (onderhoud op server) Geautomatiseerd (Enterprise) SAN vereist!! High availabiltiy Opnieuw opstarten falende server VMWare P2V assistant Voordelen Virtualiseren Flexibel Extra server(s) opzetten zeer snel LET OP Windows Server licenties Enterprise 4 virtuele servers Datacenter onbeperkt aantal servers (per CPU) Ook van toepassing in kleine omgevingen 6
vmware vmware Marktleider, stabiel Kleine footprint (SD memory) Virtualcenter Management console Uitrol virtuele servers Citrix XenApp servers Virtualiseren? Meer dan 300 concurrent users 5 Citrix XenApp servers op punt gezet in 2009 Waarom wel Vlotte uitrol dmv Vcenter Servers gevirtualiseerd op de SAN Maken ook gebruik van de Vmware features Waarom niet minimaal performantie verlies 7
SAN Virtualisatie = SAN Voldoende storage voor alle data en virtuele servers Uitbreidbaar mogelijkheden Redundante verbindingen tussen servers en SAN Voordelen Blade technologie Gemeenschappelijk voeding en ventilatie Inbouw van FC switches Bijkomende plaats besparing en energie 8
Lastenboek Veel interesse doch groot deel haakt af omwille van de specificaties van het bestek en de resultaatsverbintenis Resterend: 2 partijen, Cevi en bedrijf X. Cevi krijgt het bestek toegewezen omwille van de aanpak en de kwaliteit van de aangeboden materialen. Belangrijkste punt: Cevi coördineert het project en treedt op als single point of contact, voert dit uit samen met product specialisten van Fujitsu. BX600 reeks met storage en installatie, afwerking en opleiding ter plaatse. Eindresultaat Fase1eind 2009 Stroomvoorziening: 20A en 2x 16A via eigen stroomcircuit 2x6 CAT6 aansluiting voor aanlevering data aan OCMW Netwerk via Core switches: redundantie verzekerd! Geen extra koeling nodig Plaats komt vrij naarmate servers gevirtualiseerd worden Impact naar de gebruikers Geen hinder tijdens virtualisaties daar deze s nachts gebeuren Uitval tijdens overschakeling duurt maximum 30 minuten 9
Eindresultaat Fase1eind 2009 Blade cabinet BX600 S3 7U 2 Blade servers (ESX servers) SAN DX80, Dual controller Vmware Advanced edition 4 x Windows Data Center Integratie met aanwezig backup infrastructuur Eindresultaat Fase1eind 2009 Bestaande Terminals / PC s Internal LAN internal LAN DMZ1 FW-Ext Bestaande-Farm BX 600 Backup naar disk iscsi storage netwerk op de equallogic SAS Tape-Robot TX48-S2 24 (-48) slots 2 x LTO-3 FC netwerk Backup-Server Ctrl 1 Ctrl 1 Ctrl 2 Bestaande FibreCAT SX60 voor archivering DX80 10
Fase 2 Uitbreiding + Monitoring Uitbreiding van het bestaande concept Van 2 ESX naar 4 ESX server In totaal 36 virtuele servers (waarvan 10 Citrix servers) Uitbreiding naar 5 diskcabinets Brugge OCMW wenste een proactieve aanpak van potentiële problemen Monitoring Gebaseerd op Microsoft System Center Operation Manager: veel plug-ins beschikbaar Wat monitoren: hardware, systeemsoftware, eventlogs, Netwerkcomponenten 11
Monitoring Rapportering: Vaak voorkomende eventlog boodschappen Server beschikbaarheid Server performance (CPU / MEM) Bandbreedte verbruik externe verbindingen Op de hoogte gebracht via mail, blackberry, Installatie, configuratie en opleiding door Cevi Eindresultaat Fase 2: (2010) 12
Voorstelling aangekocht materialen: 2 x BX620 S5 blade servers voorzien van 2 x E5506 (2.13GHz/4M/4,8GT) -64 GB RAM 2 x BX620 S6 blade servers voorzien van 2 x E5640 (4C/8M 2.66 GHz 12 MB) 72GB RAM uitbreidbaar tot voor 10 blade servers of storage blades Aantal virtuele servers per blade server: afhankelijk van geheugen en processors: hier 10 virtuele windows servers per ESX server Bladechassis heeft eigen voedingen en brocade switches, alles redundant uitgewerkt Voorstelling aangekocht materialen: DX80 schijvencabinet 1 controller met dubbele Fibre Optic naar san switch achteraan op bladeframe Slave cabinet: via Fibre Optic dubbel verbonden aan controller Capaciteit per shelf: 12 disken van 450 Gb en hoger. Hier: 12x450 Gb per shelf (verhoogd performantie daar schijf kleiner is). Per controller 8 shelves mogelijk. 13
Fase 3: Aanpassen backup (2011) Backuppen op HDD adhv NAS Eternus CS800 S2 16 TB bruto diskcapaciteit Compressie tot 1:8 => 50TB primaire data Uitbreiding van de tape lirbrary dmv FC tapdrive LTO Oude backup kan blijven gebruikt worden 14
DMZ Existing Terminals / PC s Internal LAN Storage SAN Ctrl 1 Ctrl 2 1 Backup-Server Niewe of upgrade de bestaande Backup server naar Backup Exec 2010 ( 2 x FC HBA extra is nodig) CS800 8 TB 8 TB CS 800 DE-Dupe 2 FC Bestaande Tape Robot TX48 met extra voeding En een FC drive FibercatTX48 48 slots 2 x LTO 4 (Redundant PS) SAS Internal LAN Eternus DX80 Dual Controller 8 x 4Gbps conneciviteit 12 TB bruto capaciteit in SAS disks Tot max. 108 disks Restore of old backups Backup-Server 2011: vervanging backup systeem Apparatuur: Fujitsu CS800, backupserver, uitbreiding bestaande tape robot (48 sloten met 3 tape drives). Duur backup alle servers: van 18u s avonds tot 6u s morgens. Leverancier: Cevi nv, Fujitsu voert installatie uit en Cevi is projectmanager 15
Verder plannen Afvoeren oude hardware en servers virtualiseren Enkel bepaalde servers zullen nog eigen hardware hebben Toekomst: clusteren van bestaande blade en diskcabinet naar andere locatie met eigen glasvezel. Ervaringen met het nieuwe concept Uitschakelen blade chassis en servers: nooit Blades beheren zichzelf Gemakkelijk te beheren Virtualisatie servers is eenvoudig 16
Ervaringen met het nieuwe concept Disaster recovery: nacht van 29 december Storage server gaat onderuit wegens fout in Windows: onherstelbaar via recovery console Reden: corrupte files in windows directory na restore Oplossing: volledig opnieuw installeren Gelukkig aanwezigheid goede backup van systemstate. Volledig nieuwe installatie, terugplaatsen systemstate, diverse aanpassingen. Start: 22u lokale tijd, afgerond: 5u s morgens lokale tijd. De restore werd uitgevoerd vanuit het buitenland. Interventie Cevi 30 december: aanpassingen aan scsi drives, aanpassingen aan gekoppelde shares van DX80, nazicht installatie. Alles terug in orde om 11u. Hinder personeel: minimaal tot matig. Rol Cevi en Fujitsu Adviserende rol Mensen met ervaring Bekijken de oplossing in zijn geheel Bij uitvoering Cevi hoofdaannemer, coördineert de werken en staat in voor de installatie Fujitsu product-specialisten configureren de SAN Brugge OCMW staat in voor de uitrol (virtualiseren, overzetten data,..) Cevi treedt op als Single point of contact en speelt door naar Fujitsu indien nodig 17
Voor de kleinere besturen: de BX400: a datacenter in a box. Vragen 18