Test DOOR Bram Dons Heterogene storage vormt harmonieus geheel SANsymphony-V dirigeert de storagedevices 32 Neem al je apparatuur af bij dezelfde leverancier, dan werkt alles veel beter samen. Het is een leuze die ik op de storagemarkt steeds vaker hoor vooral uit de mond van de grote vendors. Maar ergens hebben ze gelijk: het is ook moeilijk om apparatuur van verschillende fabrikanten te verenigen tot één virtuele infrastructuur. Dan toch maar vrijwillig voor een vendor lock-in kiezen? Nee! DataCore bewijst dat het ook anders kan. SANsymphony-V virtualiseert ook heterogene storage. Vorig jaar is er een nieuwe versie vrijgegeven van de storagevirtualisatiesoftware van de firma DataCore Software: SANsymphony-V R8. Deze release moet volgens Data- Core de storageproblemen oplossen die zijn geïntroduceerd door cloudcomputing, disaster recovery en server- en desktopvirtualisatie. SANsymphony-V brengt daartoe een actieve, transparante virtualisatielaag aan over de verschillende fysieke diskstoragedevices in het datacenter. SANsymphony-V moet verbetering brengen in de kritieke eigenschappen voor storagesystemen in datacenters waar leveranciers steeds weer naar verwijzen: prestaties, gebruiksgraad en beschikbaarheid. De integrale verzameling van centraal beheerde functies voor caching, migratie, replicatie, provisioning en dataprotectie behoort uniform te werken over verschillende soorten en merken van storagesystemen. Daarmee zijn de bestaande en toekomstig aan te schaffen storagesystemen op niet-disruptieve wijze met elkaar te verenigen. SANsymphony-V moet applicaties sneller maken, ononderbroken toegang bieden tot data en de economische levensduur van de investeringen in tiered storage verlengen. Door twee DataCore-servers in een servergroup te koppelen, kunnen virtuele disks synchroon worden gespiegeld voor de ondersteuning van fault tolerance in het SAN. DataCore noemt SANsymphony-V een hypervisor voor storage, te vergelijken SANsymphony-V is de hypervisor voor storage met wat vsphere en Hyper-V doen op het gebied van serverhardware. Laten we eens kijken of de hiervoor genoemde features en beloften ook in de praktijk waargemaakt kunnen worden. Architectuur De SANsymphony-V-software wordt geïnstalleerd op een fysieke of virtuele Windows Server 2008 R2 x86 of x64. Zo transformeert de server in een dedicated node voor storagevirtualisatie, een zogenoemde DataCore node. De nodes werken in real time samen om een transparante, centraal beheerde virtualisatielaag te creëren die gedistribueerd wordt over verschillende storagesystemen. Deze laag fungeert als een intelligente intermediair tussen de verschillende storagebronnen, zodat deze samen de maximale schaalbaarheid, prestaties en beschikbaarheid bieden. Interne diskdrives en externe SAN s volgens FCoE, Fibre Channel (FC) of iscsi kunnen achter de nodes worden geplaatst, zodat ze gezamenlijk een pool van fysieke storage gaan vormen. SANsymphony-V werkt met alle bekende modellen en merken van storagesystemen, mits Windows Server deze ondersteunt. Elke diskinterface die Windows Server 2008 accepteert, wordt ook door SANsymphony-V geaccepteerd; dit zijn FC, FCoE, FireWire, iscsi, SAS, SATA en USB. InfiniBand ontbreekt helaas in het lijstje. De verdeling van de totale diskcapaciteit over een paar redundante nodes maakt het mogelijk om load-balancing en high availability te ondersteunen. Voor de creatie van virtuele disks schept de beheerder een portie uit de pool van fysie-
Figuur 1: De architectuur van SANsymphony-V (bron: DataCore) 33 ke disks. De grootte van zijn selectie is afhankelijk van de werkbelasting, capaciteit en beschikbaarheid. De zo ontstane virtuele disks zijn vervolgens te gebruiken voor bijvoorbeeld caching, thin provisioning, lokale mirroring en remote replicatie. In clustersystemen kunnen disks aan meerdere storagehosts worden gekoppeld, zelfs wanneer de back-end disks niet shareable zijn. Voor additionele off-site disaster recovery biedt SANsymphony-V ondersteuning voor asynchrone replicatie via een IP-netwerk tussen DataCore nodes die maximaal 100 kilometer van elkaar verwijderd zijn. Langere afstanden zijn mogelijk wanneer netwerklatency minder een rol speelt. Autotiering Elke diskpool bezit unieke eigenschappen wat betreft het beheer en de ondersteuning van fault tolerance. Zodoende kunnen disks van verschillende prijs- en prestatieniveaus in aparte storagetiers worden opgenomen. Hierdoor ontstaat de mogelijkheid tot autotiering. Dit proces identificeert de toegangspatronen tot datablocks oftewel storage allocation units (SAU s) in de storagepool. Op basis van de bevindingen beslist het proces of SAU s naar een hogere of lagere storagetier moeten worden verplaatst. Het aantal tiers in een pool is in te stellen op maximaal vijftien, maar het default is drie. Bij het bepalen van het aantal tiers moet je er rekening mee houden dat het onderlinge prestatieverschil tussen de tiers groot genoeg is om de migratie van data te kunnen rechtvaardigen. Datamigratie kost immers disk-i/o s en dus tijd. Het is zodoende van invloed op de algemene prestaties van de storagepool. De grootte van SAU s binnen dezelfde storagepool kan de beheerder instellen tussen de 4 en 1024 MB. Het default van 128 MB is geschikt voor pools tot 1 PB aan storageresources. Voor grotere storagepools kan de SAU-omvang worden ingesteld op bijvoorbeeld 256 MB, waarmee de poolgrootte is uit te breiden tot 2 PB. Hiermee kun je doorgaan tot de maximale blockgrootte is bereikt. Elke pool heeft twee drempelwaarden: de available space threshold en de I/O latency threshold. Voor de available space threshold bestaan er drie instellingen: Attention, Warning en Critical. Als de vrije ruimte in een pool op is, dan kunnen er geen nieuwe virtuele disks meer worden aangemaakt. Write I/O s naar de bestaande virtuele disks zullen falen tot het moment dat er meer storage beschikbaar is. Voor de I/O latency threshold bestaan er ook drie instellingen: 5, 10 en 30 milliseconden. Verder kunnen disks in een pool worden gemirrord voor faulttolerancedoeleinden. Bovendien is bepaalde ruimte in de pools te reserveren voor exclusief gebruik door een virtuele disk. Virtuele disks Een virtuele disk verbetert de prestaties, betrouwbaarheid, beschikbaarheid en flexibiliteit van de fysieke disks. Wanneer virtuele disks aan een storagehost worden gekoppeld, zien ze er voor het OS hetzelfde uit als elk ander fysiek storagesysteem dat lokaal met de server is verbonden. Het OS kan daardoor gewoon de gebruikelijke systeemtools inzetten voor het partitioneren en formatteren van de virtuele disk. Virtuele disks zijn te creëren vanuit twee soorten storageresources: een diskpool of een pass-through disk. Een pass-through disk is een disk waarop al gegevens en een OS staan, die bewaard moeten blijven. Er kunnen twee soorten virtuele disks worden gecreëerd: mirrored en non-mirrored. Voor een mirrored virtuele disk zijn natuurlijk twee servers in een group nodig. Virtuele disks kunnen asynchroon worden gespiegeld tussen servers op remote locaties. Verder is het mogelijk om de data op een virtuele disk voor bepaalde tijd in een logbestand van de history op te slaan, zodat een rollback kan worden uitgevoerd wanneer een fout optreedt. CDP en snapshots De optionele functie voor continuous data protection (CDP) is een disasterrecoverymethode voor virtuele disks, waarmee je verminkte data kunt herstellen. Als CDP voor een virtuele disk is geactiveerd, wordt er
34 een intern logbestand van de history aangemaakt op de DataCore-server waarop de virtuele disk is gecreëerd. Bij een mirrored disk gebeurt dit op een van beide servers. Alle veranderde data op de protected disk wordt van een tijdstempel voorzien en in het logbestand bewaard. Deze file dient om een rollback te creëren. De bewaartijd is afhankelijk van de actuele retentieperiode en de grootte van het logbestand, dat een omvang kan hebben van minimaal 8 GB en maximaal 1 PB. De snapshotfeature maakt van een virtuele disk ófwel een non-mirrored logische kopie ófwel een volledige fysieke kopie. In beide gevallen is het resultaat een nieuwe virtuele disk, die volledig onafhankelijk van het origineel is te gebruiken. Het verschil tussen de CDP-functie en de snapshotfeature is dat deze laatste de content van de virtuele disk op een bepaald tijdstip bewaart. Een snapshot maak je wanneer je weet dat de data in goede staat is. CDP houdt alleen de historie bij van de data op een virtuele disk. Bij een rollback kun je de schijf terugbrengen in de toestand van elk gewenst tijdstip tijdens de periode waarvoor nog logbestanden zijn. Daarbij is echter niet gezegd dat de disk zich toen ook in een goede staat bevond. Tech specs SANsymphony-V R8 draait op een standaardserver met als CPU een x86 of x64 van Intel of AMD en met als operating system Windows Server 2008 R2 SP1, waarop.net 4.0 moet zijn geïnstalleerd. Elke server kan uitgerust zijn met maximaal 1 TB aan processorgeheugen oftewel RAM, dat dient als cache. Een region bestaat uit twee nodes die elk, afhankelijk van hun modus, meer dan 128 TB aan diskcapaciteit aankunnen. Een virtueel volume bedraagt minimaal 1 GB en maximaal 1024 TB. Het maximum aantal fysieke volumes is afhankelijk van de hardware in het storagesubsysteem. Een fysiek volume mag hoogstens 1 PB groot zijn. Voor de pools achter elke DataCore node biedt SANsymphony-V voorzieningen voor softwarematige mirroring en striping over verschillende fysieke disks. Het is mogelijk om de RAID-bescherming te offloaden naar RAID-subsystemen aan de back-end. Afhankelijk van het aantal slots op het moederbord van het systeem kan een enkele DataCore node meerdere multiport host bus adapters (HBA s) via FC en meerdere NIC s via iscsi bevatten, die je kunt koppelen aan De disk floept van Standby naar Active Shadow copy s De DataCore VSS Hardware Provider is een programma dat clients voor de Volume Shadow Copy Service (VSS) in staat stelt om shadow copy s van virtuele disks te creëren en te manipuleren. De software werkt met elke virtual machine die zelf direct toegang heeft tot de LUN s. Echter, wanneer bijvoorbeeld een ESX Server gebruikmaakt van raw device mapping (RDM), dan moeten alle VSS clients die toegang willen tot de shadow copy s een geldige FC- of iscsiinitiatorpoort hebben. Replicatie Met de optionele replicatiefeature wordt de data van een virtuele brondisk asynchroon gekopieerd van de ene naar de andere Data- Core-server. Het repliceren kan ook gebeuren binnen een lokale server. Remote replicatie is de handigste toepassing van replicatie, want het kan over grote afstanden plaatsvinden, dit in tegenstelling tot synchrone replicatie. Bij remote replicatie kun je herstelhandelingen uitvoeren die bij een aantal storagehosts. SANsymphony-V ondersteunt multipathdrivers voor de verschillende versies van Linux en andere OS en. DataCore MPIO biedt voorzieningen voor automatic failover en failback binnen Windows en tussen FC en iscsi binnen de server zelf. Ook voor de verschillende versies van ESX wordt multipathing ondersteund. Voor SANsymphony-V zijn twee fabriczones nodig: een storage- en een clientzone. Op elke server behoren daarvoor twee FC-adapters aanwezig te zijn. DataCore ondersteunt slechts een handjevol adapters, waaronder Emulex, HP, QLogic en Sun. Omdat SANsymphony-V geen LUN-masking gebruikt, bevinden alle storagehosts zich in een enkele zone. De fabrikant adviseert wel om voor elk OS een aparte zone in te stellen, die de Windowsservers scheidt van de machines met Linux en de andere besturingssystemen. Voor high availability voorziet SANsymphony-V in load-balancing, niet-disruptieve upgrades en online diskexpansion. Om de prestaties te verhogen heb je de beschikking over automated storagetiering en high-speed caching. synchrone mirroring niet mogelijk zijn, zoals off-site back-up en archivering over lange afstanden, emergency site failover voor disaster recovery, gecontroleerde siteswaps bij onderhoud en een power-off volgens schema of bij dreiging van een natuurramp. Replicatie bestaat in twee soorten: unidirectioneel en bidirectioneel. Unidirectionele replicatie verzendt de data in één richting. Bij bidirectionele replicatie kan de data van een virtuele disk naar een andere DataCoreserver worden verstuurd en omgekeerd. Het creëren van de baseline voor een replicaat van een virtuele disk kan, afhankelijk van de hoeveelheid data en de transfersnelheid, een lange tijd in beslag nemen. Bij grote gegevensvolumes kan een online initialisatie wel enkele dagen duren. Een alternatief is om een offline replicatie te starten, die de data naar een tijdelijke folder of removable drive kopieert, en gerepliceerde data vervolgens handmatig op de remote site te installeren. High availability DataCore-servers zijn te koppelen in een active-activeconfiguratie voor high availability binnen een FC of iscsi SAN. De servers moeten wel zijn voorzien van voldoende poorten met redundante paden tussen de DataCore-servers, de storagehosts aan de front end en de fysieke disks aan de back end. Zoals gezegd kunnen de fysieke disks in een pool ook nog worden gemirrord. De toevoeging van meer redundante componenten biedt een nog hogere mate van fault tolerance in het SAN. Wanneer de DataCore-server in bedrijf is, stuurt hij I/O requests vanaf de storagehosts. De writeopdrachten worden eerst op de server uitgevoerd, maar dezelfde writes gaan ook in real time naar de andere server om de mirror copy van de virtuele disk synchroon te houden. Zoals gezegd zijn voor high availability onder meer redundante paden naar de storagedevices nodig. DataCore Multipath I/O (MPIO) is een softwareproduct voor high availability dat multipathing simuleert door meerdere paden te bieden naar hetzelfde volume of dezelfde virtuele disk. Het programma wordt geïnstalleerd op de Schep een portie storage uit de pool
Ook non-shareable disks kun je delen storagehosts en beheerd via de MPIO Console. Het gebruik van virtuele disks activeert automatisch multipathing op de server. Asymmetric logical unit access (ALUA) is in te schakelen voor de ondersteuning van de SCSI-3-commando s voor target port groups. Reclaimen Lege datablokken (SAU s) op een virtuele disk kunnen opnieuw worden opgeëist, zodra de daarop aanwezige files door de storagehost zijn verwijderd. Ongebruikte SAU s komen dan opnieuw beschikbaar in de storagepool, maar dat kan alleen bij virtuele disks die online zijn en, als het mirrored disks betreft, waarvan de status Up to date is. Als CDP voor een virtuele disk actief is, dan zijn de SAU s niet meer gelijk terug te vragen. In de praktijk betekent het dat je moet wachten tot de retentietijd is verstreken. Het reclaimproces bestaat uit twee delen. Ten eerste moet de storagehost zijn uitgerust met een tool om nullen te schrijven over alle diskruimte die in gebruik was. Er bestaan talrijke tools voor het schoonmaken van free space, zoals SDelete, dat beschikbaar is op de website van Microsoft (zie http://technet.microsoft.com/en-us/sysinternals/ bb897443). Ten tweede moet, nadat de SAU s zijn gevuld met nullen, de reclamationfeature worden gebruikt op elke DataCore-server met storage voor een virtuele disk om de SAU s te dealloceren en terug te geven aan de storagepool. De procedure wijkt iets af voor het reclaimen van diskruimte op virtuele disks die worden gebruikt door virtuele servers, zoals storagerepository s in XenServer, datastores in vsphere en storage in Figuur 2: Drielaagse tiering met SSD, FC, iscsi, SAS en SATA Hyper-V. Het reclaimproces kan wel invloed hebben op de prestaties van de storagehost, maar het is ook, zonder negatieve gevolgen, tijdelijk te onderbreken om het later op een gunstiger tijdstip te hervatten. High-speed caching Voor het optimaliseren van de I/O-prestaties gebruikt de DataCore node het op de server aanwezige interne RAM-geheugen en converteert dit tot een storagecache. De geavanceerde cachingtechnieken van SANsymphony-V verkorten de responstijd bij simultane reads en writes, die optreden wanneer meerdere applicatieservers tegelijk toegang willen tot de virtuele disks in het SAN. Dit komt voor een groot deel overeen met de cachesystemen die je tegenwoordig in moderne high-end storagesubsystemen aantreft. Het verschil is echter dat de SANsymphony-V-cache op meerdere storagedevices werkzaam is. Het cachesysteem bevindt zich tussen het fysieke storagesysteem en het operating system op de applicatieserver. Net zoals de cache op een storagesysteem voert het verschillende taken uit: read-ahead (het lezen van opvolgende blocks na een read request), write-behind (de melding I/O complete volgt direct op een cachewrite, maar pas op een later tijdstip wordt de cache geflusht) en write-coalescing (biedt meer tijd om de volgorde van writes te organiseren en te bundelen in een enkele writeoperatie). Testopstelling De testopstelling bestaat uit twee servers met Intel Xeon-quadcoreprocessors en met 8 GB aan intern RAM-geheugen, waarop Windows Server 2008 R2 van 64 bit en SANsymphony-V 8.1 PSP1 zijn geïnstalleerd. Voor de storagepools zijn er een highspeed HyperX SSD van Kingston met een SATA-interface van 6 Gbps en met 240 GB, een SAS-schijf van Fujitsu met 34 GB en een WD1600-SATA-diskdrive van Western Digital van 1,5 Gbps. Via een Netgear ReadyNAS- en een StorageTek Flexline-storagearray zijn respectievelijk iscsi- en FC- SAN-storage beschikbaar. Beide servers zijn via twee network interface cards (NIC s) voor 1 gigabit-ethernet en één NIC van 10 gigabit-ethernet met een GSM7238S-switch van Netgear aan het Ethernetnetwerk gekoppeld. Als storagehost dient een Intel Xeon-server met 8 GB aan RAM, waarop Windows 2008 R2 van 64 bit draait en die via FC verbonden is aan de Write-coalescing versmelt de I/O s StorageTek Flexline. Beide nodes en de storagehost zijn via een QLE2462-FC-adapter van QLogic voor 8 gigabit-fibre Channel verbonden met een Brocade SilkWorm 200E-switch en via een Neterion NIC voor 10 gigabit-ethernet met de GSM7238Sswitch. Eerste test Voor het testen van de replicatie bundel ik verschillende soorten diskdrives. Het zijn, in volgorde van aflopende prestaties (zie figuur 2): de SSD van Kingston ( Disk 2 ), de 35
Roles Een FC- en iscsi-poort op een DataCoreserver of een storagehost is het endpoint van een pad. Zo n pad is een FC- of iscsiverbinding tussen twee poorten. Alle serverpoorten krijgen roles toegewezen die bepalen welke poorten bij de creatie van een pad worden gebruikt. De beschikbare roles zijn front end (FE), back end (BE) en mirror (MR). De FE-instelling geeft de poort de SCSImodus Target only en maakt virtuele disks bereikbaar voor een storagehost. De BE-instelling geeft de poort de SCSI-modus Initiator only en biedt toegang tot de fysieke media. De MR-instelling dient om data op virtuele disks te mirrorren tussen servers. Bij deze rol is de default-scsi-modus Initiator/target. Mirrorpaden tussen servers zijn automatisch of handmatig in te stellen. Bij automatische padselectie geeft SANsymphony-V er de voorkeur aan om nieuwe virtuele disks toe te wijzen aan een FCpoort in plaats van een iscsi-poort. Standaard wordt alle I/O-belasting verdeeld over alle poorten van de storagehost. Meerdere paden leiden naar high availability 36 minuut verandert de status van de virtuele disk op de gerepliceerde site van Standby in Active. Iometer blijft zonder onderbrekingen doordraaien. Ik herhaal de test, maar dan in omgekeerde richting. Vervolgens creëer ik een mirror tussen twee virtuele disks op beide servers. Deze verbind ik weer met de storagehost waarop Iometer draait. Een van de virtuele disks geef ik het commando Split and unserve, zodat de mirror wordt verbroken. Ik herstel de mirdrie FC-disks met 67 tot 339 GB uit de StorageTek Flexline ( Disk 4, Disk 5 en Disk 6 ), de iscsi-drive met 500 GB uit de Netgear ReadyNAS ( Disk 7 ), de lokale SASdisk van Fujitsu ( Disk 3 ) en de SATA-diskdrive van Western Digital ( Disk 0 ). Gezamenlijk vormen zij Disk pool 1 met een grootte van 1,74 TB. De SSD wordt ingesteld op tier 1, de FC- en iscsi-disks op tier 2 en de SAS- en SATA-disks op tier 3. Nu test ik een controlled siteswap met behulp van replicatie. Vanuit de storagepool met daarin alleen de SSD-disk creëer ik een virtuele disk op elke DataCore node en configureer deze voor bidirectionele replicatie. Via een Windows 2008-host maak ik via Microsofts iscsi-initiator contact met de actieve virtuele disk op de DataCore node. Ik creëer een volume op de storagehost en laat daar Iometer op draaien. In de actieve DataCore node klik ik vervolgens op Deactivate this virtual disk. Na een halve Figuur 3: Virtuele disks op basis van FC en iscsi
37 Figuur 4: Mirrored virtuele disk ror weer via Add mirror. Iometer blijft onverstoord doordraaien. Deze actie leidt er wel toe dat er een nieuwe virtuele disk op de server wordt gezet. Deze verschijnt naast de voormalige mirror van de virtuele disk, die in zijn oude staat blijft voortbestaan maar is uitgeschakeld. Tweede test Voor het testen van de high availability installeer ik de DataCore MPIO-software op een Windows Server 2008-host. DataCore MPIO biedt redundante toegangspaden tot multipath storagedevices. De storagehost ziet daarmee elk volume als een storagedevice met meerdere toegangspaden, zodat bij uitval van het actieve pad een failover via het passieve pad kan plaatsvinden. Redundante paden naar een mirror of front end zijn te configureren voor high availability. De instelling Redundant path creëert automatisch twee paden in elke richting. Later kunnen nog extra paden worden toegevoegd (zie kader Roles ). Het configuratieproces beslaat vier stappen: de configuratie van de iscsi-targets, de registratie van de storagehost, de toewijzing van poorten en de creatie van mirrored disks. Als eerste wordt Microsofts iscsiinitiator, onafhankelijk van de DataCore MPIO-software, op de storagehost geïnstalleerd. Ik log in op de target en activeer Automatically restored when the system restarts. Zelfs na het uitschakelen van een van de DataCore nodes blijft de virtuele disk nu beschikbaar voor de Windows Server 2008-host. Wanneer we de uitgeschakelde node weer opstarten, zien we dat de mirrorverbinding automatisch wordt hersteld. Tenslotte creëer ik twee virtuele disks op basis van FC en iscsi, die ik verbind via DataCore MPIO. We zien dat DataCore een connectie via FC verkiest boven een via iscsi, zodat beide virtuele disks uiteindelijk via de FC-adapter van QLogic worden gekoppeld aan de actieve DataCore-server w2k8r2green. Epiloog DataCore is al tien jaar op de markt. Desondanks is het een betrekkelijk onbekende firma met wereldwijd slechts zesduizend klanten. De eerste versie van SANsymphony kwam meer dan tien jaar geleden uit en gold destijds als een geavanceerd storagevirtualisatieproduct. Vanaf het begin heeft DataCore het product echter verkeerd in de markt gezet en mikte men vooral op enterpriseomgevingen. Zo heeft het bedrijf geen momentum bereikt en op een enkele installatie na bestaat er zeker in ons land geen grote installed base. In de loop van de tijd zijn de grote leveranciers ook allerlei storageproducten voor het datacenter uit gaan brengen. Zij ondersteunen nu eveneens heterogene storagevirtualisatie, maar dan met hun high-end storagearray. Het is jammer dat DataCore tot op heden de boot heeft gemist met zijn heterogene storagevirtualisatie. SANsymphony-V R8 schenkt het bedrijf nog een tweede kans, vooral omdat de geboden storagevirtualisatie goed aansluit op servervirtualisatie en cloudcomputing. De software stoelt zich op tien jaar ervaring. Het is een volwassen en betrouwbaar product geworden met alle toeters en bellen die een storagebeheerder zich maar kan wensen. Voor wie SANsymphony-V toch eens voor zichzelf wil ervaren: er is een voor dertig dagen geldige trialversie met de volledige functionaliteit te downloaden vanaf www.datacore.com/software/closer-look/demos.aspx. p Bram Dons is onafhankelijk IT-analist bij IT-Trendwatch (info@it-trendwatch.nl)