HP 3PAR Storage Systems

Transcriptie

1 HP 3PAR Storage Systems De nieuwe IT data center De nieuwe IT data center moet hoogpresterende applicaties en zware data workloads efficiënt kunnen ondersteunen. Het is de taak van de IT manager om de daarvoor noodzakelijke server infrastructuur te implementeren zonder dat overtollige apparatuur wordt aangeschaft of naderhand met prestatie bottlenecks geconfronteerd te worden. Dezelfde trends die hebben geleid tot serverconsolidatie stellen nu nieuwe eisen aan storage netwerken en subsystemen. De huidige servertechnologie ondersteunt multi-core processoren waarop elk tien of meer virtual machines gelijktijdig kunnen draaien. Het resultaat hiervan is een massale toename van de I/O densiteit, hogere prestatie en capaciteitseisen. Naast een hogere densiteit brengen virtuele computing workloads een grotere belasting met zich mee, in vergelijking met de traditionele serveromgevingen. Om volledig van de voordelen van virtualisatie te kunnen profiteren is het vanzelfsprekend dat ook storage systemen in staat moeten zijn om aan deze nieuwe, veel eisende, workloads te kunnen voldoen. Sommige leveranciers van storage systemen waren, of zijn nog bezig, om hun traditionele storage systemen daarvoor aan te passen, andere kopen de daarvoor benodigde nieuwe storage technologieën in door middel van een overname van een daarin gespecialiseerde firma. Zo ook de firma HP, die kort geleden de firma 3PAR heeft overgenomen en daarmee de beschikking kreeg over een, modern, geavanceerd, cluster storage systeem. In dit artikel zien we met welke technologieën het 3PAR InServer Storage systeem is uitgerust die nodig zijn om als storage systeem voor de nieuwe moderne data center te kunnen fungeren. Figuur 1: 3PAR Storage System Tightly coupled cluster architectuur De 3PAR Utility Storage omgeving bestaat uit een op elkaar afgestemde software, hardware en een mission-critical systeem. Het is gebaseerd op de 3PAR InSpire Storage Server familie. Elke storage server is uitgerust met een hoge snelheid, full mesh, passive system backplane die meerdere controller nodes tot een cache-coherent, mesh-active,

2 cluster systeem verbindt. In tegenstelling tot de traditionele modulaire en monolithische (of cache-gecentreerde) storage arrays zijn de 3PAR InServ Storage Servers op clustertechnologie gebaseerd. Bij een mesh-active cluster zorgen cluster controllers dat alle array resources naar alle LUNs te alle tijden beschikbaar zijn. Het biedt de host symmetrische, op active-active basis, toegang tot alle LUNs. Het gebruik van een meshactieve backplane (zie hierna) maakt een snelle re-mirror write-back cache naar de andere cluster nodes mogelijk zonder het risico van verlies van data. Bij de monolithische architectuur ligt de nadruk op een geoptimaliseerd intern verbindingsmodel met een centraal global cache. Echter, deze architectuur is relatief duurder dan een modulaire architectuur. Nadeel van een modulaire architectuur is weer dat het aantal processing elementen tot een tweetal beperkt blijft waarbij de ontwerpers de afweging hebben moeten maken tussen de kosten, complexiteit of schaalbaarheid. Een ander bezwaar van de dual-node modulaire architectuur is dat ze, hoewel ze failover ondersteunen, geen echte active-active voorziening bieden waarin individuele LUNs gelijktijdig en coherent door beide controllers kan worden ge-processed. Modulaire ontwerpen maken doorgaans van verbindingstechnologieën gebruik die niet specifiek voor clustering geoptimaliseerd zijn (zoals Fibre Channel of Ethernet) en niet de noodzakelijke bandbreedte en minimale latency bezitten die nodig zijn voor active-active processing. Full-mesh controller backplane In tegenstelling tot de traditionele modulaire arrays biedt de InSpire architectuur een geoptimaliseerde verbinding tussen de clusternodes. Dit maakt mesh-active processing mogelijk waarbij volumes die niet alleen actief zijn op alle node controllers maar ook autonoom van provisioning gebruik maken, dit gecombineerd met load-balancing tussen alle systeembronnen waarbij het een hoog en voorstelbaar prestatieniveau wordt geboden. De backplane-interconnect technologieën binnen servers hebben de laatste tien jaar een geweldige ontwikkeling doorgemaakt. De meeste, zo niet alle, server en storage array architecturen waren gebaseerd op een eenvoudige bus-gebaseerde backplane voor de verbinding tussen de processor, geheugen en I/O. De overgang van een bus naar een switch-gebaseerde architectuur had ten doel om de latency tussen het groeiende aantal te verbinden devices op een backplane te verminderen. De derde generatie, full-mesh, interconnecties verschenen voor het eerst eind jaren 90 op enterprise servers. De firma 3PAR claimt dat ze deze mesh-technologie voor het eerst op een storage array heeft toegepast en vormt nu het hart van de 3PAR InSpire architectuur. De backplane is een passive circuit board (alle verbindingen bevinden zich statisch op een printed circuit board) en bevat de slots voor de Controller Nodes. De Nodes zijn allemaal met elkaar verbonden via een 1.6 GB/s bi-directionele verbinding, waarmee een full-mesh interconnectiemodel tussen alle Nodes binnen een cluster ontstaat. Een volledige bezette T800 Storage Server met acht Nodes is in staat te leveren: 44.8 GBps piek interconnectie bandbreedte 19,2 GBps piek I/O bandbreedte (met 24 I/O bussen) 128 GBps piek geheugenbandbreedte Dit systeem bevat 24 DDR SDRAM bussen voor Data Cache en 16 FBDimm bussen voor Control Cache. Naast het full-mesh netwerk zijn er RS-232 seriële verbindingen die

3 een redundante communicatie bieden voor de uitwisseling van besturingsinformatie tussen de nodes. Er zijn twee type T-Class backplanes: een 4-Node T400 en een 8-Node T800 model en een F-Class met 2 of 4 Nodes. Figuur 2: T800 full mesh backplane (bron 3PAR) Controller Node De Controller Nodes moeten de prestaties en verbindingen leveren voor elke InServe Storage Server. Een enkelvoudig systeem kan modulair word geconfigureerd als een cluster met twee tot acht van deze Nodes. De gebruiker kan met een twee Controller Node configuratie starten en incrementeel op een non disruptive manier groeien naar een volledig bezette acht Nodes cluster. Elk tweetal Nodes nemen vier EIA rack units (4U) in beslag in 3PAR s standaard 19 cabinet. InServ is bestand tegen de volledige uitval van een Node zonder dat de beschikbaarheid van data in gevaar komt, bovendien is elke Node volledig hot-pluggable voor online service doeleinden. In tegenstelling tot legacy architecturen die I/O commando s en data via dezelfde processor verwerken, scheidt de Controller Node de processing van de control commando s. Deze innovatie elimineert de prestatie bottlenecks, zoals die bij bestaande storage platformen, voorkomen bij intensieve workloads als OLTP en data warehousing. Op een InServe Storage Server worden control operaties door 16 Intel Dual-Core processoren (8-Nodes server) met 32GB caches uitgevoerd. Alle data verplaatsingen worden door de Gen3 ASIC (een per Controller) en een dedicated cache tot maximaal 96GB afgehandeld (zie figuur 2 en 3).

4 De 3PAR Controller Node maakt uitvoerig van commodity hardware onderdelen en industriestandaard interfaces gebruik om de kostprijs zo laag mogelijk te houden. Een van de uitzonderingen daarop vormt de door 3PAR ontwikkelde Gen3 ASIC (Application Specific Integrated Circuit). De Gen3 is geoptimaliseerd voor de verplaatsing van data tussen drie I/O-bussen, memory-bank cache en via de full-mesh backplane zeven hogesnelheid verbindingen naar de andere Nodes. Daarnaast is de Gen3 voorzien van een zogenoemde Thin Built technologie en fat-to-thin processing voorziening. Voor de verbinding met de host en back-end storage is elke Controller uitgerust met zes hogesnelheid I/O slots (48 slots op een T800). Het ontwerp biedt een krachtige flexibele verbinding naar protocol adapters. Fibre Channel en/of iscsi TOE adapters kunnen naar wens op elke Node voor multi-protocol worden geconfigureerd. Daarnaast zijn er embedded GbE poorten beschikbaar voor remote mirroring over IP, waarmee de noodzaak komt te vervallen om een aparte FC-to-IP converter aan te schaffen. Alle backend storage verbindingen zijn FC-gebaseerd. De T400 heeft maximaal 24 FC en 16 iscsi poorten, de T800 respectievelijk 128 en 32. Elk van deze poorten is direct verbonden met de I/O bus zodat alle poorten over de volledige bandbreedte kunnen beschikken (uiteraard tot de limiet van de I/O bus bandbreedte is bereikt die de poorten gezamenlijk gebruiken). Figuur 3: Controller Node (bron 3PAR) 3PAR InForm software architectuur De 3PAR InForm software bestaat uit de InServ Storage Server software en de hostgebaseerde software die op de server van de eindgebruiker draait. De InForm Software is in drie verschillende categorieën in te delen: Het InForm Operating system; de core software die op de InServ draait. Het ondersteunt virtualisatie, virtueel volume beheer en RAID Additionele InForm Software: biedt geavanceerde voorzieningen als thin storage, secure partitioning voor virtual private arrays en virtual en remote copy

5 InForm Host Software: host-gebaseerde software ter ondersteuning van specifieke applicatie omgevingen, multi-pathing en beheer historische prestaties en capaciteit Virtual Storage Het 3PAR Operating System maakt van een drielaags mapping model gebruik, vergelijkbaar met de virtuele geheugenarchitecturen van hedendaagse operating systems. Het eerste mapping niveau virtualiseert fysieke disk drives van elke grootte in een pool van gelijke delen met een grootte van 256 MB, de zogenoemde chunklets. Op dit niveau vindt tevens de dual path toegang tot een chunklet en disk drive plaats. De fijnmazige opdeling in kleine disk-partities voorkomt de onderbezetting, zoals die bij traditionele storage systemen plaatsvind. Tevens elimineert de volledige toegang tot elke chunklet het ontstaan van grote storage gaten die niet meer toegankelijk zijn. Verder verbetert de fijnmazige chunklet architectuur de prestaties van alle applicaties, ongeacht de gebruikte hoeveelheid storage. Hoewel een kleine applicatie slechts behoefte heeft aan enkele chunklets, zijn deze wel gedistribueerd over tien, zo niet honderdtallen, disken. Daarmee profiteert zelfs de kleinste applicatie van de geboden prestaties van het totale storage systeem, zonder dat daarvoor extra storage capaciteit nodig is. Logical Disks Het tweede niveau mapping betreft de koppeling van chunklets aan zogenoemde Logical Disks (LDs). Deze koppeling maakt het mogelijk om met behulp van templates, gebaseerd op RAID karakteristieken en de locatie van chunklets door het hele systeem, Logical Drives te creëren. LDs kunnen op maat worden gemaakt op basis van capaciteit, prestaties en beschikbaarheid karakteristieken die zijn vastgelegd in een Quality of Service level. Beide eerste en tweede niveau mapping methoden helpen gezamenlijk om de belasting over alle disken en de bijbehorende Fibre Channel verbindingen te verdelen. Virtual Volumes Het derde niveau mapping associeert Virtual Volumes (VVs) met alle, of delen, van een onderliggende LD of meerdere LDs. Er zijn twee type VVs: base en snapshot volumes. De base volume is direct gekoppeld aan de voor de gebruiker zichtbare data, een snapshot volume wordt met de Virtual Copy software gecreëerd. VVs kennen drie type opslagruimte: user, snapshot en snapshot admin space. Elke van de drie typen wordt aan een LD gekoppeld en heeft een 32 MB granulariteit. Een of meer Controller Nodes zijn de eigenaar van deze LDs, dat wil zeggen, VVs kunnen over meerdere Controller Nodes voor extra load balancing en prestatieverbetering worden gestriped. De VVs vertegenwoordigen de virtuele capaciteit die uiteindelijk naar de host en applicaties worden geëxporteerd als Virtual LUNs (VLUNs), hetzij via Fibre Channel of iscsi target-poorten; binnen InServ kan een VV coherent naar zoveel poorten als wenselijk is worden geëxporteerd. VVs kunnen op drie manieren worden geëxporteerd: naar specifieke hosts (WWNs); naar elke host op een specifieke poort; naar specifieke hosts op een specifieke port. Op de InServ consumeert VV zelf geen LUN numbers (zoals dat op sommige systemen het geval is), alleen VLUNs consumeren LUN numbers. Deze mapping methode maakt gebruik van een tabelgebaseerde associatie, een mapping tabel met granulariteit van 32 MB per region en een exception tabel van 16 KB per

6 pagina. Met deze methode is een klein deel van een VV, die is gekoppeld aan een bepaalde LD, om prestatie of andere policy-gebaseerde redenen snel en nondisruptively te migreren naar een andere LD. Bij andere storage architecturen is hiervoor een volledige migratie van een virtueel volume noodzakelijk. Alhoewel het drie-laagse virtualisatiemodel complex van aard is, voor de beheerder is het dat niet. Want, het beheer van het 3PAR system vereist slechts kennis van een paar eenvoudige basisfuncties zoals: create en remove (voor VVs en LDs), show voor resources; stat voor het tonen van display karakteristieken en hist voor histogrammen. Tenslotte, de opsplitsing van LD en VV lagen bieden voordelen die voorheen met traditionele storage arrays nog niet mogelijk maken. Te denken valt aan de 3PAR Thin Provisioning en Dynamic Optimaztion (zie hierna). Figuur 4: Virtual Volume Management (bron 3PAR) Chunklet gebaseerde RAID Op een InServ kunnen RAID groepen op basis van chunklets, in plaats van complete drives, worden gecreëerd. De op een fysieke drive aanwezige verschillende chunklets kunnen voor volumes worden gebruikt met verschillende RAID niveaus. Bij een traditionele array wordt de beheerder gedwongen een keuze te maken tussen bijvoorbeeld RAID 1 voor een archiverings volume vanwege de beschikbare ruimte op een RAID 1 disk, hoewel RAID 5 genoeg prestaties zou kunnen leveren met minder overhead. 3PAR s chunklet-gebaseerd benadering staat toe om alle RAID niveaus te gebruiken op dezelfde fysieke drives, met optimaal gebruik van het RAID niveau voor elk volume. Wide Striping Zoals bekent, bij traditionele arrays wordt RAID 1 gebruikt om de prestaties te verbeteren, ondanks de extra kosten door het gebruik van twee raw drives voor elke drive met gebruikers data. RAID 5 wordt gebruikt om de storage bezettingsgraad te verbeteren waarbij de prestaties minder van belang zijn. RAID 6 kan worden gebruikt om een betere data protectie te bieden voor grote, langzame, disken. Fast RAID 5 3PARs Fast RAID 5 maakt een kosteneffectieve RAID 5 mogelijk, als alternatief voor RAID 1. Een door Oracle uitgevoerde test toonde aan dat met RAID 5 er 91% van de

7 RAID 1 prestaties werd geleverd tegen 25% minder gebruik van raw storage bij dezelfde hoeveelheid bruikbare storage. 3PARs Fast RAID 5 combineert de 3PAR Gen3 ASIC met een grote battery-backed geheugen cache en wide striping. De write-back cache maakt het mogelijk om sequentiële writes (die worden gegenereerd door journals, logs en vergelijkbare prestatiegevoelige workloads) te verzamelen tot een volledige parity group, die daarna naar disk kan worden weggeschreven. De meeste 3PAR gebruikers kiezen RAID 5 voor alle volumes omdat dit de prestatie nadelen vermindert in vergelijking met de traditionele RAID 1 en tegelijkertijd een hogere storage efficiency biedt. Fast RAID 6 De exponentiële groei in diskcapaciteit, zonder een evenredige toename in de betrouwbaarheid of prestaties, hebben geresulteerd in een hoger risico tot verlies van data. Bijvoorbeeld, de voor InServer Storage Server beschikbare 300 GB Fibre Channel disk en de 2 TB SATA disk. Het verschil in diskcapaciteit alleen al maakt dat de reconstructie van een uitgevallen disk of vervanging daarvan zes maal langer kan duren bij een 2 TB disk. De SATA disk is ook langzamer, wat verder de MTTR (Mean Time To Repair of Recovery) verhoogt, ten opzichte van de kleinere, snellere, FC disks. Een langere MTTR creëert ook een groter tijdsvenster waarin een uitval van een tweede disk het definitief verlies van disk data kan betekenen bij een RAID 1 of 5. Om die redenen wordt dan ook RAID 6 toegepast. Net zoals RAID 5, gebruikt RAID 6 een gedistribueerde parity maar slaat dan twee verschillende parity-waarden op. Deze waarden worden op verschillende delen van de stripe berekend, op een zodanige wijze dat data zelfs bij uitval van twee disken kan worden gereconstrueerd. 3PAR s RAID MP (meerdere, gedistribueerde parity) ondersteunt in eerste instantie alleen dual parity, het equivalent van RAID 6, maar in de toekomst worden ook hogere parity-niveaus ondersteund. Fast RAID herconstructie Chunklets, wide-striping en de Gen3 ASIC bieden tezamen een snelle RAID herconstructie na uitval van een drive, met minimale gevolgen voor de prestaties. Het gebruik van 3PAR s RAID 5 biedt een niveau data protectie die alleen met de additionele kosten van RAID 6 bij andere storage array s mogelijk is. Dat komt doordat alleen de gealloceerde chunklets hoeven te worden reconstrueert en niet de gehele disk drive. 3PAR s Thin technologieën zijn daarbij behulpzaam door niet de fysieke storage te hoeven alloceren voor ongeschreven of zeroed data. De data die nodig is om de gealloceerde chunklets te reconstrueren zijn afkomstig van veel andere drives in de array, zelf bij gebruik van RAID 1 mirror paren. Dit maakt wide striping mogelijk en helpt om de prestaties bij de reconstructie te verbeteren. De tijdens de herconstructie gebruikte spare chunklets zijn ook wide-striped zodat een bottleneck bij toepassing van een enkele spare drive wordt voorkomen. De Gen3 ASIC helpt om de herconstructie te bespoedigen door de data efficiënt te verplaatsen en de parityberekening te versnellen. Gezamenlijk maken deze voorzieningen een snelle RAID herconstructie mogelijk waarbij het tijdsvenster waarin de data onbeschermd is, wordt geminimaliseerd. Nadat de uitgevallen drive is vervangen, wordt de inhoud snel gevuld met de data die al in de spare chunklets was geherconstrueerd.

8 Figuur 5: Wide Striping, non-disruptive RAID rebuilds (bron 3 PAR) Dynamic en Adaptive Optimization Dynamic Optimization is een optionele software feature waarmee de onderliggende karakteristieken, zoals drive type, RAID niveau en configuratie en high availability opties, van een VV transparant en zonder onderbreking kunnen worden veranderd. Zo is bijvoorbeeld een RAID 1 op basis van hoogpresterende FC-disken te verhuizen naar een kosteneffectieve RAID 5 storage met SATA disken. Een ander toepassing is de herindeling van volumes na toevoeging van drives aan de storage array. Bestaande volumes worden autonoom over bestaande en nieuwe drives herstreept. De Optimization optie biedt een policy-gedreven, autonome, storage tiering software oplossing. De software analyseert de prestaties (access rates) op sub-volume region niveau en op basis daarvan verplaatst het autonoom deze regions naar de snel storage tier. Omgekeerd verhuist het ook minder actieve regions naar minder presterende tiers. Thin Provisioning en Thin Persistence 3PAR Thin Provisioning software ontkoppelt de gealloceerde van de werkelijk gebruikte storage. De beheerder kan elke hoeveelheid logische storage capaciteit alloceren aan een applicatie die aan host servers, middels 3PAR Thin Provisioning VVs (TPVVs), wordt gepresenteerd. In tegenstelling tot VVs, die tevoren worden gekoppeld aan de onderliggende LDs en uiteindelijk naar chunklets, worden TPVVs naar een logical common provisioning group gemapped. Deze laatste dient als algemeen storage reservoir. De thin processing wordt volledig in de array hardware uitgevoerd en is daarmee volgens 3PAR de eerste in de storage industrie. De Provisioning Software gebruikt een reservationless, dedicate-on-write, provisioning methode waarmee storage capaciteit in 16 KB kleine hoeveelheden vanuit een enkel vrij opslagreservoir

9 wordt gealloceerd; in tegenstelling tot andere leveranciers van storage arrays die eenheden van 1 MB tot 17 GB aan storage capaciteit moeten alloceren. Thin Persistence Om een uiterste efficiency en kostensparende voordelen van thin provisioning te realiseren is het ook belangrijk om thin te blijven. 3PAR claimt als eerste in de industrie dat met Thin Persistence Software thin volumes zo lean en efficiënt mogelijk blijven. Met behulp van de Gen3 ASIC wordt de ongebruikte opslagruimte, die is geassocieerd met verwijderde data binnen een storage volume, geherclaimt. De 3PAR Utility Storage ondersteunt de integratie met verschillende producten van andere leveranciers voor het bouwen van een thin ecosystem. Zo is met de Thin Provisioning Software gealloceerde, maar ongebruikte, disk ruimte te herclaimen bij Oracle 10g/11g databasegebruikers die van Oracle s Automatic Storage Management (ASM) gebruik maken. Een in samenwerking met Symantec ontwikkelde Thin Reclamation API maakt het mogelijk dat host file systems intelligent met 3PAR storage systemen kunnen communiceren om vrijgekomen opslagruimte te herclaimen na het verwijderen van bestanden. De Reclamation Software voor Veritas Storage Foundation is de eerste platform oplossing die van deze API gebruik maakt, conform de T10 thin provisioning standaard. 3PAR in VMware vsphere omgeving De creatie van VMs in VMware s vsphere omgeving kunnen met verschillende opties Virtual Machine Disks (VMDKs) worden gecreëerd die niet allemaal thin-friendly zijn. Default creëert vsphere VMs met de zeroedthick optie, die wel thin-friendly is; met deze optie zeroed de ESX Server niet de data bij de creatie van een nieuwe VM. Voor betere prestaties beveelt VMware het gebruik van Eager Zeroed Thick virtual disk aan; het is het enige disk format die door VMware Fault Tolerance (FT) wordt ondersteund. Eager Zeroed Thick disks veroorzaken weliswaar de minste I/O overhead maar vereist het schrijven van nullen in de complete storage ruimte bij de creatie van een VM. Daarmee ondermijnt het VMDK format de voordelen van een thinly provisioned LUN omdat alle fysieke storage wordt gealloceerd bij het volschrijven met nullen. In VMware vsphere omgeving zorgt de Persistence Software ervoor dat alle drie de vsphere VMDK formats op de storage layer zo dun mogelijk blijven. In combinatie met de ingebouwde Gen3 ASIC zero-detection biedt prestatievoordelen en tegelijkertijd elimineert het de capaciteitsnadelen die met de hoogpresterende VMDK format, Eager Zeroed Thick, gepaard gaat. Tenslotte is er de Thin Copy Reclamation optie. Deze is gelijk aan Thin Persistence maar in plaats van de Thin Engine te gebruiken voor het herclaimen van thin volumes, claimt de software de ongebruikte ruimte van thin copies (virtual copy snapshots en remote copies). Thin Conversion software Met Thin Conversion Software is niet langer een op basis van terabyte-voor-terabyte vervanging van een bestaande legacy storage naar een Thin Provisioning omgeving nodig. De in Gen3 ASCI ingebouwde zero-detection, in combinatie met de conversiesoftware, maakt op effectieve en snelle wijze een heterogene datacenter thin. Deze wire speed fat-to-thin conversie is compatibel met elk host volume.

10 Figuur 6: Thin Provisioning en Persistence (bron 3PAR) SPC Benchmark 1 De in dit artikel besproken 3PAR InSpire Storage Array bezitten talrijke features waarmee het aan de eisen voldoet aan de gestelde eisen moderne IT data center. Op papier althans, want Storage Magazine heeft niet de middelen en het budget om een dergelijk groot storage systeem zelf te kunnen evalueren. Dit probleem geldt ook voor de toekomstige klanten die overwegen dit storage systeem aan te schaffen. Enig houvast over alleen de prestaties geeft onder meer de bestaande SPC-1 benchmark van de T800. Het betreft weliswaar een verouderd rapport uit 2008 maar geeft toch een indruk van de prestaties in vergelijking met de concurrentie. Figuur 7: SPC-1 3PAR InServ T800 benchmark (bron 3PAR)

11 Informatie op Internet: