FCoE snoept deel ISCSI-markt af

Transcriptie

1 I/O-CONSOLIDATIE DOOR BRAM DONS I/O-consolidatie in het datacenter oe snoept deel ISCSI-markt af 48 Voor consolidatie van I/O binnen datacenters is de standaard Fibre Channel over sterk in opkomst. De vraag is of deze technologie een goed alternatief is voor de al bestaande InfiniBand-architectuur. De fysieke netwerkinfrastructuur van datacenters wordt in toenemende mate complexer. Daarvoor is een aantal hoofdredenen aan te wijzen. In de eerste plaats is dit de implementatie van high availability-voorzieningen zoals clustering, failover en remote replicatie. Ten tweede neemt, door de niet aflatende vraag naar meer opslagcapaciteit, het aantal Fibre Channel-switches, storage arrays, HBA s en servers nog steeds toe. Hierbij breiden de opkomende op 10 Gigabit en iscsi gebaseerde storagesystemen het netwerk vaak nog eens uit met een extra netwerkinfrastructuur. Tot slot neemt de complexiteit van de netwerkinfrastructuur snel toe door de implementatie van virtualisatietechnologie van zowel storage-, server- en I/O-systemen. Het lijkt dan ook logisch om, na de consolidatiegolf van storage en servers, als laatste het I/Osysteem binnen de datacenters te consolideren. Consolidatie van I/O moet uiteindelijk uitmonden in een zogenaamde unified fabric, waarin één type netwerk de basis vormt voor alle overige soorten datanetwerksystemen. Voor deze zogenoemde unified fabric komen in hoofdzaak de twee verst ontwikkelde netwerktechnologieën in aanmerking, namelijk Infini- Band en. De recente ontwikkeling van een nieuwe standaard, Fibre Channel over (oe), maakt op termijn kans om als basis voor I/O-consolidatie te gaan toepassen. De vraag is echter of deze standaard een goed alternatief is voor de al bestaande en in de praktijk toegepaste architectuur van InfiniBand. I/O-consolidatie I/O-consolidatie is het gebruikmaken door een switch of host adapter van dezelfde fysieke infrastructuur en het transporteren van verschillende soorten netwerkverkeer die allemaal weer verschillende dataverkeerkarakteristieken en afhandeling hebben. Vanuit de netwerkkant betekent dit dat slechts één enkele netwerkinterface hoeft te worden geïmplementeerd, in plaats van het gebruikelijke twee of het drietal Storage, Inter Process Communication (IPC) en LAN. Aan de kant van de host en de storage array hoeven slechts enkele Converged Network Adapters (CNA) te worden toegepast, in plaats van de gebruikelijke NICs, HBAs en Host Channel Adapter (HCA), de InfiniBand-adapter in de host. Hierdoor zijn er op servers minder fysieke PCI-(X) slots nodig, wat vooral voordelig kan zijn bij het gebruik van blade servers, de vereenvoudiging en standaardisatie van de netwerkbekabeling, de afwezigheid van gateways, die altijd een flessenhals vormen en een bron van incomptabiliteit zijn. Verder is er minder stroom en koeling nodig en leidt I/O-consolidatie tot lagere kosten voor onderhoud en installatie. De implementatie van een I/O-consolidatie is echter alleen haalbaar, wanneer voor elk type verkeer hetzelfde model kan worden toegepast. De grootste uitdaging is dan ook om aan de eisen te voldoen die verschillende soorten netwerkverkeer binnen één enkel netwerk stellen. Tot voor kort waren de verkeerstromen op niet erg gevoelig voor latency, maar met de komst van gedistribueerde applicaties en gegevensverwerking is dit snel aan het veranderen. Storageverkeer moet nu het -model gaan volgen, waarbij het afhankelijk is van -diensten als naming en zoning. In is het verliezen van frames geen optie, omdat SCSI extreem gevoelig is voor packet drops. Een ander type netwerkverkeer is IPC. Dit wordt gekarakteriseerd door een mix van grote en kleine traffic messages en is doorgaans ook gevoelig voor netwerklatency. IPC wordt hoofdzakelijk toegepast in clustersystemen. Voorbeelden van server clustering in het datacenter zijn: High Availability clusters, zoals Symantec/Veritas VCS, MSCS; Clustered File Systems; Clustered databases, zoals Oracle RAC; VMware Virtual Infrastructure, zoals VMotion en HA.

2 HBA HBA NIC NIC Traffic Traffic Enet Traffic Enet Traffic Figuur 1: I/O consolidatie binnen de server. I/O-consolidatiepogingen Tot op heden is er een aantal pogingen ondernomen om I/O-consolidatie te implementeren. zelf is wel eens als een I/O-consolidatienetwerk voorgesteld, maar door de slechte ondersteuning van multicast-/broadcastverkeer is het nooit geschikt bevonden. InfiniBand heeft ook met enig succes getracht om met I/O-consolidatie in de HPC-omgeving door te breken, maar heeft ook nooit een groot marktaandeel bereikt. Dit vanwege het gebrek aan comptabiliteit met, ook hier is er weer geen goede ondersteuning voor multicast/broadcast. Met levert dit flessenhalzen en incomptabiliteitsproblemen op. iscsi is waarschijnlijk nog de beste poging tot I/O-consolidatie, maar in het verleden was de toepassing beperkt tot laagpresterende servers. Met de komst van 10 is incomptabiliteit echter niet langer het geval. Toch zijn er zorgen dat de door iscsi vereiste TCP termination bij 10 -netwerken lastig te verwezenlijken valt. Een ander punt is dat iscsi SCSI over TCP is en geen over TCP en daarom niet het beheer- en toepassingsmodel van kan gebruiken. Het vereist bovendien gateways en een verschillend naamschema. Volgens sommigen mag dit laatste beter zijn dan dat van, maar het is in elk geval verschillend, onder andere door verschillende zoning. Adapter Adapter iscsi or InfiniBand or FcoE meestal uit van een opsplitsing van netwerken in twee klassen, lossless networks en lossy networks. Daarbij wordt geen data losses als gevolg van transmissiefouten in ogenschouw genomen, omdat deze in een gecontroleerde omgeving met beperkte afstanden, zoals in een datacenter, in vergelijking met losses als gevolg van netwerkcongestie, tamelijk zelden voorkomen. Lossless- en lossy-netwerken en InfiniBand zijn voorbeelden van lossless-netwerken. Zij zijn daartoe uitgerust met een link leveling signaleringssysteem die de beschikbaarheid van databuffers aan het andere eind van de verbinding bijhoudt. echter is van oorsprong een lossy-netwerk omdat switches niet over een mechanisme bezitten die de zender waarschuwt dat er geen buffers meer over zijn. Enkele jaren geleden is met de IEEE standaard het PAUSE frame-mechanisme aan toegevoegd. Dat mechanisme wordt gebruikt om de zender voor een bepaalde tijd op te houden. In de praktijk is de toepassing geen succes gebleken en tegenwoordig is het droppen van een frame algemeen gebruikelijk bij. Historisch gezien zijn er drie mogelijke oorzaken van frame drop bij : frame errors, collisions en congestion. Het voorkomen van frame drops is echter wel een vereiste om native storage-opslag over te kunnen transporteren, omdat storage-opslag geen frame drops accepteert. SCSI is destijds ontwikkeld met de veronderstelling dat SCSI-transacties altijd slagen en fouten zelden voorkomen en, indien dat onverhoopt toch het geval mocht zijn, het aanvaardbaar is om langzaam daarvan te herstellen. voorkomt frame dropping door middel van het link credit-mechanisme, Bufferto-Buffer (B2B) credits genaamd. Het alternatief voor, iscsi, lost het zelfde probleem op door het TCP-protocol het herstel van frame drops te laten uitvoeren, maar dit betekent wel een toename van NIET GESCHIKT VOOR I/O-CONSOLIDATIE het TCP-verkeer en voor database- en hoogpresterende applicaties een vaak niet acceptabele vertraging bij het afleveren van data packets. Native ondersteuning storage-opslag De term native support voor storageopslag heeft betrekking op het vermogen van een netwerk om als transport voor het SCSI-protocol te fungeren. SCSI was ontworpen met de gedachte dat de onderliggende fysieke netwerklaag uit een korte parallelle kabel bestaat, intern binnen de server, en daarom uitermate betrouwbaar. SCSI heeft daarom bij het ontwerp geen ingebouwd mechanisme meegekregen waarmee het efficiënt met het herstel van transmissiefouten kan omgaan. Een frame loss binnen bij SCSI 49 Vereisten I/O-consolidatie Er is een aantal eisen waaraan netwerken moeten voldoen, willen zij in aanmerking komen voor I/O-consolidatie. Hierbij moet worden gedacht aan buffering, low latency, ondersteuning voor native opslagverkeer en Remote Direct Memory Access (RDMA). Buffering binnen netwerken is een lastige materie en heeft betrekking op onder andere propagation delays, high level-protocollen, congestion control. Discussies over dit onderwerp gaan P iscsi TCP IP 1,2,4,8,10 Gbps Figuur 2: SCSI transports. Operating System/Applications SCSI layer P P P SRP/ISER IP TCP ip TCP IP IP FcoE IB 1, 10 Gbps 10,20 Gbps

3 Transmit Queues One Two Three Link Recieve Buffers One Two Three Four Five Four Five Eight virtual lanes Six Stop Pause Six Seven Seven Eight Eight Figuur 3: Priority Flow Control. Offered traffic 10 link Realized traffic 10 link 2 Gbps HPC Traffic 2 Gbps 50 Storage traffic 4 Gbps 6 Gbps Figuur 4: Verdeling van bandbreedte met IEEE 802.1Qaz. veroorzaakt een time-out in de communicatie tussen server en opslagsysteem waarvan het herstel een of meer minuten kan vergen! Het -protocol is gekozen als transport voor SCSI om opslagsystemen buiten de server te brengen, de overgang in het verleden van DAS naar SAN, waar met behulp van het B2B-mechanisme dezelfde betrouwbaarheid als de parallelle SCSI-bus kon worden gegarandeerd. heeft geen credit-mechanisme, maar wel een PAUSE frame die met een juiste implementatie in een datacenter identieke resultaten kan opleveren bij beperkte afstanden. Maar om I/O-consolidatie goed te kunnen ondersteunen, moest het PAUSEmechanisme worden uitgebreid met een systeem voor per priority systeem. en I/O-consolidatie Het was dus noodzakelijk om uit te breiden om het als kandidaat voor een betrouwbare oplossing voor I/O-consolidatie geschikt te maken. Een aantal vragen drong zich daarbij op: of wel lossless kan worden gemaakt, er een credit-mechanisme noodzakelijk is, of lossles beter is en of er misschien toch nog iets anders nodig is. De vraag is verder of met het PAUSE-mechanisme equivalent is aan het credit-mechanisme van en, zo ja, waarom wordt PAUSE dan tot op heden nog niet grootschalig toegepast? Hoewel de techniek van credits verschilt met die van het PAUSE-mechanisme, is het merkbare gedrag hetzelfde, vooral in een datacenteromgeving waarin propagation delays een beperkte rol spelen. Voor I/O-consolidatie met Priority Flow Control (P) is het zelfs superieur aan credits, omdat de laatste betrekking heeft op de hele link en niet per prioriteit. P ondersteunt de PAUSE-functionaliteit per -prioriteit. Daartoe is in de IEEE 802.1Q standaard een drie-bits prioriteitveld gedefinieerd waarmee het LAN traffic 4 Gbps t1 t2 t3 t1 t2 t3 5 Gbps dataverkeer, IPC, storage en IP, kan worden opsplitst in aparte classes met verschillende prioriteit. P is gebaseerd op een publiek voorstel van Cisco en wordt in overweging genomen voor standaardisatie in IEEE 802.1Qbb. De IEEE-standaard definieert een basis ETHERNET VERDER UITGEBREID VOOR I/O-CONSOLIDATIE PAUS-mechanisme waarmee de deur is opengezet naar allerlei, zij het incomplete, implementaties. Net zoals de eeuwige comptabiliteitsproblemen met maar voortduren, is de praktische oplossing dat problemen wel in de volgende release weer worden rechtgezet. Maar toch, het blijft voor het IT-beheer een voortdurende bron van ergernis. Wat niet moet worden vergeten, is dat PAUSE betrekking heeft op de hele link, dat betekent een enkel mechanisme voor al het netwerkverkeer. De verschillende data classes stel-

4 len incompatibele eisen aan het netwerk, sommige willen lossy, andere weer lossless, wat traffic-interferentie kan veroorzaken. Het storageverkeer kan onder andere worden opgehouden door congestie van het IP verkeer. Additionele technieken Naast de basistechnieken voor I/O consolidatie, kunnen ook additionele technieken I/O consolidatie op grote schaal toepasbaar maken. Daarbij moeten we denken aan het hiervoor genoemde Discovery Protocol (DCBX), Bandwidth Manager en Congestion Management. De projecten die bij het IEEE in behandeling zijn, zijn Priority Flow Control; Bandwith en Congestion Management. De IEE 802.1Qaz is een voorstel voor een standaard die beschrijft hoe netwerkbandbreedte aan de hand van een klasse is toe te wijzen. Om consolidatie effectief te kunnen toepassen, moet de opslag van storage een gegarandeerde en minimumbandbreedte hebben. Verkeer dat een lage latency vereist, moet een gegarandeerde hoge prioriteit hebben. Figuur 4 laat een voorbeeld van een 10 -netwerk met drie prioriteitsklassen zien. Voor de laagste latency wordt aan HPC een high priority klasse toegekend, storage-opslag krijgt medium high en het gewone LAN-verkeer medium. De drie 1 LAN 1 Link PCIe drivers SAN Link Fibre Channel PCIe Fibre Channel drivers klassen krijgen verder een gegarandeerde bandbreedte toegekend, HPC- en oeverkeer elk 30 procent en het LAN-verkeer 40 procent. drivers Converged Link Fibre Channel PCIe Fibre Channel drivers I/O-consolidatie met oe oe is een nieuwe standaard die door de -BB-5 working group van INCITS T11 is ontwikkeld. De standaard is gebaseerd op het feit dat binnen datacenters het dominante storageprotocol is en dat elke toepasbare storage-oplossing voor I/O-consolidatie oplossing op het -model moet zijn gebaseerd. Het idee achter oe is buitengewoon eenvoudig. Voor de implementatie van I/O-consolidatie wordt elk frame binnen een frame verpakt. Vanuit lijkt het daarom op een nieuw type kabel, een cloud, en vanuit ziet het er uit als een andere Upper Layer Protocol (ULP) die parallel met onder andere IPv4, IPv6 en IPX kan worden getransporteerd. In het protocol stack is te zien dat SCSI gewoon over wordt gemapped, net zoals in het klassieke stack. Een aparte laag, oe, zorgt voor de inkapseling van over. Dit vindt plaats op basis van frame-by-frame, waardoor de oelaag volkomen stateless is en er geen fragmentatie is en het opnieuw samenstellen van frames niet meer nodig is. oe stelt wel enige eisen aan het onderliggende -netwerk, waarvan een lossless-eigenschap de meest belangrijke is. Dat kan eenvoudig via het PAUSE frame worden gerealiseerd, maar in een meer realistische I/O-consolidatie-omgeving is ook P nodig en additionele technieken als DCBX. oe vereist ook het gebruik van Jumbo frames, omdat frames niet gefragmenteerd zijn. Dan moet dit uiteraard wel worden ondersteund door alle switches en NICs in de oe-verbinding. Zakelijke voordelen De toepassing van oe in een enterprise datacenter biedt talrijke zakelijke voordelen, zoals kostenreductie en vermindering complexiteit van de infrastructuur, betere prestaties, stroomreductie door minder benodigde interfaces op de server en een naadloze integratie met bestaande en SANs. Met de vereenvoudigde oe-topologie zijn slechts twee oeadapters per server nodig, waar voorheen minimaal vier nodig waren. Een rack met 20 servers met volledige redundante connectiviteit brengt dus het aantal van 40 - en 40 fiberverbindingen terug tot slechts 40 oe-verbindingen. Bovendien neem het stroomverbruik in deze situatie per rack met 500 Watt af. oe kan ook bijdragen bij het beheer van een geconsolideerde I/O-omgeving. Er zijn al CNAs op de markt die de toepassing van oe mogelijk maken, zonder dat de huidige datacenterbeheersystemen, software en taken van netwerk- en storagebeheerders hoeven te worden aangepast. De hardware CNAs bieden zowel een - als -initiator op de server, waardoor het operating system twee fysieke devices ziet. CNAs kunnen ook in de software worden uitgevoerd. De oe-technologie maakt voor het OS en de applicaties de aanwezigheid van het geconvergeerde netwerk transparant, waardoor zowel de storage- als netwerkbeheerders hun bestaande omgevingen kunnen beheren, zoals ze gewend zijn te doen. 51 Figuur 5: De vergelijking tussen NIC, HBA en CNA. Header Operating System V2 Frame, type = oe oe Header Header Same as a physical frame Payload Control information: version, orderd sets (SOF, EOF) Figuur 6: oe-inkapseling van binnen een frame. Operating System CRC EOF S oe-protocollen oe bestaat in feite uit twee verschillende protocollen, het data plane- en het control plane-protocol. Het data plane-protocol moet de meeste van de frames en al het SCSI-verkeer transporteren en wordt doorgaans in hardware uitgevoerd. oe Initialization Protocol (FIP) is het in software uitgevoerde besturingsprotocol dat dient om entities te detecteren die met een cloud zijn verbonden en zorgt voor de fabric login en logout. Figuur 6 toont de oe inkapseling van

5 52 Figuur 7: Het ENode-model. Figuur 8: Een oe switch. binnen een frame. De Payload wordt in het frame verpakt dat een ongemodificeerde header en originele CRD bevat. Vervolgens is er een oe Header en trailer die hoofdzakelijk de gecodeerde start en end of frame bevatten en ten slotte de header dat het Ethertype oe-veld bevat en de trailer met de Frame Control Sequence (S). De header wordt ongewijzigd in het frame opgenomen, zodat, wanneer een traditioneel met een oe geschikte switch wordt verbonden, het frame makkelijk kan worden in- en uitgepakt. Dit maakt het mogelijk» M Part of Telindus Node Enet port... Switch M Bridge (Advertentie) M Enet port port port port port port port port port om oe met bestaande SANs te integreren, zonder dat daarvoor er een speciale gateway nodig is. Met InfiniBand is dit wel het geval. Het oe frame bestaat uit een 48-bit MAC destination en source adres. De 802.1Q Tag biedt dezelfde functie als virtuele LANs. oe heeft zijn eigen -type, gevolgd door het 4-bit versieveld. Het ingekapselde frame bestaat uit de originele 24 byte header. oe-modellen De entiteiten die in oe voorkomen zijn vergelijkbaar met die van I, zoals beschreven in -BB-4. Aangezien oe File & Archiving HSM is nog geen archiving! Kom kijken hoe het wel moet. port port port port Reserveer nú een 1-op-1 sessie met een ISIT consultant een evolutie van I is, krijgt het de benaming -BB-5. Het eerste gedefinieerde element is de ENode, de oe node. Dit is een HBA die binnen een NIC is geïmplementeerd en waarvan de commerciële producten bekend staan als CNA. De in figuur 7 afgebeelde ENode bestaat uit een enkele node met meerdere oe entities, één per -poort. Elke oe-entiteit heeft een MACadres die als bron- en bestemmingsadres voor het transport van oe frames via een fabric wordt gebruikt. Het andere element is als de oe switch gedefinieerd en bevat zowel een als een switch-functie of Fibre Channel Forwarder (F). De oeentiteit binnen de F verpakt de frames in de oe frames en omgekeerd en ontmantelt deze. Dit is slechts een eenvoudig voorbeeld van hoe een switch kan worden toegepast. Leveranciers van switches kunnen oe op verschillende manier implementeren, waarbij het belangrijkste verschil de aanwezigheid of afwezigheid van één of meer bridges binnen de oe switch is. Deze architectuur leent zich ook goed voor implementatie in een algemene architectuur van een multiprotocol router en het lijkt aannemelijk dat in de toekomst de F-functionaliteit aan een multiprotocol router kan worden toegevoegd. Verder biedt de - BB-5 standaard de nieuwe concepten die al met IP zijn geïntroduceerd, waaronder het concept van virtuele poorten. oe-topologieën oe kan in verschillende topologieën worden toegepast. In een eenvoudige oe-topologie kan oe worden gebruikt om het verkeer van een server naar de oe enabled devices te consolideren. Dit model is geschikt voor een gefaseerde benadering bij een omgeving op basis van LAN- en SAN-netwerken. Er zijn natuurlijk veel meer toepassingen van oe denkbaar. Een ander voorbeeld is een end-to-end toepassing van een compleet oe-netwerk. Met oe interfaces uitgeruste storagesystemen kunnen IT-ondernemingen integreren met hun datacenternetwerken, door ze rechtstreeks met de oe fabric te verbinden. Naarmate oe enabled storage de norm wordt, kunnen datacenters migreren naar een volledig geconvergeerde fabric op basis van oe aware initiators, switches en storage targets. Figuur 9 laat een op oe fabric gebaseerde ITarchitectuur zien, die uit oe-, iscsi- en - storagesystemen bestaat.

6 Servers Servers Servers Loss-Less Blade Servers oe Storage Array Gateway Gateway iscsi Storage Array oe JBOD Fibre Channel 53 Arrays oe Storage Array Figuur 9: Op oe gebaseerde fabric in het datacenter. Conclusies Na de aankondiging en eerste publicaties over oe kwamen er, afhankelijk van welk belang wordt gediend, vanuit de storagemarkt verschillende reacties. Vragen die daarbij onder andere werden gesteld, waren of oe routable is, of het een vervanger voor is en of het de killerapplicatie van iscsi wordt. ROUTING BLIJFT ONDERSTEUND Het antwoord op de eerste vraag is eenvoudig. oe heeft geen IP-laag en is daarom niet routable. Dat is geen tekortkoming, maar een weloverwogen beslissing bij het ontwerp van oe. De industrie heeft namelijk al standaarden ontwikkeld om over IP te transporteren die bekend staan als IP. oe kan natuurlijk echter wel, net zoals, via oe switches routing ondersteunen. Deze switches kunnen immers, volgens de destination _ID, frames over verschillende clouds doorsturen. Het antwoord op de tweede vraag is dat oe geen vervanger is voor het conventionele, maar meer een uitbreiding van, maar dan over een andere linktransportlaag. Gebruikers krijgen daarmee een optie om gescheiden logische netwerken voor storage en messaging LANs te handhaven of te kiezen voor een samensmelting van beide type netwerken. oe is niet ontworpen om iscsi over de kling te jagen, want er zijn veel applicaties met iscsi die nooit van oe gebruik zullen maken. Dat geldt vooral voor low-end systemen en voor kleine nevenvestigingen, waarvoor IP de standaard verbindingstechnologie is. oe is ontworpen als een beter alternatief voor iscsi in het datacenter. De meeste datacenters hebben een enorme installed base met en kiezen alleen voor een nieuwe technologie die het huidige -beheermodel bewaart. oe is een dergelijke technologie, terwijl iscsi, zelfs als het beter zou zijn, eenvoudiger is, aangezien er geen F -laag in iscsi zit en daarom niet naadloos valt te integreren met een bestaande -omgeving zoals oe. Voor oe is geen TCP nodig, wat veel gebruikers als een voordeel zien. De vraag is of oe uiteindelijk een groot deel van de SAN-markt zal veroveren. Het lijkt aannemelijk dat het iscsi zeker niet zal doen verdwijnen, maar het zal wel een deel van haar potentiële markt afsnoepen. Inmiddels zijn de eerste producten voor oe op de markt gekomen, zoals de Emulex LightPulse LP2100/LP21002 CNA en de Nexus 5000 switch van Cisco. MEER INFORMATIE index.html BRAM DONS IS ONAFHANKELIJK IT-ANALIST; INFO@IT-TRENDWATCH.NL