PRODUCT Van DAS naar SAN, en waarom niet? Of wel? Storage Router 48 Dat direct aan de server gekoppelde opslagsystemen (DAS) duur zijn in onderhoud, inefficiënt in gebruik en lastig te beheren, is ons door de meeste onderzoekshuizen en storage-consultants de laatste paar jaar wel (over) duidelijk gemaakt. De vraag is dan ook waarom de meeste beheerders hun DAS-systemen al lang niet hebben ingeruild voor een SAN-systeem? DOOR BRAM DONS Het antwoord is eenvoudig. Veel beheerders hebben nog steeds het idee dat een SAN moeilijk is te implementeren en hoge aanschafkosten met zich meebrengt. Tot voor kort klopten deze vooroordelen wel voor een deel, maar in deze situatie is nu snel verandering aan het komen. De instapprijs van een gemiddeld grote SAN lag tot voor kort nog boven de 50.000, wat voor de meeste MKB-bedrijven een te grote investering is. De groeiende belangstelling van dit marktsegment voor SAN s heeft sommige fabrikanten er toe aangezet om kant-en-klare low cost SANpakketten op de markt zetten. Een andere mogelijkheid om block-gebaseerde opslagsystemen via een netwerk beschikbaar te stellen is de Storage over IP -technologie. Dit maakt het mogelijk om de bestaande opslagsystemen van DAS-systemen via bestaande IP-netwerken beschikbaar te maken voor andere clients. De implementatie van een dergelijke architectuur wordt onder meer geboden door de komst van de nieuwe hardware-gebaseerde Storage Routers. De komende jaren zullen er steeds meer geavanceerde multiprotocol-routers op de markt komen, waarbij verschillende type opslagnetwerken kunnen worden gekoppeld, waarvan Fibre Channel, IP en InfiniBand naar het zich nu laat aanzien wel de meest populaire netwerken zijn. De firma bracht als een van de eerste al begin dit jaar de iscsigebaseerde SN 5420 router op de markt; daar is nu de multiprotocol router bijgekomen. In dit artikel zien we in welke mate de 5428 al grotendeels tegemoet komt aan de wensen van de huidige gebruiker en of het de vooroordelen, met betrekking tot de moeilijke en kostbare implementatie van een SAN/NAS-omgeving, heeft weggenomen. Bovendien zien we of iscsi een werkbaar alternatief is voor SAN om via een netwerk blockgebaseerde I/O te bedrijven. Implementatie SAN s in kleine omgevingen De meeste beheerders in kleine ondernemingen zijn de implementatie van SAN s nog uit de weg gegaan, vanwege de hoge implementatiekosten, de vermeende complexiteit en operabiliteitsproblemen ervan. Volgens s zeggen is daar met de komst van de Storage Router
voor goed een einde aan gekomen. De 5428 zou een eenvoudige manier moeten bieden om van een bestaande DAS-omgeving te migreren naar een kosteneffectieve en schaalbare SAN-oplossing. Tevens zou de 5428, via het iscsi-protocol, de mogelijkheid moeten bieden om via een IP-netwerk een verbinding met block-gebaseerde opslag-devices te maken. Daar waar een sneller en betrouwbaarder opslagnetwerk is vereist, biedt de 5428 tevens de mogelijkheid om serversystemen direct met Fibre Channel aan het opslagsysteem te verbinden. In tegenstelling tot de 5420 is de 5428 extra uitgerust met een achtpoorts 2 Gbps FC-switch. Voor toepassingen waar snelheid minder vereist is, maar toch langere afstanden tussen server en opslagsysteem overbrugd moeten worden, of de hogere kosten van Fibre Channel HBA s (in vergelijking met Ethernetkaarten) een beperkende rol spelen, kan met de 5428 voor een IP-verbinding worden gekozen. Voor een bestaande DASomgeving betekent het dat reeds gedane investeringen in opslagsystemen en IPnetwerken niet verloren hoeven te gaan en naar wens de opslagsystemen via Ethernet- of Fibre Channel de servers kan worden verbonden. In beide gevallen doet het, via IP- of FC-verbonden, opslagsysteem zich aan het besturingsysteem als een direct verbonden opslagsysteem voor. Vanuit het gezichtspunt van de applicatiebeheerder verandert er niets. Bij toepassing van Fibre Channel kunnen alle bestaande applicaties meestal ongewijzigd blijven. Bij toepassing van trage of overbelaste IP-netwerken kunnen als gevolg van netwerk-latency bij sommige applicaties wel problemen optreden. Het is daarom in het algemeen aan te bevelen om van een apart Gigabit IP-netwerk, afgescheiden van het messaging-netwerk, als opslagnetwerk gebruik te maken. De Storage Router iscsi Servers 10/100 Gigabit Ethernet Fibre Channel Servers Figuur 1 Toepassing als FC-switch en iscsi-router Disk Storage Tape 49 De 5428 Fiber Channel switch Het Fiber Channel-gedeelte van de 5428 bestaat uit een gewone FC-switch met standaard achtpoorts 1-2 Gbps autosensing FC-interfaces voor de verbinding met opslagsystemen, FC-switches en hosts. De 5428 kan ook in een bestaande FC switched fabric zone met WWPNzoning worden opgenomen. De zones zelf echter worden met behulp van de beheersoftware van andere FC-switches beheerd (de 5428 kan zelf geen zones creëren of beheren). De 5428 kan bijvoorbeeld alleen als pure FC-switch worden toegepast binnen een SAN (zie het rechtergedeelte van figuur 1), waarbij bestaande IP host IP host IP HA Management Figuur 2 Architectuur -omgeving Management station FC storage
SCSI-devices uit een DAS-architectuur dan via een SCSI-naar-FC router aan de FC-switch kunnen worden gekoppeld. Op deze manier is het relatief eenvoudig een bestaande DAS-omgeving naar een SANomgeving te migreren. Naderhand is het SAN uit te breiden door via iscsi een koppeling te maken naar block-gebaseerde opslag-devices (de zogenaamde iscsi targets ) op het een IP-netwerk, waarbij het complete plaatje uit figuur 1 ontstaat. Uiteraard is een omgekeerde implementatievolgorde ook mogelijk. De 5428 als iscsi storage-router Naast de FC-switch, is toch het meest interessant aan de 5428 het SCSI routinggedeelte. In figuur 2 zien we de basisstructuur van een SCSI-routingnetwerk. IP-hosts hebben met behulp van de iscsidriver via een IP-netwerk toegang tot block-gebaseerde devices binnen het SAN. De via de 5428 verbonden opslagsystemen doen zich aan het besturingsysteem voor als een direct gekoppeld opslagsysteem. De 5428 fungeert daarbij als protocolrouter om de koppeling tussen de IP-host en devices binnen het SAN tot stand te brengen. Omdat de opslag-devices binnen Fibre Channel alleen via het SCSI-protocol zijn te benaderen, moeten de commando s van het SCSI-protocol binnen IP-pakketjes worden verpakt, zodat ze via een TCP/IPnetwerk kunnen worden verzonden. De functie van de geïnstalleerde iscsi-driver is het ver- en uitpakken van de, respectievelijke SCSI-requests en -responses. Nu moet nog op iedere client ( ondersteunt Windows NT/2000, Solaris, Linux, HP-UX en AIX) de driver worden geïnstalleerd, maar de verwachting is dat, zodra het iscsi-protocol versie 1.0 officieel is goedgekeurd, de driver binnen meeste besturingsystemen zal worden opgenomen; in ieder geval zal Microsoft dit als een van de eersten doen in de nieuwe.net Server-omgeving. VLAN 200 VLAN 100 Figuur 3 Virtual LAN Standaard SCSI-routingmethodes Via SCSI-routing heeft een IP-host (een systeem op het IP-netwerk met een geïnstalleerde iscsi-driver) via de 5428 toegang tot een opslag-device dat zich op het achterliggende FC-netwerk bevindt. Daarbij lijkt het er voor de host op alsof het rechtstreeks met het opslag-device verbonden is. Een iscsi-target (ook wel logical target genoemd) is een arbitraire naam voor een groep fysieke opslag-devices. De creatie en logische koppeling tussen een iscsi-target en een fysiek opslagdevice wordt door de gebruiker via een beheertool (cli-interface of webbrowser) op de 5428 gedefinieerd. Een iscsi-target is aan meer fysieke devices te koppelen en bevat minstens één Logical Unit Number (LUN). Iedere LUN op een iscsi-target is gekoppeld aan een enkele LUN op een fysieke storage-target. Men kan kiezen uit twee type koppelingen (storage-mappings): target-and-lun en target-only. Bij target-and-lun mapping wordt de combinatie van een iscsi target name en iscsi LUN number gekoppeld aan het fysieke adres van één LUN. Bij de targetonly methode wordt een iscsi target-naam gespecificeerd en gekoppeld aan alleen het fysieke opslagadres van een storagecontroller: een WWPN. Van welke mapping-methodes men uiteindelijk gebruik maakt, is onder meer afhankelijk van de verschillende typen beschikbare opslagsystemen en de gewenste voorkeur voor een bepaalde adresseermethode op een site. Transparante SCSI-routing Nieuw aan de 5428 (in vergelijking tot de 5420) is de mogelijkheid van transparante SCSI routing en wordt gebruikt om een intelligente storage array direct aan een FC-interface van de 5428 te koppelen. Bij transparante SCSI-routing kan een intelligente storage array ook iedere IP-host beheren, alsof het direct met de array is verbonden als een normale FC-host. Hierbij geldt wel een kleine beperking: FC fabric zoning is niet mogelijk en de storage array moet FC extended port login ondersteunen (dat binnen het FC login frame zowel de IP-host, dus de iscsi initiator name, en het daarmee geassocieerde IP-adres moet bevatten). Het voordeel van transparante SCSI-routing is dat het automatisch de iscsi-targets creëert en deze koppelt aan de fysieke targets binnen de intelligente storage array. IP Sn 5428 Configured with two SCSI routing instances named SR100 and SR200 Storage divices accessible by VLAN 100 via SCSI routing instance SR100 Storage divice accessible by VLAN 200 via SCSI routing instance SR200 Speciale features 5428 Een opmerkelijke feature voor een storagerouter is 5428 s virtual LAN (VLAN), waarmee een IP-host toegang krijgt tot een bepaalde VLAN (waartoe de host behoort met het bijbehorende opslagsysteem). VLAN is gebaseerd op het bekende concept van virtuele netwerktechnologie waarbij via één fysieke netwerkverbinding, gescheiden van elkaar, meer logische verbindingen tussen een IP-host(s) en opslagsystemen mogelijk zijn. De 5428 is gebaseerd op de IEEE 802.1Q inkapselingstandaard waarbij VLAN-informatie als pakketjes van en naar de 5428 Gigabit Ethernet-interface kunnen worden verstuurd. Een VLAN krijgt toegang tot opslagdevices via een, in de 5428 gedefinieerde, SCSI-routing-instance. De aan de routinginstance toegewezen iscsi-targets bepalen tot welke opslag-devices het VLAN toegang heeft. Daar waar de 5428 binnen een switched netwerkomgeving is opgenomen, kan van het eigen proprietary VLAN Trunking Protocol (VTP) gebruik worden gemaakt. VTP biedt de 5428 de mogelijkheid packets met een extern verbonden switch uit te wisselen, wat het mogelijk maakt om op dynamische wijze over de aanwezige VLAN s in het IP-netwerk te leren. Bij niet- netwerken moet de beheerder handmatig VLAN s in het netwerk van een VLAN identifier (VID) voorzien. Ten slotte, verscheidene 5428 s kunnen in een clusterconfiguratie worden samengesteld, waarmee de instance automatisch overschakelt naar de andere ingeval een van beide interfaces niet meer beschikbaar is, of bij een softwareof hardwarefout op de router. Configuratie Voor managementdoeleinden is de 5428 via een aparte management 10/100 Ethernetpoort met een IP-netwerk te ver- 51
binden. Ook is er een RS-232 poort beschikbaar voor een directe dial-in verbinding. Beheer is via telnet, terminal-verbinding of een Java-gebaseerde webbrowser mogelijk. Via de GUI is in te loggen als monitor of admin. Zoals gebruikelijk: in monitor -mode is alleen de bewaking van de 5428 mogelijk, met admin-configuratie, onderhoud en storingzoeken. Conversie DAS-systeem naar iscsi Bij wijze van proef converteren we twee bestaande DAS-systemen met (via de SCSIbus gekoppelde) schijf en tape-unit, naar een iscsi-gebaseerd opslagnetwerk. Omdat beide opslag-devices SCSI-gebaseerd zijn, is een router nodig om de SCSI-bus aan te kunnen sluiten op een van FC-poorten van de 5428. Ten slotte dienen er op de clients nog de iscsi-drivers (versie 0.8) te worden geïnstalleerd. Na herhaaldelijk te zijn uitgesteld, is het de verwachting dat de officiële iscsi-standaard 1.0 binnenkort door de Internet Engineering Steering Group wordt geaccepteerd. De installatie van de driver op de testclient, een Windows 2000 systeem met service pack 3 en de configuratie via de webbrowser van alle iscsi-targets, verloopt zonder noemenswaardige problemen. 52 Fibre Channel Fibre Channel Gigabit Ethernet via Fibre 1000BaseSX iscsi-protocol Storage over IP SN5428 Storage Router SAN Gigabit Ethernet StorageNet Router 3250 SN5428 Storage Router Catalist 3550 1 Gigabit switch Gigabit Ethernet 1000BaseTX JBOD Quantum Atlas 10K 9WLS Windows 2000/NT HP-UX AIX Solaris Linux 10/100 Mbs Ethernet 100BaseTX LAN Figuur 4 iscsi-gebaseerde koppeling SAN-NAS Quantum SDLT 320 Applicaties met de Zoals in begin van dit artikel is vermeld, is de 5428 op verschillende manieren inzetbaar. zelf ziet toepassing van de SN5428 in een aantal omgevingen, waarvan de belangrijkste zijn: bedrijven die nu nog geen SAN hebben, maar daar wel mee aan de gang willen. Dit zijn dus overwegend middelgrote omgevingen met een paar hoofdservers en een aantal kleinere servers. De hoofdserver kan via FC worden gekoppeld (plus centrale backup) en de kleinere servers (vaak decentrale afdelingservers) met behulp van iscsi. In grote omgevingen zien we dezelfde toepassing, maar dan op grotere bijkantoren. ziet de SN5428 dan ook vaak als een workgroup SAN-oplossing. Onze testopstelling is representatief voor een kleine IT-omgeving met enkele serversystemen. We testen op de 5428 een aantal interessante toepassingen om te zien hoe iscsi-targets zich in een dergelijke omgeving gedragen. De 5428 als iscsi-router Een van de mogelijke toepassingen met de 5428 is de consolidatie van opslagsystemen (zowel tape als schijf). Dat is natuurlijk mogelijk in een pure SANomgeving met behulp van alleen het FC switch-gedeelte van de 5428, maar onze bijzondere aandacht gaat natuurlijk uit naar iscsi. Als eerste testen we de JBOD om te zien in hoeverre het iscsi-protocol en het IP-netwerk vertragende factoren zijn bij de toegang tot een iscsi-gekoppelde schijf, in vergelijking met een lokaal via de SCSI-bus gekoppelde schijf. Daartoe maken we gebruik van Intel s veelgebruikte Iometer-test (voor de instellingen; zie parameters ). Uit de test blijkt dat er nauwelijks enig prestatieverschil bestaat tussen beide methodes. Het enige verschil is dat de cpu met ruim vier procent extra wordt belast. Om te zien of de cpu-belasting nog is te reduceren, installeren we Alacritech s Storage Accelarator (een zogenaamde TCP/IP Offload Engine, TOE) met bijbehorende iscsi-driver, in
plaats van de Gigabit Netgear GA622 1 GbE adapter. Zoals uit de tabel blijkt, maakt het verschil nog geen twee procent uit. Tabel 1 Resultaten Iometer-test % cpu IO/sec MB/sec Iometer Locale schijf 1,3 218 0,43 iscsi gekoppelde 5,73 216 0,42 (1) schijf iscsi gekoppelde 3,67 216 0,42 (2) schijf iscsi gekoppelde 4,7 236 0,46 (2) schijf (mirror) Parameters: Iometer: Transfer Request Size: 64KB; sequential read: 100%; outstanding I/Os: 10 (1) Netgear 1000BASE-T Gigabit NIC (2) Alacritech 1000x1 Storage Acelerator met Alacritech iscsi-driver Remote mirroring en back-up via iscsi Een interessante toepassing van de iscsitechnologie is de mogelijkheid tot koppeling van een opslag-device over langere afstanden (als alternatief voor FC over IP ). Sinds de gebeurtenissen vorig jaar in de VS, is de belangstelling voor disaster recovery over de wat langere afstand (meer dan de gebruikelijke 10 km die met de basis FC-technologie mogelijk is) toegenomen. Remote mirroring is een technologie waarbij een schijf over grote afstand via het IP-netwerk met behulp van het FC over IP - (FCIP) of iscsi-protocol kan worden gespiegeld. Standaard bevat het Windows-besturingsysteem bijvoorbeeld al een mogelijkheid tot het spiegelen van twee of meer schijven. Daar het besturingsysteem geen verschil ziet (niet kan zien) tussen een lokale- en een iscsi-gekoppelde schijf, moet het mogelijk zijn beide schijven remote via een IP-netwerk te spiegelen. Met behulp van Windows Logical Disk Manager (LVM) brengen we een spiegel aan tussen beide schijven, waarna we weer Iometer draaien. Bij het uitschakelen van de remote gespiegelde schijf of een reboot van het systeem voert het besturingsysteem, zoals gebruikelijk, een complete regeneration op de schijven uit (ze worden opnieuw gespiegeld ). Wel blijft de locale schijf beschikbaar voor gebruik, zodat gebruikers niets merken van de schijfuitval. Ten slotte voeren we via een back-upprocedure uit met VERITAS NetBackup Datacenter versie 4.5 op de via iscsi-gekoppelde tapedrive. De procedure bestaat uit de back-up van ruim 4000 bestanden, die in totaal 2 GB in beslag nemen. De uitvoeringstijd is daarbij langer en de transfersnelheid beduidend lager dan met een direct gekoppelde Quantum tapedrive. Een eventuele verklaring voor het verschil wat betreft performance met de locale tapedrive is de frame-size. In de IP-wereld wordt een maximum frame-size van 1500 bytes gebruikt, FC ruim 2000 bytes. Bij tapesystemen gaat het om veel data in een keer, richting de tape waardoor met grotere frames per seconde meer data is te versturen (elke byte meer per seconde telt over een langere tijd mee). Tabel 2 Back-up procedure NetBackup Backup MB/sec Datacenter 4.5 time (min) iscsi gekoppelde 12.33 4.623 (1) iscsi gekoppelde 6.36 6.139 (2) SAN gekoppelde 7.20 14.412 Back-up parameters: 4618 bestanden, totaal 2.4 GB Voor het besturingsysteem, lees LVM, ziet de iscsi-schijf er uit als een met de SCSIbus direct gekoppelde schijf. De iscsidriver maakt binnen het besturingsysteem een pseudo SCSI-device aan en emuleert daarmee als het ware een direct gekoppelde SCSI-device. Het bestandssysteem ziet dan ook geen enkel verschil tussen de iscsi-gekoppelde JBOD en de locale SCSIschijf. Dat het besturingsysteem geen verschil ziet, laat het dan ook duidelijk merken wanneer de IP-verbinding met de JBOD uitvalt of tijdens het boot-proces wanneer de pseudo SCSI-driver nog geen SCSI-targets kan detecteren. Tijdens het bootproces wordt namelijk de SCSI-bus afgelopen en mount het besturingsysteem automatisch alle gevonden schijven (waar het in voorgaande sessies met hulp van de beheerder al een signature heeft gezet). Omdat de netwerkverbinding pas na het opstarten van het besturingsysteem tot stand wordt gebracht, is de JBOD nog niet beschikbaar en moet de systeembeheerder daarna dan ook handmatig via de LVM de JBOD activeren. Ready for prime time Er is de afgelopen tijd al heel veel gepubliceerd over iscsi, daarbij kwamen steeds dezelfde vragen aan de orde: wanneer zal de iscsi-technologie eindelijk doorbreken, is het wel of niet een alternatief voor FCtechnologie en wanneer wordt het protocol eindelijk na een langdurig proces geratificeerd? Gezien de recentelijke publicatie van het SNIA is iscsi thans ready for prime time en is de verwachting dat er nog eind dit jaar, maar zeker begin volgend jaar, een stroom van nieuwe iscsi-producten op de markt gaat komen. heeft dit moment niet afgewacht en is al in een vroeg stadium met de 5420, en nu dus de, op de markt genomen. De 5428 is met een list price van $11.995 betrekkelijk gunstig geprijsd, ook wanneer de gebruiker in het begin alleen maar van de achtpoorts 2 Gbps Fibre Channel-switch gebruik gaat maken. Het afgelopen jaar zijn talrijke startup-firma s over elkaar heen gerold (sommige zijn alweer failliet of overgenomen door andere grotere jongens) met de aankondiging van nieuwe iscsi-producten, maar weinigen gaven het groene licht om hun producten daadwerkelijk op de markt te brengen. Met de iscsi-standaard op zak, zullen veel leveranciers van iscsi-producten uiteindelijk de sprong naar de markt gaan wagen. Ondermeer startup-firma s als StoneFly en SANRAD komen met aantrekkelijk geprijsde switches op de markt. Het zal voor dus een flinke strijd worden op de iscsimarkt, maar er is genoeg koek te verdelen, want wereldwijd is meer dan 60% van alle opslagsystemen nog direct binnen de server met de SCSI-bus verbonden. Voordeel voor is dat de netwerkmarkt hen niet geheel onbekend is; de markt voor opslagsystemen wel, maar het omgekeerde geldt weer voor fabrikanten van opslagsystemen. Informatie op Internet: iscsi standard ready for prime time : www.snia.org/news/press_releases/2002/ 20020904_iscsi_standard.pdf www.cisco.com/warp/public/cc/pd/rt/5420/ps2162/ www.ietf.org/internet-drafts/draft-ietf-ipsiscsi-16.pdf White Papers: iscsi: New Business Benefits and Solutions, Aberdeen Group, August 2002 BRAM DONS IS ONAFHANKELIJK IT-ADVISEUR 53