Microsoft Clustering Service op VMware

Transcriptie

1 NetOpus: Februari 2005 Thema: Directories Rubriek: Titel: MS Clustering Service op VMware Auteur: Bram Dons Pagina s: 30, 31, 32, 33 en 35 Microsoft Clustering Service op VMware Clusteren in een virtuele omgeving Microsoft Clustering Service (MSCS), Novell Cluster Service (NCS) en Veritas Clustering Service (VCS) zijn bekende clustersystemen voor Windows NT. Op dit moment wordt alleen MSCS door VMware ondersteund en slechts in een tweenode clusterconfiguratie. Ondanks deze (hopelijk tijdelijke) beperking vonden we het interessant genoeg om MSCS te implementeren op een twee-node VMware ESX Server 2.1 configuratie. Bram Dons Clusteringtechnologie is via een aantal leveranciers op Windows NT-systemen beschikbaar. Eenvoudig gezegd biedt het een service waarmee in totaliteit een hogere beschikbaarheid, schaalbaarheid, of beide, van de ITomgeving wordt verkregen. Als eerste bespreken we in het kort de ESX Server 2, die de basis vormt van een op VMware gebaseerd clustersysteem. VMware ESX Server 2 De ESX Server 2 bestaat uit drie hoofdcomponenten: de VM Kernel, de VMkernel-modules en de Service Console. De kern van de ESX Server 2 wordt gevormd door een micro-kernel (VMkernel), die als host fungeert voor de Virtual Machines (VM s). De kernel beheert de systeemhardware, alle VM s die op de fysieke server draaien (en de

2 Afbeelding 1 Overzicht van de VM-clusterarchitecturen daarin aanwezige besturingssystemen) en de service-console. De proprietary micro-kernel wordt door een Console OS beheerd (Red Hat Linux 7.2), die zelf ook binnen een VM draait. De gebruikers communiceren met de VMkernel via de Service Console. VMware heeft voor de ESX Server een speciaal bestandsysteem gecreëerd, /vmfs genaamd, dat voor virtual machine file system staat. Het is in feite geen echt bestandssysteem, maar een eenvoudig systeem voor partitie-segmentering van SCSI hard-drives. Het gebruik van SCSIdisks is een absolute voorwaarde bij de toepassing van een ESX Server, omdat de verschillende VM s toegang moeten hebben tot dezelfde disk, de zogenaamde SCSI disk-sharing (iets wat met de ATAtechnologie niet mogelijk is). Verschillen Andere VM-serverproducten (Microsoft Virtual Server 2005 en VMware GSX), maken gebruik van een Windows OS die VM s draaien op een standaard pc. Deze techniek heeft als voordeel dat alle device-drivers te gebruiken zijn die er nu bestaan voor het Windows pc-platform. VMware ESX maakt gebruik van een proprietary kernel, en daarom moet voor elk hardware-device een aparte driver worden ontwikkeld. Vandaar ook het beperkte aantal ondersteunde SCSI-, ethernet-, en Fibre Channel interfacekaarten. Aan de andere kant heeft deze methode ook weer zijn voordelen. Bij Virtual Server 2005 en GSX worden de prestaties namelijk gedrukt, doordat de VM-applicatie en het Guest Operating System als applicaties onder beheer van het host operating system draaien. Om die reden lopen die het risico om op een ongewenst tijdstip uit het geheugen te worden geswapt. De ESX Server volgt een iets andere benadering met betrekking tot disk- en netwerkadapters. Door de Linuxdrivers aan te passen is men in staat om het in- en uitgaande dataverkeer van het besturingssysteem te beïnvloeden en direct naar de adapterdriver te leiden. Er kunnen meerdere adapters per hostsysteem aanwezig zijn, waardoor iedere VM zijn eigen ethernet- en SCSI-adapter kan hebben. Deze methode verhoogt de VM-prestaties aanzienlijk. Ondanks de extra complexiteit is de ESX Server toch steeds vaker de eerste keus bij de toepassing voor server-consolidatieprojecten op basis van hoogpresterende multiprocessor Intel-gebaseerde serversystemen. Net zoals bij de toepassing van Intel-servers in de mid-range en highend servermarkt, bestaat bij de toepassing van VM s de behoefte aan een hogere beschikbaarheid van de serveromgeving. Daartoe ondersteunt de VMware ESX Server 2 zowel in - als out the box -clustering. Hierna bekijken we op welke manier clustering binnen de ESX Server 2 te implementeren is. h Afbeelding 2 Twee actieve VM-clusternodes

3 NetOpus: Februari 2005 Thema: Directories Rubriek: Titel: MS Clustering Service op VMware Auteur: Bram Dons Pagina s: 30, 31, 32, 33 en 35 Afbeelding 3 De configuratie van Cluster in a Box High Availability Clustering Clustering is eenvoudig te omschrijven als een service die aan een groep servers wordt geboden, waarmee een betere beschikbaarheid en/of schaalbaarheid is te bereiken. Alle nodes in een clusteromgeving kunnen bijvoorbeeld de statische content van een website ondersteunen, waarbij de requests, al naar gelang de belasting, over alle nodes kunnen worden verdeeld. Een andere clustertoepassing is een database die op een clusternode draait en bij het crashen van deze node de clustersoftware overschakelt naar een database op een andere clusternode. ESX Server 2 van VMware ondersteunt clustering met commercieel verkrijgbare Cluster Servers van bijvoorbeeld Microsoft en Veritas. Daarmee kunnen gebruikers een hoogbeschikbare, prijseffectieve en zeer schaalbare oplossing creëren, waarmee aanzienlijke besparingen op de infrastructurele kosten te bereiken zijn. Met ESX Server 2 zijn de kosten aan hardware tot wel 80 procent te reduceren door meerdere hot standby - systemen te combineren in een enkele fysieke hardware-server. Een op ESX Server gebaseerd clustersysteem kan dienen als prototype bij de softwareontwikkeling voor clusteromgevingen en het testen van systemen waarbij minder hardware nodig is. Tenslotte kan een op ESX gebaseerde clusteromgeving tegemoet komen aan een toenemende vraag naar meer capaciteit door extra systemen toe te voegen. In en out the box ESX-clustering is op verschillende manieren te configureren: Cluster in a Box, Cluster Across Boxes, Consolidating Clusters en Standby Host. Clustering in dezelfde box biedt een clustermodel dat beschermt tegen softwarecrashes of administratieve fouten. De cluster bestaat uit meerdere VM s, die op een enkele fysieke server draaien. Het ondersteunt shared disks, zonder dat er fysieke shared SCSI-hardware aanwezig is en een heartbeat -netwerk zonder dat er extra netwerkadapters nodig zijn. Cluster Across Boxes bestaat ook uit meerdere VM s, waarbij de virtuele schijven op een echte fysieke gedeelde schijf zijn geïnstalleerd, zodat alle VM s daartoe gelijktijdig toegang hebben. Dit clustermodel beschermt tegen een crash op een fysiek systeem. Tenslotte is ook nog een combinatie mogelijk van fysieke- en virtuele clustering. Dit type model combineert de eigenschappen van de vorige twee clustertypes en beschermt tegen zowel hardware- als softwarecrashes. In het vervolg van dit artikel bespreken we het Cluster in a Box en Across Boxes. Cluster in a Box Voor de configuratie van een cluster moet elke VM worden uitgerust met een primaire virtuele SCSI host-adapter en disk. Er zijn tenminste twee virtuele netwerkadapters nodig. Voor een clusteromgeving is een public adapter nodig, die is verbonden met vmnicx. Een vmnicx is een virtueel device dat door een netwerkadapter wordt gebruikt die speciaal voor VM s bestemd is. Daarnaast is voor de clusteringservice en de heartbeat -clusterfunctie nog een tweede private netwerkadapter nodig. Verder is voor de installatie van de Windows clustersoftware vanaf cd-rom ook nog een virtuele cd-rom en floppydiskdrive nodig. Zoals gezegd is voor het gebruik van een shared opslagsysteem nog een tweede virtuele SCSI host-adapter nodig, met daaraan verbonden een of meerdere shared virtual disks. Daarmee is in eerste instantie de configuratie van de eerste virtuele clusternode klaar. In tweede instantie moet additionele hardwaredevices worden toegevoegd, waaronder de shared SCSI-controller/disk en een extra virtuele netwerkadapter. Installatie eerste clusternode Vervolgens beschrijven we de procedure voor de creatie van een twee-node cluster met de Microsoft Cluster Service op een enkele fysiek host. Via openen we de VMware Management Interface op de host en loggen in. Als eerste maken we een VM aan met Add Virtual Machine en kiezen als het te installeren OS Windows 2003 Advanced Server. Op de nieuw gecreëerde virtuele disk-image, met bijvoorbeeld als naam cluster1.dsk, wordt het OS geïnstalleerd en vervolgens verbonden aan de virtuele SCSI-node. Daarmee is de VM gecreëerd voor de eerste clusternode. Voor een clustersysteem zijn een of meer gedeelde schijven nodig (toegankelijk voor alle clusternodes). Voor de clusterdata creëren we een shared.dsk en voor de quorum-data een quorum.dsk. Beide disks moeten worden verbonden met aparte SCSI-controllers. Daartoe klikken we achtereenvolgens de Hardware-tab, Add Device, Hard Disk en Blank aan in de zojuiste gecreëerde VM. We kiezen een VMFS-volume, waarop de virtuele disk wordt gecreëerd, en geven deze een unieke naam en SCSI-aansluiting (respectievelijk SCSI 1:1 en SCSI 1:2). Daarna zijn de nieuwe virtuele disks en SCSIcontrollers zichtbaar in de Hardwaretab. Beide SCSI-controllers in bus sharing -vallijst moeten nog worden veranderd in virtual. Vervolgens moet er nog een extra virtuele netwerkadapter worden gecreëerd voor de heartbeat van de Microsoft Cluster Service. Daartoe klikt men in de Hardware-tab Add Device en Network Adapter aan. Nadat aan alle voorwaarden is voldaan voor de creatie van de eerste clusternode, kan worden begonnen met de installatie van het Guest Operating System op de eerste VM. Voor de Windows 2000 Advanced Server plaats je de cd in de cd-romspeler van de ESX

4 Server en klik je in het tabblad Status Monitor van de VMware Management Interface het blauwe icoontje aan. Daarmee wordt de remote-console opgestart waar vanaf Windows Server wordt geïnstalleerd. Tijdens de installatie worden alle default opties geaccepteerd. Clustering Service wordt op dit moment nog niet geïnstalleerd. Na afloop van de installatie worden de Vmtools in het Guest Operating System geïnstalleerd. Virtual Machine klonen Je bent vrij om op dezelfde manier een tweede node te installeren, maar dat gaat sneller door een kloon te maken van de zojuist gecreëerde VM. Daartoe draaien we de bekende sysprep.exe (beschikbaar op de Windows cd-rom in \support\tools \deploy.cab). Dit hulpprogramma verwijdert alle beveiligings-id s die aan het Guest OS zijn toegewezen. Daarnaast worden de systeeminformatie en TCP/IPconfiguratie ge-reset. Het Guest OS wordt uitgeschakeld en met power off wordt virtueel de stroom van de VM uitgeschakeld. In de Management Overviewpagina klik je Manage Files en in het volgende menu open je de vmfs-folder en kopieer je het cluster.dsk-bestand (het bestand waarop de VM van de eerste node staat) naar bijvoorbeeld cluster1.dsk. Daarmee is het kloonproces voltooid en kan worden begonnen met creatie van de tweede clusternode. Afbeelding 4 Hardware-instellingen VM-clusternode Op enkele verschillen na verloopt dit proces identiek aan de creatie van de eerste VM. Alleen kies je bij Add Virtual Machine existing dus de net gekloonde cluster1.dsk als Virtual Disk Image. Voor clustering is verder nog een shared SCSI-controller en shared SCSI-disk nodig. Dit zijn de quorum.dsk en shared.dsk, die we hiervoor gecreëerd hebben. Nu moeten alleen nog de shared disk op de tweede clusternode worden verbonden met een aparte SCSI-controllers (respectievelijk SCSI 1:1 en SCSI 1:2). Veder moeten de Bus Sharing van beide virtuele SCSI-controllers op Virtual gezet worden. Tenslotte is nog een tweede virtuele netwerkadapter nodig voor de cluster-heartbeat. Daarmee is de creatie van de tweede clusternode VM klaar en kan worden begonnen met de installatie van de Microsoft Cluster Service. Installatie MSCS We beginnen met de installatie van clusteringservice op de eerste node (de tweede node moet zijn afgeschakeld). Eigenlijk verschilt de installatie van clustering op een VMware ESX Server nauwelijks van een reguliere clusterinstallatie op een SAN (Fibre Channel- of iscsi-gebaseerd). Voor de public netwerkadapter van de cluster moet een IP-adres worden ingevoerd dat bij een fysiek netwerk hoort. Voor private is dat een adres als x.x met een class C subnetmasker van In de Windows Disk Administrator worden beide shared disks als basic geconfigureerd en met NTFS geformatteerd. De quorumdisk krijgt bijvoorbeeld de drive letter Q en de data-disk R. Standaard moet natuurlijk Active Directory Service en DNS voor clustering worden geïnstalleerd en er moet een user account cluster voor de Cluster Service aangemaakt worden. Het wachtwoord van deze account mag overigens niet verlopen. Vervolgens installeren we de Cluster Service vanuit de Add/Remove Windows Components, waarbij we voor de eerste node kiezen voor de Form a New Cluster. Na specificatie van de cluster IP-adressen en shared disks wordt de Cluster Service verder automatisch geïnstalleerd. Vervolgens controleren we of de service goed wordt opgestart, waarna we deze weer stoppen om de shared disks vrij te geven voor de installatie van de tweede node. De installatie op node is vrijwel identiek aan de eerste node, met het verschil dat bij het begin Join a Cluster wordt gespecificeerd. VMFS Locking en SCSI reservation Zoals we zagen, kunnen twee clusternodes op aparte ESX Servers ook een VMcluster vormen. Daarvoor is wel een fysiek gedeeld SCSI- of SAN-gebaseerd opslagsysteem nodig. Bovendien is een extra fysieke netwerkadapter nodig die aan een VM wordt toegekend. Deze dient als fysiek private netwerk voor de cluster-heartbeat. De private netwerkadapter moet uiteraard een andere zijn dan die wordt gebruikt voor het public netwerk. Voor een gedeelde SCSI-disk, die toegankelijk moet zijn voor meerdere ESXservers, zijn twee locking-systemen in gebruik. Beide systemen zijn min of meer onafhankelijk van elkaar. De gedeelde SCSI-disk kan zich op een gedeelde SCSI-bus bevinden, maar meest waarschijnlijk is een SAN. Het eerste type locking is VMFS file system locking. De ESX Server vergrendelt het VMFS bestandssysteem op serverniveau als het als een public- of shared file system is geconfigureerd. Deze locking is nodig om er zeker van te zijn dat er geen datacorruptie optreedt bij de toegang van meerdere hosts tot hetzelfde bestandsssyteem. De tweede manier van locking gebeurt op SCSI-diskniveau, op basis van het zogenoemde SCSI disk reservation. Elk met een SCSI-disk verbonden systeem kan een SCSI-commando uitvaardigen voor het reserveren van een SCSI-disk. Zolang de reservering geldt, heeft geen enkele andere server nog toegang tot de disk. Alle naar de disk verzonden SCSI-commando s resulteren in een teruggezonden error-code. f

5 Dat geldt ook voor een VM die toegang probeert te verkrijgen tot een fysieke disk die op dat moment al door een andere host is gereserveerd. De meeste applicaties maken bij SCSI-disks nooit van dergelijke reserved SCSI-commando s gebruik. Echter, bij failover clusteringsoftware wordt wel degelijk van SCSI-reservecommando s gebruikgemaakt. Dit wordt gedaan om er zeker van te zijn dat de actieve node altijd exclusieve toegang heeft tot de gedeelde SCSI-disk. In een fysieke clustering setup mag je aannemen dat er van SCSI-reserve gebruik wordt gemaakt. Datzelfde geldt ook bij een VM-clusteromgeving op basis van Clustering Across Boxes. Wanneer men toch onverwachts tegen een probleem aanloopt, als bijvoorbeeld de clustering-software op een node de disk niet vrijgeeft, dan zijn de volgende commando s te proberen: vmkfstools L release vmhba0:1:0:0 Dit gebruik je voor het vrijgeven van de SCSI-reservering. Een meer drastische SCSI-bus reset bereik je met vmkfstools L reset vmhba0:1:0:0. Uiteraard moet in beide commando s de naam van de betreffende disk of VMFS worden aangepast. Installatie Cluster Across Boxes De creatie van de eerste node is identiek aan de hiervoor beschreven Installatie eerste clusternode. Er zijn een paar verschillen: Bij de SCSI-controller wordt in plaats van virtual op physical ingesteld. Beide aanduidingen voor de gedeelde SCSI-disks moeten volgens de strikte vmhba-naam worden aangeduid, bijvoorbeeld vmhba1:0:0:1: clusterdata.dsk en vmhba1:0: 1:1:quorum.dsk. Zie afbeelding 4. Het disk volume die de VMFS-partitie bevat, moet op shared worden ingesteld. Hierbij is de installatie van de eerste clusternode voltooid en kan worden begonnen met de installatie van het Guest Operating System. Klonen VM met Sysprep Na de installatie van Windows Server Advanced Server 2003 op de eerste clusternode kan met klonen een kopie van de eerste VM worden gemaakt. Daartoe maken van sysprep.exe gebruik (te vinden op de Windows cd in \support\tools\deploy.cab). Sysprep verwijdert de Security ID die aan het Guest OS is toegekend en reset de systeeminformatie en TCP/IP-netwerkconfiguratie. Daarna wordt het Guest OS uitgeschakeld en een power off gedaan van de VM. Vanaf de console op de tweede ESX Server wordt een kopie van de virtuele disk gemaakt waarop de zojuist gekloonde eerste clusternode staat. In het menu Managed Files is deze disk in de directory /vmfs/vms te vinden. Met commando ftp <server1-hostname> wordt de virtuele disk in binary transfer mode opgehaald en daarna krijgt hij een andere naam. Daarmee is het kloonproces voltooid en kan worden begonnen met de creatie van de tweede VM-clusternode. Dit proces verloopt identiek aan de creatie van de eerste VM-node (zie Installatie eerste clusternode ) met dit verschil: In de Virtual Disk Configuratie wordt bij SCSI Controller de bus-sharing van virtual veranderd in physical. In de Network Device Configurationsectie worde de tweede ethernetadapter aan de tweede fysieke adapter verbonden. Deze wordt voor het private netwerk gebruikt. Verandering van de specificaties van scsi1:1.1.name en scsi1:2.name. Afbeelding 5 Overzicht SQL 2000 Cluster op ESX Server 2.1 Voor een maximale flexibiliteit verdient het aanbeveling om elke gedeelde virtuele disk op een aparte VMFS- of SCSIdisk (of LUN) te installeren. De reden daarvoor is dat SCSI-reservation alleen rekening houdt met een complete SCSIdisk of LUN. Verder is het noodzakelijk dat de swap-bestanden van beide ESXservers niet op een gedeelde disk worden geïnstalleerd. Ten slotte installeren we als proef de SQL Server 2000 op de VM clusteromgeving en testen met succes de failover-functie. Populairder De toepassing van virtualisatie van serversystemen wordt steeds populairder. Een eerste toepassing daarvan vond al enkele jaren geleden plaats in ontwikkelomgevingen waarbij naast het productiesysteem, een testomgeving in een virtuele machine kon worden gecreëerd op dezelfde server-hardware. Sinds kort wordt deze vorm van virtualisatie steeds vaker ingezet voor consolidatie van serversystemen binnen de enterprise-omgeving. Beschikbaarheid en betrouwbaarheid zijn primaire eisen die gesteld worden aan omgevingen die altijd beschikbaar moeten zijn. Clustering is daarvoor een van de meest gebruikte technieken en kan ook worden gecombineerd met serverconsolidatie. VMware biedt op de ESX Server 2 zowel binnen als buiten de box serverclustering aan. Het voordeel van in the box clustering is dat daarvoor geen gedeeld opslagsysteem nodig is (SAN). Op die manier kan op eenvoudige wijze toch een hogere beschikbaarheid van applicaties worden geboden. Clustering out of the box is mogelijk door twee fysieke servers te koppelen aan een SAN. Voor een ultieme beschikbaarheid, tot slot, zijn beide clustermethoden ook te combineren. Y