Hoe datacenters efficiënter koelen?

Hoe datacenters efficiënter koelen? Tom Valcke Promotor: prof. dr. ir. Michel De Paepe Begeleider: Bernd Ameel Masterproef ingediend tot het behalen van de academische graad van Master in de ingenieurswetenschappen: werktuigkunde-elektrotechniek Vakgroep Mechanica van Stroming, Warmte en Verbranding Voorzitter: prof. dr. ir. Jan Vierendeels Faculteit Ingenieurswetenschappen en Architectuur Academiejaar 2011-2012

Hoe datacenters efficiënter koelen? Tom Valcke Promotor: prof. dr. ir. Michel De Paepe Begeleider: Bernd Ameel Masterproef ingediend tot het behalen van de academische graad van Master in de ingenieurswetenschappen: werktuigkunde-elektrotechniek Vakgroep Mechanica van Stroming, Warmte en Verbranding Voorzitter: prof. dr. ir. Jan Vierendeels Faculteit Ingenieurswetenschappen en Architectuur Academiejaar 2011-2012

De auteur en promotor geven de toelating deze scriptie voor consultatie beschikbaar te stellen en delen ervan te kopiëren voor persoonlijk gebruik. Elk ander gebruik valt onder de beperkingen van het auteursrecht, in het bijzonder met betrekking tot de verplichting uitdrukkelijk de bron te vermelden bij het aanhalen van resultaten uit deze scriptie. The author and promoter give the permission to use this thesis for consultation and to copy parts of it for personal use. Every other use is subject to the copyright laws, more specifically the source must be extensively specified when using from this thesis. Gent, juni 2012 De promotor De begeleider De auteur Prof. dr. ir. Michel De Paepe ir. Bernd Ameel Tom Valcke

Dankwoord Dit eindwerk is tot stand gekomen na een leerrijk jaar vol uitdagingen. Ik stond er echter niet alleen voor en kon bij verschillende mensen terecht voor raad en steun. Daarom is een woord van dank aan al deze mensen zeker op zijn plaats. Om te beginnen wil ik prof. dr. ir. Michel De Paepe, de promotor van mijn thesis, en ir. Bernd Ameel, mijn thesisbegeleider, bedanken voor de begeleiding tijdens de talrijke thesisvergaderingen doorheen het jaar. Verder wil ik met nadruk Jeroen Soenens van Ingenium en Bruno Raeymaekers van Arcadis bedanken voor de tijd die ze hebben vrijgemaakt en de moeite die ze hebben gedaan om hun kennis over datacenters met mij te delen. Ik kon steeds bij hen terecht voor antwoorden op mijn technische en praktische vragen. Daarnaast bedank ik ook Dieter Roefs van de Directie Informatie- en Communicatietechnologie (DICT) van de Universiteit Gent voor de rondleiding in het datacenter op Campus Sterre en voor het verschaffen van informatie over de installaties in dit datacenter. Als laatste wil ik ook mijn familie en vrienden bedanken die een steun waren bij het maken van deze thesis en tijdens de rest van mijn studententijd. In het bijzonder bedank ik mijn ouders voor kansen die ze mij gegeven hebben, mijn broer en zus, en ten slotte mijn opa voor de aanmoedigingen aan de zijlijn. Tom Valcke Gent, juni 2012 v

Overzicht Hoe datacenters efficiënter koelen? Tom Valcke Promotor: prof. dr. ir. Michel De Paepe Begeleider: ir. Bernd Ameel Masterproef ingediend tot het behalen van de academische graad van Master in de ingenieurswetenschappen: werktuigkunde-elektrotechniek Vakgroep Mechanica van Stroming, Warmte en Verbranding Voorzitter: prof. dr. ir. Jan Vierendeels Faculteit Ingenieurswetenschappen en Architectuur Academiejaar 2011-2012 Samenvatting Deze thesis gaat op zoek naar de meest efficiënte methoden om datacenters te koelen. Daartoe worden de energieprestatie en de financiële haalbaarheid van vier verschillende koeltechnieken vergeleken. De vier onderzochte koelmethoden zijn: een luchtgekoelde compressiekoelmachine met een ingebouwde mogelijkheid om aan free chilling te doen (superchiller); een heet water gestookte absorptiekoelmachine gevoed door een warmtekrachtkoppeling met gasmotoren (trigeneratie); luchtkoeling met een evaporatieve koeler (indirecte vrije koeling) en koeling rechtstreeks met buitenlucht (directe vrije koeling). Door middel van simulaties in TRNSYS wordt het energiegebruik van de koeltechnieken berekend voor een datacenter van 1500kW. De vergelijkingscriteria zijn: primaire energieconsumptie (PEC), primary energy usage effectiveness (EUE prim ) en total cost of ownership (TCO). Uit de simulaties blijkt dat directe vrije koeling zowel op energetisch als financieel vlak de meest interessante koeltechniek is, gevolgd door respectievelijk indirecte vrije koeling, superchillers en trigeneratie. Er is een belangrijke invloed van de belasting en de inlaattemperatuur van de lucht in de serverkasten op het aantal uren dat aan free chilling of vrije koeling kan gedaan worden en bijgevolg ook op de PEC, EUE prim en TCO. Verder is het verschil tussen trigeneratie-installaties en de overige installaties sterk afhankelijk van het rendement van de warmtekrachtkoppeling, de COP van de absorptiekoelmachine en de verhouding van de gas- en elektriciteitsprijs. Trefwoorden: datacenters, superchillers, trigeneratie, free chilling, vrije koeling vi

How can data centers be cooled more efficiently? Tom Valcke Supervisor(s): prof. dr. ir. Michel De Paepe, ir. Bernd Ameel Abstract This thesis explores the most efficient cooling methods for data centers. For this purpose, the energy performance and the financial feasibility of four cooling techniques is compared. The investigated cooling methods are: an air-cooled vapor-compression chiller with a built-in ability to use free chilling (superchiller); a hot water fired absorption chiller powered by a cogeneration (CHP) installation with gas engines (trigeneration); air cooling with an indirect evaporative cooler (indirect free cooling) and cooling directly with outside air (direct free cooling). Through simulations in TRNSYS, the energy use of the cooling techniques has been calculated for a 1500kW data center. The simulations show that direct free cooling is both energetically and financilly the most attractive method, followed by indirect free cooling, superchillers and trigeneration respectively. The cooling load and the server inlet temperature have a significant influence on how many hours free chilling or free cooling can be used. The difference between trigeneration and the other installations highly depends on the efficiency of the gas engines, the COP of the absorption chillers and the ratio of the gas and electricity prices. Keywords data centers, superchiller, free chilling, trigeneration, absorption chiller, free cooling I. INTRODUCTION With the increasing use of IT in our society, the worldwide energy demand of data centers increases rapidly. A significant part of this energy is used to cool these facilities. The need for efficient cooling therefore arises. More and more attention is paid on the application of waterside free chilling or airside free cooling (either direct or indirect). Because of the permanent cooling load, data centers might be a suitable application of trigeneration with absorption chillers. In this thesis, the energy performance and feasibility of four cooling techniques are compared. II. DESCRIPTION OF THE SIMULATION MODELS A. Data center model The data center is considered as a point load transferring heat to the data center air. Only IT-load and cooling equipment is considered. Electrical power supply (UPS and PDU) other energy consumers (e.g. lighting) are not taken into account. The data center has a nominal cooling load of 1500 kw (equal to the electricity consumption of the IT-equipment). A constant temperature regime of the data center air is assumed. The server inlet temperature is kept constant at 25 C and the temperature difference across the servers is 12 C. B. Superchiller Figure 1 shows a scheme of the simulation model of the superchiller installation. Hot air returning from the servers is cooled by chilled water in the in row coolers (IRC). The chilled water is produced in a superchiller, which is modelled as a dry cooler (called free chiller ) and an air-cooled chiller in series. Three operation modes exist: full free chilling, partial free chilling and full compression cooling. IRC Server racks Secondary chilled water pump Buffer Free chiller SUPERCHILLER Primary chilled water pump Chilled water Figure 1. Simulation model - superchiller Air-cooled vaporcompression chiller Air C. Trigeneration Figure 2 depicts the simulation model of the trigeneration installation. The hot return air is also cooled by the chilled water cooling coil of the IRCs. In normal operation, the chilled water transfers heat to the evaporator of the absorption chiller (ACM). The generator of the ACM is powered with hot water produced by the gas engines of the CHP. The condenser heat is absorbed by cooling water coming from a cooling tower. When the ambient air temperature is sufficiently low, the ACM and the CHP are shut down and the chilled water is directly cooled by the cooling water in a heat exchanger. IRC Server racks Secondary chilled water pump D. Indirect free cooling Buffer Primary chilled water pump Hot water pump ACM Cooling water pump CHP GENERATOR CONDENSER Cooling tower Heat exchanger (Free chilling) Chilled water Air Cooling water Hot water Figure 2. Simulation model - trigeneration Figure 3 shows the principle of the indirect free cooling model. When the drybulb temperature of the outside air is sufficiently low, the hot air returning from the servers is entirely cooled by outside air in the indirect evaporative cooler (IEC) without using evaporative cooling. When de drybulb temperature gets to high, evaporative cooling is applied through adiabatic humidification of the outside air. If this is not sufficient, extra cooling is provided in a cooling coil with chilled water supplied by an external chiller. Primary fan E. Direct free cooling Outside air Indirect evaporative cooler Secondary fan Server racks Chilled water pump Cooling coil Chiller Chilled water Primary air Secondary air Figure 3. Simulation model - indirect free cooling Figure 4 shows the simulation model for direct free cooling. In this cooling technique, outside air is mixed directly with the data center air. The amount of fresh air and extraction air is regulated by control valves in order to obtain the desired inlet temperature. When the drybulb temperature of the outside air becomes to high to cool the data center air sufficiently, a cooling coil provides extra cooling with chilled water coming from an external chiller. III. EVALUATION METHOD Three parameters are used to compare the cooling techniques: primary energy consumption (PEC), primary energy usage effectiveness (EUE prim) and total cost of ownership (TCO).

TCO [M ] PEC [GWh/jaar] Fresh air Extraction air Primary fan Chilled water Server racks Chilled water pump Air Cooling coil Primary fan Chiller Figure 4. Simulation model - direct free cooling A. Primary energy consumption (PEC) The PEC mainly consists of the electricity consumption by the ITequipment and the cooling equipment. The electricity consumption is converted to primary energy using a reference efficiency of 40%. In trigeneration, gas consumption and electricity production should also be taken into account. The electricity produced by the CHP is subtracted from the electricity consumption of the IT-equipment. B. Primary energy usage effectiveness (EUE prim) The EUE prim is defined as the ratio of the PEC to the total electricity consumption of the IT-equipment, converted to primary energy using the reference efficiency. C. Total cost of ownership (TCO) The TCO brings into account the investment cost, operation/maintenance costs, energy costs and the cost of water consumption. The used gas price and electricity price are 44e/MWh and 110e/MWh respectively. The specific water cost is 1.5e/m 3. The TCO is calculated for a 20 year period, with a discount rate of 3%. IV. SIMULATION RESULTS A. Comparison under rated conditions In this thesis, rated conditions mean a constant cooling load of 1500kW and data center air temperature regime 25 C/37 C. The comparison of the PEC is shown in figure 5. Indirect and direct free cooling show the lowest PEC. The breakdown of the PEC for trigeneration is different from the others, because of the gas consumption and the electricity production. The ratio between the reference efficiency and the thermal and electrical efficiency strongly influences the difference between trigeneration and the other installations. 45,000 40,000 35,000 30,000 25,000 20,000 15,000 10,000 5,000 0,000 7,8 32,9 28,9 6,7 6,1 4,3 3,1 32,9 32,9 Superchiller Trigeneration Indirect free cooling Direct free cooling Netto primary energy consumption IT Cooling equipment CHP (gas engines) Figure 5. Comparison of PEC under rated conditions In the comparison of the TCO (figure 6), the difference between the installations is larger because not only energy costs, but also maintenance and water consumption are taken into account. Here, the diference between trigeneration and the other installations depends strongly on the ratio between the gas and electricity prices. 55 50 45 40 35 30 25 20 15 10 5 0 Superchiller Trigeneration Indirect free cooling Direct free cooling Investment Operation/maintenance Electricity Gas Water Figure 6. Comparison of TCO under rated conditions B. Sensitivity analysis B.1 Coolig load With a lower cooling load, the cooling equipment can work at part load. Especially the primary fans, being the biggest electricity consumers, have a major power reduction in part load. In trigeneration, lower cooling loads result in a lower gas consumption, but also a reduced electricity production. For superchillers and (in)direct free cooling, the EUE prim decreases with lower cooling loads, i.e. cooling efficiency increases at part load. In trigeneration, EUE prim increases, so the cooling efficiency decreases at part load. However, actual part load behaviour of the equipment is not taken into account and a.o. UPS and lighting are not considered. If all this would be included, a decrease of efficiency can be expected for all installations. B.2 Rack inlet temperature When a higher rack inlet temperature is allowed, less cooling is necessary and also more free chilling or free cooling is possible. Furthermore, in trigeneration, more free chilling means less absorption cooling, and therefore less gas consumption and electricity production. The change in gas consumption has a greater impact than the change in electricity production. Considering these effects, the net impact of a higer inlet temperature is a decrease of PEC, EUE prim and TCO in all installations. B.3 Thermal and electrical efficiency of the CHP The rated thermal and electrical efficiencies of the CHP used in this thesis are 53% and 38% respectively. A higher thermal efficiency would imply a lower gas consumption by the CHP. A thermal efficiency increase of 2 percentage points (pp) causes the PEC of the trigeneration installation to be lower than the PEC of the superchiller installation. For the TCO, an increase of 8 pp would be necessary. A higher electrical efficiency would cause a higher electricity production. The PEC of trigeneration would drop below the PEC of the superchiller installation, with an electrical efficiency increase of 1.6 pp, whereas for the TCO, an increase of 9 pp is necessary. B.4 COP of the absorption chiller The rated COP of the absorption chiller used in this thesis is 0.76. Variation of this COP shows that a higher COP causes a higher PEC. With a given cooling load, the heat demand of an absorption chiller is lower as it has a higher COP. A lower heat demand implies less gas consumption, but also a decreased electricity production. This means more electricity has to be bought on the grid. The net impact of those two effects is an increase of the PEC with an increasing COP. However, this result is highly dependent on the reference efficiency. A higher reference efficiency would make the impact of the decreasing electricity production less important compared to the impact of the decreased gas consumption. With a reference efficiency upward of 46% instead of 40%, the PEC even decreases with an increasing COP. B.5 Electricity and gas prices The impact of a variation of both the electricity and gas prices is examined with the assumption that the electricity price increase equals 2.2 times the gas price increase. The impact of a joint price increase on the TCO is in favor of trigeneration. The TCO of trigeneration rises less than the TCO of the other installations. With an electricity price increase of 45%, the TCO of trigeneration would equal the TCO of the superchiller installation. V. CONCLUSIONS The best energy performance and financial feasibility are observed for direct free cooling, closely followed by indirect free cooling. Trigeneration is the least attractive technique in nominal conditions. Technical parameters, reference efficiency and energy prices have a significant impact on the feasibility of trigeneration. However, trigeneration can only compete with superchiller installations in case of major changes of these parameters.

Inhoudsopgave 1 Inleiding 1 1.1 Wat zijn datacenters?................................. 1 1.2 Koeltechnieken..................................... 3 1.2.1 Overzicht van bestaande technieken..................... 3 1.2.1.1 Traditionele koeling......................... 3 1.2.1.2 Klimaatkasten............................ 4 1.2.1.3 Hot Aisle/Cold Aisle........................ 4 1.2.1.4 Bypass en recirculatie........................ 5 1.2.1.5 Containment............................. 5 1.2.1.6 Close-coupled Cooling........................ 5 1.2.1.7 Economizers............................. 6 1.2.1.8 Vloeistofkoeling........................... 8 1.2.2 Superchiller................................... 9 1.2.2.1 Werking van een compressiekoelmachine.............. 9 1.2.2.2 Compressiekoeling met free chilling................ 10 1.2.3 Luchtzijdige vrije koeling........................... 11 1.2.3.1 Directe vrije koeling......................... 11 1.2.3.2 Indirecte vrije koeling........................ 12 1.2.4 Trigeneratie................................... 14 1.2.4.1 Werking van een absorptiekoelmachine.............. 14 1.3 Beschrijving van datacenter op Campus Sterre................... 16 2 Literatuurstudie 18 2.1 Binnenklimaat in datacenters............................. 18 2.1.1 Temperatuur en relatieve vochtigheid.................... 18 2.1.2 Luchtcontaminatie............................... 19 2.2 Evaluatiecriteria.................................... 20 2.2.1 Power Usage Effectiveness (PUE)....................... 20 2.2.2 Energy Usage Effectiveness (EUE)...................... 22 2.2.3 Primaire energieconsumptie (PEC)...................... 22 2.2.4 Total Cost of Ownership (TCO)....................... 23 2.3 Case studies in de literatuur.............................. 24 2.4 Simulatiemodellen in TRNSYS............................ 25 2.5 Conclusie: afbakening van het onderzoeksgebied................... 27 3 Simulatiemodellen 29 3.1 Modellering van het datacenter............................ 29 3.2 Superchiller....................................... 31 ix

Inhoudsopgave x 3.2.1 In row coolers.................................. 31 3.2.2 Buffervat.................................... 33 3.2.3 Superchiller................................... 33 3.2.3.1 Luchtgekoelde compressiekoelmachine............... 34 3.2.3.2 Free chiller.............................. 34 3.2.4 Werkingstoestanden van de superchiller................... 35 3.3 Trigeneratie....................................... 38 3.3.1 Absorptiekoelmachine............................. 39 3.3.1.1 IJswatercircuit............................ 39 3.3.1.2 Heet water circuit.......................... 40 3.3.1.3 Koelwatercircuit........................... 40 3.3.2 Free chilling................................... 42 3.4 Indirecte vrije koeling................................. 44 3.4.1 Serverkasten.................................. 44 3.4.2 Primaire ventilatoren.............................. 44 3.4.3 Indirecte evaporatieve koeler en koelbatterij................. 45 3.5 Directe vrije koeling.................................. 48 4 Evaluatiemethode 50 4.1 Verwerking van de simulatieresultaten........................ 50 4.1.1 Pompvermogen................................. 50 4.1.2 Ventilatorvermogen............................... 51 4.2 Primaire energieconsumptie: PEC.......................... 52 4.3 Primary Energy Usage Effectiveness: EUE prim................... 53 4.4 Total Cost of Ownership: TCO............................ 54 4.4.1 De initiële investeringskost.......................... 55 4.4.2 De operatiekost................................. 55 4.4.3 De energiekost................................. 56 4.4.3.1 Elektriciteit en gas.......................... 56 4.4.3.2 Waterverbruik............................ 56 5 Nominale vergelijking 58 5.1 Nominale vergelijking van de primaire energieconsumptie (PEC)......... 58 5.2 Nominale vergelijking van de primary energy usage effectiveness (EUE prim )... 61 5.3 Nominale vergelijking van de total cost of ownership (TCO)............ 62 5.4 Het aandeel van free chilling of vrije koeling in de totale koeling.......... 64 5.4.1 Superchiller................................... 65 5.4.2 Trigeneratie................................... 65 5.4.3 Indirecte vrije koeling............................. 65 5.4.4 Directe vrije koeling.............................. 66 6 Sensitiviteitsanalyse 67 6.1 Invloed van de belasting op de vergelijkingscriteria................. 68 6.2 Invloed van de inlaattemperatuur van de lucht op de vergelijkingscriteria.... 72 6.3 Invloed van de belasting en de inlaattemperatuur op het aandeel van free chilling of vrije koeling..................................... 76 6.3.1 Superchiller................................... 76 6.3.2 Trigeneratie................................... 78

Inhoudsopgave xi 6.3.3 Indirecte vrije koeling............................. 79 6.3.4 Directe vrije koeling.............................. 79 6.4 Invloed van het thermische en elektrische rendement van de gasmotoren op de PEC 80 6.5 Invloed van de COP van de absorptiekoelmachine op de PEC en de TCO.... 82 6.6 Invloed van de gas- en elektriciteitsprijs op de TCO................ 83 6.6.1 Variatie van de gasprijs............................ 83 6.6.2 Variatie van de elektriciteitsprijs....................... 84 6.6.3 Gekoppelde variatie van de elektriciteitsprijs en gasprijs.......... 85 7 Besluit 86 A Modellering van de luchtgekoelde compressiekoelmachine 89 A.1 Wiskundige beschrijving van TRNSYS Type 655 : Luchtgekoelde compressiekoelmachine......................................... 89 A.2 Karakteristieken van de koelmachine......................... 91 B Modellering van de absorptiekoelmachine 92 B.1 Wiskundige beschrijving van TRNSYS Type 107 : absorptiekoelmachine..... 92 B.2 Karakteristieken van de koelmachine......................... 94 C Gegevens voor de TCO berekening 95 D Aanvullingen bij de sensitiviteitsanalyse 96 D.1 Invloed van de belasting op de TCO......................... 96 D.2 Invloed van de inlaattemperatuur op de TCO.................... 96 D.3 Invloed van het thermische en elektrische rendement van de gasmotoren op de TCO 97 D.4 Invloed van de COP van de absorptiekoelmachine op de TCO........... 97 Bibliografie 98 Lijst van figuren 101 Lijst van tabellen 103

Afkortingen en symbolen Afkortingen AHU Air Handling Unit AKM Absorptiekoelmachine BTW Belasting op Toegevoegde Waarde COP Coefficient of Performance CPU Central Processing Unit CRAC Computer Room Air Conditioning CRAH Computer Room Air Handling DICT Directie Informatie- en Communicatietechnologie DP Dauwpunttemperatuur ( C) EUE Energy Usage Effectiveness (-) EUE prim Primary Energy Usage Effectiveness (-) FCH Free Chilling FFLP Fraction of Full Load Power (-) HVAC Heating, Ventilation and Air Conditioning IRC In Row Cooler IT Informatietechnologie PDEI Percent of Design Energy Input (-) PDU Power Distribution Unit PEC Primaire energieconsumptie (GWh/jaar) PLR Part Load Ratio (-) PUE Power Usage Effectiveness (-) RH Relative Humidity SFP Specific Fan Power TCO Total Cost of Ownership UPS Uninterruptible Power Supply VFD Variable Frequency Drive WKK Warmtekrachtkoppeling Griekse symbolen η Rendement (-) ɛ Effectiviteit (-) xii

Inhoudsopgave xiii Symbolen A Cash flow (e) c el Elektriciteitsprijs (e/mwh) c th Gasprijs (e/mwh) c p Specifieke warmtecapaciteit bij constante druk ( kj kg K ) f Fractie (-) ṁ Massadebiet (kg/s) P Elektrische energie (kw h el ) P Elektrisch vermogen (kw el ) Q Thermische energie (kw h th ) Q Thermisch vermogen (kw th ) R act Actualisatievoet (-) R el Procentuele prijsstijging voor elektriciteit per jaar (-) R gas Procentuele prijsstijging voor gas per jaar (-) R OP Procentuele stijging van de onderhouds- en operatiekost per jaar (-) T Temperatuur ( C) Subscripts a abs cap chw cond coolreq cw el FCh g hw HX in nom oa out prim ref sec set th verd Lucht Absorber Capaciteit IJswater Condensor Koelvraag Koelwater Elektrisch Free Chilling Generator Heet water Warmtewisselaar Inlaat Nominaal Buitenlucht Uitlaat Primair Referentie Secundair Setpoint Thermisch Verdamper

Hoofdstuk 1 Inleiding 1.1 Wat zijn datacenters? We leven in een informaticatijdperk. We zoeken naar informatie op het internet. We gebruiken online banking en doen aankopen over het internet met onze credit card. Het voorraadbeheer van grote bedrijven is geautomatiseerd en de boekhouding wordt digitaal bijgehouden. Medische dossiers worden bewaard in digitale databases. We gebruiken email en sms om te communiceren met anderen. Met onze smartphone staan we voortdurend in contact met de rest van de wereld. Deze en vele andere toepassingen worden mogelijk gemaakt door knooppunten waar computerservers, high performance computers, netwerkapparatuur en andere ICT-voorzieningen zijn verzameld. Deze knooppunten zijn datacenters. In deze faciliteiten worden digitale gegevens en informatie verwerkt, opgeslagen en verspreid. Datacenters zijn terug te vinden in zowat elke sector van de economie: banken, ziekenhuizen, overheidsorganisaties, onderzoeksinstellingen, telecommunicatiemaatschappijen, grote en kleine bedrijven... In datacenters worden servers boven elkaar gestapeld in serverkasten of racks. Het energiegebruik van een typische serverkast ligt tussen 4 kw en 10 kw [1]. Datacenters zijn dan ook tot 40 keer energie intensiever dan typische kantoorgebouwen [2]. Bovendien hebben datacenters de eigenschap dat ze 24 uur per dag en 7 dagen per week in gebruik zijn. Datacenters staan in voor 1,1-1,5% van het totale elektriciteitsverbruik in de wereld [3]. Tussen 2000 en 2005 is het wereldwijde energiegebruik van datacenters verdubbeld. Door de economische crisis enerzijds en de verbeteringen in energie-efficiëntie anderzijds is deze trend ietwat afgezwakt tussen 2005 en 2010. De stijging in wereldwijd energiegebruik was dan nog steeds 56% [3]. De belangrijkste eis bij bedrijfskritische datacenters is dat ze ononderbroken kunnen werken. Een onderbreking veroorzaakt door defecte apparatuur brengt niet alleen dure reparaties en vervangingen met zich mee. Ook de kosten van een bedrijfsonderbreking kunnen oplopen van enkele duizenden dollars tot enkele honderdduizenden dollars voor elk uur van downtime [4]. Om een ononderbroken werking van de apparatuur in een datacenter te garanderen, zijn twee zaken cruciaal: elektriciteitstoevoer en koeling. De computerapparatuur wordt van stroom voorzien door een Uninterruptible Power Supply (UPS). Dit is een elektronisch systeem dat bij uitval of sterke afwijking van de netspanning, de 1

Hoofdstuk 1. Inleiding 2 stroomvoorziening van de computerapparatuur voor een bepaalde tijd kan overnemen. De UPS is meestal opgebouwd uit een reeks accu s en een elektronische schakeling die de gelijkspanning van de accu s in wisselspanning kan omzetten. Meer dan 99% van de elektrische energie die door de servers gebruikt wordt, wordt omgezet naar warmte [5]. Om betrouwbaar te blijven werken, moet de computerapparatuur gekoeld worden, zodat de temperatuur van de elektronica aanvaardbaar blijft. Oververhitting van de elektronica kan leiden tot gebrekkige werking, smelten van bepaalde onderdelen of zelfs brand. Meestal wordt de apparatuur echter automatisch uitgeschakeld als te hoge temperaturen gedetecteerd worden. Hoe dan ook is een dure onderbreking het gevolg van oververhitting. Om aan de strenge eis van beschikbaarheid te voldoen, worden de stroomvoorziening en de koeling in zekere mate redundant uitgevoerd. De mate van redundantie wordt uitgedrukt relatief t.o.v. het benodigde aantal componenten N. Beschouw als voorbeeld een datacenter met een koelvraag van 900 kw. Er zijn drie chillers van 300 kw nodig om aan deze koelvraag te voldoen. Het aantal nodige componenten in dit voorbeeld is dus N=3. Om een defect in een van de koelmachines op te vangen, kan een backup chiller voorzien zijn. Dan is er sprake van N+1 redundantie. Om het falen van de drie koelmachines tegelijk te kunnen opvangen, moet 2N redundantie voorzien worden. Er zijn verschillende classificaties gecreëerd om datacenters in te delen volgens gradaties van beschikbaarheid, zogenaamde Tier levels. Als voorbeeld worden in tabel 1.1 de vier Tier levels opgelijst zoals ze gedefiniëerd zijn door het Uptime Institute [6]. Een andere veelgebruikte classificatie is deze van de Telecommunications Industry Association: de ANSI/TIA-942 standaard, [7]. Het elektriciteitsverbruik van een datacenter kan opgedeeld worden in vier categorieën: IT-load; HVAC (Heating, Ventilation and Air Conditioning); elektriciteitsvoorziening en UPS (Uninterruptable Power Supply); en verlichting. De IT-load is het verbruik van de opslagservers, computerservers, netwerkapparatuur, etc... Onder HVAC valt het verbruik van de chillers, ventilatoren, pompen, CRAC s, etc... Lawrence Berkeley National Laboratory heeft een extensieve benchmarkstudie uitgevoerd van de energieconsumptie van datacenters [2]. De studie toont aan dat het aandeel van de computerapparatuur in het totale verbruik varieert tussen 33% en 75%. De rest van het energiegebruik is toe te schrijven aan HVAC uitrusting, de UPS en de verlichting van het gebouw. Omdat bijna alle elektrische energie die de computerapparatuur gebruikt, omgezet wordt in warmte, staat HVAC in voor een belangrijk deel (20% 50%, [2]) van de energieconsumptie van een datacenter. Het is uiteraard de bedoeling dat het grootste deel van de energie naar de computerapparatuur gaat en zo weinig mogelijk energie gebruikt moet worden in HVAC apparatuur. Dit is het uitgangspunt van deze thesis: hoe kunnen datacenters efficiënter gekoeld worden?

Hoofdstuk 1. Inleiding 3 Tier I Datacenter met enkelvoudige distributie van stroom en koeling. Er zijn geen redundante componenten voorzien (N). Tier I datacenters zijn gevoelig voor verstoringen door zowel geplande ongeplande activiteiten. Minstens 99,671% beschikbaarheid. Tier II Datacenter met enkelvoudige distributie van stoom en koeling. Er zijn redundante componenten voorzien (N+1). Een dieselgenerator moet redundant aanwezig zijn. Tier II datacenters zijn iets minder gevoelig voor verstoringen door zowel geplande ongeplande activiteiten. Minstens 99,741% beschikbaarheid. Tier III Datacenter met dubbele distributie van stroom en koeling, waarbij het slechts één pad actief is en het tweede pad standby. Er zijn redundante componenten voorzien (N+1). Een dieselgenerator moet redundant aanwezig zijn. Geplande activiteiten zorgen niet voor verstoringen, maar ongeplande activiteiten kunnen nog steeds tot ongeplande downtime leiden. Minstens 99,982% beschikbaarheid. Tier IV Datacenters met meerdere actieve paden voor de distributie van stroom en koeling. Er zijn redundante componenten voorzien (2N). Een dieselgenerator moet redundant aanwezig zijn. Geplande activiteiten zorgen niet voor verstoringen en het datacenter kan minstens één worst-case ongeplande activiteit doorstaan. Minstens 99,995% beschikbaarheid. Tabel 1.1: Tier niveaus voor data centers, [6]. 1.2 Koeltechnieken 1.2.1 Overzicht van bestaande technieken 1.2.1.1 Traditionele koeling Traditioneel wordt in datacenters gebruik gemaakt van luchtkoeling. In de computerzaal staan klimaatkasten die koele lucht in het plenum onder de verhoogde vloer blazen (Figuur 1.1). Deze koele lucht wordt via geperforeerde tegels in de serverkasten gezogen. Vroeger werd gebruik gemaakt van verticale koeling. Hierbij wordt de lucht onderaan in de rack aangezogen en de stijgende lucht koelt de servers na elkaar. Dit principe wordt ook seriële koeling genoemd. De lucht die via de servers naar boven stijgt, wordt steeds warmer. Hierdoor worden de bovenste servers minder goed gekoeld dan de onderste. Een betere methode is parallelle koeling. De lucht wordt dan door de geperforeerde tegels omhoog geblazen aan de voorkant van de serverkasten en wordt door ventilatoren de kasten ingezogen. Door de horizontale luchtstroom worden alle servers vrij gelijkmatig gekoeld. De opgewarmde lucht verlaat de kasten weer aan de achterzijde, waarna ze via een plenum in het plafond wordt weggezogen naar de klimaatkasten. Daar wordt de warme lucht gekoeld en opnieuw onder de verhoogde vloer geblazen.

Hoofdstuk 1. Inleiding 4 Figuur 1.1: Datacenterkoeling met verhoogde vloer, klimaatkasten en warme/koude gangen, [8]. 1.2.1.2 Klimaatkasten Computer Room Air-Conditioning (crac) en Computer Room Air-Handling (crah) Units worden het meest gebruikt in datacenters. crac/crah units koelen de warme lucht die terugkomt van de serverkasten en blaast de koude lucht weer in het plenum onder de verhoogde vloer. Deze koeleenheden staan doorgaans in de datazaal zelf. CRAC units zijn autonome koeleenheden met een eigen koelmiddelcircuit. Ze hebben een interne compressor en zijn verbonden met een externe condensor. Ze maken gebruik van directe expansie van het koelmiddel om de retourlucht van het datacenter te koelen. CRAH units bevatten enkel een koelbatterij die de retourlucht met ijswater koelt. Dit ijswater wordt aangemaakt door een koelmachine op afstand [1]. In de literatuur wordt de term crac vaak veralgemenend gebruikt als het over klimaatkasten in de datazaal gaat. Dit kan dan evengoed een crah of een In Row Cooler (zie verder) zijn. 1.2.1.3 Hot Aisle/Cold Aisle Bij traditionele koeling gaat heel wat energie verloren omdat koude lucht zich met warme lucht kan vermengen. Hierdoor wordt de koude lucht aan de inlaat van de serverkasten opgewarmd. Door het kleinere temperatuurverschil tussen warme en koude lucht daalt het koelvermogen. Daardoor moeten de klimaatkasten dieper koelen dan eigenlijk nodig is. Om dit te voorkomen, kunnen de warme en koude gangen (Hot Aisle/Cold Aisle) van elkaar gescheiden worden. De serverkasten worden dan in dubbele rijen met de voor- en achterzijden naar elkaar toe geplaatst (Figuur 1.1). De koellucht wordt in de koude gang tussen de twee voorkanten geblazen. De ventilatoren van de serverkasten zuigen de koude lucht door de servers heen zodat de opgewarmde lucht in de warme gang terecht komt. De warme retourlucht wordt hier afgezogen en terug naar de klimaatkasten gestuurd.

Hoofdstuk 1. Inleiding 5 1.2.1.4 Bypass en recirculatie Door het hot aisle/cold aisle principe neemt de energie-efficiëntie van de koeling toe. De koude lucht wordt namelijk beter geconcentreerd aan de inlaat van de serverkasten. Daardoor kunnen de klimaatkasten een iets hogere temperatuur leveren dan nodig zou zijn indien er geen gebruik gemaakt werd van warme en koude gangen. Toch blijft menging van warme en koude lucht mogelijk bij deze methode. Deze menging kan op twee manieren plaatsvinden: bypass en recirculatie. Bypass is koude lucht die niet langs de servers gaat en terugkeert naar de klimaatkasten zonder dat ze nuttig gebruikt is. Er is bypass als de koude lucht kan passeren langs de serverkasten of door ongebruikte slots in de serverkast die niet afgedekt zijn. Recirculatie is warme lucht die wordt teruggezogen van de warme naar de koude gang. Dit kan bijvoorbeeld voorkomen als er te weinig koude lucht wordt aangevoerd. Sullivan et al. [9] bestudeerden in 2007 19 datacenters en concludeerden dat gemiddeld zo n 60% van de koude toevoerlucht ongebruikt terugkeert naar de klimaatkasten (i.e. 60% bypass). Dit wil zeggen dat slechts 40% van de koude lucht wordt gebruikt om de servers te koelen. Hierdoor ontstaat er een tekort aan toevoerlucht dat dan weer aanleiding geeft tot recirculatie, waardoor de inlaattemperatuur in de serverkasten toeneemt. Dit inefficiënt luchtgebruik leidt tot zogenaamde hotspots in de apparatuur en vereist een lagere temperatuur van de toevoerlucht, waardoor de klimaatkasten meer energie zullen verbruiken [5]. Om uit te drukken hoeveel van de totaal beschikbare luchtstroom nuttig wordt aangewend, wordt de Return Temperature Index (RTI) gebruikt. De index is als volgt gedefinieerd [10]. RT I(%) = T Return T Supply T Equip 100 (1.1) Hierin is T Return de gemiddelde retourtemperatuur naar de klimaatkasten; T Supply is de gemiddelde vertrektemperatuur uit de klimaatkasten; en T Equip is het gemiddelde temperatuurverschil over de servers. Een RTI waarde hoger dan 100% wijst op recirculatie, omdat de retourtemperatuur dan toeneemt en het temperatuurverschil over de servers afneemt door menging. Een RTI waarde lager dan 100% wijst op bypass met een lagere retourtemperatuur tot gevolg [5]. 1.2.1.5 Containment Een mogelijke oplossing om het luchtgebruik te verbeteren is de toepassing van Cold Aisle Containment (CAC) of Hot Aisle Containment (HAC). Door ofwel de koude ofwel de warme gang volledig af te sluiten d.m.v. deuren aan de uiteinden van de gang en een plafond bovenaan, worden de koude en warme luchtstromen van elkaar gescheiden. Hierdoor kunnen de klimaatkasten ingesteld worden op hogere temperaturen en op die manier energie besparen. 1.2.1.6 Close-coupled Cooling crac/crah units staan doorgaans aan de kant van de datazaal, waardoor de lucht vrij grote afstanden moet afleggen in het plenum onder de verhoogde vloer. Het energiegebruik van de

Hoofdstuk 1. Inleiding 6 crac/crah fans is hierdoor aanzienlijk. Met de stijgende vermogensdensiteit van de IT apparatuur, wordt het bovendien steeds moeilijker om de koude lucht doelgericht aan te voeren via geperforeerde tegels en de warme lucht efficiënt af te voeren via een plenum. Hotspots zijn hiervan het gevolg. Door de koeleenheden dichter bij de servers te brengen kunnen de luchttoevoeren afvoer efficiënter gebeuren. Dit principe heet close coupled cooling. De afstand die de lucht moet afleggen is veel kleiner. Het benodigde vermogen van de fans van de koelenheden is dan minder groot wegens de kleinere drukval. De warme lucht wordt meteen opgevangen en afgekoeld door de koelers en de koude lucht komt meteen aan de inlaat van de servers terecht. Bovendien is er geen nood meer aan een plenum voor luchttransport onder de verhoogde vloer. Verschillende close coupled cooling technieken staan hieronder opgesomd en worden getoond in de figuren 1.2 t.e.m. 1.5. In Row Coolers staan opgesteld in de rij van de serverkasten (Figuur 1.2). Deze worden doorgaans gecombineerd met hot aisle containment Overhead Coolers hebben een analoge werking als in row coolers, maar zijn opgesteld boven de serverkasten, waardoor kostbare vloeroppervlakte gespaard blijft (Figuur 1.3). Bij Rear Door Cooling wordt aan de achterkant van de serverkast een watergekoelde deur geplaatst. De opgewarmde lucht die uit de servers komt, stroomt via deze deur terug naar buiten in de datazaal (Figuur 1.4). De temperatuur van de lucht die terug in de datazaal terechtkomt is niet veel hoger dan of gelijkaardig aan de server inlaattemperatuur, waardoor de temperatuur in de datazaal laag blijft en er minder additionele airconditioning moet voorzien worden om de zaal te koelen. Bij In Rack Cooling wordt de lucht gekoeld door koeleenheden die in de rij van serverkasten staan opgesteld, net zoals bij in row cooling. Het verschil is echter dat de lucht niet via warme en koude gangen door de servers stroomt, maar binnen de kasten blijft (Figuur 1.5). De koude lucht heeft geen andere mogelijkheid dan door de servers te stromen en de warme lucht wordt gedwongen om door de koelbatterij te stromen. De volledige luchtstroom is bevat in de serverkasten, waardoor de kasten thermisch neutraal zijn t.o.v. de datazaal. Close coupled cooling eenheden werken meestal met een koelbatterij die door een externe koelmachine van ijswater voorzien wordt. Deze technieken kunnen ook als supplementaire koeling gebruikt worden in een traditionele datazaal waar lokaal hogere densiteiten optreden. 1.2.1.7 Economizers Wanneer de buitencondities voldoende gunstig zijn, is het mogelijk om buitenlucht te gebruiken om datacenters te koelen. Hierdoor kan het aantal uren dat de compressor moet draaien sterk verminderd worden. Er wordt een onderscheid gemaakt tussen waterzijdige economizers en luchtzijdige economizers. Bij waterzijdige economizers spreekt men van free chilling. Het ijswater dat opgewarmd terugkomt uit het datacenter wordt door een warmtewisselaar gestuurd om de warmte af te geven

Hoofdstuk 1. Inleiding 7 Figuur 1.2: In Row Cooling met hot aisle containment. [11] Figuur 1.3: Overhead Cooling. [11] Figuur 1.4: Rear Door Cooling. [12] Figuur 1.5: In Rack Cooling. [11]

Hoofdstuk 1. Inleiding 8 aan een koelwatercircuit. Vervolgens geeft dit koelwatercircuit de warmte af aan de atmosfeer via een drycooler of een koeltoren. Het aantal uren dat een economizer kan gebruikt worden hangt sterk af van de buitencondities. Idealiter kunnen drycoolers koelen tot de drogeboltemperatuur van de buitenlucht, terwijl evaporatieve koeltorens de natteboltemperatuur van de buitenlucht benaderen. Aangezien de natteboltemperatuur steeds lager is dan de drogeboltemperatuur zal een installatie met een drycooler minder uren in free chilling mode kunnen werken dan een installatie met een evaporatieve koeltoren. Toch wordt meestal geopteerd voor een drycooler in plaats van een koeltoren. Vooral de meerkost door het waterverbruik en het onderhoud van de koeltoren zijn bepalend. Bovendien bestaat bij koeltorens het risico dat er bacterieën zoals legionella kunnen uitbreken, die een gevaar betekenen voor de gezondheid [13]. Ook de gewenste toevoertemperatuur van het ijswater in de datazaal heeft een invloed op het aantal uren economizergebruik. Hoe hoger deze temperatuur wordt ingesteld, hoe meer uren er aan free chilling kan gedaan worden. Het gebruik van free chilling met een drycooler in combinatie met een luchtgekoelde compressiekoelmachine wordt besproken in paragraaf 1.2.2.2. Bij luchtzijdige economizers wordt er gesproken van free cooling of vrije koeling. Er wordt dan geen gebruik gemaakt van klimaatkasten met ijswater om de lucht in de datazaal te koelen. Buitenlucht wordt gebruikt om ofwel de servers rechtstreeks te koelen ofwel via een warmtewisselaar de lucht in de datazaal te koelen. Beide principes worden meer uitgebreid besproken paragraaf 1.2.3. 1.2.1.8 Vloeistofkoeling Voor de volledigheid moet ook vloeistofkoeling vermeld worden. De warmtecapaciteit van water is veel groter dan die van lucht. Daardoor kan het interessant zijn om de servers rechtstreeks met water te koelen in plaats van lucht als koelend medium te gebruiken. Dit zou een oplossing kunnen bieden voor de steeds hogere vermogensdichtheden van computerapparatuur. De nadelen van vloeistofkoeling zijn een hogere complexiteit en een lagere flexibiliteit. Bovendien bestaat ook het risico op lekken van de vloeistof zo dicht bij de computerapparatuur, waardoor een lekdetectiesysteem voorzien moet worden [14]. Vloeistofkoeling valt echter buiten de scope van deze thesis en wordt verder niet besproken. In wat volgt, wordt dieper ingegaan op de basisprincipes van de vier koelmethoden die in deze thesis onderzocht zullen worden.

Hoofdstuk 1. Inleiding 9 1.2.2 Superchiller Bij de eerste koelmethode worden de klimaatkasten voorzien van ijswater dat aangemaakt is door een luchtgekoelde compressiekoelmachine uitgerust met een installatie voor free chilling. 1.2.2.1 Werking van een compressiekoelmachine Compressorkoeling is de meest voorkomende methode gebruikt in koelmachines. Het basisprincipe wordt geïllustreerd door figuur 1.6. Het principeschema en de bijhorende T-s en p-h diagrammen worden getoond. Het koelmiddel in oververhitte toestand wordt door de compressor op hoge druk en temperatuur gebracht (1 2). Vervolgens verzadigt en condenseert het koelmiddel in de condensor (2 3). Hierbij wordt warmte Q out afgegeven, typisch aan koelwater of aan de buitenlucht. Het gecondenseerde koelmiddel wordt vervolgens ontspannen over de expansieklep, waarbij een vloeistof-gasmengsel op lage druk en temperatuur ontstaat (3 4). In de verdamper wordt dit vloeistof-gasmengsel opnieuw in een oververhitte toestand gebracht, door de warmte Q in op te nemen (4 1). Het koelmiddel kan de warmte rechtstreeks opnemen van het te koelen medium (directe expansie) ofwel van een tussenmedium zoals ijswater (indirecte expansie). In deze thesis worden luchtgekoelde compressiekoelmachines met indirecte expansie beschouwd, d.w.z. de condensor geeft warmte af aan de buitenlucht en de verdamper koelt ijswater uit een tussencircuit. Figuur 1.6: Basisprincipe van de compressiekoelcyclus, [15].

Hoofdstuk 1. Inleiding 10 1.2.2.2 Compressiekoeling met free chilling Als de buitentemperatuur voldoende laag is, kan er gebruik gemaakt worden van free chilling. Dit wil zeggen dat het ijswater direct door de buitenlucht wordt gekoeld, zonder de tussenkomst van een koelmachine. Het is dus voordelig om zo veel mogelijk free chilling toe te passen, zodat de energie-intensieve compressor zo weinig mogelijk moet werken. Op die manier kan het energiegebruik sterk teruggeschroefd worden. Figuur 1.7 toont het principe van een luchtgekoelde compressiekoelmachine die free chilling kan toepassen d.m.v. een afzonderlijke dry cooler. Vooraleer het ijswater door de verdamper loopt, passeert het door een warmtewisselaar. Door de andere zijde van deze warmtewisselaar wordt een glycolmengsel gepompt dat in de dry cooler wordt gekoeld door de buitenlucht. Wanneer de buitentemperatuur niet laag genoeg is en er dus geen free chilling kan toegepast worden, worden de ventilatoren van de dry cooler en de glycolpomp uitgeschakeld. Het ijswater loopt dan wel door de warmtewisselaar, maar wordt er niet gekoeld. De koeling gebeurt dan volledig door de koelmachine. Vanaf een bepaalde temperatuur kan er gedeeltelijke free chilling toegepast worden. Het ijswater wordt dan voorgekoeld in de warmtewisselaar. De koelmachine draait dan in deellast en moet steeds minder koelen met een dalende buitentemperatuur. Als de buitentemperatuur laag genoeg is lager dan de gewenste ijswatertemperatuur kan er volledige free chilling toegepast worden. De koelmachine wordt dan volledig uitgeschakeld en het ijswater kan op de juiste temperatuur gebracht worden door het glycolmengsel dat op zijn beurt gekoeld is in de dry cooler. In deze thesis zal gebruik gemaakt worden van een zogenaamde superchiller. Dit is een compressiekoelmachine met ingebouwde mogelijkheid tot free chilling. Het principe is analoog aan dat van figuur 1.7. Bij de superchiller worden echter de ventilatoren van de condensor ook gebruikt om het glycolmengsel te koelen in free chilling mode. Daardoor is de kostprijs van een superchiller een stuk lager dan een compressiekoelmachine met een afzonderlijke dry cooler.

Hoofdstuk 1. Inleiding 11 Figuur 1.7: Principeschema van compressiekoelmachine met free chilling. 1.2.3 Luchtzijdige vrije koeling Een alternatieve koelmethode maakt geen gebruik van klimaatkasten. De koele lucht die de servers moet koelen, wordt geleverd door een luchtbehandelingssysteem (AHU, Air Handling Unit) dat ofwel direct buitenlucht naar binnen stuurt (directe vrije koeling) ofwel de binnenlucht via een warmtewisselaar koelt met buitenlucht (indirecte vrije koeling). 1.2.3.1 Directe vrije koeling Bij directe vrije koeling (of ventilatiekoeling) wordt de datazaal rechtstreeks met buitenlucht gekoeld (figuur 1.8). Een deel van de warme retourlucht die vanuit de warme gang in de AHU toekomt, wordt afgevoerd naar buiten. De rest wordt gemengd met verse buitenlucht en vervolgens door een filter gestuurd. Regelbare dempers bepalen hoeveel retourlucht gemengd wordt met verse lucht en hoeveel er wordt afgevoerd. De dempers worden zo geregeld dat de temperatuur van de gemengde lucht zo dicht mogelijk bij de gewenste toevoertemperatuur voor de datazaal ligt. Daarna passeert de lucht door een koelbatterij. Deze moet enkel koelen als de gewenste temperatuur niet kan verkregen worden door menging van retourlucht met verse lucht. De koelbatterij wordt van ijswater voorzien door een chiller. In tegenstelling tot typische ventilatiesystemen voor andere toepassingen is hier geen verwarmingselement nodig. De AHU wordt immers enkel gebruikt om de retourlucht af te koelen. Vooraleer de lucht terug naar de datazaal wordt gestuurd, wordt de luchtvochtigheid binnen de toegelaten grenzen gebracht (zie 2.1.1). In principe is het ook mogelijk om evaporatieve koeling van de verse lucht toe te passen, zo-

Hoofdstuk 1. Inleiding 12 dat de koelbatterij en chiller niet meer nodig zijn. De verse lucht stroomt dan doorheen een adiabate sproeier. Door contact met de onverzadigde luchtstroom verdampt het water van de sproeier. Het verdampende water onttrekt hierbij de vereiste verdampingswarmte aan de lucht. Door dit contact kan de temperatuur van de lucht en het water dalen tot benaderend de natteboltemperatuur van de lucht, die steeds kleiner is dan de initiële drogeboltemperatuur. Door evaporatieve koeling verhoogt de relatieve luchtvochtigheid, waardoor bij directe vrije koeling ook de toevoerlucht een hogere relatieve luchtvochtigheid krijgt. Daardoor is directe vrije koeling met evaporatieve hulp enkel toepasbaar in droge klimaten [16]. Figuur 1.8: Directe vrije koeling. 1.2.3.2 Indirecte vrije koeling Bij indirecte vrije koeling komt er geen buitenlucht rechtstreeks in de datazaal. De retourlucht uit de warme gangen van de datazaal wordt in een warmtewisselaar gekoeld door de buitenlucht. Beide stromen komen niet rechtstreeks met elkaar in contact. De warmtewisselaar kan een kruisstroom platen- of buizenwarmtewisselaar zijn (figuur 1.9) of een warmtewiel (figuur 1.10). Ook hier kan gebruik gemaakt worden van evaporatieve koeling. In het geval van een kruisstroomwarmtewisselaar wordt de buitenkant van de platen of buizen besproeid (figuur 1.11) met water zodat de temperatuur van de buitenlucht daalt en de datacenterlucht verder kan gekoeld worden. Door het bevochtigen van de warmtewisselaar wordt een hoge warmteoverdrachtscoëfficiënt bekomen. In tegenstelling tot evaporatieve koeling bij de directe vrije koeling, zal de relatieve vochtigheid van de toevoerlucht niet stijgen (er is immers geen contact met de buitenlucht). Bij het warmtewiel stroomt de buitenlucht over een bevochtigd rooster, waardoor de buitenlucht evaporatief gekoeld wordt [16]. Directe vrije koeling biedt een groter energiebesparingspotentieel dan indirecte vrije koeling omdat er geen warmtewisselaar aanwezig is. Omdat de effectiviteit van de warmtewisselaar niet oneindig groot is, kan er pas bij lagere buitentemperaturen vrij gekoeld worden. Daarom kunnen er bij indirecte vrije koeling (zonder evaporatieve koeling) minder uren vrij gekoeld worden dan bij directe vrije koeling. Het nadeel van directe vrije koeling is dat er met de toevoerlucht

Hoofdstuk 1. Inleiding 13 Figuur 1.9: Indirecte vrije koeling met kruisstroomwarmtewisselaar. Figuur 1.10: Indirecte vrije koeling met warmtewiel. Figuur 1.11: Evaporatieve koeling bij een kruisstroomwarmtewisselaar, [16]. deeltjes en schadelijke gassen mee binnenkomen en dat de relatieve vochtigheid moeilijker te controleren is [1]. Deze contaminatieproblematiek wordt besproken in paragraaf 2.1.2.

Hoofdstuk 1. Inleiding 14 1.2.4 Trigeneratie Bij Trigeneratie of CCHP (Combined Cooling, Heat and Power) wordt tegelijkertijd elektriciteit, warmte en koeling geleverd door een gecombineerde installatie op basis van een enkele brandstof. Het principe wordt schematisch voorgesteld in figuur 1.12. Een verbrandingsmotor met aardgas of biodiesel als brandstof drijft een generator aan. Hierbij wordt zowel elektriciteit als warmte geproduceerd. Als deze warmte gerecupereerd wordt om nuttig te gebruiken, wordt er gesproken van cogeneratie of warmtekrachtkoppeling (WKK). De warmte kan ook gebruikt wordt als energiebron voor een absorptiekoelmachine, zodat er naast elektriciteit en warmte ook koeling beschikbaar is. Dit heet dan trigeneratie. Een standalone datacenter zoals in deze thesis onderzocht wordt, heeft enkel een koelvraag. Er is dus geen warmte nodig in het gebouw en er is geen extern warmtenet waaraan restwarmte kan afgegeven worden. In een toepassing van trigeneratie bij een standalone datacenter zal dus alle warmte die vrijkomt in de verbrandingsmotor gebruikt worden door de absorptiekoelmachine. Deze koelmachine staat in voor de productie van het ijswater dat aan de klimaatkasten in de datazaal geleverd wordt. Figuur 1.12: Schematische voorstelling van trigeneratie. 1.2.4.1 Werking van een absorptiekoelmachine Een principeschema van een absorptiekoelmachine is weergegeven in figuur 1.13. Het koelmiddel stroomt net zoals bij een compressiekoelcyclus door een condensor, expansieklep en verdamper, maar de compressor is vervangen door een generator, absorber en een pomp. Het koelmiddel dat uit de verdamper komt, wordt in de absorber geabsorbeerd door een oplosmiddel. De vorming van de vloeibare oplossing is exotherm ( Q abs ), waardoor het nodig is om de absorber te koelen. De vloeibare oplossing wordt vervolgens naar de generator gepompt. De arbeid Ẇpomp die de pomp hiervoor moet leveren is veel kleiner dan de arbeid die een compressor in een compressiekoelmachine moet leveren omdat de gemiddelde densiteit van een vloeibare oplossing veel groter is dan die van een koelmiddel in dampfase. In de generator wordt warmte Q gen toegevoerd door een externe bron op hoge temperatuur. Door deze warmte verdampt er koelmiddel uit de vloeibare oplossing (endotherm proces) en er blijft een zwakke oplossing over in de generator. Het dampvormige koelmiddel gaat naar de condensor en de zwakke oplossing stroomt via een klep terug naar de absorber. Vaak is er ook een warmtewisselaar voorzien

Hoofdstuk 1. Inleiding 15 waarin de zwakke vloeibare oplossing die terugkeert naar de absorber warmte afgeeft aan de sterke vloeibare oplossing die naar de generator gepompt wordt. Als koelmiddel wordt vaak ammoniak gebruikt in combinatie met water als oplosmiddel. Een alternatief is water als koelmiddel en lithium bromide als oplosmiddel [15]. Het rendement van een absorptiekoelmachine (COP) uitgedrukt als de verhouding van de nuttige onttrokken warmte in de verdamper tot de toegevoerde warmte is laag. Dit zou geen probleem zijn als er gebruik gemaakt werd van restwarmte. In deze thesis wordt de absorptiekoelmachine echter gebruikt in een trigeneratie-installatie. In dit geval is het minder evident dat een dergelijke koelmachine rendabel is. De toepassing van trigeneratie bij datacenters is onderzocht in het eindwerk van Wim Vansteenkiste (2011) [17]. Verschillende types van absorptiekoelmachines werden onderzocht. De beste prestaties in deze toepassing werden bekomen met eentraps heet water gestookte absorptiekoelmachines. Dit zijn koelmachines met het werkingsprincipe dat hierboven is uitgelegd en die in de generator van warmte voorzien worden door heet water. Dit is ook het type absorptiekoelmachine dat in deze thesis zal gebruikt worden om een trigeneratie-installatie met andere koelinstallaties te vergelijken. Q out Q gen Condensor Generator W pomp Verdamper Absorber Q in Q abs Figuur 1.13: Basisprincipe van de absorptiekoelcyclus.

Hoofdstuk 1. Inleiding 16 1.3 Beschrijving van datacenter op Campus Sterre Het uitgangspunt voor deze thesis is het datacenter van de Universiteit Gent op Campus Sterre. Dit datacenter bevindt zich in een losstaand gebouw waarin enkel het datacenter en bijhorende voorzieningen zijn ondergebracht. Figuur 1.14 toont een plattegrond van dit gebouw. Er zijn er twee datazalen. De eerste is een general purpose (GP) zaal met servers voor toepassingen als de elektronische leeromgeving Minerva, softwareplatform Athena, UGent Webmail en vakgroep servers. De tweede zaal is de high performance computer (HPC) zaal, waarin een supercomputer wordt ondergebracht. Verder is er nog een ruimte voorzien voor netwerkverbindingen, een ruimte voor de UPS en de transformatoren en een kantoorruimte. In een aparte hal bevindt zich een noodstroomgenerator en in deze hal is plaats voorzien om eventueel een warmtekrachtkoppeling met een absorptiekoelmachine te installeren. Figuur 1.14: Plattegrond van datacenter S10. De volledige koelinstallatie van het datacenter is gedimensioneerd op een nominaal koelvermogen van 1500 kw th. De twee datazalen staan elk in voor een nominale koellast van 640 kw th. Samen met de koeling in de netwerkzaal en de UPS ruimte bedraagt het totale koelvermogen 1500 kw th. De huidige koelinstallatie is uitgevoerd met 2N redundantie. Dit betekent dat er twee volledig gescheiden ijswatercircuits zijn (A en B). Op beide circuits staan twee parallel opgestelde koelmachines van het type Uniflair BREF 3202A. Dit wordt schematisch weergegeven in figuur 1.15. De koelmachines hebben elk een nominaal koelvermogen van 759 kw th. Zowel circuit A als circuit B kunnen aldus de volledige nominale koellast van 1500 kw th aan. In normale werking wordt de koellast gelijk verdeeld over de twee circuits, zodat ze beide in 50% deellast werken. In het geval van een defect of onderhoud kan een van beide circuits zonder problemen het nodige koelvermogen leveren. Zowel in de GP zaal als de HPC zaal gebeurt de koeling van de servers met in row cooling in combinatie met hot aisle containment. Figuur 1.16 toont hoe de koeling georganiseerd is in de GP zaal. Er zijn vier containments en in elke serverrij staan vier in row coolers van het type APC - ACRC 502 met een nominaal vermogen van 40 kw th per stuk. De helft van de in

Hoofdstuk 1. Inleiding 17 Figuur 1.15: Ontdubbeling van de ijswaterproductie. row coolers is aangesloten aan ijswatercircuit A en de andere helft aan ijswatercircuit B. Ze zijn geschrankt opgesteld, zodat alle servers nog voldoende gekoeld worden bij uitschakeling van een van de twee circuits. De HPC zaal is analoog georganiseerd. Figuur 1.16: Bovenaanzicht van GP zaal: hot aisle containment met in row coolers. In de in row coolers komt ijswater toe aan 15 C (ECWT, entering chilled water temperature). De leaving chilled water temperature (LCWT) schommelt rond 27 C. Het instelpunt voor de koele lucht aan de inlaat van de servers is 25.5 C en de warme lucht net na de servers heeft een temperatuur van ca. 38 C. In de netwerkzaal en de UPS ruimte staan telkens twee crah units die op detzelfde twee ijswatercircuits zijn aangesloten als de in row coolers in de datazalen. Ten slotte is er ook ventilatie voorzien in de datazalen. Om verontreiniging van de lucht in de datazalen te voorkomen, worden de datazalen in overdruk geplaatst door lucht aan 75% van de ventilatiecapaciteit naar binnen te sturen en lucht af te voeren aan 25% van de capaciteit. De hele luchtgroep van het gebouw heeft een capaciteit van 7000 m 3 /h en heeft een relatief beperkte invloed op de koeling van de serverruimten. Ventilatie zal in deze thesis verwaarloosd worden.