Datová centra – představení první

V prostředí stále se rozvíjející platformy Průmysl 4.0 nabývá na významu tematika tzv. velkých dat. V průmyslové výrobě je trend využívat komunikační cesty pro kompletní provoz podniku, včetně přenosu, zpracování a ukládání dat souvisejících přímo s výrobními technologiemi. Velmi perspektivní jsou služby datových center. Jak jsme předeslali v článku [1], na některá z nich pohlédneme především z toho „neajťáckého“ úhlu pohledu – tedy z hlediska zabezpečení a podpory provozu datového centra. První představení nás zavede do dvou datových center společnosti TTC TELEPORT, s. r. o., která nám poskytla informace jako první.

Služba Rackhousing – kolokační služba / pronájem prostoru

Kolokační služba/pronájem prostoru (služba Rackhousing) je základní službou datového centra, jedná se o pronájem místa pro skříň/stojan (rack) v upraveném technologickém prostoru datového centra. Hlavní součástí služby je zabezpečený prostor, dodávka zálohované elektrické energie, zálohovaného chlazení a dohled (monitoring) prostředí (24×7 hodin), ve kterém má zákazník umístěna zařízení (HW).

Obr. 1. Transformátor 22 kV na energetické přípojce od PRE distribuce, a. s.

Energie

Datové centrum TTC DC2 je umístěno v budově nedaleko Depa Hostivař v Malešicích.

Do centra jsou přivedeny dvě nezávislé energetické přípojky o výkonu 2 × 10 MW vn 22 kV od PRE distribuce, a. s., ze dvou nezávislých elektrických rozvoden 110/220 kV (Měcholupy a Malešice).

Hlavní energetické přípojky jsou zálohovány dieselgenerátory v konfiguraci N+1. Dieselgenerátory jsou umístěny vně centra u severní strany objektu v kontejnerech. Elektrické přívody z generátorů do rozvoden nn napětí jsou řešeny přípojnicemi (busbary). Centrální palivové hospodářství, externí nádrže na 50 000 l nafty (minimálně 36 hodin provozu) jsou u dieselgenerátorů. Doplňování paliva je možné za provozu.

Datové centrum disponuje N+1 samostatnými energetickými bloky. Každý blok obsahuje všechny prvky podle doporučení Uptime Institute pro definici TIER III, tj. dvě redundantní nezávislé napájecí větve s možností plného servisu za provozu. Zákaznické stojany (racks) mohou být napájeny ve standardu TIER III.

Energetický blok či bloky, ze kterého jsou napájeny zákaznické technologie, jsou osazeny UPS zdroji včetně baterií s kapacitou na 10 až 35 minut zálohy. Dále jsou instalovány separátní UPS zdroje pro non-IT zařízení poskytovatele, tj. pro chlazení, bezpečnostní systémy, MaR (Měření a regulace systémů), osvětlení, monitoring, atd. Všechna technologická zařízení jsou napájena ze dvou elektrických větví z důvodu redundance napájení. Distribuce energie pro zákaznické datové sály je zajištěna přípojnicemi a dále odbočkou do podružných distribučních elektrických rozváděčů (jeden pro každou napájecí větev a datový sál). Z nich jsou vyvedeny a jištěny elektrické kabely vedoucí k distribučním průmyslovým zásuvkám (pod zákaznickým rackem). Do nich jsou zapojeny zásuvkové lišty (PDU), které jsou umístěny ve stojanech zákazníků. Celkem je do každého zákaznického stojanu instalováno až šest (6) nezávislých elektrických přívodů.

Elektrická energie je přiváděna do každé skříně dvěma nezávislými větvemi (označené A a B). Jedna větev je zálohována proti výpadku sítě pomocí motorgenerátorů a UPS, druhá pomocí motorgenerátorů. Tím je plněn standard Uptime Institute TIER III.

Zákazník může přistupovat do speciálního SW – Zákaznického monitorovacího portálu, kde sleduje aktuální hodnoty na jednotlivých napájecích elektrických přívodech (fázích), které využívá v konkrétních stojanech.

Obr. 2. Připojení jednotlivých skříní v jednom ze sálů

Chlazení

Chlazení prostoru je zajištěno zálohovanými systémy (N+1) a firma uvádí následující parametry teplot: nejvyšší teplota ve studené uzavřené uličce 25 °C, nejvyšší teplota v teplé části místnosti 30 °C. Vlhkost vzduchu podle standardů DC.

V TTC DC1 i TTC DC2 je v datových sálech provozováno klimatické prostředí (teplota, vlhkost) podle standardu ASHRAE TC 9.9 2011 Thermal Guidelines for Data Processing Environments, Recommended Envelope. Doporučení dává klientovi flexibilitu v optimalizaci nákladů za elektrickou energii. Zavedení standardu ASHRAE v datovém sále přináší až 18% úsporu. Díky technologiím a provozním pravidlům firma garantuje v datovém centru TTC DC2 dlouhodobě nízký koeficient PUE.

Chlazení zákaznických skříní (racků) je vystavěno opět podle standardu TIER III, tj. na straně zdroje chladu v zapojení N+1 a na straně rozvodu chladu (pasivní InRow chladicí jednotky) v zapojení N+1, popř. N+2 či více. Centrálními zdroji chladu jsou 8 + 1 výrobníky chladu pro médium voda/glykol v zapojení suchý chladič a chiller. Každý prvek, jak suchý chladič, tak chiller mohou pracovat samostatně a dodávat chlazené médium do distribučního potrubí nezávisle. Rozvody chladicího média k distribučním chladicím jednotkám jsou provedeny zdvojeným centrálním distribučním potrubím a následným zaokruhovaným lokálním distribučním potrubím (k InRow jednotkám).

Na všech distribučních potrubích jsou sestavy ventilů umožňující údržbu chladicí soustavy za provozu a v případě výpadku chladicí jednotky její výměnu bez zaplavení dotčených prostor. Všechna čerpadla použitá v systému chlazení jsou zdvojená a mají dvě napájecí větve. Z toho jedna větev je napojena na dieselgenerátorovou síť a druhá na provozní non-IT UPS. Obdobně jsou přivedeny i k InRow chladicím jednotkám, suchým chladičům i chillerům. Potrubní systémy jsou v provedení Victaulic.

Částí chladicího systému jsou náhradní zásobníky chladu (studené vody), které doplňují chladicí systém v případě výpadků. Tím je např. zajištěna funkčnost chladicího systému v době přepojování z elektrické sítě na dieselgenerátory.

Jednotky InRow, suché chladiče i chillery komunikují s centrálním Systémem měření a regulace (MaR). V případě výpadku komunikace, či nestandardního chování centrálního systému MaR pracují komponenty chladicího systému v nezávislém režimu. Možnost řídit systém jako celek a volit provozní režimy jednotlivých chladicích komponent díky centrálnímu MaR, dává prostor využívat freecoolingových vlastností chladicího systému nad běžně provozovaný rámec standardních chladicích systémů. Tím je dosaženo nízkého ukazatele PUE v dlouhodobém měřítku. Jak suché chladiče, tak i chillery jsou navrženy s kapacitní rezervou. Nadbytečným výkonem ve zdroji chladu se docílí celkově vyšší provozní účinnosti systému a lze využívat princip freecoolingu po delší období roku.

Všechny rozvody chladicího média, elektrické energie a MaR jsou vedeny v technologickém koridoru mimo sály zákazníků, v podhledech přístupových koridorů, případně zdvojenou podlahou. Zákazník k rozvodům nemá žádný přístup.

Zabezpečení

Oblasti bezpečnosti je v centru TTC DC2 věnován důraz, protože zkušenosti z provozu TTC DC1 ukázaly, jak jsou na tuto oblast zákazníci nároční. Personál je zavázán a školen v práci s důvěrnými informacemi.

Zařízení klienta chrání řada bezpečnostních bariér. Vstup do areálu TTC DC2 přes recepci TTC DC2 je řešen propouštěcí komorou (interlock). Další bariérou je vstup do obecných prostor datového centra přes personální turniket (pouze pro jednu osobu). Dalšími kontrolami je řešen vstup do koridoru, kde jsou umístěny zákaznické datové sály a vstup do konkrétní místnosti/sálu se skříněmi zákazníka a konečně vstup do konkrétní skříně s HW technologií zákazníka. Jde celkem o osm bariér.

Datové centrum TTC DC2 je vystavěno v parametrech minimálně RC3 dle ČSN EN 1627 až 1630. Na základě požadavků klienta lze prostor TTC DC2 vybavit i ve třídě RC4 (BT4) nebo vyšší. Žádný ze zákaznických sálů není součástí vnější stěny objektu.

Obr. 3. Technická chodba procházející středem budovy datacentra s přípojnicemi do jednotlivých sálů

Protipožární systém Systém

SHZ (Stabilní Hasicí Zařízení) je provozován na bázi inertního plynu Novec 1230, který je v dnešní době považován za nejekologičtější prostředek pro hašení v datových centrech. Každý datový sál obsahuje vyhrazený zdroj hasiva. Systém SHZ s inertním plynem je vystavěn i v elektrorozvodnách nn, distribučních technických chodbách a akumulátorových místnostech systému UPS. Systém EPS (Elektronický Protipožární Systém) je tvořen dvěma systémy, opticko-kouřovými čidly a současně systémem VESDA (Very Early Smoke Detection Alarm Systems).

Výhodou centra TTC DC2 je možnost použít např. jinou náplň hasicího plynu v systému SHZ podle požadavku zákazníka, protože každý datový sál je provozován jako samostatný požární úsek.

Kamerový systém

Systém CCTV je instalován vně i uvnitř datového centra TTC DC2. Sleduje všechny stanovené perimetry (bariéry) a je postaven na bázi IP (Internet Protokol) na oddělené síti. Záznamy z kamerového systému se archivují po dobu 30 dní.

Zákazník má právo nahlédnout do záznamu kamerového systému poskytovatele jen na vyžádání u ředitele provozu TTC DC2. Veškeré nakládání se záznamy se striktně řídí zákonem o ochraně osobních údajů. Zákazník má možnost si ve svých pronajatých (kolokačních) prostorech instalovat vlastní kamerový systém. Datové zákaznické (kolokační) prostory jsou bez oken. V každé uličce sálů je umístěna kamera.

Obr. 4. Detail přípojnice a dalších rozvodů

Monitoring

V datových centrech TTC DC1 a TTC DC2 se monitorují a vyhodnocují desetitisíce provozních a bezpečnostních signálů, které dávají obraz o stavu datacentra, chování zákazníků, dodavatelů a technologického vybavení. Dohledový a monitorovací systém je vyvíjen tak, aby byl schopen reagovat na požadavky zákazníků a provozních stavů.

V datových sálech jsou měřeny provozní parametry prostředí na stovkách míst. Data jsou zpracovávána v centrálním dohledovém systému, který vyhodnocuje desítky tisíc fyzikálních a provozních stavů s periodou od 30 ms až 3 min (v závislosti na požadavku operátora). Provozní parametry, jako např. délka chodu na záloze elektrické energie z UPS zdrojů, běh na motorgenerátorech, provozní teploty a vlhkosti a podobně, může zákazník získávat online ze Zákaznického portálu.

Na závěr Tento článek přináší základní charakteristiky provozu datacentra. Uživatelé služeb datacentra by jistě uvítali podrobnější popis vzdáleného ovládání provozu nebo možností práce přímo na místě. Tím bychom se ale dostali daleko za naplánovaný rozsah textu. Pro vážné zájemce jsou k dispozici webové stránky: ttc-teleport.cz

[1] http://www.odbornecasopisy.cz//flipviewer/ Elektro/2020/07/Elektro_07_2020/index. html#p=44

http://www.odbornecasopisy.cz/elektro/casopis/tema/datova-centra-cloud-a-zabezpeceni--17277

---

 

Datová centra – pojmy

ASHRAE – americká profesní asociace pro vytápění, ventilace, chlazení a klimatizaci usilující o urychlení návrhu a konstrukce systémů. Asociace má 57 000 členů ve 132 zemích. Členové jsou stavební inženýři, architekti, majitelé budov, zaměstnanci výrobců zařízení a další. Společnost financuje výzkumné projekty, nabízí programy dalšího vzdělávání a vyvíjí a zveřejňuje technické normy pro zlepšení inženýrských staveb, energetické účinnosti, kvality vnitřního ovzduší a udržitelného rozvoje. Více na: www.ashrae.org/technical-resources/standards-and-guidelines.

Chiller – chladicí jednotka je zařízení, sloužící pro ochlazení vody nebo vodních směsí v uzavřeném i v otevřeném okruhu. Jednotka se skládá z chladicího okruhu a z oběhového okruhu chladící vody. Chladicí okruh je naplněn chladivem a vodní okruh vodou. Kapaliny/okruhy nepřichází do přímého kontaktu, směňují si teplo ve výparníku, kde kapalné chladivo při vypařování odebírá vodě teplo. Ochlazená voda postupuje na výstup z jednotky. Při zapojenchladicí jednotky do uzavřeného chladicího okruhu dochází k trvalé cirkulaci, chlazení a oteplování konstantního objemu vody. Systém tak zajišťuje konstantní dodávku chladicí vody o požadované teplotě.

In-Row (Cooling) – chlazení v řadě je technologie/typ klimatizačního systému běžně používaného v datových centrech, ve kterém je chladicí jednotka umístěna mezi serverové skříně v řadě z důvodu efektivnější dodávky chladného vzduchu do zařízení serveru. Tyto systémy používají horizontální směr proudění vzduchu využitím konfigurace horké/studené uličky a zabírají pouze jednu polovinu prostoru ve stojanu. Každá jednotka má obvykle šířku 12" a hloubku 42". Jednotky mohou být doplňkem chlazení ve zvýšeném patře (vytvářením komory pro distribuci upraveného vzduchu) nebo mohou být primárním zdrojem chlazení na podlahové desce. Více na: www.techopedia.com/definition/142/in-row-cooling.

PUE – (Power Usage Effectiveness) je ukazatel energetické efektivity. Indikuje, jak efektivně využívá datové centrum elektrickou energii. Ukazatel PUE především měří, kolik energie je využito na výpočetní zařízení (oproti chlazením a dalším). Je definován jako poměr celkového objemu energie, kterou komplex datového centra spotřebuje, k objemu energie potřebné pro samotné výpočetní zařízení. Čím více se hodnota PUE blíží 1,0 – tím je datové centrum efektivnější. Více např. na stránkách: https:// www.42u.com/measurement/pue-dcie. htm nebo https://www.mzp.cz/cz/energeticka_efektivita_uspory_energie.

Tier – znamená stupeň nebo úrovně Tier I až Tier IV, tedy certifikace od Uptime Institute. Úroveň TIER III např. požaduje záložní bezpečnostní systém a plně redundantní napájení a chlazení. V dokumentu Accredited Tier Designer Technical Paper Series Engine-Generator Ratings jsou podrobně popsány požadavky na jmenovitý výkon motorgenerátorů pro splnění jednotlivých úrovní Tier. Systému chlazení je např. věnován dokument Accredited Tier Designer Technical Paper Series Continuous Cooling. Tak jsou popsány požadavky na všechny komponenty systémů provozovaných v datacentrech. Dokumenty a specifikace jsou dostupné na adrese https://uptimeinstitute.com/tier-certification.