Nawet najnowocześniejsza i najszybsza sieć jest bezużyteczna bez stabilnego i niezawodnego zasilania. W tym module zajmiemy się krwiobiegiem każdej infrastruktury IT – systemem zasilania. Omówimy, jak prawidłowo planować zapotrzebowanie na moc, projektować zasilanie awaryjne oraz jak fizycznie rozplanować elementy w szafach i pomieszczeniach, aby zapewnić optymalne chłodzenie, bezpieczeństwo i łatwość zarządzania.
Problemy z zasilaniem są jedną z najczęstszych przyczyn awarii systemów IT. Mogą one przybierać różne formy: od całkowitego zaniku napięcia, przez krótkotrwałe spadki i skoki, aż po subtelne zakłócenia. Każda z tych anomalii może prowadzić do uszkodzenia danych, awarii sprzętu lub nieplanowanych restartów. Profesjonalne projektowanie systemu zasilania ma na celu ochronę przed wszystkimi tymi zagrożeniami i zapewnienie ciągłości działania biznesu.
Pierwszym krokiem jest dokładne oszacowanie, ile mocy będą zużywać wszystkie planowane urządzenia. Należy stworzyć listę całego sprzętu (przełączniki, routery, serwery, firewalle, itp.) i spisać maksymalny pobór mocy z tabliczek znamionowych lub dokumentacji technicznej każdego z nich. Wartości te podawane są w Watach (W) lub Woltoamperach (VA). Sumując te wartości, otrzymujemy bazowe zapotrzebowanie na moc.
W obwodach prądu stałego moc czynna (W) jest równa mocy pozornej (VA). Jednak w obwodach prądu zmiennego, zasilacze impulsowe w sprzęcie IT powodują przesunięcie fazowe między prądem a napięciem. Stosunek mocy czynnej do pozornej nazywamy współczynnikiem mocy (Power Factor, PF). Zazwyczaj wynosi on od 0.7 do 0.99. Przy doborze UPS i PDU zawsze należy brać pod uwagę obie wartości: moc w VA i moc w W, i upewnić się, że żadna z nich nie zostanie przekroczona.
Moc [W] = Moc [VA] * PF
Nigdy nie należy projektować systemu zasilania "na styk". Zawsze trzeba uwzględnić zapas na przyszłą rozbudowę. Bezpieczną i powszechnie stosowaną praktyką jest dodanie do obliczonego zapotrzebowania zapasu mocy w wysokości od 25% do 50%. Pozwoli to w przyszłości na dołożenie dodatkowych serwerów czy przełączników bez konieczności przebudowy całej instalacji zasilającej. Zapewnia to również, że system nie pracuje na granicy swoich możliwości, co zwiększa jego niezawodność.
Infrastruktura IT nigdy nie powinna być zasilana z tych samych obwodów, co oświetlenie, klimatyzacja komfortu czy gniazdka ogólnego użytku. Serwerownie i kluczowe szafy dystrybucyjne muszą być zasilane z dedykowanych, oddzielnych obwodów, poprowadzonych bezpośrednio z rozdzielni elektrycznej. Każdy taki obwód powinien być wyraźnie oznaczony i zabezpieczony osobnym wyłącznikiem nadprądowym. Minimalizuje to ryzyko zakłóceń i przypadkowego wyłączenia.
W środowiskach o wysokiej dostępności stosuje się pełną redundancję zasilania. Polega to na doprowadzeniu do każdej szafy RACK dwóch całkowicie niezależnych ścieżek zasilania, oznaczanych jako A i B. Każda ścieżka pochodzi z innej rozdzielni, jest podłączona do innego UPS-a i kończy się w szafie osobną listwą PDU. Urządzenia krytyczne, wyposażone w dwa zasilacze, podłącza się jednym zasilaczem do ścieżki A, a drugim do ścieżki B. Dzięki temu awaria dowolnego elementu w jednej ścieżce (UPS, PDU, bezpiecznik) nie powoduje przerwy w działaniu sprzętu.
Przepięcia, czyli krótkotrwałe, gwałtowne skoki napięcia (np. spowodowane wyładowaniem atmosferycznym lub operacjami w sieci energetycznej), są śmiertelnym zagrożeniem dla wrażliwej elektroniki. Ochrona przeciwprzepięciowa jest systemem wielostopniowym. Ograniczniki przepięć Typu 1 montuje się w głównej rozdzielni budynku, Typu 2 w rozdzielniach piętrowych, a Typu 3 (często wbudowane w wysokiej jakości listwy zasilające i UPS-y) stanowią ostatni stopień ochrony, bezpośrednio przy urządzeniach.
Prawidłowe uziemienie jest absolutnie kluczowe. Pełni dwie funkcje: ochronę przeciwporażeniową dla personelu oraz zapewnienie punktu odniesienia dla sygnałów elektronicznych i odprowadzenie ładunków elektrostatycznych (ESD). Każda szafa RACK musi być połączona z główną szyną wyrównawczą budynku. Wszystkie metalowe elementy w szafie oraz obudowy urządzeń muszą być ze sobą połączone galwanicznie, tworząc jednolitą, ekwipotencjalną płaszczyznę uziemienia.
Głównym zadaniem UPS-a (Uninterruptible Power Supply) jest zapewnienie nieprzerwanego zasilania w momencie zaniku napięcia w sieci. Czas podtrzymania z baterii ma pozwolić na jedno z dwóch działań: albo na bezpieczne, kontrolowane zamknięcie systemów operacyjnych serwerów (aby uniknąć uszkodzenia danych), albo na podtrzymanie pracy do momentu uruchomienia i przejęcia obciążenia przez agregat prądotwórczy. UPS pełni również rolę filtra, chroniąc sprzęt przed zakłóceniami z sieci energetycznej.
UPS w topologii VFD (Voltage and Frequency Dependent), zwany potocznie "offline", jest najprostszym i najtańszym rozwiązaniem. W normalnych warunkach zasilanie jest przekazywane bezpośrednio z sieci do urządzeń, a UPS jedynie ładuje swoje baterie. Dopiero w momencie zaniku napięcia, przełącznik wewnątrz UPS-a przełącza zasilanie na falownik zasilany z baterii. Czas przełączania nie jest zerowy (kilka milisekund), a ochrona przed zakłóceniami jest ograniczona. Nadaje się do zasilania stacji roboczych lub mało krytycznych urządzeń.
UPS w topologii VI (Voltage Independent), czyli "line-interactive", jest ulepszoną wersją topologii offline. Posiada on wbudowany układ automatycznej regulacji napięcia (AVR). Dzięki niemu, UPS jest w stanie korygować niewielkie, ale długotrwałe wahania napięcia (podwyższenia lub obniżenia) bez konieczności przełączania się na pracę z baterii. Oszczędza to baterie i zapewnia lepszą jakość zasilania. Jest to popularne rozwiązanie dla małych serwerów i sprzętu sieciowego w szafach IDF.
UPS w topologii VFI (Voltage and Frequency Independent), zwany "online" lub "o podwójnej konwersji", zapewnia najwyższy poziom ochrony. Zasilanie sieciowe jest w nim ciągle przetwarzane: najpierw prostownik zamienia prąd zmienny (AC) na stały (DC) do ładowania baterii, a następnie falownik zamienia prąd stały z powrotem na idealnie czysty, stabilny prąd zmienny (AC) do zasilania urządzeń. Sprzęt jest w 100% odizolowany od sieci energetycznej. Czas przełączania na baterie jest zerowy. Jest to jedyna akceptowalna topologia dla krytycznych serwerowni i centrów danych.
Moc UPS (w VA i W) musi być większa niż sumaryczna moc podłączonych urządzeń, z uwzględnieniem zapasu. Czas podtrzymania zależy od pojemności baterii (podawanej w Amperogodzinach, Ah) i aktualnego obciążenia. Producenci UPS-ów dostarczają wykresy lub kalkulatory, które pozwalają oszacować czas podtrzymania dla danego obciążenia. Możliwe jest również dołączanie dodatkowych modułów bateryjnych (EBM - Extended Battery Module) w celu wydłużenia czasu pracy.
W obiektach, gdzie wymagana jest ciągłość działania przez wiele godzin, stosuje się agregaty prądotwórcze. Są to silniki spalinowe (zazwyczaj diesla) połączone z prądnicą. Kluczowym elementem systemu jest układ SZR (Samoczynne Załączanie Rezerwy). Po wykryciu zaniku zasilania z sieci energetycznej, SZR automatycznie uruchamia agregat, a po jego stabilizacji przełącza na niego zasilanie budynku. Cały proces trwa od kilkunastu do kilkudziesięciu sekund - i to właśnie ten czas musi być pokryty przez zasilacze UPS.
Dobre rozplanowanie urządzeń w szafie ma ogromny wpływ na łatwość zarządzania i chłodzenie. Ciężkie urządzenia (UPS, serwery) montujemy na dole. Urządzenia wymagające częstego dostępu fizycznego (np. przełączniki KVM) na wygodnej wysokości. Należy grupować urządzenia według funkcji i stosować zasadę naprzemiennego montażu: panel krosowniczy, organizer kabli, przełącznik, organizer, itd. Zapewnia to porządek i umożliwia stosowanie krótkich, estetycznych patchcordów.
Większość urządzeń IT jest zaprojektowana do przepływu powietrza w kierunku przód-tył (front-to-back). Zimne powietrze jest zasysane z przodu, chłodzi komponenty i jest wydmuchiwane jako gorące z tyłu. Kluczowe jest, aby nie zaburzać tego przepływu. Należy unikać plątaniny kabli z tyłu szafy, która blokuje wylot gorącego powietrza. Wszystkie nieużywane przestrzenie z przodu szafy muszą być zasłonięte panelami zaślepiającymi, aby zimne powietrze nie "uciekało" na tył szafy, omijając urządzenia.
W serwerowniach i dużych pomieszczeniach technicznych stosuje się podłogę techniczną. Jest to system modułowych płyt opartych na stalowych wspornikach, tworzący pustą przestrzeń pod podłogą. Przestrzeň ta jest wykorzystywana jako plenum do dystrybucji zimnego powietrza z klimatyzatorów precyzyjnych (nawiew przez perforowane płyty podłogowe przed szafami) oraz do prowadzenia tras kablowych (zasilających i teletechnicznych) w dedykowanych korytach.
Ochrona przed nieautoryzowanym dostępem fizycznym jest pierwszą linią obrony. Pomieszczenia serwerowni i kluczowe punkty dystrybucyjne muszą być zamykane na klucz, a dostęp do nich ściśle kontrolowany i rejestrowany. W obiektach o wyższym standardzie bezpieczeństwa stosuje się systemy kontroli dostępu oparte na kartach zbliżeniowych lub biometrii (odcisk palca, skan siatkówki). Same szafy RACK również powinny być zamykane.
System monitoringu wizyjnego jest ważnym elementem systemu bezpieczeństwa fizycznego. Kamery powinny być zainstalowane tak, aby monitorować wejścia do serwerowni oraz kluczowe obszary wewnątrz (np. rzędy szaf). Nagrania z kamer stanowią materiał dowodowy w przypadku incydentu bezpieczeństwa i działają prewencyjnie. Nowoczesne systemy CCTV oparte na IP integrują się z siecią komputerową (zazwyczaj w dedykowanym, odizolowanym VLANie).
System alarmowy (SSWiN) chroni pomieszczenia techniczne poza godzinami pracy. Składa się z centrali alarmowej oraz szeregu czujek, takich jak czujki ruchu (PIR), kontaktrony na drzwiach i oknach. W przypadku wykrycia nieautoryzowanego wejścia, system uruchamia sygnalizację dźwiękową i/lub świetlną oraz wysyła powiadomienie do agencji ochrony lub administratora.
Oprócz zagrożeń związanych z dostępem, sprzęt jest narażony na zagrożenia środowiskowe. Systemy monitoringu pozwalają na ciągły nadzór nad kluczowymi parametrami w serwerowni i szafach. Dedykowane czujniki mierzą temperaturę, wilgotność, a także wykrywają zalanie wodą. W przypadku przekroczenia bezpiecznych progów, system automatycznie wysyła alerty do administratorów, pozwalając na szybką reakcję na awarię klimatyzacji czy wyciek, zanim dojdzie do uszkodzenia sprzętu.
Stabilne zasilanie, efektywne chłodzenie i solidne bezpieczeństwo fizyczne to trzy filary, na których opiera się niezawodność każdej infrastruktury IT. Projektowanie tych systemów wymaga takiego samego profesjonalizmu i dbałości o szczegóły, jak projektowanie logicznej warstwy sieci. Zaniedbanie któregokolwiek z tych aspektów nieuchronnie prowadzi do awarii, przestojów i strat finansowych dla organizacji.
Dziękuję za uwagę. Zapraszam do zadawania pytań dotyczących zasilania, chłodzenia i fizycznego planowania infrastruktury sieciowej.
Listwy PDU (Power Distribution Unit) można podzielić na kilka kategorii:
Co zrobić, jeśli mamy krytyczne urządzenie (np. router brzegowy) tylko z jednym zasilaczem, a chcemy zapewnić mu redundancję zasilania? Z pomocą przychodzi ATS (Automatic Transfer Switch). Jest to urządzenie montowane w szafie, które posiada dwa wejścia zasilające (podłączane do ścieżek A i B) oraz jedno lub więcej wyjść (do których podłączamy urządzenie). ATS stale monitoruje główne źródło zasilania (A) i w przypadku jego awarii, błyskawicznie i automatycznie przełącza się na źródło zapasowe (B).
Chłodzenie typu In-Row to nowoczesna alternatywa dla tradycyjnej klimatyzacji precyzyjnej z podłogą techniczną. Polega na umieszczeniu jednostek chłodzących bezpośrednio w rzędzie szaf, pomiędzy szafami serwerowymi. Taki klimatyzator zasysa gorące powietrze z gorącego korytarza, chłodzi je i nawiewa bezpośrednio do zimnego korytarza. Taka bliskość źródła chłodu i ciepła jest znacznie bardziej efektywna energetycznie i pozwala na chłodzenie środowisk o bardzo dużej gęstości mocy.
W systemach gaszenia serwerowni stosuje się gazy, które nie przewodzą prądu i nie pozostawiają zanieczyszczeń. Dzielą się na dwie główne grupy:
W dużych obiektach stosuje się koncepcję wielowarstwowych stref bezpieczeństwa fizycznego. Strefa zewnętrzna to ogrodzenie i ochrona perymetru. Kolejna strefa to kontrola dostępu do samego budynku. Następna to kontrola dostępu do wydzielonej części biura, gdzie znajduje się serwerownia. Ostatnią, najsilniej chronioną strefą jest samo pomieszczenie serwerowni, a wewnątrz niego – zamykane szafy RACK. Każda kolejna strefa wymaga silniejszego uwierzytelnienia.
PUE to kluczowy wskaźnik efektywności energetycznej centrum danych. Oblicza się go jako stosunek całkowitej energii zużywanej przez obiekt (IT + chłodzenie + oświetlenie + straty) do energii zużywanej wyłącznie przez sprzęt IT. Idealna wartość to 1.0 (co jest fizycznie niemożliwe). Nowoczesne centra danych osiągają PUE na poziomie 1.1-1.2. Starsze obiekty często mają PUE powyżej 2.0, co oznacza, że na każdą złotówkę wydaną na zasilanie serwerów, przypada druga złotówka na ich chłodzenie.
Zadanie: Oblicz całkowite zapotrzebowanie na moc dla szafy, w której zainstalowano:
Oblicz sumaryczną moc w W i VA, a następnie dobierz UPS (w W i VA) z 30% zapasem.
Projektowanie zasilania, chłodzenia i fizycznego layoutu nie może być traktowane jako oddzielne zadania. Są to elementy ściśle ze sobą powiązane. Wybór urządzeń o wyższej mocy wpływa na wymagania chłodzenia. Sposób rozmieszczenia szaf determinuje efektywność klimatyzacji. Redundancja zasilania wymaga odpowiedniego rozplanowania instalacji elektrycznej. Tylko zintegrowane, holistyczne podejście na wczesnym etapie projektu pozwala na stworzenie naprawdę niezawodnego i efektywnego środowiska.
Dziękuję za uwagę. Zapraszam do zadawania pytań.
W profesjonalnych listwach PDU stosuje się różne standardy gniazd, które zapewniają pewniejsze połączenie niż standardowe gniazda domowe:
Stosowanie standardu IEC zapobiega przypadkowemu podłączeniu do listwy urządzeń biurowych (np. odkurzacza), które mogłyby przeciążyć obwód.
Baterie w zasilaczach UPS są elementem eksploatacyjnym i mają ograniczoną żywotność, zazwyczaj od 3 do 5 lat. Ich pojemność z czasem maleje. Na żywotność baterii negatywnie wpływa wysoka temperatura otoczenia. Ogólna zasada mówi, że każde 8°C powyżej optymalnej temperatury 25°C skraca żywotność baterii o połowę. Dlatego tak ważne jest zapewnienie odpowiedniego chłodzenia w pomieszczeniach z UPS-ami. Nowoczesne UPS-y posiadają funkcję autotestu, która regularnie sprawdza kondycję baterii i informuje o konieczności ich wymiany.
Każdy UPS jest wyposażony w wewnętrzny bypass, który w przypadku awarii samego UPS-a lub jego przeciążenia, automatycznie przełącza zasilanie bezpośrednio z sieci, omijając wadliwe obwody. W dużych, modułowych systemach UPS stosuje się również zewnętrzny bypass serwisowy. Jest to fizyczny przełącznik, który pozwala na całkowite odłączenie UPS-a od zasilania (np. w celu jego wymiany lub serwisu) bez przerywania zasilania podłączonych urządzeń. Jest to kluczowy element zapewniający ciągłość działania podczas prac konserwacyjnych.
W klimacie umiarkowanym, przez dużą część roku temperatura na zewnątrz jest niższa niż wymagana temperatura w serwerowni. Technologia Free Cooling wykorzystuje to zjawisko. Zamiast uruchamiać energochłonne sprężarki w systemie klimatyzacji, wykorzystuje się chłodne powietrze z zewnątrz do chłodzenia medium (wody, glikolu) w obiegu klimatyzacji. Pozwala to na ogromne oszczędności energii, zwłaszcza w okresach przejściowych i zimą. Jest to standard w nowoczesnych, energooszczędnych centrach danych.
DCIM to oprogramowanie, które służy do zintegrowanego zarządzania i monitorowania całej infrastruktury fizycznej centrum danych. Systemy DCIM zbierają w czasie rzeczywistym dane z inteligentnych PDU, UPS-ów, klimatyzatorów precyzyjnych i czujników środowiskowych. Pozwalają na wizualizację 3D serwerowni, monitorowanie zużycia energii, temperatury, planowanie pojemności i optymalizację rozmieszczenia sprzętu. Jest to centralny "układ nerwowy" nowoczesnego data center.
Bezpieczeństwo fizyczne centrów danych jest również przedmiotem standaryzacji. Normy takie jak ANSI/TIA-942 czy EN 50600 definiują poziomy niezawodności (Tier I-IV), określając wymagania dotyczące m.in. redundancji zasilania, chłodzenia, odporności na zagrożenia naturalne oraz środków bezpieczeństwa fizycznego dla każdego z poziomów. Certyfikacja obiektu na zgodność z danym poziomem Tier jest potwierdzeniem jego niezawodności.
Ciekawostką jest, że wysokość nad poziomem morza ma wpływ na chłodzenie. Na większych wysokościach powietrze jest rzadsze, co oznacza, że ma mniejszą gęstość i mniejszą zdolność do odbierania ciepła. W rezultacie, wentylatory w serwerach i przełącznikach muszą pracować z większą prędkością, aby zapewnić ten sam efekt chłodzący, co na poziomie morza. Powoduje to większy hałas i zużycie energii. Projektując serwerownię w lokalizacji wysokogórskiej, należy wziąć ten czynnik pod uwagę.
Choć może się to wydawać trywialne, gryzonie stanowią realne zagrożenie dla infrastruktury kablowej. Potrafią przegryźć izolację kabli zasilających i światłowodów, powodując zwarcia i przerwy w transmisji. Dlatego wszystkie przepusty kablowe prowadzące do budynku z zewnątrz oraz przejścia między pomieszczeniami muszą być szczelnie zabezpieczone. W miejscach szczególnie narażonych stosuje się specjalne kable ze wzmocnioną powłoką lub w metalowym oplocie (pancerzu).
Wszystkie pomieszczenia techniczne, rozdzielnie elektryczne i szafy RACK powinny być odpowiednio oznakowane za pomocą piktogramów i tablic ostrzegawczych. Oznaczenia te informują o zagrożeniach (np. "Uwaga! Wysokie napięcie"), wskazują lokalizację sprzętu PPOŻ (gaśnice, wyłączniki prądu) oraz informują o obowiązujących środkach ostrożności. Jest to kluczowy element zapewnienia bezpieczeństwa personelu technicznego.
Zadanie grupowe: Dla typowej serwerowni w małej firmie, zidentyfikujcie 5 największych zagrożeń związanych z zasilaniem, chłodzeniem i bezpieczeństwem fizycznym. Dla każdego zagrożenia zaproponujcie co najmniej jedno działanie mitygujące (zmniejszające ryzyko). Przygotujcie krótką prezentację wyników.
Niezawodność infrastruktury IT można przedstawić jako piramidę. U jej podstawy leży solidne zasilanie i kontrolowane środowisko fizyczne. Bez tego fundamentu, nawet najlepszy sprzęt sieciowy i serwerowy (kolejne piętro piramidy) nie będzie działał stabilnie. Dopiero na tak zbudowanej podstawie można wdrażać niezawodne systemy operacyjne i aplikacje, które dostarczają wartość dla biznesu. Inwestycja w fundament zawsze się opłaca.
W tym module nauczyliśmy się, że projektowanie fizycznej warstwy infrastruktury jest równie ważne, co projektowanie jej warstwy logicznej. Prawidłowe planowanie zasilania, zapewnienie redundancji, skuteczne chłodzenie oraz wielowarstwowe bezpieczeństwo fizyczne to elementy, które decydują o stabilności i dostępności usług IT. Profesjonalny projektant sieci musi być również ekspertem w tych dziedzinach, aby tworzyć kompleksowe i niezawodne rozwiązania.
Dziękuję za uwagę. Zapraszam do zadawania pytań.
Ten schemat ilustruje najlepsze praktyki w zasilaniu szafy o wysokiej dostępności. Dwa niezależne przyłącza energetyczne zasilają dwa osobne UPS-y. Każdy UPS zasila jedną listwę PDU w szafie (PDU A i PDU B). Serwer z dwoma zasilaczami jest podłączony do obu listew. Taki układ zapewnia odporność na awarię dowolnego pojedynczego komponentu: przyłącza, UPS-a, PDU, a nawet zasilacza w serwerze.
Moc cieplną, którą należy odprowadzić z pomieszczenia, można w przybliżeniu obliczyć, sumując moc wszystkich urządzeń IT. 1 Wat mocy elektrycznej generuje w przybliżeniu 3.41 BTU/h (British Thermal Unit per hour) ciepła. Znając całkowitą moc cieplną, można dobrać klimatyzator o odpowiedniej wydajności chłodniczej. Należy również uwzględnić inne źródła ciepła, takie jak oświetlenie, zyski ciepła od słońca czy ciepło emitowane przez osoby przebywające w pomieszczeniu.
