This presentation – made together by my friend, Robert Gronberski, Project Manager and I, Pawel Wawrzyniak, Head of Data Centre Services Team – is dedicated to data center infrastructure related projects which were managed to complete between 2008 and 2013 in Nordea Bank Polska S.A. Our presentation covers the following projects:
• "Old" PDC (Primary Data Center) extension - 2008
• Site adaptation for the purposes of DRC (Disaster Recovery Center), 2009-2010
• "New" PDC (Primary Data Center) construction, 2010-2012
• Other important infrastructure projects in Nordea: Adaptation and extension of Nordea Operation Centre (NOC), 2009-2013; Server room construction in Nordea House Warsaw (NHW, a new HQ), 2012
The aim of presentation is to show these demanding projects, challenges we've faced, standards we've developed and lessons we've learned to share our company's experience in data center infrastructure related projects, which were collected between 2008 – 2013, with other industry experts.
Presented on DatacenterDynamics Converged Warsaw 2013:
http://www.datacenterdynamics.com/pl/conferences/2013/warsaw-2013
Presentation language: Polish
Presentation title (translated): Nordea's experience on construction, maintenance and management of data centre facilities. Historical/Technological view with Project Management perspective
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
DATA CENTER CONVERGED 2013 WARSAW
1. www.datacenterdynamics.com
Doświadczenia Nordea w zakresie budowy
i eksploatacji ośrodków przetwarzania danych
Rys historyczno-technologiczny
z perspektywy zarządzania projektami
Robert Gronberski, Paweł Wawrzyniak /
Nordea BP S.A.
2. www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeo:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
3. www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Zwiększone zapotrzebowanie Nordea na przestrzeo OPD (Ośrodków Przetwarzania
Danych)
Koniecznośd sprawnej obsługi rejonu PL&BC:
Polska
Litwa
Łotwa
Estonia
Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC)
Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych
w Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na:
Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego,
chłodzenia, okablowania strukturalnego
Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku
Centrali
2013-05-06
3 • DatacenterDynamics 2013 Warszawa
4. www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są:
Nowa, budynkowa stacja transformatorowa o mocy 800 kW
Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu
zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie
Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA
(2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1)
Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen
Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia)
wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny
układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania
Eaton PowerXpert
Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza
(elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1)
pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga
podniesiona
4 •
2013-05-06
DatacenterDynamics 2013 Warszawa
5. www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.):
Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód)
System wczesnego wykrywania zadymienia VESDA
System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż.
Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeo PDC)
Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze)
Monitoring parametrów krytycznych ośrodka za pomocą systemów:
BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki
temperatury/wilgotności, zalania)
NMS – SNMPc Enterprise Edition (obecnie 8.0)
Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre
Physical Infrastructure Manager)
Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i
nowa przestrzeo)
Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego
obiektu)
5 •
2013-05-06
DatacenterDynamics 2013 Warszawa
6. www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania
danych do czasu znalezienia partnera do projektu budowy nowych OPD
Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek
zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime
Institute (IBM Level 2)
Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o
wartości 1,7
6 •
2013-05-06
DatacenterDynamics 2013 Warszawa
9. www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Ciekawostki:
Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia
projektów technicznych opracowanych na podstawie specyfikacji wymagao i
projektów koncepcyjnych
Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane
wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej
Wnioski:
Koniecznośd znalezienia partnera z doświadczeniem w budowie OPD
IT Banku nie powinno prowadzid prac budowlanych, a wyłącznie definiowad
wymagania dotyczące infrastruktury i poświęcad swój czas na egzekwowanie
standardów od wykonawcy generalnego
W IT musi istnied komórka merytoryczna odpowiedzialna za definicję standardów i
kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD
DRC będzie obiektem poddanym adaptacji
9 •
2013-05-06
DatacenterDynamics 2013 Warszawa
10. www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeo:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
11. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania
danych – Disaster Recovery Centre, DRC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych
i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska
Na podstawie doświadczeo Nordea wynikających z rozbudowy PDC w 2008 roku,
powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje
zakres projektu
Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do
adaptacji
IBM opracowuje techniczne projekty branżowe na podstawie wymagao Nordea (w tym
na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do
zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów
11 •
2013-05-06
DatacenterDynamics 2013 Warszawa
12. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej):
200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe
50 m.kw.)
Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku) powstaje:
Zabudowa zimnych korytarzy (sztywna):
4 rzędy, po 9 szaf w każdym rzędzie
dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów)
Centralny punkt dystrybucji połączeo – tzw. MDF (Main Distribution Frame)
Ponadto, komora serwerowni posiada:
2 krótsze rzędy dla urządzeo wolnostojących (duże serwery, macierze,
biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków
montażowych
12 •
2013-05-06
DatacenterDynamics 2013 Warszawa
13. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.:
Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością
łatwej rozbudowy (1 punkt montażowy) o 50 kW
Dedykowany moduł UPS do podtrzymania klimatyzacji
Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na
powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton)
Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa
Możliwośd podłączenia zapasowego agregatu prądotwórczego w przypadku
serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008)
Ze względu na nadmiarowośd powierzchni serwerowej względem obecnie
dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które
można wdrożyd w przyszłości
System gaszenia gazem FM200
System CCTV, KD, BMS
13 •
2013-05-06
DatacenterDynamics 2013 Warszawa
14. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.:
Dedykowany posterunek ochrony
Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie
Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego
zakresu
Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty:
Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych
Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka
jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime
Institute)
14 •
2013-05-06
DatacenterDynamics 2013 Warszawa
15. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Ciekawostki:
Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC
(2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania
względem nowego PDC
Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6
15 •
2013-05-06
DatacenterDynamics 2013 Warszawa
20. www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Wnioski:
Nowe PDC musi zostad wybudowane „od zera” – obiekt dedykowany pod ośrodek
przetwarzania danych
Standard niezawodności musi zostad podwyższony (więcej niż IBM Level 2) – na
podstawie wniosków z audytów „resilience”
20 •
2013-05-06
DatacenterDynamics 2013 Warszawa
21. www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeo:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
22. www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea,
konsekwentnie realizowany jest projekt konstrukcji nowego PDC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych
i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska – która już zdążyła wyrobid sobie odpowiednią
markę w Nordea (projekt DRC)
Umowa zostaje podpisana w 2010 roku
Na podstawie dotychczasowych doświadczeo obydwu partnerów i wiedzy IBM na
temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania
funkcjonalne i opracowane zostają projekty koncepcyjne
IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do
zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagao i standardów
22 •
2013-05-06
DatacenterDynamics 2013 Warszawa
23. www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC:
500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST
Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje:
Zabudowa zimnych korytarzy (sztywna):
6 rzędów, po 12 szaf w każdym rzędzie
dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów)
Przestrzeo pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie)
2 rzędy dla urządzeo wolnostojących (12 punktów montażowych na rząd)
Łącznie 12 rzędów po 12 punktów montażowych
Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego
oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki
sieciowe Cisco Nexus z extenderami)
W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW)
Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni)
23 •
2013-05-06
DatacenterDynamics 2013 Warszawa
24. www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.:
Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne
zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1)
Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji
i odbiorów budynkowych
2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny,
monitorowany zbiornik paliwa o pojemności 30 000 litrów
Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka
efektywnośd energetyczna
System CCTV, KD, BMS
24 •
2013-05-06
DatacenterDynamics 2013 Warszawa
25. www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.:
Dedykowany posterunek ochrony
Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea,
realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu
Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty:
Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy
obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime
Institute)
Zewnętrzne – w tym testy integracyjne IBM
Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen)
potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+
(według klasyfikacji IBM)
25 •
2013-05-06
DatacenterDynamics 2013 Warszawa
26. www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Ciekawostki:
Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji
Nordea, który pozwala zminimalizowad koszt energii elektrycznej w okresie
relokacji (niepełne obciążenie komory serwerowej)
Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku
(„stare PDC”)
Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy
1,4 ;-) – projekt zakładał min.: 1,6
26 •
2013-05-06
DatacenterDynamics 2013 Warszawa
32. www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeo:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
35. www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeo:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok