How to change 20 00000 PLN into 24 masts and 40 LTE BTSs? Practical case study based on building networks in West Pomerian Poland

1. PLNOG 15
Kraków, 28-29 września, 2015
Jak przekształcić 20 mln zł w 24 maszty i 40 stacji
bazowych LTE?
Praktyczne doświadczenia z budowy sieci w
Zachodniopomorskiem

2. ● Ponad 30 tysięcy usług w oparciu o Ethernet (FTTB i FFTH, Wimax,
LMDS)
● ISP od 1997r.
● integrator systemów IT
● dostawca usług
cyfrowych Triple Play:
o Internet
o IPTV
o VoIP
Espol Sp. z o. o. - kilka słów o firmie

3. ● Szczecin, Koszalin,
Gorzów, Wałcz, Police,
Gryfino, Stargard,
Choszczno, Kołobrzeg,
Białogard itd…
● Espol posiada ponad
200km światłowodów
● LMDS, WIMAX 802.16e i
teraz LTE
● FTTB, FTTH, 10
GigabitEthernet, GPON,
ATM,
● 5 serwerowni, 1 NOC, 1
LAB,
● 12 x 10Gbps peering
exchange points
Infrastruktura

4. Wykonane projekty UE
● RPO 1.1.3 Wdrożenie innowacyjnej technologii mobilnego
bezprzewodowego dostępu do Internetu - WIMAX 802.16e - budżet: 4 mln PLN
● RPO 1.1.3 Inwestycja w innowacyjną sieć transmisji danych opartą na
technologii światłowodowej CWDM/DWDM na potrzeby rozwoju
Multimedialnej Platformy Telewizyjnej HDTV i usług telekomunikacyjnych
firmy Espol - budżet: 4 mln PLN
● RPO 1.1.3 Budowa innowacyjnej infrastruktury teleinformatycznej
umożliwiającej firmie Espol Sp. z o.o. świadczenie nowoczesnych usług
wykorzystujących technologię IPTV - budżet: 2 mln PLN

5. Historia zdarzeń
● 2008/2009 - wygrywamy przetarg na częstotliwości 3.6-3.8GHz
● 2009 - zdobywamy dofinansowanie do projektu (Wimax802.16e)
● 2009/2010 - testy systemu Wimax
● 2010.10 - pierwsza stacja bazowa (Stargard) i pierwsi klienci komercyjni
● 2010/2011 - Wygrywamy 3 projekty POIG 8.4 (Wimax.802.16e)
● 2011 - 12 nowych stacji bazowych: Szczecin, Pyrzyce, Białogard,
Koszalin, Gryfino, Drawsko Pomorskie, Złocieniec, Wałcz, Chojna
● 2012/2013 - Testujemy technologie LTE
● 2013 - Zmieniamy technologie w dwóch projektach na LTE
● 2014.10 - Początek budowy wież w projektach POIG
● 2015.02 - Mamy wybudowane 18 szt wież.
● 2015.05 - Zmieniamy technologie w pierwszym projekcie POIG na LTE
● 2015.06 - Kończymy projekty POIG (24 wieże)

6. Projekt Wimax
● 13 stacji bazowych
● około 2500 klientów, ponad 4000 usług
● ~500 miejscowości z instalacjami
● ratio podłączeń: 70/30 (większość podpisanych umów jest
finalizowana skutecznym podłączeniem)

7. Stan projektu Wimax

8. ● maksymalnie mieliśmy 150 użytkowników
● obecnie poziomy schodzą poniżej 100
Ilość klientów na sektorze

9. ● POIG nr 081 - Internetyzacja województwa zachodniopomorskiego poprzez
zapewnienie użytkownikom szerokopasmowego dostępu do Internetu -
budżet: 6,5 mln PLN
● POIG nr 496 - Zapewnienie mieszkańcom powiatu gryfińskiego,
myśliborskiego i drawskiego szerokopasmowego dostępu do Internetu -
budżet: 4,5 mln PLN
● POIG nr 497 - Zapewnienie mieszkańcom powiatu stargardzkiego,
pyrzyckiego i drawskiego szerokopasmowego dostępu do Internetu - budżet:
4,5 mln PLN
Projekty POIG 8.4

10. ● Niestety TAK
● Brak ekspertów lub pseudo-eksperci:
○ operatorzy komórkowi maja problem z wdrożeniem technologi
○ mobilność
○ szerokość kanału (jak tylko 10 MHz to nic się nie zmieni)
○ opóźnienia
● Nie wolno się kontaktować/rozmawiać
Czy wdrażając technologie nowej generacji trzeba
pół roku czekać na zgodę WWPE?

11. WiMax a LTE

12. LTE / Wimax
LTE - Plusy
● podział pasma dla klienta
● uwalnianie zasobów radiowych
przy braku ruchu
● szersze kanały
● zysk na przepływności, ale
tylko po zwiększeniu
szerokości kanału do 20MHz
● niskie opóźnienia
● ciągły rozwój technologi
● terminal może wykorzystać
pełną przepływność sektora
Wimax - Plusy
● dużo lepsze działanie NLOS
● bardzo stabilne działanie
● rozwiązanie tańsze w
implementacji
● posiadamy linki działające
na ponad 35 km

13. ● długoterminowy rozwój technologi
● powszechność technologi a co za tym idzie niższe ceny terminali
● wprowadzenie łączenia kanałów z różnych podpasm - LTE-Adv
● dojrzałość technologii - wywodzi się z UMTS
● LTE to jedyna technologia radiowa uznana jako NGA
Dlaczego LTE?

14. Rozpoczęcie testów - czyli droga przez mękę
● Uruchomienie LTE powoduje rozłączenie terminali Wimax w okolicy
● Odstęp między kanałami LTE i Wimax min. 20 MHz
● Brak kompetenej osoby do pomocy
● Szokująca mnogość opcji konfiguracji

15. Jak działa LTE

16. LTE TDD - podział uplink - downlink

17. Internet - wie jednak wszystko - rozwiązanie
Tabela z niezgodności konfiguracji LTE/Wimax
Na początku w Airspanie nie można było zsynchonizować stacji Airspan
Wimax z Airspan LTE

18. Internet - wie jednak wszystko - rozwiązanie
Format ramek LTE i Wimax TDD

19. Testowanie rozwiązań
● stacja bazowa zamontowana w
Stargardzie
● powstaje znormalizowana procedura
testów, ta sama dla każdego dostawcy
● testy z ruchem IPTV (a dlaczego nie?),
VoIP i Internet
● testy w terenie, terminale w domach
pracowników i zaufanych klientów
● testy w firmowym laboratorium

20. Huawei
● najlepiej dopracowany software
● elastyczność konfiguracji
● konfiguracja stacji bazowej ze specjalnego oprogramowania oraz panelu
www
● bogata dokumentacja
● jeden model RRU obsługuje całe pasmo 3600-3800 MHz
● słabe wsparcie - helpdesk mający siedzibę za granicą nie zna wszystkich
produktów Huawei

21. ZTE
● Bardzo nietypowy sposób konfiguracji.
● Dużo parametrów hardcodowanych w softwarze.
● Trzeba zgłosić swoje potrzeby i wtedy z ZTE podsyłają odpowiednią
paczkę z softwarem
● Bardzo dobra współpraca bezpośrednio z inżynierami w Chinach
● Podział sektorów ZTE na podpasma 3,6 i 3,7, w praktyce ogranicza
możliwości zmian konfiguracyjnych. Wymaga zamiany/wymiany sprzętu

22. Airspan
● Podział sektorów Airspan na podpasma 3,6 i 3,7, w praktyce ogranicza
elastyczność zmian konfiguracyjnych. Wymaga zamiany/wymiany sprzętu
● Większość parametrów można konfigurować tylko z poziomu cli sektorów
● Dużo początkowych problemów z prawidłowym uruchomieniem stacji
● Najsłabsze wyniki w testach
● Uniwersalność rozwiązania Airspan Air4g-WL24, sektor jako WiMAX lub
LTE.

23. Finalna decyzja o wyborze producenta
● Huawei - w tamtym czasie był to jedyny w miarę dopracowany
system LTE dla pasma 3,6-3,8 GHz
● zastosowane rozwiązania z rynku operatorskiego
● stabilność pracy

24. Wdrożenie i pierwsze szkolenie
● A co to są te VLANy ? - jak coś odbiega od skryptu (instrukcji) to
zaczyna się problem
● Co to jest adresacja wewnętrzna/zewnętrzna (natowany/publiczny)
● Jak konfigurujemy urządzenia to bez switcha
● Serwer bez włączenia nie działa?
● Bardzo małe transfery
● BBU restartuje się co 5 minut

25. Szkolenie w Chinach
● zajęcia laboratoryjne -
laboratorium mają ale gorzej z
umiejętnościami i organizacją
zajęć praktycznych
● cały dzień na szkolenie z
terminali ;-)
● zmiany instruktorów pod
naszym naciskiem…
niekompetentni szkoleniowcy

26. Szkolenie w Chinach

27. Wdrożenie - terminacja IP
● system LTE pracuje tylko w L3, warstwa L2 jest realizowana przez
switche i radiolinie
● klienci są autoryzowani i terminowani przez EPC w oparciu o karty SIM
● serwer dostępowy tylko NATuje
● QoS jest realizowany przez eNodeB oraz Core
● ruch klientów niezależny od ruchu stacji bazowych
● 95% klientów ma adres
prywatny, statyczny adres
publiczny na życzenie
● adres publiczny
przydzielany dynamicznie

28. Wdrożenie - monitoring infrastruktury
● monitoring liczników (obciążenie radiowe, transfery) realizowany przez
system U2000 z eksportem do Cacti
● alarmy z U2000, przekazywanie do Nagios po SNMP
● elastyczny system filtrów
● zintegrowany system powiadomień na email i SMS
● brak możliwośći bezpośredniego ściągania parametrów i alarmów z
eNodeB i Core

29. Wdrożenie - transmisja i szkielet
● kanały 10MHz (planujemy przejście na 20 MHz)
● ruch w L2 przesyłany z każdej stacji do Szczecina
● CORE - Szczecin
● dzierżawimy łącza L2 od operatorów ogólnopolskich i
regionalnych
● stawiamy radiolinie - wybraliśmy system Ceragon IP-20 (ma
wbudowany metro-ethernet switch, możliwość rozbudowy do 1
Gb/s)
● realizacja ringów L2 protokłem ERPS
● budujemy przyłącza światłowodowe do stacji bazowych

30. Wdrożenie - transmisja i szkielet - ringi
● kolor czerwony:
transmisje L2 i
światłowody
● kolor zielony: łącza
radiowe
● w sieci mamy 8
ringów

31. Wdrożenie - transmisja i szkielet - mapa
● kolor pomarańczowy:
światłowody i
transmisje L2
● kolor zielony: łącza
radiowe

32. Wdrożenie - terminal Huawei eA660
● urządzenie z zasilaniem PoE
● Moc nadajnika 23 dBm
● IP67
● Podwójna antena kierunkowa
● Wzmocnienie: 16 dBi 3.6-3.8
GHz
● wbudowane WiFi
● TR-069 do zdalnego
zarządzania
● WWW do zarządzania lokalnego

33. Wdrożenie - inne terminale

34. Wdrożenie - terminale wewnętrzne

35. Wdrożenie - terminal naszej produkcji
Routerboard RB-912UAG + modem na miniPCIExpress

36. Wdrożenie - provisioning terminali
● wykorzystanie protokołu TR-069
● współpraca z firmą AVSYSTEM, wypracowanie systemu pozwalającego
na:
○ masową zmianę konfiguracji terminali
○ automatyczna weryfikacja parametrów terminali masowy upgrade
terminali
○ monitoring parametrów i zapisywanie do historii
○

37. Stan projektu
• 40 uruchomionych stacji bazowych
• prawie 1000 klientów, prawie 200 miesięcznie
• kolejne 10 SB w trakcie pozyskiwania lokalizacji i instalacji
• ratio podłączeń: 60/40 (większość podpisanych umów jest
finalizowana skutecznym podłączeniem)

38. Mapa projektu Wimax - Zachodniopomorskie

39. Mapa projektu LTE - Zachodniopomorskie

40. Mapa projektu LTE/Wimax - Zachodniopomorskie

41. ESPOL LTE CORE
● One 14U Core Network
● Max. 1500 Base Station
● Max. 200,000 users,
● 40Gbps
Large-scale network

42. BBU
RRU
LTE
CPE
CPE
BBU
RRU
CPE CPE
LTE
Core Network
Interoperability
eCNS600
BBU
RRU
LTE
CPE CPE
BBU
RRU
S1-U
S1-MME
Transmission
Layer II or
Layer III
ISP 1
ISP 2
ISP n
S1-U
S1-MME
Transmission
Layer II or
Layer III
S1-U
S1-M
M
E
CORE - Sharing

43. CORE - VRF (Virtual Routing and Forwarding)
● Niezależne wirtualne routery
● Osobne tablice routingu
● Niezależne adresacje ip
● Niezależne instancje OSPF
● Adresy ip abonentów mogą się powtarzać

44. CORE - Sharing
● ESPOL wynajmuje dostęp do
CORA dla innych operatorów
ISP
● ISP zmniejsza koszty wejścia
w technologię LTE
● ESPOL umożliwia wejście w
LTE bez posiadania
wykwalifikowanego personelu

45. Czy 5 cm robi różnice? ;-)
● uzgodnienie z lotnictwem wojskowym
● projekt zakłada wieżę o wysokości 49,95
metra
● dostajemy pierwsze uzgodnienia z
wymogami oświetlenia przeszkodowego
wraz z malowaniem.
● Tak to jest jak projektanci są z firmy
wykonawczej

46. DLiCP, PNB, PNU czyli walka z urzędnikami
● zabawa w przedszkolaka, czyli kolorowanie rysunków
● wieża potrzebuje opinii sanitarnej
● wydłużane procedury do ostatnich dni,
● przy bezobsługowej wieży potrzebne są kosze na śmieci i miejsca
parkingowe
● pomylone nazwisko w piśmie, 1 miesiąc dłuższe postępowanie
● nawet w jednym starostwie, i w jednym pokoju obowiązują różne
zasady

47. Budowa Wież
● 18 wież w 4 miesiące, kolejne 6 w następnych 4 miesiącach
● woda wstrzymuje prace, a mróz powoduje ruszenie z miejsca
● dzięki łagodnej zimie dajemy radę

48. Wdrożenie - budowa wież

49. Wdrożenie - stacje bazowe

50. Wdrożenie - stacje bazowe

51. Wdrożenie - stacje bazowe

52. Chińska myśl technologiczna :-)
● Terminal z bardzo dobrą anteną LTE,
oraz z WiFi - ma wyprowadzone
dodatkowe wtyki N - do czego ?
● Core - sterowanie ręczne (przecież
Chińczyków mamy dużo)
● Statystyki i Alarmy dostępne tylko w
U2000

53. Wdrożenie - instalacje u klientów

54. Kreatywne instalacje

55. Kreatywne instalacje

56. Kreatywne instalacje

57. Pytania?

58. Espol Sp. z o. o.
www.espol.com.pl
Jerzy Kosiedowski
jerzy.kosiedowski@espol.com.pl