Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a Onet barcamp 4 - Cloud Storage
Semelhante a Onet barcamp 4 - Cloud Storage (20)
Onet barcamp 4 - Cloud Storage
- 1. czyli gdzie są moje pliki? 1
- 2. • >1 000 serwerów • >100 000 połączeń • >1 000 000 użytkowników • >100 000 000 małych plików („obrazki”) 2
- 3. HISTORIA / ZARYS Od mainframe’ów do chmury 3
- 4. Mainframe Wszystkie usługi na jednej mocnej maszynie www mail ftp dns 4
- 8. Wydajność NAS Controler Controler RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 nfs smb iscsi 8
- 10. Od najdroższych… Controler Controler RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 µControler µControler µControler µControler 10
- 11. … do wszystkiego Controler Controler 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 11
- 12. Sprzęt… 12
- 13. … i software • Rozpraszanie danych • Skalowalność • Odporność na awarie • Brak punktów centralnych 13
- 15. Mapa Data Center #1 RządC Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa RządB Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa RządA Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer Serwer Serwer Serwer Serwer Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer Serwer Serwer Serwer Serwer Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 15
- 16. Data Center #1 Rząd A Serwer Szafa 1 Mapa Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer Szafa 2 Szafa 3 16
- 17. Algorytm CRUSH CRUSH (fragment_pliku, mapa) -> dyskA, dyskB, dyskC Plik dysk10 dysk11 dysk12 dysk7 dysk8 dysk9 dysk4 dysk5 dysk6 dysk1 dysk2 dysk3 17
- 18. Awaria CRUSH (fragment_pliku, nowa_mapa) -> dyskA, dyskB, dyskD Plik dysk10 dysk11 dysk12 dysk7 dysk8 dysk9 dysk4 dysk5 dysk6 dysk1 dysk2 dysk3 18
- 19. Data Center #1 Rząd A Serwer Szafa 1 3 x kopie danych Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer Szafa 2 Szafa 3 KOPIA #1 KOPIA #2 3x KOPIA #3 19
- 20. Usługi Swift 20
- 21. 21 CEPH W ONET czyli nasze doświadczenia
- 22. Nasze klastry 22
- 23. Doświadczenia • > 1 000 000 plików => sharding • Synchronizacja DC • Automatyzacja • Problemy z rozkładem • Wolne "zbieranie się konsystencji„ 23
- 24. http://commons.wikimedia.org/wiki/File:Berlin_Alexanderplatz_construction_cranes.jpg BUDUJEMY NADAL… … bo nam ciągle mało :-) 24
- 25. Rozwój • Spójne, duże klastry • Nowy sprzęt • Testy wydajności • Nowe usługi • SLA i QoS • Migracja Video - wyzwanie 25
- 27. Podsumowanie • Wyzwaniem jest wydajność (IOPS), a nie pojemność • Macierze NAS są drogie i słabo się skalują • Alternatywą jest storage rozproszony • CEPH to przykład takiego systemu • W Onet używamy go produkcyjnie • I nadal rozwijamy nasze klastry
- 28. 28
Notas do Editor
- Porozmawiamy o najnowocześniejszych systemach storageowych w kontekście naszych rozwiązań chmurowych Tytułowe pytanie będzie trudne
- Zacznijmy od skali Onetu i naszych wyznwań – w tle widzimy tłum naszych użytkowników Jak widać z powyższych statystyk wyzwaniem będzie nie zapewnienie pojemności Ale odpowiedniej ilości jednoczesnych operacji wejścia wyjścia, czyli IOPSów Będziemy rozmawiać nie o petabajtach danych, ale np. o tysiącach obrazków do podania na sekundę
- Pojedyncze superserwery Bardzo mocne maszyny Bardzo drogie Bardzo trudne do skalowania – wąskie gardła
- Dane na wspólnym systemie storage’owym Storage realizowany przez macierze dyskowe Im większe macierze tym droższe
- Prawdziwa chmura Onetu, setki fizycznych, tysięce wirtualnych, ciągle rotujących się Chmura z prawdziwego zdarzenia. Storage dla takiej ilości równolegle działających maszyn?
- Klasyczne rozwiązanie z sektora enterprise – droga, wszystko mająca macierz NAS, czyli Network Attached Storage Jedna to za mało do redundancji, więc kupujemy kolejną. potem kolejne do zapasowej serwerowni
- Mamy półki / macierz RAID, z dyskami, Mamy kontrolery udostępniające usługi sieciowe oraz switche, Wszystko razem połączone i udostępniające dane użytkownikom Możemy zabić się na wydajności sieci, kontrolerów, pojemności i wydajności półek i połączeń do nich Rozwiązanie drogie i źle skalujące się - odpowiednik mainframe’ów
- Rozwiązanie? Zróbmy to samo co z mainframe’ami – rozproszmy storage między mniejsze urządzania
- Wyrzucamy mega drogie kontrolery I zamiast nich dorzucamy mniejsze kontrolery, powiedzmy takie mikro, tansze, ale w wiekszej ilosci I przepinamy do nich nasze macierze
- W ogóle wyrzucamy kontrolery Zamiast tego dokładamy urządzeń z dyskami Tylko to już nie mogą być zwykłe RAIDy, bo muszą mieć rozproszoną logikę kontrolera
- Bierzemy zwykły serwer PC, stosunkowo tani, z pewną liczbą dysków Dorzucamy mu kolegów, dorzucamy switche już teraz widać, że będzie się to skalowało w pionie i poziomie
- Teraz potrzebujemy oprogramowania, które musi spełniać nasze założenia Pierwsze było GoogleFS Jest wiele rozwiązań na rynku, my wybraliśmy open-sourceowego Cepha Podobnie jak np. CERN i Deutsche Telekom, a ostatnio firmę produkującą CEPHa kupił RedHat
- No dobrze, ale jak to działa?
- W tle zdjęcie prawdziwej serwerowni Onetu Jedna komora składa się z rzędów, rzędy z szaf W szafach są zamontowane serwery, a w nich dziesiątki dysków Taką mapę przekazujemy w konfiguracji CEPHowi
- Powtórzmy – mapa przedstawia aktualną strukturę sprzętową serwerowni
- Algorytm crush pozwala odnajdować dane (fragmenty plików) na dyskach na podstawie mapy Dla każdego fragmentu pliku, pozwala na podstawie aktualnej mapy określić dyski na których jest przechowywany (tutaj trzy) Dzięki podziałowi na mniejsze fragmenty duże pliki są równomiernie rozłożone na wielu dyskach –> jednoczesny zapis i odczyt z wielu maszyn
- W razie awarii otrzymujemy nową mapę i algorytm wyznacza nowy trzeci dysk, na który przepinani są klienci i jednocześnie na który automatycznie migrowane są dane
- Mapa określa również ilość kopii Domyślnie na każdym poziomie jest jedna kopia Ale możemy na przykład nakazać trzymać trzy niezależne kopie danych na poziomie szaf
- Filesystem do zamontowania Urządzenie blokowe - wirtualny dysk, który możemy sformowatować dowolnym formatem, np. NTFSem z Windows I na końcu najważniejsze – obiekty, do których możemy się dostać przez RESTful API S3 (Standard Amazon) i Swift (Standard Openstack)
- Zaczęliśmy od PoCa, teraz mamy 2 x 2 klastry produkcyjne i dodatkową kopię danych w AMZ OCDN – większość obrazków onetu oraz OnetDysk Ten pierwszy na dyskach SAS, bo baliśmy się troszkę wydajności, drugi z dużo tanszymi dyskami SATA To były pierwsze przymiarki do technologii, aby zdobyć doświadczenia
- I je zdobyliśmy…