Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2017年1月30日
1
ヤフー株式会社システム統括本部サイトオペレーション本部
インフラ技術3部 DCNW1 深澤開
Network for the Large-scale
Hadoop Cluster at Yahoo! JAPAN

自己紹介
2
 名前
 深澤開 (ふかざわかい)
 所属
 データ&サイエンスソリューション統括本部
データプラットフォーム本部開発2部
 システム統括本部
サイトオペレーション本部インフラ技術3部 (兼務)
 業務
 全社Hadoopの設計・構築・運用
 データセンター内ネットワークの設計・構築・運用
 マイブーム
 ジム通い / ランニング

アジェンダ
3
Hadoop概要
HadoopとNetwork
Yahoo! JAPANのHadoop Network変遷
今までのNetworkの障害・問題と解決
 今までのNetworkの障害・問題
 新クラスタでのNetwork要件
Yahoo! JAPANのIP CLOS Network
 構成
 Hadoopによるパフォーマンステスト
 新たな問題
Future Plan

Hadoop概要

Hadoop 概要
5
オープンソースの大規模な分散処理ミドルウェア

Hadoop 概要
6
オープンソースの大規模な分散処理ミドルウェア
1. HDFS (Hadoop Distributed File System)
2. YARN (Yet-Another-Resource-Negotiator)

Hadoop 概要
7
 HDFS
 Hadoop の分散ファイルシステム
 ファイルをブロック単位に分割して保存
 レプリケーションを作成して保存
 デフォルトで3レプリケーション
 デーモン
 Master : NameNode
 Slave : DataNode

Hadoop 概要
8
 HDFS  HDFS上のメタデータの管理
 DataNodeの状態管理
 ブロックデータの保存
“HDFS Architecture“. Apache Hadoop.
http://hadoop.apache.org/docs/current/hadoop-project-
dist/hadoop-hdfs/HdfsDesign.html. (01/17/2017).

Hadoop 概要
9
 YARN
 ジョブスケジューリングおよび
クラスタリソース管理のためのフレームワーク
 様々な分散処理が実行可能
 MapReduce / Tez / Spark
 デーモン
 Master : ResourceManager
 Slave : NodeManager

Hadoop 概要
10
 YARN NodeManagar の状態管理
アプリケーションの状況把握
処理ノードのリソース管理
アプリケーションの管理
アプリケーションの実行
“Apache Hadoop YARN“. Apache Hadoop.
http://hadoop.apache.org/docs/current/hadoop-
yarn/hadoop-yarn-site/YARN.html. (01/17/2017).

HadoopとNetwork

HadoopとNetwork
HDFS
DataNode A NameNode
DataNode A,B,C
DataNode BDataNode C
Block
File

HadoopとNetwork
HDFS
DataNode A
NameNode
DataNode BDataNode CDataNode D
HeartBeat

HadoopとNetwork
HDFS
DataNodeA
NameNode
DataNodeBDataNodeCDataNodeD
HeartBeat
障害を起こしたノードが
持っていたデータ量の分だけ
トラフィックが発生する
(1ノードあたり30TB)

HadoopとNetwork
16
HDFS

HadoopとNetwork
17
HDFS

HadoopとNetwork
18
HDFS

HadoopとNetwork
19
HDFS 1ラック分(30TB*20ノード)のデータの内層トラフィックが発生する

HadoopとNetwork
20
YARN (リソースに余裕がある場合)
Map
Map
Map
Map
Reduce
Reduce
Shuffle
基本的に
データがある
ノードで処理

HadoopとNetwork
21
Map
Map
Map
Map
Reduce
Reduce
Shuffle
基本的に
データがある
ノードで処理

HadoopとNetwork
22
Map
Map
Map
Map
Reduce
Reduce
Shuffle
基本的に
データがある
ノードで処理
Suffle フェーズでノード間の通信が発生する

HadoopとNetwork
Map
Map
Map
Reduce
Reduce
Map
YARN (リソースに空きがない場合)
Shuffle
データのない
ノードで処理が
実行されるため
データ転送が
発生する
23

HadoopとNetwork
Map
Map
Map
Reduce
Reduce
Map
Shuffle
データのない
データ転送が
発生する
24

HadoopとNetwork
Map
Map
Map
Reduce
Reduce
Map
Shuffle
データのない
データ転送が
発生する
Shuffle フェーズだけでなく
Mapの段階でもノード間の通信が発生する
25

HadoopとNetwork
26
High
Low
Hadoop ではデータのレプリケーションや再配置、
集計処理の中でデータの転送が多く行われる
North/South (縦方向)ではなく
East/West (横方向) の通信がメイン
大規模なHadoopになると
より多くのラック間通信が発生する

HadoopとNetwork
27
“Introduction to Facebook‘s data center fabric”. (11/14/2014). Retrieved
https://www.youtube.com/watch?v=mLEawo6OzFM. (01/17/2017).

28
 Oversubscription
 求められる帯域と実際に利用できる帯域の比率
Oversubscription
40 : 10 = 4 : 1
“Hadoop オペレーション Eric Sammer 著、玉川竜司訳 (O’Reilly). Copyright 2013 Eric Sammer, 978-4873116525.”
HadoopとNetwork
10Gbps
1Gbps NIC 40Nodes
= 40Gbps

Yahoo! JAPANの
Hadoop Network変遷

30
0
10
20
30
40
50
60
70
80
Cluster1
(Jun. 2011)
Cluster2
(Jan. 2013)
Cluster3
(Apr. 2014)
Cluster4
(Dec. 2015)
Cluster5
(Jun. 2016)
PB Cluster Volume
Yahoo! JAPANのHadoop Network変遷

31
20Gbps
Cluster1
Stack 構成
Nodes/Rack 90Nodes
Server NIC 1Gbps
UpLink 20Gbps
Oversubscription 4.5 : 1

32
20Gbps
Cluster1
Stack 構成
Nodes/Rack 90Nodes
Server NIC 1Gbps
UpLink 20Gbps
4スイッチ/Stack

33
20Gbps
Cluster1
Stack 構成
Nodes/Rack 90Nodes
Server NIC 1Gbps
UpLink 20Gbps
Stack構成を組める
スイッチ数の限界

34
…
Cluster2
Spanning Tree Protocol
Nodes/Rack 40Nodes
Server NIC 1Gbps
UpLink 10Gbps
Oversubscription 4 : 110Gbps

35
…
Cluster2
Spanning Tree Protocol
Nodes/Rack 40Nodes
Server NIC 1Gbps
UpLink 10Gbps
Oversubscription 4 : 1Blocking

36
L2 Fabric/Channel
Nodes/Rack 40Nodes
Server NIC 1Gbps
UpLink 20Gbps
Oversubscription 2 : 1
L2 Fabric
…
Cluster3
20Gbps 20Gbps

37
L2 Fabric/Channel
Nodes/Rack 16Nodes
Server NIC 10Gbps
UpLink 80Gbps
Oversubscription 2 : 1
L2 Fabric
…
80Gbps 80Gbps
Cluster4

38
Release Volume #Nodes/Switch NIC Oversubscription
Jun. 2011 3PByte 90 1Gbps 4.5:1
Jan. 2013 20PByte 40 1Gbps 4:1
Apr. 2014 38PByte 40 1Gbps 2:1
Dec. 2015 58PByte 16 10Gbps 2:1

今までのNetworkの
障害・問題と解決

今までのNetworkの障害・問題
40
Stack構成でのスイッチ障害
BUM Trafficによるスイッチへの負荷
スケールアウトの限界
サービスアウト処理の制限

41
 Stackを組んでいるスイッチのうち
1台に障害が発生
 一緒にStackを組んでいる
他のスイッチにも影響
 5ラック分(90台)のノードが
通信不能となる
 計算リソースが不足し、
処理停止に繋がる
Stack構成でのスイッチ障害

42
L2 Fabric
… …
4400Nodes
 サーバからのARPによるトラフィックが
原因でコアスイッチのCPUが高騰
 サーバ側のARPエントリの
保持時間を調整
 ネットワークアドレスが大きいことで
発生した問題
BUM Trafficによるスイッチへの負荷

43
 Stack
 最大で10台程度
 L2 Fabric
 シャーシの数に依存
スケールアウトの限界

44
サービスアウト処理の制限
 UpLinkの帯域によるDataNodeの
サービスアウト処理の制限
 ジョブに影響を与えない台数での
サービスアウト作業を実施

新クラスタのNetworkの要件
45
要件 (2015年春頃)
120〜200ラック
10000台規模までスケールアウト可能
1ラックあたりのアップリンク 100~200Gbps
サーバのNICは10Gbps
1ラック20台弱
場所はUS DC

46
これらの問題を解決するために

47
これらの問題を解決するために
IP CLOS Network を採用しました

IP CLOS Network の採用
48
Google, Facebook, Amazon, Yahoo…
OTT(Over The Top)が採用している
DCネットワーク構成
“Introducing data center fabric, the next-generation Facebook data center network”. Facebook
Code. https://code.facebook.com/posts/360346274145943/introducing-data-center-fabric-the-
next-generation-facebook-data-center-network/. (10/06/2016).

49
East-West Traffic 増大に対応
スケーラビリティの向上
ボックススイッチのみであればいくらでもスケール可能
可用性の向上
Spineやアップリンクなど落ちても問題ない構成に
運用コストの低減
OSPF,BGPなど一般的な構成なので、
どんな会社のものでもOK
IP CLOS Network の採用

Yahoo! JAPAN の
IP CLOS Network

51
・・・
・・
・・・
・・
・・・
・・
・・・
・・
・・・・・・・・・・・
Spine
Leaf
ToR
構成
ボックススイッチ構成
 いくらでもスケールアウト可能
 スイッチの数が増大する

52
・・・・・
Internet
Spine
Core
Router
Layer3
Layer2・・・・・
Leaf
構成

構成
53
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
・・・
・・Spine
Leaf

 なぜこうような構成にしたのか?
 管理するものを減らす
 IPアドレス、ケーブル、インターフェース、BGP Neighbor…..
 別の物理的制約
 フロアが1フロア限定
 シャーシ型の構成でも今回の要件は満たせる
 シャーシ型のコストの変化
 以前よりもポート単価が安くなった
構成

ECMP
Spine-Leaf間はBGP
55
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
BGP
構成

56
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
/31
/26 /27
構成
Spine-Leaf 間は /31
Leaf 配下は /26, /27

57
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
/31
/26 /27
構成
BUM Traffic の問題を解消

58
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
160Gbps
①
②
③
④
構成
Leaf Uplink 40Gbps x 4 = 160Gbps

59
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
①
②
③
④
構成
10Gbps NIC
20Nodes
160Gbps

60
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
160G
①
②
③
④
構成
200 : 160 = 1.25 : 1
10Gbps NIC
20Nodes

61
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
160G
①
②
③
④
構成
200 : 160 = 1.25 : 1
10Gbps NIC
20Nodes
サービスアウト処理の制限の解消

62
・・・・・
Internet
Spine
Core
Router
Layer3
Leaf
160G
①
②
③
④
構成
200 : 160 = 1.25 : 1
10Gbps NIC
20Nodes
UpLink の冗長化により耐障害性が向上

構成
63

構成
64
✔
✔
✔

65
Release Volume #Nodes/Switch NIC Oversubscription
Cluster1 3PByte 90 1Gbps 4.5:1
Cluster2 20PByte 40 1Gbps 4:1
Cluster5 75PByte 20 10Gbps 1.25:1

Hadoopによるパフォーマンステスト(5TB Terasort)
66

67
Hadoopによるパフォーマンステスト(40TB DistCp)

68
16Nodes/Rack
8Gbps/Node

69
16Nodes/Rack
8Gbps/Node
30Gbps x 4 = 120Gbps

70

71
A社 B社

72
A社 B社
メーカーによるパフォーマンス差
はほとんどない

新たな問題
73
 データ転送遅延
 アップリンク4本のうち1本でエラーパケットが発生
 この影響でデータ転送が遅延
Slow

74
“org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror”
Slow
新たな問題

75
“org.apache.hadoop.hdfs.server.datanode.DataNode: Slow BlockReceiver write packet to mirror”
Slow
新たな問題

76
 ラックを移動するとIPが変わる
 ラックごとにネットワークアドレスがついてる
 アクセスコントロールをIPアドレスでやっている
 移設ごとにACLを変更しないといけない
192.168.0.0/26 192.168.0.64/26
192.168.0.10 192.168.0.100
新たな問題

Future Plan

Future Plan
78
 データ転送に影響に対する対策
Error!

Future Plan
79
Error!
Auto Shutdown
 データ転送に影響に対する対策

Future Plan
80
 Erasure Coding の採用
striping
64kB
Originalrawdata

Future Plan
81
D6
striping
64kB
Originalrawdata
Raw data
D5D4D3D2D1

Future Plan
82
D6
striping
64kB
Originalrawdata
Parity
Raw data
D5D4D3D2D1
P3P2P1

Future Plan
83
D6
striping
64kB
Originalrawdata
Parity
Raw data
D5D4D3D2D1
P3P2P1
D6
D5
D4
D3
D2
D1 P1
P2
P3

Future Plan
84
D6
striping
64kB
Originalrawdata
Parity
Raw data
D5D4D3D2D1
P3P2P1
D6
D5
D4
D3
D2
D1 P1
P2
P3
Read

Future Plan
85
D6
striping
64kB
Originalrawdata
Parity
Raw data
D5D4D3D2D1
P3P2P1
D6
D5
D4
D3
D2
D1 P1
P2
P3
Read

Future Plan
86
D6
striping
64kB
Originalrawdata
Parity
Raw data
D5D4D3D2D1
P3P2P1
D6
D5
D4
D3
D2
D1 P1
P2
P3
Low Data Locality

Future Plan
87
・・・・・・・・・・・・
 様々なプラットフォームとの相互接続
… …
BOTTLENECK

Future Plan
88
・・・・・・・・・・・・・・
 コンピューティングとストレージの分離
: Storage Machine
: Computing Machine

ご清聴ありがとうございました

Appendix

Appendix
91
• JANOG38
• http://www.janog.gr.jp/meeting/janog38/program/clos
• Hadoop Summit Tokyo 2016
• http://www.slideshare.net/HadoopSummit/network-for-the-
largescale-hadoop-cluster-at-yahoo-japan

Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②

Semelhante a Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション② (20)

Mais de Yahoo!デベロッパーネットワーク

Mais de Yahoo!デベロッパーネットワーク (20)

Último

Último (7)

Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②