VIOPS08: 大規模システムの運用管理 ～HPCでの経験を踏まえて～ 株式会社富士通研究所 中島耕太 2013年7月19日(金曜日)10：00-18：00 VIOPS08 WORKSHOP Virtualized Infrastructures Workshop [08]

1. Copyright 2013 FUJITSU LABORATORIES LIMITED
大規模システムの運用管理
～HPCでの経験を踏まえて～
2013.7.19
(株)富士通研究所
中島 耕太
※本資料における会社名及び製品名は、各社の登録商標または商標です。

2. Copyright 2013 FUJITSU LABORATORIES LIMITED
 HPCシステムに関する研究開発に従事
InfiniBandネットワーク管理機構を開発
IAサーバクラスタシステムが対象
 クラウド向けInfiniBand利用にも興味
自己紹介
数1,000台のサーバをInfiniBandで接続
 大規模システムでのジョブ(アプリ)管理
 大規模InfiniBandネットワークの管理
 大規模システムのインストール
1

3. ジョブ(アプリ)管理
 大規模クラスタシステム
全体を一つとして使うのは稀: ベンチマーク時くらい
部分を切り出してジョブに割り当てて使用
 HPCシステムでのジョブ管理
ジョブ：複数サーバを同時に利用して走行
基本はバッチ処理
 レストランの座席配置問題
少人数のお客さんを先に通してしまうと団体客をい
つまでも入れられない
Copyright 2013 FUJITSU LABORATORIES LIMITED2

4. ジョブスケジューラ
 リソースの量と使用時間を管理
 大きなジョブの投入可能
 柔軟に順序の入れ替えを実施
Copyright 2013 FUJITSU LABORATORIES LIMITED
時間
リソース
(ノード数)
上限
1
2
4
5
3 6
7
空きリソースを効率よく利用可能
使用時間
使用ノード数 ※ 数字は投入順(実行優先度)
3

5. ジョブスケジューラの効果
Copyright 2013 FUJITSU LABORATORIES LIMITED
(出展: 宇治橋他、計算センタ高稼働率とジョブ待機時間短縮を実現するジョブスケジューラ, 情報処理学会第72回全国大会, 2010)
待ちジョブ数を大幅に削減
 理化学研究所様での事例に基づく検証
4

6. InfiniBandのネットワーク管理
 集中制御のアプローチ: OpenFlowに近い
リンクアップ/ダウンを通知
SMがこれを制御
Copyright 2013 FUJITSU LABORATORIES LIMITED
IB-SW
Subnet
Manager
IB-SW
IB-SW
制御
(接続受け入れ)
制御
制御
Trap
Trap
Trap 新規接続
5

7. IBネットワーク運用
 最低限のツール群はそろっている
OpenSM, ibnetdiscover, ibtracert等
SMのログやツールを組み合わせれば管理可能
 簡単に管理するには工夫が必要
簡単管理ツールを自作
Mellanox/Intel製のファブリック管理ソフトを利用
Copyright 2013 FUJITSU LABORATORIES LIMITED
自力でSMを実装することも可能
(頑張れば)なんでもできる
6

8. 大規模インストール
 1,000台のサーバにOSをインストール
一台ずつ手作業でインストール
 どうやって1,000台サーバに配るか？
Copyright 2010 FUJITSU LIMITED
OSイメージの配布ツールが必要
ボトルネック
7

9. バケツリレー方式
 イメージのブロックをバケツリレーで転送
MPI Bcastでも利用、大きなデータの配布に有利
 信頼性の担保に工夫(努力)
Copyright 2010 FUJITSU LIMITED
ギガビットイーサでも1GBを1分以内で配布
8

10. Copyright 2013 FUJITSU LABORATORIES LIMITED
 大規模システムでのジョブ(アプリ)管理
 バッチ処理の管理には実績あり
 データセンタでのバッチ処理管理には適用可
 完了時間が見積もれないものは制御しづらい
 InfiniBandネットワーク管理
 最小限のツールはある
 ツールを組み合わせてうまく管理する必要あり
 インストール
 1,000台規模になると信頼性も大きく低下
 性能と信頼性を両立させるには努力が必要
現状と課題
9

11. Copyright 2013 FUJITSU LABORATORIES LIMITED10