PCクラスタコンソーシアムの開催する PCCC21「『PCクラスタ』これからの10年」（設立20周年記念PCクラスタシンポジウム）会員展示として公開中のスライドです。 詳細は下記のWebサイトへお越しください。 ▽PCCC21「『PCクラスタ』これからの10年」（2021年12月8日～9日） https://www.pccluster.org/ja/event/pccc21/

1. mdx : データ科学, データ利活⽤の
ための情報基盤

2. mdxとは
▪ 9⼤学2研究所が共同運営し,
▪ 全国共同利⽤に供する,
▪ データ科学・データ駆動科学・データ活⽤応⽤にフォーカスした
▪ ⾼性能仮想化環境 https://mdx.jp/
▪ @ 東京⼤学柏IIキャンパス
▪ 2021/9/22〜利⽤可能な状態
2

3. ねらい
3
⽤途に応じてオンデマンドで短時間に構築・拡張・融合できる、データ収集・集積・解析
機能を提供するプラットホーム
３本柱
異種データ・異種知識の融合活⽤の推進と利⽤者⽀援
⾼性能計算環境によるデータ科学と計算科学の融合
SINETを活かしたリアルタイム収集・集積・解析環境の動的な構築
遠隔地のセンサーやストレージ、データプラットフォームの計算資源、ストレージをつないで、リアルタイムに⼊⼒から出
⼒を得られるアプリケーションごとの収集・集積・解析環境（仮想データプラットフォーム︓仮想DP）を、使いたいときに
即時に構築する
SINETモバイル基盤によりセンサー等のデータを安定してセキュアにつなぐ
データ科学、計算科学の⼿法を融合し、さらに国内最⾼の計算環境を⽤いて他に無い⾼精度の予測を⾏えるようにする
様々な分野のデータ保持者、解析者、利⽤者が産学にまたがって連携するコミュニティーを形成し、新たな価値創造につなげる。
データ活⽤を⽬指す利⽤者へのコンサルティングや開発⽀援を実施する。

4. mdxハードウェアスペック
4
汎⽤CPUノード
Ice Lake 2 x 368ノード
総理論演算性能(倍精度)︓2.1PFLOPS
総メモリバンド幅︓150.7TByte/秒
x368
1.0PB 16.3PB 10.3PB
対外接続ルータ (Ethernet 100Gbps)
Ethernetネットワーク (100GbE/25GbE)
演算加速GPUノード
NVIDIA A100 x 8 x 40ノード
総理論演算性能(倍精度)︓6.4PFLOPS
総理論演算性能(半精度)︓100.7PFLOPS
総メモリバンド幅︓496.3TByte/秒
⾼速NVMeストレージ
Lustreファイルシステム
1.0PB (NVMe SSD)
252GByte/秒
⼤容量HDDストレージ
Lustre並列ファイルシステム
16.3PB
157.5GByte/秒
外部共有オブジェクトストレージ
S3 Data Service
10.3PB
63.0 GByte/秒
x40
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)

5. これまでの（⼤学・研究機関の）マシンとの違い
▪ これまで（» いわゆるスーパーコ
ンピュータ）
▪ 管理者が定める単⼀の環境
5
テナントD
C
テナントA B
これまでのほとんどのシステム
▪ mdx : 仮想化された⾼性能環境
▪ 分野、グループごとに異なる環境

6. 仮想化環境
6
x368
1.0PB 16.3PB 10.3PB
対外接続ルータ (Ethernet 100Gbps)
Ethernetネットワーク (100GbE/25GbE)
x40
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)
▪ 利⽤グループごとに占有環境(テナン
ト)を提供可能(VMware)
▪ テナント = 仮想マシン + 専⽤ネット
ワーク (VPN)
閉じられたネットワーク(VPN)、サ
ブネット、外から到達可能な専⽤
Global IPアドレスを割り当て
仮想マシン
産総研の協⼒(IPアドレス貸出)に
より実現

7. 仮想化の意義 (これまでのスパコンとの違い)
1. ホスト設定の柔軟性
▪ ホストを (管理者権限で) ⾃由に設定可能
2. ネットワークの柔軟性
▪ プロジェクトごとにACL設定可能・VLAN延伸可能
▪ Þ SINET L2オンデマンドやモバイルSINETとの連携
3. セキュリティ (分離) に敏感なプロジェクトのホスト
▪ 共有環境にデータを置くことの懸念のあるプロジェクトで利⽤可能（性
が⾼い）
4. （似たシステムが普及すれば）環境の互換性・可搬性を⾼められる
▪ 仮想マシンテンプレート
▪ Software Defined Environment
7

8. USの状況も似ている
▪ Ian Foster, Daniel Lopresti, Bill Gropp, Mark D. Hill,
Katie Schuman. “A National Discovery Cloud:
Preparing the US for Global Competitiveness in the
New Era of 21st Century Digital Transformation”
▪ 2021 Apr https://arxiv.org/abs/2104.06953
▪ The need for national discovery cloud:
“… DOE and NSF supercomputers provide access to
powerful simulation capabilities, but with access limited to
small communities. With a few notable exceptions, AI-ready
datasets for research use are lacking. Commercial clouds are
accessible to anyone with a credit card, but there is little of
the coordination needed to create nationally useful discovery
cloud services.”
8

9. 様々な利⽤者層（深度）イメージ
10
通りすがり利⽤
（»Jupyter, Colab, Kaggle）
ひとり利⽤
なかま利⽤
コミュニティ環境構築
データプラットフォーム構築
あ
っ
さ
り
ど
っ
ぷ
り
• 既定環境をブラウザなどでアクセス
• Jupyter, GPU, 機械学習フレームワーク
• ポータルから⾃分で仮想マシン⽴ち上げ
• ⾃由にカスタマイズ
• グループ代表が仮想マシンを⽴ち上げ
• ⾃由にカスタマイズ
• 同じ環境やデータを複数ユーザで共有利⽤
• なかま利⽤の⼤規模化
• 分野ごとに必要なソフトやデータをその分野
の専⾨家（グループ）が共同設計・維持
• 新しい基盤ソフトやデータ、コミュニティの
ハブが⽣まれる取り組み
• 分野を先導するデータの収集、整備、維持
を⾏い、データポータル、解析環境、サー
ビスをコミュニティに提供する
• 分野間の連携にも発展しうる取り組み

10. mdxを通じた成果創出をサポートする体制
▪ 利⽤サポート
▪ いわゆる問い合わせ窓⼝
▪ コミュニティchat（slack, …）
▪ ⾼度利⽤アドバイス〜共同研究・開発
▪ 運営組織のメンバーがプロジェクト（グループ）に参加
▪ 研究・開発提案募集（共同研究体制）
▪ 意義のある研究や開発の提案を募集
▪ 採択された取り組みにmdx資源（利⽤負担⾦）と（計算機
利⽤にとどまらない）専⾨的知⾒を提供
11

11. ⾼付加価値 気象データプラットフォーム
12
JST共創の場 地域気象データと先端科学による戦略的社会共創拠点 ClimCORE
PL、スライド提供: 先端研 中村尚先⽣
データプラットフォーム構築

12. 医療リアルワールドデータ解析プラットフォーム
13
PL, スライド提供: 東京⼤学薬学系ITヘルスケアセンター 清⽔央⼦先⽣
データプラットフォーム構築

13. • ⾼性能計算機(*)
スパコン性能：25
PFLOPS
• ⼤容量データストレージ(*)
26 PB
• ⾼速ネットワーク
SINET 5
mdx: データ活⽤社会創成
プラットフォーム
（*スーパーコンピューター：
Oakforest-
PACS）
ナノ⼯学研究セン
ター
微細構造解析PF
・先端ナノ計測
・研究開発・⽀援
・データ創出
情報基盤センター mdx
微細加⼯PF
・先端デバイス加⼯
・研究開発・⽀援
・データ創出
情報基盤センター
・データ管理・構造化
・データ利活⽤
・データ⼈材育成
武⽥先端知
スーパークリーンルー
ム
マテリアル先端リサーチインフラ（ハブ）
代表、スライド提供: ナノ⼯学研究センター 幾原雄⼀先⽣ 14

14. 第⼀歩: Gakunin RDMとの連携
15
Storage
対外接続ルータ
(Ethernet 100Gbps)
Ethernetネットワーク (100GbE/25GbE)
RDMA/ストレージ/仮想ディスクストレージネットワーク (100GbE、RDMA通信⽤)
▪ 1. mdxのオブジェクトストレージと連携
▪ 2. BinderHubを⽤いたストレージ-計
算機の連携
▪ 3. 内部⼤容量ストレージ（Unixファ
イルシステム）との連携

15. 将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携
▪ 将来的には多数の⼤学の共同利⽤マ
シンがGakunin RDMと接続
▪ ⼤規模データの共有〜直接処理までを迅
速にできる環境
16
Storage
〇〇⼤学□□
△△⼤学●●
◎◎⼤学◆◆
▲▲⼤学☆☆
…

16. 将来像 (mdxの先)
NIIと情報基盤センター群のマシン間連携
17
Storage
〇〇⼤学□□
△△⼤学●●
◎◎⼤学◆◆
▲▲⼤学☆☆
…
▪ ⼤学をまたがった⼤規模データ処理を
SINET 6経由で⾼速に、透明にできる環境
▪ 要開発・研究