Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Ia20120118 sekiya
Semelhante a Ia20120118 sekiya (20)
Mais de Keisuke Ishibashi
Mais de Keisuke Ishibashi (12)
Ia20120118 sekiya
- 1. IEICE IA Workshop @ WAKAYAMA 12/01/18 広域分散クラウドへの挑戦と課題 関⾕谷 勇司 東京⼤大学 情報基盤センター / WIDE Project sekiya@nc.u-tokyo.ac.jp / sekiya@wide.ad.jp 1
- 2. IEICE IA Workshop @ WAKAYAMA 12/01/18 背景と概要 クラウドコンピューティング キーワード アーキテクチャ サービス 今までと違ったクラウドならではの構築・運⽤用の問題点 個々の技術のインテグレーション 「クラウド」ならではの運⽤用技術が必要となるはず 広域分散クラウドによって実現できるサービスとは ⼤大学間クラウド (WIDE クラウド) 2
- 3. IEICE IA Workshop @ WAKAYAMA 12/01/18 クラウドの定義とは ? Above the Clouds: A Berkeley View of Cloud Computing Electrical Engineering and Computer Sciences University of California at Berkeley, Technical Report No. UCB/EECS-2009-28 規模性 あたかも無限であるかのようにリソースを利利⽤用することができる 即時性 必要なとき必要なだけ時間単位で利用することができる 可⽤用性 単⼀一障害に影響されずサービスを継続することができる 3
- 4. IEICE IA Workshop @ WAKAYAMA 12/01/18 クラウドの特⾊色 Availability of Service Use Multiple Cloud Providers; Use Elasticity to Prevent DDOS Data Lock-In Standardize APIs; Compatible SW to enable Surge Computing Data Confidentiality and Auditability Deploy Encryption, VLANs, Firewalls; Geographical Data Storage Data Transfer Bottlenecks FedExing Disks; Data Backup/Archival; Higher BW Switches Performance Unpredictability mproved VM Support; Flash Memory; Gang Schedule VMs 4
- 5. IEICE IA Workshop @ WAKAYAMA 12/01/18 クラウドの特⾊色 (cont.) Scalable Storage Invent Scalable Store Bugs in Large Distributed Systems Invent Debugger that relies on Distributed VMs Scaling Quickly Invent Auto-Scaler that relies on ML; Snapshots for Conservation Reputation Fate Sharing Offer reputation-guarding services like those for email Software Licensing Pay-for-use licenses; Bulk use sales 5
- 6. IEICE IA Workshop @ WAKAYAMA 12/01/18 クラウドにして⼤大丈夫なのか ? 信頼できるものなのか Module(n+3) 障害は数多く発⽣生している Module(n+2,m0) Module(n +2,m1) 従来のホスティングや VPS に ⽐比べて Module(n,m0) Module(n,m1) Module(n,m2) 冗⻑⾧長性 可⽤用性 秘匿匿性 Module(n,m Module(n,m) +1) 障害発⽣生時 アーキテクチャの依存関係 が⼤大きいため障害が広範囲 になりがち Module(n +1,m) Module(n +1,m+1) 6
- 7. IEICE IA Workshop @ WAKAYAMA 12/01/18 クラウドとしての運⽤用 クラウド ? 本当にクラウドとしての運⽤用がなされているのか 障害の影響 機器故障 拠点レベルの障害 パブリッククラウドサービスとしての IaaS 広域分散 IaaS クラウドへの挑戦 ⼤大学間にて構築されるインタークラウド 7
- 8. IEICE IA Workshop @ WAKAYAMA 12/01/18 広域分散 IaaS の冗⻑⾧長性 Storage� Storage� HA HA Server� Server� HA HA HA Network� Network� HA HA HA 8
- 9. IEICE IA Workshop @ WAKAYAMA 12/01/18 ⼤大学におけるクラウド利利⽤用 事務系端末 シンクライアント (IaaS) 事務系アプリケーション 財務会計・学事 (PaaS, SaaS) 研究者 計算資源・実験・サービス提供 (IaaS, PaaS) 授業 授業端末 (IaaS, SaaS) 9
- 10. IEICE IA Workshop @ WAKAYAMA 12/01/18 ⼤大学間クラウドの利利点 リソースの融通 ⼤大学が持つリソースを融通し合いサービスを提供 耐障害性 ハードウェア障害によるデータ喪失やサービス断への対応 ネットワーク障害によるサービス継続不不能への対応 運⽤用コストの削減 法定点検による停電対応 重複したリソースの共通化 10
- 11. IEICE IA Workshop @ WAKAYAMA 12/01/18 ⼤大学間クラウドのテストベッド WIDE / JGN バックボーンを利利⽤用した広域 IaaS クラウド 慶応⼤大学 東京⼤大学 NAIST JAIST 接続形態 専⽤用線 JGN Tunneling 11
- 12. IEICE IA Workshop @ WAKAYAMA 12/01/18 WIDE クラウド Inter-University Cloud Sharing the resources on each private cloud JAIST NAIST WIDE Cloud の挑戦 Univ. of 1. 仮想計算機の資源を広域に分散 Tokyo • 広域環境でのVM構築 2. インターネット回線を⽤用いて仮想計算 Tokyo 機環境を構築 DC 広域分散環境で • セキュリティ確保とネットワーク Keio 障害を回避するための諸技術実証 リソースを融通しあい Univ. IaaS を構成 (KMD) 実験 • 次世代ネットワーク環境(IPv6)に Osaka 対応した連携プロトコル設計 DC Keio 3. 企業間の連携とは異異なる、⼤大学間特有 Univ. の共通サービス提供への挑戦 (SFC) • 資源を融通し合うためのポリシー SFO CNU DC とメカニズム (Korea) • 広域仮想計算機資源のユーザへの 提供実験 12
- 13. IEICE IA Workshop @ WAKAYAMA 12/01/18 WIDE クラウドの要素技術 Application Layer� SQL NoSQL Middleware Layer� Federated Cloud Controller RESTful API VM Image Control Layer� libvirt Virtual Resource Layer� NEMO kvm NFS iSCSI Sheepdog map646 Facility Layer� VLAN Network Server Storage Application 13
- 14. IEICE IA Workshop @ WAKAYAMA 12/01/18 必要とされる技術 ネットワーク移動透過性 VM が利利⽤用するネットワークを拠点間にて透過的に提供 ストレージ可⽤用性 単⼀一ハードウェアや単⼀一拠点に頼らないストレージの提供 計算資源冗⻑⾧長性 単⼀一ハードウェアや単⼀一拠点に頼らない計算資源 cold standby vs. hot standby 14
- 15. IEICE IA Workshop @ WAKAYAMA 12/01/18 ネットワーク移動透過性 VLAN の取り回し VLAN 数の制限と MAC address 数の制限 VPLS + PBB ? Ether Fabric 技術 (trill) ? OpenFlow ? ユーザ単位でネットワークを切切り出す 仮想ネットワークの持ち運び トンネリング技術 組織単位のネットワーク移動透過性であれば LISP in Cloud 15
- 16. IEICE IA Workshop @ WAKAYAMA 12/01/18 NEMO を利利⽤用した移動透過性 IPv6 Internet! IPv4 Internet! NAT64 Boxes! Datacenter 2! Datacenter1! Hypervisors! Hypervisors! Datacenter 3! Datacenter 4! VMs! Hypervisors! Hypervisors! 16
- 17. IEICE IA Workshop @ WAKAYAMA 12/01/18 計算資源とストレージ VM Replication� 17
- 18. IEICE IA Workshop @ WAKAYAMA 12/01/18 ストレージ可⽤用性 分散ストレージの利利⽤用 Gluster FS Ceph Sheepdog Gfarm 計算資源とストレージとの距離離 I/O としてそのまま性能に跳ね返ってくる 特に書き込み 分散ストレージの場合は iSCSI より速くなる場合もある 2⽉月に StarBED を⽤用いて実験予定 18
- 19. IEICE IA Workshop @ WAKAYAMA 12/01/18 VM とストレージの距離離 iSCSI 書き込み iSCSI 読み込み 60000 800000 700000 50000 600000 40000 500000 KByte 400000 Fujisawa Fujisawa KByte 30000 300000 Nezu 200000 Nezu 20000 JAIST 100000 JAIST 10000 0 0 write rewirte random fwrite frewrite write 書き込み 読み込み VM �: 慶應義塾大学� ストレージ�:�慶應義塾大学, 東京大学, 北陸先端科学技術大学院大学� 19
- 20. IEICE IA Workshop @ WAKAYAMA 12/01/18 読み込み性能⽐比較 (cache off) Iozone performance Iozone performance Read performance Read performance 1.2e+06 600000 1e+06 500000 800000 400000 Kbytes/sec Kbytes/sec 600000 300000 400000 200000 200000 100000 0 0 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 1024 256 409616384 64 Record size in 2^n Kbytes 409616384 64 Record size in 2^n Kbytes 65536 262144 16 65536 262144 16 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 1.67772e+07 1.67772e+07 LOCAL DISK SHEEPDOG 20
- 21. IEICE IA Workshop @ WAKAYAMA 12/01/18 書き込み性能⽐比較 (cache off) Iozone performance Iozone performance Write performance Write performance 4500 4000 500000 3500 450000 3000 400000 Kbytes/sec 350000 2500 Kbytes/sec 300000 2000 1500 250000 200000 1000 150000 500 100000 0 50000 0 16384 4096 16384 1024 4096 64 256 1024 256 Record size in 2^n Kbytes 1024 409616384 64 64 65536 256 1024 256 262144 16 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 4096 16384 64 Record size in 2^n Kbytes 1.67772e+07 65536 16 262144 1.04858e+06 File size in 2^n KBytes 4.1943e+06 4 1.67772e+07 LOCAL DISK SHEEPDOG 21
- 22. IEICE IA Workshop @ WAKAYAMA 12/01/18 読み込み性能 (cache on) Iozone performance Iozone performance Fread performance Fread performance 8e+06 5.5e+06 7e+06 5e+06 6e+06 4.5e+06 4e+06 Kbytes/sec5e+06 Kbytes/sec 3.5e+06 4e+06 3e+06 2.5e+06 3e+06 2e+06 2e+06 1.5e+06 1e+06 1e+06 500000 0 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 409616384 64 Record size in 2^n Kbytes 256 1024 65536 409616384 64 Record size in 2^n Kbytes 262144 16 65536 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 262144 16 1.67772e+07 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 1.67772e+07 LOCAL DISK SHEEPDOG 22
- 23. IEICE IA Workshop @ WAKAYAMA 12/01/18 書き込み性能 (cache on) Iozone performance Iozone performance Fwrite performance Fwrite performance 1.2e+06 1.2e+06 1e+06 1.1e+06 1e+06 800000 900000 Kbytes/sec Kbytes/sec 800000 600000 700000 600000 400000 500000 200000 400000 300000 0 200000 16384 16384 4096 4096 1024 1024 64 256 1024 256 64 256 256 1024 409616384 64 Record size in 2^n Kbytes 409616384 64 Record size in 2^n Kbytes 65536 65536 16 262144 16 262144 1.04858e+06 File size in 2^n KBytes 1.04858e+06 4.1943e+06 4 File size in 2^n KBytes 4.1943e+06 4 1.67772e+07 1.67772e+07 LOCAL DISK SHEEPDOG 23
- 24. IEICE IA Workshop @ WAKAYAMA 12/01/18 挑戦と課題 広域分散 IaaS への挑戦 課題 「クラウド」としての利利点を⽣生 計算資源 かした運⽤用 拠点をまたがったマイグ リソースの融通 レーション サービスの耐障害性 冗⻑⾧長化のためのスタンバイ 拠点単位の障害に対応できる ネットワーク 技術 I/O としてのネットワーク サービスとしてのネット ワーク 光の速度度は超えられない ストレージ 閉域 (SAN) vs. 広域分散 運⽤用コストと耐障害性のト レードオフ 24