Dockerの利用事例

Dockerの利用事例
©　2015 Internet Initiative Japan Inc. Docker の利用事例紹介～商用サービスの基盤として利用～ maebashi @ IIJ
©　2015 Internet Initiative Japan Inc. 2 本日の話「IIJ GIOストレージ&アナリシスサービス」という商用サービスでDocker を使ってみた
©　2015 Internet Initiative Japan Inc. サービス概要
©　2015 Internet Initiative Japan Inc. 4 IIJ GIOストレージ&アナリシスサービス •  http://www.iij.ad.jp/biz/storage/ •  REST API(AWS S3互換)を持つクラウドストレージサービス •  Hadoop/Hiveを用いたデータ解析機能 (オプション) +
©　2015 Internet Initiative Japan Inc. 5 サービス全体図 storage API ストレージノード analysis API ユーザー data query IIJ GIO ストレージ&アナリシスサービス計算ノード container data data data
©　2015 Internet Initiative Japan Inc. 6 計算ノード •  Hiveを使用 – 複数ノードで分散処理 •  マルチテナント – 複数物理ホストを複数ユーザで共有
©　2015 Internet Initiative Japan Inc. 7 計算ノード(図) analysis API query Hive NN RM DN NM metastore task storage API DN NM task ユーザ毎に用意 NN: Name Node RM: Resouce Manager DN: Data Node NM: Node Manager ノードノードノード
©　2015 Internet Initiative Japan Inc. 8 計算ノード部分要件 •  ユーザ毎に実行環境が隔離されていること •  公平なリソースの共有 •  ノードはユーザにより増減可能なこと
©　2015 Internet Initiative Japan Inc. 9 サービス検討時の候補 •  Hypervisor型仮想マシンによる隔離 – 隔離という面では一番確実 – 起動が遅い、オーバーヘッドがある •  コンテナによる隔離 •  アプリケーションレベルでの隔離 – Hiveだけ(UDF禁止)等、やれることを限定すれば可能
©　2015 Internet Initiative Japan Inc. 10 仮想マシン vs コンテナ Server Host OS Hypervisor Guest OS Bins/Libs App A Guest OS Bins/Libs App B Server Host OS Docker Engine Bins/Libs App A Bins/Libs App B Hypervisor型仮想マシン Dockerコンテナ Dockerコンテナは、隔離された単なるプロセスゲスト毎に任意のOS使用可高い隔離性オーバヘッドが少ない起動が速いこちらを採用
©　2015 Internet Initiative Japan Inc. 11 実際のサービスの制限 •  現時点では、ユーザが任意の MapReduceプログラムを動かすことはできない – 使えるのはHiveQLのみ •  Dockerによる隔離は将来への布石
©　2015 Internet Initiative Japan Inc. Dockerを商用サービスの基盤に使うにあたって
©　2015 Internet Initiative Japan Inc. 13 Dockerが向いていること •  単体のホスト上での開発・ビルド・テスト環境 •  環境のパッケージングと配布
©　2015 Internet Initiative Japan Inc. 14 Dockerの課題 •  複数ホスト上の多数のコンテナの管理(オーケストレーション) •  複数ホストをまたいだネットワーク •  ログの管理 •  監視、モニタリング
©　2015 Internet Initiative Japan Inc. コンテナの管理
©　2015 Internet Initiative Japan Inc. 16 doma(docker manager)とは? •  独自開発 •  多数のDockerコンテナを管理する – 複数ホストをリソースプールとする – analysis APIからの要求によりプールから必要数のコンテナを自動確保し起動 •  類似品 – Mesos, Kubernetes, fleet, Swarm, ...
©　2015 Internet Initiative Japan Inc. 17 doma 構成図 Docker daemon Container slave 構成情報DB (MySQL MHA) master request / response Docker Remote API master API docker ホスト群使用可能ホストリソース空き情報 IPアドレス空き情報 etc LB(nginx) HTTP slave API HTTP HTTP over Unix domain socket analysis API
©　2015 Internet Initiative Japan Inc. 18 master •  多数のコンテナをクラスタ単位で管理 – クラスタ＝コンテナの集合 •  クラスタ操作 – 予約、アップデート、起動、停止、再起動、解放(削除) •  Ruby + Rack + EventMachine
©　2015 Internet Initiative Japan Inc. 19 クラスタ •  互いに通信できるコンテナの集合 – 1つのクラスタは1つのユーザに属する – 別のクラスタとは通信できない Docker Daemon Docker Daemon Docker Daemon 空き Container Container Container Container Container Container Container Container クラスタ1 クラスタ2 クラスタ3 Host
©　2015 Internet Initiative Japan Inc. 20 コンテナの種類 •  グレード – 性能を決める(CPUコア数、メモリ量) •  タイプ – dockerイメージ名に対応 – アプリケーション毎に複数用意されている
©　2015 Internet Initiative Japan Inc. 21 masterが管理するもの •  ホスト – dockerが動く物理ホスト – CPU、メモリ割当て状況 •  IPアドレス – コンテナは1個ずつ(プライベート)IPアドレスを持つ
©　2015 Internet Initiative Japan Inc. 22 slave •  Docker daemonのwrapper (reverse proxy) – masterからは、ほぼDocker daemonに見える – いくつかAPIを拡張 •  Goで記述 Docker daemon slave Docker Remote API HTTP HTTP over Unix domain socket master
©　2015 Internet Initiative Japan Inc. 23 Docker Remote API •  HTTP、REST、JSONベース •  dockerコマンドはすべてこのAPIを経由している Host Docker daemon docker pull docker run docker ... container container container Docker client HTTP over Unix domain socket または TCP Docker Remote API
©　2015 Internet Initiative Japan Inc. 24 slave追加機能 •  コンテナ起動関連 – サイズ制限されたディスク領域提供 – ネットワーク設定 – iptablesチェイン設定 •  コンテナのメトリクス取得 •  コンテナ内にファイルを送り込む •  コンテナ非同期削除
©　2015 Internet Initiative Japan Inc. コンテナのリソース制限
©　2015 Internet Initiative Japan Inc. 26 リソース制限概略 •  主にcgroupを使う •  CPU – cpuset •  メモリ – memory •  ディスク使用量 – cgroupではできない
©　2015 Internet Initiative Japan Inc. 27 CPU制限 •  (Docker Remote API経由で)cgroupの cpuset.cpusを使う – コンテナのプロセスが実行されるCPU コアの番号を指定 – 例: "CpusetCpus":"0-2,7" •  各コンテナおよびシステムプロセスそれぞれが使うCPUコアを分離
©　2015 Internet Initiative Japan Inc. 28 ディスク使用量制限 •  特定サイズのloopbackデバイス用ファイルを作って、それをmount – あらかじめmkfs済sparseイメージ入り tarファイルを用意 – コンテナ起動時にそれを展開して mount(0.1∼0.2秒くらい) – コンテナ解放時はファイルを1個削除するだけ
©　2015 Internet Initiative Japan Inc. ネットワーク
©　2015 Internet Initiative Japan Inc. 30 通常のDockerのネットワーク docker0 NIC IPマスカレード仮想ネットワークインターフェース (veth) container network namespace eth0 vethA コンテナA eth0 vethB コンテナB host network namespace ホスト仮想ブリッジ
©　2015 Internet Initiative Japan Inc. 31 通常のDockerのネットワーク docker0 NIC IPマスカレード eth0 vethA コンテナA eth0 vethB コンテナB ホスト1 docker0 NIC IPマスカレード eth0 vethC コンテナC eth0 vethD コンテナD ホスト2 ホストをまたいだコンテナ間通信は困難 (ポートが固定されていればEXPOSEでできるが Hadoopと相性が悪い)
©　2015 Internet Initiative Japan Inc. 32 解決策 •  pipework, weave, flannel 等を使う •  または独自に頑張るこちらを採用
©　2015 Internet Initiative Japan Inc. 33 本サービスのネットワーク •  dockerのネットワーク設定は使用せず("NetworkDisabled": true) •  代わりにslaveがコンテナ起動時にネットワーク設定をする
©　2015 Internet Initiative Japan Inc. 34 NIC 本サービスのネットワーク docker0 NIC IPマスカレード eth0 vethA bridge0 host-geth host-veth ホスト通常のdockerのネットワーク container network namespace コンテナA eth0 vethB コンテナB eth0 vethA コンテナA eth0 vethB コンテナB 本サービスのネットワーク host network namespace ホスト
©　2015 Internet Initiative Japan Inc. 35 論理的にはこんな感じ eth0 コンテナA eth0 コンテナB host-geth ホスト1 eth0 コンテナC eth0 コンテナD host-geth ホスト2 (コンテナのIPアドレスはmasterが決定しslaveが設定する)
©　2015 Internet Initiative Japan Inc. 36 ネットワークの隔離 •  クラスタ間はiptablesで隔離 – コンテナはCAP_NET_RAWを禁止
©　2015 Internet Initiative Japan Inc. その他
©　2015 Internet Initiative Japan Inc. 38 Dockerイメージ •  Docker HUBのイメージは使用せず – 同じrepository名:tag名でも内容が変わっていることがある •  独自にOSイメージ作成 – febootstrap で CentOS 6ベースで作成 •  そのOSイメージからJDK, Hive, Hadoop入りなどをDockerfileで生成
©　2015 Internet Initiative Japan Inc. 39 ログの管理 •  コンテナ内の各種ログは、コンテナ内の特定ディレクトリに一時保存 •  ホスト上(コンテナ外)のfluentdで外に飛ばす •  本サービスのストレージ部分(管理用) に保存
©　2015 Internet Initiative Japan Inc. 40 監視 •  ホストが障害を起こしたらdomaはコンテナ割り当て対象から除外 – 障害コンテナを別ホストに自動移動したり再起動はしない •  コンテナのアプリケーションレイヤの監視はanalysis APIが行っている
©　2015 Internet Initiative Japan Inc. 41 コンテナのモニタリング •  slaveに、コンテナ単位のメトリクスを返す機能追加 •  cgroupの統計情報と、コンテナ内の / proc/net/dev等からメトリクスを得る (今なら cAdvisor を使えば良いと思う)
©　2015 Internet Initiative Japan Inc. 42 slaveはメトリクスをJSON形式で返す "memory": { "failcnt": 0, "stats": { "unevictable": 0, "total_unevictable": 0, "total_swap": 0, "total_rss": 380928, "total_pgpgout": 681084, "total_pgpgin": 697086, "total_mapped_file": 1433600, "total_inactive_file": 38936576, "mapped_file": 1433600, "inactive_file": 38936576, "inactive_anon": 0, "hierarchical_memsw_limit": 9223372036854776000, "hierarchical_memory_limit": 9223372036854776000, "cache": 102838272, "active_file": 63901696, "active_anon": 380928, "pgpgin": 697086, "pgpgout": 681084, "rss": 380928, "swap": 0, "total_active_anon": 380928, "total_active_file": 63901696, "total_cache": 102838272, "total_inactive_anon": 0 }, "max_usage": 139268096, "usage": 104189952 }, "interfaces": { "outpackets.0": 3021223, "inbytes.0": 8228044607, "indrop.0": 0, "inerrs.0": 0, "inpackets.0": 6429687, "name.0": "eth0", "outbytes.0": 199687042, "outdrop.0": 0, "outerrs.0": 0 }, "cpuacct": { "throlling_data": {}, "cpu_usage": { "usage_in_usermode": 2.668e+10, "usage_in_kernelmode": 8.181e+10, "percpu_usage": [ 22599918565, 987624379, 65146098, 36705600, 18221767943, 5890326, 22768005795, 4033968, 218211598, 4302652, 5437296326, 23781278563, 18992360915, 18712487134, 55742891, 18522722054 ] } }
©　2015 Internet Initiative Japan Inc. 43 ↓CPU Accounting Memory→ ↓Network traffic 定期的にメトリクスを収集して Grafanaでグラフ化
©　2015 Internet Initiative Japan Inc. 44 まとめ •  Hadoop/Hiveをマルチテナントで動かすためにDockerを採用 •  Dockerは多数のコンテナを扱うには課題がある – 解決のためいくつかのツール類を開発 – 今ならもっと楽な方法があるはず

Check these out next

Dockerの利用事例

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a Dockerの利用事例(20)

Último(20)

Dockerの利用事例