日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告

Copyright©2014 NTT corp. All Rights Reserved.
日本OpenStackユーザ会アトランタサミット報告会
（第18回勉強会）
Swift関連報告（2014/6/19)
日本電信電話株式会社
ソフトウェアイノベーションセンタ
露崎浩太
Copyright(c)2009-2014 NTT CORPORATION. All Rights Reserved.

2Copyright©2014 NTT corp. All Rights Reserved.
会議名：
• OpenStack Summit
会場・期間：
• Georgia World Congress Center,
Atlanta, GA, United States
• 5/12～5/16
内容：
• 企業展示 (OpenStack Marketplace)、Keynote
• 一般向けの事例紹介などのGeneral Session (Mon~Thu)
• Juno向けのDesign Summit (Tue~Fri)
OpenStack Summit 概要

[プロフィール]
氏名：露﨑浩太 (28)
Launchpad: tsuyuzaki-kota
IRC: kota_
所属：日本電信電話株式会社 (NTT)
ソフトウェアイノベーションセンタ (R&D部門）
[OpenStackとの関わり]
2012年(Folsom） : Swift
2013年(Grizzly, Havana): Swift
2014年(Icehouse, Juno): Swift
自己紹介

今回の報告
General
Session
(use case)
Design Summit
Session
(Juno Design)

• 注目度
• 19セッションと発表数が多く、聴講者も多かったことから注目度は高い
• 特にSwiftStackのCase Study*ではLicense Fee, DC費を含めても
$0.013/GB/monthとAWSよりコストが安いとのことで、聴講者が多かった
• ユースケース
• Scalabilityの必要なPrivateクラウド向けのデータ置場が中心
• 小中規模向けのAll-in-one OpenStackではCephが主流になりつつある（
Canonical, RedHatがサポート）が、とにかくデータ量が多い、速度が必要
といったケースに対してSwiftが強いというのを主張
• Ceph, Swift双方で競合というより補完関係のような構図、主張となっていた
• 最近の動向・方向性
• NFS Gateway, dropbox like usecaseなど既存のシステム、サービスとの結
合、及び、Kinetic drive等の新アーキテクチャへのシームレスな以降の２つ
が主軸。Swift自体の新機能というより、既存システムのコスト削減、容量対
応を目的としたソリューションの色が強く、特にSwiftStackはSwiftの第一人
者としての影響力を持っている**
Swift General Session（事例・動向）
*http://www.slideshare.net/dirkpetersen/bio-it-fhcrceconomyfileproject0430
**https://swiftstack.com/blog/2014/05/22/openstack-summit-atlanta-we-are-in-the-majors-now/

Big Pictures:
• Storage Policies
• Erasure Coding
• Pluggable Backend
Operation/Efficiency:
• Dev/Ops session
• More Efficient Replication
• Swift Distributed Tracing Methods and Tools
Swift Design Summit

What is Storage Policies:
- 冗長度、ディスク構成等の異なるSwiftを1クラスタで提供する機能
Why Storage Policies:
- 既存のSwiftに新しい構成をシームレスに追加できる
- 複数のポリシーを1クラスタ内に持てるので資源の効率化ができる
How it works:
- Swift内部ではポリシー毎に異なるobject ringを持つ
- 運用者がポリシーをデプロイしユーザにポリシー名を公開する
- 利用者はコンテナ作成時に公開されているポリシーを設定する
7月上旬頃 Release予定
Storage Policies
SSD HDD
SSD Policy
Container
HDD Policy
Container

What is Erasure Coding:
- データを分割、符号化して保存するストレージ方式
Why Erasure Coding:
- 分割したデータを保存するためReplica方式より容量削減できる
- 符号化を用いることにより、ディスク故障時にも復旧できる
How it works:
- Storage Policyの1種として組み込み
- PyECLib* を用いてProxyが符号化、複合を行う
- EC用のバックグランドプロセスも作成予定
Junoサイクル中に Release予定
Erasure Coding (EC)
* https://pypi.python.org/pypi/PyECLib
EC fragments
Erasure Coding
Policy Container

What is Pluggable Backend:
- ディスクへの読み書き部分を抽象化し、プラガブルにする方式
Why Pluggable Backend:
- ユースケースに応じた柔軟なバックエンドの選択
- Swiftの汎用ルーチンとバックエンド依存部分の切り離し
How it works:
- 抽象化されたファイルとしてdiskfileクラスをSwift内で定義し、
read/writeに相当する操作をdiskfile内で実施する
既存実装のdiskfile抽象化は実装済
Seagate Kineticドライブ、GlusterFS等、
バックエンド別には、各ベンダが対応予定
Pluggable Backend
Object-Server
Kinetic Drive GlusterFS
diskfile abstraction layer

• Dev/Ops Session
• ログの監視、ディスク交換頻度、Regionの活用方法などの話題
• Pain Points as an Operator
• 監視がstatsdなので、real-time(not persistent) pluggableなものが欲しい
• Failure Driveのチェックが大変（一括管理や定期チェックなど）
• RingのDeployが大変（ring-masterをcoreかecosystemで作れないか）
• SLA監視にinformant-middlewareを使う等
• Authのintegrationなど新規ユーザがDeployで問題になる部分に関してはコ
ミュニティも課題意識を持ち始めている
• More Efficient Replication
• 広域分散時のReplicationの効率化
• 従来のReplicaを全部のPrimaryにpushする方式にAffinityの概念を追加
• マージに向けて改良案を実装中
• Swift Distributed Tracing Methods and Tools
• リクエストの開始からデータ読み書き完了までの実行パスをTraceするツール
• 従来のTransaction IDを置き換えてまで導入する意義があるかで議論中
Operation/Efficiency
提案

• 性能、容量、コストが両立できるオブジェクトストレー
ジとしてSwiftの導入、成功事例が増えてきた
• 2014秋のJuno版ではStorage Policies、Erasure
Codeと新機能が多数導入され、より幅広いユースケー
スに対応できるようになる見込み
• Ops対応についてもコミュニティは意識している
Presenter Info:
Kota Tsuyuzaki
tsuyuzaki.kota@lab.ntt.co.jp
まとめ

日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (7)

Semelhante a 日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告

Semelhante a 日本OpenStackユーザ会　Atlantaサミット報告会 Swift関連報告 (20)

Mais de Kota Tsuyuzaki

Mais de Kota Tsuyuzaki (12)