2015 Go(5) JAZUG オトナのService Fabric、

1. オトナのService Fabric
kyrt / Takekazu Omi
takekazu.omi@kyrt.in
2015/9/5 R.1.1

2. 2015/9/5 kyrt inc. 2

3. 2015/9/5 kyrt inc. 3

4. 自己紹介
近江 武一
JAZUG Azure Storage 担当（自称）
Microsoft MVP for Azure
http://www.slideshare.net/takekazuomi
kyrt.in
github.com/takekazuomi
white paper
監訳
2015/9/5 kyrt inc. 4

5. Azure Service Fabric とは
Very Short Introductions
2015/9/5 kyrt inc. 5

6. Service Fabric 概要
分散型システム プラットフォーム
1. スケーラブル
2. 信頼性が高く
3. 管理しやすい
‘エンタープライズ クラスの Tier-1 クラウド スケール サービス
を構築、管理のための次世代のミドルウェア プラットフォーム’
2015/9/5
https://azure.microsoft.com/ja-jp/documentation/articles/service-fabric-overview/
kyrt inc. 6

7. Battle-hardened for over 5 years
Azure Core Infrastructure thousands of machines
Azure Document DB billions transactions/week
Intune 800k devices
Skype for Business Hybrid Ops
Event Hubs 20bn events/day
Azure SQL Database 1.4 million databases
Bing Cortana 500m evals/sec
PowerBI
2015/9/5
出典: BUILD 2015 2-640 Microsoft Azure Service Fabric Architecture
kyrt inc. 7

8. Applications composed of microservices
2015/9/5
https://azure.microsoft.com/ja-jp/documentation/articles/service-fabric-overview/
kyrt inc. 8

9. クラウドアプリケーションの重要な課題
プロビジョニング
デプロイ
監視
アップグレード
削除
2015/9/5
Service Fabric
プラットフォーム
kyrt inc. 9

10. 2015/4/20 Azure Service Fabric を発表
 Service Fabric は、高度な制御プラットフォーム
 開発者や ISV は、拡張性とカスタマイズ性の高いクラウド
サービスを構築可
 ミッションクリティカルなクラウド サービスを提供してきた
マイクロソフトの経験を基礎として開発
 5 年以上にわたって実際に運用
 基盤となるテクノロジは、Azure のコア インフラストラク
チャに使用（実証済）
 Skype for Business、Intune、Event Hubs、DocumentDB、Azure
SQL Database 、Bing Cortana などの基盤で利用
 毎秒 5 億回を超える評価に対応可能な拡張性を持つ
2015/9/5
http://blogs.msdn.com/b/windowsazurej/archive/2015/04/23/announcing-azure-service-fabric-reducing-complexity-in-a-hyper-scale-world.aspx
kyrt inc. 10

11. 今日は、Service Fabricの取り組んでいる課題
のうち、プロビジョニングとデプロイのあ
たりで問題になることを中心に話します
2015/9/5 kyrt inc. 11

12. ソフトウェアの世界では大きなのは好まれ
ず小さいのが好まれる。分割は吉
⇨1000行の関数１つより、複数の関数に分かれ
ていた方がいい
⇨Multics より、Unix
⇨monolithic kernel より、micro kernel
⇨密結合より疎結合（SOA)
2015/9/5 kyrt inc. 12

13. kyrt inc. 132015/9/5

14. 高密度なアプリケーションのデプロイ
リソースの有効利用
2015/9/5 kyrt inc. 14

15. Cloud Service (PaaSv1)
モダンなクラウドアプリケーションでは、高可用、スケーラブルを実現するために、
「Immutable InfrastructureとDisposable Components」という戦略を取ります。Azureだと、
Web/Worker Roleで実装されるCloud Serviceがそれです。
この戦略では、各Nodeは状態を持たず、Node障害の場合に容易に代替Nodeを割り当て
て対応でき、処理能力が足りない場合はNodeを追加することでスケールすることができ
ます。
PaaSv1では、全てのRoleは仮想マシンの専有
配置です。(Node=Instance)
そのため、OSの設定やランタイムのインストー
ルなど細かいことを自由にできるという大きな
メリットがありますが「もう少し配置に自由度
が欲しいよね」というのが今回の話しです。
2015/9/5 kyrt inc. 15

16. 例：Availability
可用性を保った構成とするためには、最低２
つのNodeに配置する必要があります
その結果、Roleの粒度を小さくするとNode(=
インスタンス)の数が増えます
CDP: Compute Partitioning Guidance で言う、
logical decomposition と、physical partition の
考慮事項が複雑に
⇨ https://msdn.microsoft.com/en-us/library/dn589773.aspx
2015/9/5 kyrt inc. 16

17. Static Partitioning 問題
このようにRoleの分割が静的に行われているのを、
Static Partitioning （静的分割？）と言います。
Static Partitioning は、Role を増やせば、増すほど
扱いづらくなります。ワークロードを事前に予測
することが難しい場合もあり、リソースの利用効
率という観点からはムダが生じやすい仕組みです。
A:複数のRoleをNodeに入れてしまえばいいので
は？
2015/9/5 kyrt inc. 17

18. Major subsystems of Service Fabric
2015/9/5
出典：https://azure.microsoft.com/en-us/documentation/articles/service-fabric-architecture/
kyrt inc. 18

19. Cluster: federation
A set of independent
machines; physical or
virtual
Clusters can scale to
1000s of machines
2015/9/5
Node
Node
Node
Node
Node
Node
128 bit DTH
kyrt inc. 19

20. Federation subsystem
 分散システム内で複数のノードを扱うためにシステムの一貫したビューを
提供
 Transport subsystem を使って、ノードをステッチ（繋ぎあわせて）
 他のsubsystemが利用する分散システムのプリミティブな機能を提供 ー 障
害検出、 leader election、 consistent routing
 128ビット token space の Distributed Hash Tables (DTH) を構築、リングトポ
ロジを使用
 リング内の各ノードに、token space のサブセットの所有権を割り当て
 故障検出のために、layerはheart beatingベースのリースと調停を利用
 フェデレーション·サブシステムは、intricate join and departure protocols に
よって、トークンが単一の所有者に帰属することを保証し、これによって
leader election と consistent routing の保証
2015/9/5 kyrt inc. 20

21. Reliability subsystem
 reliability subsystemは、 replicator, failover manager, resource balancer の機構を元に、Service
Fabric の高可用なサービスを提供
 Replicator
⇨ primary service replica の状態の変更が自動的に secondary replica に複製され、 replica set 内の
primary と secondary のレプリカの間の一貫性が保たれることを保証する。Replicator は、replica-set
内の replica 間の quorum management を担当している。
⇨ failover unit が、replicate 操作のリストを取得するには、 reconfiguration agent (RA) が replica-set の
構成 (複製に必要なそれぞれのreplicaの操作)を提供
⇨ Service Fabric では、Fabric Replicator と呼ばれるデフォルトの replicator が提供
 Failover Manager
⇨ クラスターにノードが追加、削除されたときに、存在するノードに負荷が自動的に再配布されるこ
とを保証する。クラスター内のノードに障害が発生した時、クラスターは可用性が失われないよう
に自動的にサービスのレプリカを再構成する
 Resource Balancer
⇨ Resource Balancer は、クラスタ内の failure domain 全体にサービスのレプリカを配置し、すべての
failover units が正常に動作していることを保証します。Resource Balancer はまた、クラスタノード
の下にある共有プール全体で最適で均一な負荷分散を実現する
2015/9/5 kyrt inc. 21

22. Hosting subsystem
Management subsystem の cluster manaer
が、 Hosting subsystem (各ノードの) に対
して、特定のNodeでmanageされる service
を通知。
そのNode上のApplicationのlife cycle を管理。
reliability と health components と通信し、
replica の配置と健全性を確認
2015/9/5 kyrt inc. 22

23. Cluster: System View
2015/9/5
Failover
manager
Cluster
manager
Naming
Image store
System Services
kyrt inc. 23

24. kyrt inc. 242015/9/5

25. 他を見てみる
Apache Mesos, Hadoop YARN, Spark
2015/9/5 kyrt inc. 25

26. Apache Mesos
2015/9/5 kyrt inc. 26

27. Apache Mesos
 Apache Mesos は、twitter 社などで使われている Cluster
Manager です。Service Fabric と似た位置に属するOSSのプロ
ダクトです。BUILD 2015/3-612では、Cluster Orchestration で並
んでました。今回の資料では、Cluster Managerと呼んでます。
 ちょっと脱線して、 「Mesos 使うとStatic Partitioning から開
放されるぜ」という話しが面白かったので紹介。
 Building and Deploying Application to Apache Mesos
⇨ 「Static Partition IS BAD、 Operating System === Datacenter 、
Mesos => data center のkernelだ」というようなことが書いてあ
ります。
⇨ http://www.slideshare.net/charmalloc/buildingdeployingapplications
mesos
2015/9/5 kyrt inc. 27

28. VMs and VM Scale Sets
Azure Public CloudAzure-Consistent Private Cloud
VM Extensions
SCALR, RightScale,
Mesos, Swarm
Service Fabric
(VMs and Containers)
BatchApp Service
Media
Web
Apps
Mobile
Apps
Apprenda, CloudFoundry
Jelastic, Marathon
Infrastructure
IaaS and
IaaS+
General
Compute PaaS
Vertical
compute PaaS
Open Choice at Every Layer
Cluster
Orchestration
参照：https://channel9.msdn.com/Events/Build/2015/3-618

29. Mesos Overview
 Mesosは、master daemon と、各 cluster
node 上で実行される slave daemon、お
よびこれらのslave 上で task を実行する
Mesosの application(framework とも呼ば
れます）で構成
 cluster nodeは、 containerizer で動作し、
linux のcontrol cgroups や namespaces で
分離されたもので、Docker で分離された
ものが用意。(Mesos containerizer ,
Docker containerizer)
 slave のリソース状況に合わせて、 複数
のアプリケーションをnode に配置する
ことができ、高密度配置が可能
http://mesos.apache.org/documentation/latest/mesos-architecture/
2015/9/5 kyrt inc. 29

30. Hadoop YARN
Hadoop 生まれの Resource Manager for Cluser
2015/9/5 kyrt inc. 30

31. YARN - Yet-Another-Resource-Negotiator
2015/9/5 kyrt inc. 31

32. YARN (2)
 大規模なClusterでは、Job Tracker がボトルネックになる
 任意の分散処理フレームワークやアプリケーションの作成を容易に
する新しいフレームワーク （MR専用ではない、Sparkでも利用可）
 YARNは、汎用的な分散アプリケーションの開発や、そのようなアプ
リケーションからの（メモリやCPUといった）リソース要求のハン
ドリング、スケジューリングを行い、実行を監督するためのデーモ
ンとAPIを提供
 YARN の紹介
⇨ http://www.ibm.com/developerworks/jp/analytics/library/bd-yarn-intro/
 MR2とYARNの手短な解説
⇨ http://www.cloudera.co.jp/blog/mr2-and-yarn-briefly-explained.html
2015/9/5 kyrt inc. 32

33. 2015/9/5 kyrt inc. 33

34. Apache Spark
Cluster Manager 上で動くOSS
2015/9/5 kyrt inc. 34

35. Spark + Mesos、YARNの利用
Spark は、 MesosでもYARNでも動く（Cluster Manager と呼ばれる）
 Standalone
⇨ a simple cluster manager included with Spark that makes it easy to set up a
cluster.
 Apache Mesos
⇨ 汎用の cluster manager、 Hadoop MapReduce and service applications.
 Hadoop YARN
⇨ the resource manager in Hadoop 2.
 Amazon EC2
⇨ In addition, Spark’s EC2 launch scripts make it easy to launch a standalone
cluster on Amazon EC2.
2015/9/5 kyrt inc. 35

36. Apache Spark Overview
Spark には、アプリケーションをcluster 上で動かすため
に、Cluster Manger というコンポーネントがある
2015/9/5
http://spark.apache.org/docs/latest/cluster-overview.html
kyrt inc. 36

37. Cluster Manger
Clusterから必要な計算リソースを割当
⇨CPU(core)、memory
クラスター上で実行されるタスクの調整
⇨タスクの開始指示、タスクの実行のモニター、
失敗したタスクの再開
同一Cluster上での複数のアプリケーション
動作
2015/9/5 kyrt inc. 37

38. Service Fabricは、分割されたサービスの開発、
クラスターへの配置、運用をサポートする
プラットフォームです。
Service Fabricの利用で、分割による開発、運
用コストの増加を抑えて、利益を享受でき
ることができ、それによって、Monolithic(一
枚岩) と、Micro（分割）のどちらを選択す
るかのバランスが変わります。
2015/9/5 kyrt inc. 38

39. 2015/9/5
終
kyrt inc. 39

40. 参考資料
2015/9/5 kyrt inc. 40

41. Service Fabric Explorer
 Clusterの状況が見
える
 Nodeを再起動する
とPrimaryが変わる
 Stateful は3Node構
成
 LSN見ている
⇨ QueueでLOG配布っ
ぽい
2015/9/5 kyrt inc. 41

42. Regional Network Manager Microservices
2015/9/5
ONS 2015: Wednesday Keynote - Mark Russinovich https://youtu.be/RffHFIhg5Sc
kyrt inc. 42

43. Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
BUILD 2015, The Next Generation of Azure Compute
Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
Microsoft Azure Service Fabric Architecture
https://channel9.msdn.com/Events/Build/2015/2-640
Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
https://channel9.msdn.com/Events/Build/2015/2-66
2015/9/5 kyrt inc. 43

44.  大規模分散システムの現在 – Twitter, 丸山不二夫
⇨ http://www.slideshare.net/maruyama097
 Evolution of The Twitter Stack,
Chris Aniszczyk
⇨ http://www.slideshare.net/caniszczyk/twitter-opensourcestacklinuxcon2013
 GoogleがBorgの詳細を公開, Abel Avram
⇨ http://www.infoq.com/jp/news/2015/04/google-borg
 mesos, omega, borg: a survey, Andrew Wang
⇨ http://www.umbrant.com/blog/2015/mesos_omega_borg_survey.html
 YARN の紹介
⇨ http://www.ibm.com/developerworks/jp/analytics/library/bd-yarn-intro/
2015/9/5 kyrt inc. 44