How to use Mesos/Marathon in Rakuten, and how to use these by SRE team.

1. Feb.9.2018
Koichi Yanagimoto, Ricardo Yanome, Santosh Rao, Harpratap Layal,
Ragesh Nair, Kejun Huang, Cunzhu Huang, Hironori Yoshida
Rakuten, Inc.

2. 自己紹介自己紹介
Today’s Speakers

3. 3
• Application Side
• About our job.
• Why I select to use Mesos/Marathon.
• How to migrate from Legacy system.
• Infrastructure Side
• Introduction about our Mesos/Marathon cluster (RWASP)
• Scale.
• Service discovery
• Jenkins integration
• Logging/Monitoring integration
• Issues/Challenges

4. 自己紹介自己紹介

5. 部署について
サービス運用・改善に特化したチーム
（今、現在 サービス運用中）

6. 部署につい
て
サービス運用・改善に特化したチーム
（今、現在 サービス運用中）
札幌

7. 旧システムについて
※本日の話はすべて弊社 内での話です。

8. 8
利用サービス
https://luckysticker.rakuten.co.jp/1. Lucky Sticker
2. 画像Storageのサービス
3. 他部署でもっと大きなTrafficのサービスも
Mesos/Marathonで動いています。

9. 9
旧システムの全体像
• No diff between environment.
環境差分
• Easy rollback
ロールバックのしやすさ
• No ssh to every VMs.
情報の閲覧性
• Easy scale In/Out
増強縮退の簡単さ

10. 10
全体像
• No diff between environment.
環境差分
• Easy rollback
ロールバックのしやすさ
• No ssh to every VMs.
情報の閲覧性
• Easy scale In/Out
増強縮退の簡単さ
CentOS7

11. 改善活動前の状況最初の改善
Met Mesos/Marathon
常務執行役員
ECカンパニー CTO
ディレクター
タリア・マルティヌッセン

12. 12
Visibility
• Access log / Exec / Error log can see via
Graylog.
Scalability
• Marathon’s API is able to handle about it.
alpine

13. 13
Before After
How to deploy Capistrano / human operation Jenkins pipeline
Deploy time Some time, 1 hour… Few minutes
Log viewer SSH to VMs Browser
Scalability orz Great!
Stability Good, but when occurred something… Awesome!

14. 14
• Application Side
• About our job.
• Why I select to use Mesos/Marathon.
• How to migrate from Legacy system.
• Infrastructure Side
• Introduction about our Mesos/Marathon cluster (RWASP)
• Scale.
• Service discovery
• Jenkins integration
• Logging/Monitoring integration
• Issues/Challenges

15. 15

16. 16
•
•
•
•
•
•

17. 17
•
•
•
•
•
•
•
•
•

18. 18
•
•
•
•
•
•

19. 19
•
•
•
•
•
Copy the config
file and reload
Write the Ngnix
config file
Listen to Marathon
events

20. 20
•
•
•

21. 21
•
•
•
•
•
•
•

22. 22

23. 23

24. 24
Service Discovery V2 (Frodo)
•
•
•
•

25. 25
• Marathon
Event Bus
Consul KV
store
watcher
Nginx(Openr
esty)
HTTP traffic only

26. 26

27. 27
•
•
•

28. 28
•
•
An HTTP Request
Internal
Version Version A Version B
If the source id within Rakuten

29. 29

30. 30
•
•
•
•
•

31. 31
Mesos
slave
Mesos
slave
Mesos
slave
Parsing
Source Queue VisualizeStorage
Elastalerts

32. 32
•
•
•

33. 33
•

34. 34
•
•

35. 35

36. 36
Folders
RBA
Credentials
Shared
LibrariesDeclarative
Pipeline Service Discovery
FRODO

37. 37
•
•
•
•
•
•

38. 38

39. 39

40. 40
•
•

41. 41

42. 42