ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCON10's infrastructure
•
0 gostou•839 visualizações
talked by CA BASE NEXT https://ca-base-next.cyberagent.co.jp/sessions/cyberagent-privatecloud-whywaita/
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCON10's infrastructure
Semelhante a ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCON10's infrastructure (20)
Mais de whywaita
Mais de whywaita (20)
Último
Último (20)
ISUCONインフラ提供から見るCycloudのこれから #ca_base_next / future of Cycloud see from ISUCON10's infrastructure
- 2. Nakanishi Kento / whywaita 2019年度 新卒⼊社 Cloud Maker @ CyberAgent group Infrastructure Unit (CIU) “Private Cloud” team @whywaita
- 3. 趣味 • ⾃宅インフラ / 機材沼 • おうち Kubernetes / おうちクラウド • おうち BGP / おうち Global IP • アニソン • 最近⿇雀を始めました
- 6. ISUCONとは 「ISUCON」は、LINE株式会社の商標または登録商標です。 Web: https://isucon.net/ • “Iikanjini Speed Up Contest” の略 • 与えられたWebアプリケーションを使って ⼀番ベンチマークスコアが⾼かった⼈が優勝 • 優勝賞⾦ 100万円!!!!!!!!!!! 💰💰💰🤑🤑🤑 • ISUCON•€が 2020/09, 10 に開催
- 7. [h]
- 8. [h]
- 9. ！！！！！！！
- 11. 疑問
- 13. あります！！！ ✨
- 15. カッコいいぞ！✨
- 22. サイバーエージェントのインフラ • データセンタ運⽤開始 (2004年頃〜) • 社内向けクラウド運⽤開始 (2011年頃〜) • プライベートクラウド • HTTP API / Web UI / Managed Service • 最新リージョンリリース (2019/03〜)
- 24. ISUCON インフラ提供とは？
- 26. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 27. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 28. ISUCON インフラ提供とは？ • 「負荷」とは…… • CPU / メモリ • ディスク I/O • ネットワーク I/O • 全ての要素を参加者は使い倒すぞ！
- 29. ISUCON インフラ提供とは？ • ISUCON •€ 参加者は 1209名！ [5] • 事前キャパシティは500チーム分を想定 • 1チームあたり 6台のVMを⽤意 • 参加者がログインできたのは3台 • だんだん⽤意される 負荷 が分かってきましたね？ 🔥
- 30. このために⽤意したのが……
- 32. x~ !
- 33. ISUCON向けに⽤意した機材 • øU ùNode物理サーバ x ýøNode • •Nodeあたりの性能: • CPU: AMD EPYC Rome øùCore xø = 仮想96コア ! • Memory: *ùGB x •* = 総1TB！ • NIC: Intel XXV-•€ (ø.Gbps Dual Port)
- 34. ISUCON向けに⽤意した機材 • øU ùNode物理サーバ x ýøNode • ýøNodeの性能 • CPU: ý€-øコア • Memory: ýøTB • NIC: .€ Gbps x ýø Node
- 35. • øU ùNode物理サーバ x ýøNode • ýøNodeの性能 • CPU: ý€-øコア • Memory: ýøTB • NIC: .€ Gbps x ýø Node ISUCON向けに⽤意した機材 たくさん ✨ たくさん ✨
- 36. もちろんサーバ以外も • •€€GE ýøポートSwitch, Firewall • エンタープライズストレージクラスタ 4台 • •€€Gbps xù • •ý€ TB (all flash, NVMe) • 筐体IOPS: 約10万IOPS
- 40. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 41. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 46. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue 参加者
- 47. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue (Web, App, DB) (Web, App, DB) (Web, App, DB) 初期状態 参加者
- 48. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue (App) (Web) (DB) 3段構成 参加者
- 49. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue (App) (Web, App) (DB) Webは軽いのでAppを2 参加者
- 50. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue (DB) (Web, App) (DB) DB重すぎなので2台 参加者
- 51. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue CPU 2II% 🔥 参加者
- 52. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue CPU 2II% 🔥 Memory 2II% 🔥 参加者
- 53. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request ③ Execute ① Enqueue CPU 2II% 🔥 Memory 2II% 🔥 CPU 2II% 🔥 参加者
- 54. ISUCONのベンチマーク ISUCONポータル isu-I2 isu-I~ isu-I™ benchmarker ② Bench request 参加者 ③ Execute ① Enqueue CPU 2II% 🔥 Memory 2II% 🔥 CPU 2II% 🔥 どういう負荷になるか やってみないと分からない どういう負荷になるか やってみないと分からない
- 55. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 56. ISUCON インフラ提供とは？ • ⽇本全国、全世界に居る参加者が快適にSSH可 • 参加者全員が 8時間 全⼒でサーバに負荷をかける • でも、他のチームの負荷は影響なしで • もちろん通常の商⽤サーバには迷惑かけちゃダメ だよ
- 67. 😨😨😨
- 68. いっぱい検証しました • 各リソースの割当パターン • CPU / Memory / Interface / Disk IO / etc== • ISUCON過去問から⾒る負荷傾向 • Beta版予選問題もお借りしました • どのぐらい1Nodeにチームを詰め込めるか
- 69. いっぱい検証しました
- 70. 対策: ⾃作クラウド基盤 • lovi-cloud • Go / gRPC / MySQL / libvirtベース • ISUCONに必要な機能は実装済 • https://github.com/lovi-cloud で公開中 • ⾃宅でも動かせるようOSS版も作りました 💗
- 76. なんで作った？ • 普段利⽤しているOpenStack: フットプリント⼤ • 薄いプライベートクラウドが欲しかった • ⾃作することにより有事の際に緊急対応を可能に
- 77. なんで作った？ • 普段利⽤しているOpenStack: フットプリント⼤ • 薄いプライベートクラウドが欲しかった • ⾃作することにより有事の際に緊急対応を可能に なにより
- 78. なんで作った？ 普段利⽤しない 「プライベートクラウド」に安⼼感を なにより • 普段利⽤しているOpenStack: フットプリント⼤ • 薄いプライベートクラウドが欲しかった • ⾃作することにより有事の際に緊急対応を可能に
- 80. ~, Cycloudのこれから
- 81. Cycloud •Cy(berAgent)cloud •2019.03リリースのIaaS基盤 •特徴 •各種コンポーネントのAPI化 •Cloud / Firewall / IPAddress / LoadBalancer / etc •運⽤者が「つらくない」プライベートクラウド
- 82. Cycloud •Cy(berAgent)cloud •2019.03リリースのIaaS基盤 •特徴 •各種コンポーネントのAPI化 •Cloud / Firewall / IPAddress / LoadBalancer / etc •運⽤者が「つらくない」プライベートクラウド でした
- 83. Nakanishi Kento / whywaita 2019年度 新卒⼊社 Cloud Maker @ CyberAgent group Infrastructure Unit (CIU) “Private Cloud” team @whywaita
- 84. Nakanishi Kento / whywaita 2019年度 新卒⼊社 Cloud Maker @ CyberAgent group Infrastructure Unit (CIU) “Private Cloud” team @whywaita
- 89. Cycloud •Cy(berAgent)cloud •CIUが提供するクラウドサービス群 •既存DC (IaaS) は並⾏運⽤ •PCG / SIA の知⾒の集約 •更なるシナジーの創⽣
- 90. Cycloudの「これから」
- 91. Managed Serviceの提供 • 旧PCG提供クラウドへの対応 by dev team • AKE (Managed Kubernetes Engine) • Private Beta中 by Private Cloud team • CDB (Managed MySQL Cluster) • myshoes (Managed GitHub Actions Runner)
- 92. • 旧PCG提供クラウドへの対応 by dev team • AKE (Managed Kubernetes Engine) • Private Beta中 by Private Cloud team • CDB (Managed MySQL Cluster) • myshoes (Managed GitHub Actions Runner) Managed Serviceの提供 "Platform for Platform" with Kubernetes 〜 ML Platform and KaaS 〜 https://ca-base-next.cyberagent.co.jp/sessions/amsy-2I-k-s/
- 93. Managed Serviceの提供 • Private Beta中 by Private Cloud team • CDB (Managed MySQL Cluster) • MySQL j系マネージド基盤 • Kubernetesベース / 専⽤kubeletなど攻め構成 • myshoes (Managed GitHub Actions Runner)
- 94. Managed Serviceの提供 • Private Beta中 by Private Cloud team • CDB (Managed MySQL Cluster) • myshoes (Managed GitHub Actions Runner) • 便利なself-hosted Runner • 将来的にはmacOS対応などを予定 (夢) https://github.com/whywaita/myshoes
- 95. 既存のManaged Service • Software Load Balancer • BGP + Nginx + keepalived なManaged LB • Cycloud Console (Web Console) • Bearman (Baremetal Manager) • https://www.slideshare.net/whywaita/cyberagent-cycloud-administration-and-monitoring-for- cycloud • ML Platform
- 97. なんでつくれた？
- 100. まとめ • ISUCON インフラ提供とは、その裏側 • 多くの負荷と戦った半年でした • Cycloudの「これまで」、「これから」 • プライベートクラウドをどんどんやっていきます • これからもCyberAgentのインフラを⽀えます 💪
- 101. • [h]: https://twitter.com/isucon_official/status/h•µ•™˜¶•¶••µhh·¸·¸h よ り引⽤ • [•]: https://gihyo.jp/dev/serial/•h/cyberagent/••¸– • [·]: https://speakerdeck.com/komeiy/interop••hµ-huawei-ca • [¸]: https://www.slideshare.net/whywaita/why-did-we-select-to-the- diskless-hypervisor-builderscon-hµ˜•™¸·hµ • [¶]: https://isucon.net/archives/¶¸–•¸¶¶–.html 参考⽂献
- 102. • [µ]: https://github.com/isucon/isuconh•-infra/blob/ ˜hhb˜·b•µ™•h•·dfaa–e˜˜µcaµ·db™˜¸¶hb––•·™/qualify/scripts/team-generate/main.go#L•·•- L•·¸ • [–]: https://github.com/isucon/isuconh•-infra/blob/master/qualify/scripts/team-generate/ generated.prd/team••h/main.tf#L¸h-L¸¶ • [˜]: https://github.com/isucon/isuconh•-infra/blob/master/qualify/scripts/team-generate/ generated.prd/team••h/main.tf#L¶˜-Lµh • [™]: https://github.com/isucon/isuconh•-infra/blob/master/qualify/scripts/team-generate/ generated.prd/team••h/main.tf#L–¸-L–˜ 参考⽂献
- 103. • [h•]: CyberAgent 新規投資家向け資料 https:// d•utiq˜et¸vl¶µ.cloudfront.net/files/topics/ •••h¶_ext_•h_•.pdf?v=hµh™µ•¸µ¸¶ pµより引⽤ 参考⽂献