「インフラ領域の技術スタックや業務内容について紹介」 2022/08/24【23卒/24卒エンジニア】オンライン勉強会 「オンプレ環境とクラウドのハイブリッド運用の活用事例」 #MicroadDevs

1. インフラ領域の技術スタック
や業務内容について紹介
株式会社マイクロアド
システム開発部 基盤開発グループ
チーフエンジニア 永富 安和 ( @yassan168 )
#MicroadDevs
2022年【23卒/24卒エンジニア】オンライン勉強会
「オンプレ環境とクラウドのハイブリッド運用の活用事例」

2. #MicroadDevs
今日の話の流れ
1. どの様な技術を使っているか
2. 業務内容について
3. 基盤開発グループの体制について
4. マイクロアドのインフラの魅力
5. 基盤開発グループのミッション
6. 業務を行う上で大切にしていること
2

3. #MicroadDevs
どの様な技術を使っているか（その１）
環境 オンプレミス、AWS、GCP
ネットワーク環境
＆ネットワーク機器
IP Clossネットワーク
WhiteBox Switch（Cumulus Linux）、Arista、Juniper
言語 Python、Golang、Java
バージョン管理 Git (GitHub Enterprise)
コラボレーションツール Slack、JIRA、Confluence、Google Workspace、Workplace
基盤開発グループで用いている技術は以下の通り
3

4. #MicroadDevs
どの様な技術を使っているか（その２ ミドルウェア）
）
プロビジョニング OS→ MAAS（Metal-As-A-Service）、クラウド→ Terraform
構成管理→ Ansible、AWX（Red Hat Ansible Automation PlatformのOSS版）
RDBMS MySQL、PostgreSQL
KVS Redis
分散処理基盤 CDH (Cloudera's Distribution including Apache Hadoop)
HDFS、Hive、Impala、Spark（Spark Streaming）、Flume、Kafka
仮想化基盤 OpenStack
Docker、Kubernetes（Rancher、RKE2）
監視基盤 Prometheus・VictoriaMetrics/Grafana、Elasticsearch/Kibana、
Datadog
バッチ Digdag（Treasure Dataが主体で開発するOSSのワークフローエンジン）
その他 Fluentd、Nginx 4

5. #MicroadDevs
業務内容について
国内最大級のデータプラットフォームのシステムインフラの設計・構築・運用
主な業務概要
1. 約1,400台の物理サーバをデータセンターで運用
2. IP Closネットワークの設計・構築・運用
3. Docker、Kubernetes、OpenStack を用いた仮想基盤の設計・構築・運用
4. Hadoopエコシステムを活用したデータ基盤の設計・構築・運用
5. バッチやCIで用いるクレデンシャルやアクセス権限の管理
6. 運用の自動化や監視の強化などインフラ環境の改善
7. 新しい技術の検証、導入
8. パブリッククラウド（GCP・AWS）の運用管理
9. 既存システムにおけるパフォーマンスチューニング 5

6. #MicroadDevs
約1,400台の物理サーバをデータセンターで運用
データセンターにて、約1,400台の物理サーバやネットワークスイッチを運用。
機器の調達から設置、構築まで全て行っている。
台数が多いので１台ずつ手作業で構築するのは手間がかかりすぎるので、
可能な限り自動化を行う。
OSのインストールについては、Canonical社のMAASを用いて自動化。
その後、用途に応じたセットアップは、独自のスクリプトやAnsibleを用いて自動化し
ている。
6

7. #MicroadDevs
HDFSで採用している物理サーバのH/W紹介
Hadoopクラスタには、以下のようなマルチノードクラスタを用いて
1ラックあたりの集積度を上げて効率化しています。
7

8. #MicroadDevs
IP Closネットワークの設計・構築・運用
こちらについては、このあとのセッションにて。
8

9. #MicroadDevs
Docker、Kubernetes、OpenStack を用いた仮想基盤の設計・構築・運用
例）DigdagとDockerコンテナを用いたバッチサーバ
PostgreSQL
S3 Docker Daemon
Digdag Server Host 01
Aジョブ用
Cジョブ用
・・・
Digdag
Server
Docker Daemon
Digdag Server Host XX
Bジョブ用
Dジョブ用
・・・
Digdag
Server
Aジョブ用
イメージ
Bジョブ用
イメージ
ジョブをコンテナ化しているのでどちらかのDigdag Serverで動く
ホストの
縮退が可能
S3のファイルを
フラグ的に使って
ジョブ間の依存を解決
管理情報を参照
9

10. #MicroadDevs
Hadoopエコシステムを活用したデータ基盤の設計・構築・運用
データセンター内にHadoopクラスタを構築。
必要なリソースを見積もり、将来を見越しながら運用している。
Cloudera Manager
ログ転送
広告配信サーバ等
各種サーバ
管理・監視
オンプレ GCP
BigQuery
Impala
参照 参照
利用
データ基盤概要
10

11. #MicroadDevs
バッチやCIで用いるクレデンシャルやアクセス権限の管理
クレデンシャルの管理
クレデンシャルとは、DBのアクセス情報やAWS S3アクセストークンなどの事。
開発する上で必要になるがクレデンシャルの中身は簡単に見えるようにしたくない。
そこで、Ansibleを用いてクレデンシャルを暗号化し、変数として扱えるようにして
バッチから利用出来るようなしくみを構築して運用しています。
アクセス権限の管理
以下に対してどの様に権限を付与するか検討し、必要最小限の権限を付与する。
● 各種サーバへのSSHリモートアクセス
● 開発向けWebサービス（GitHub Entrerprise、Jenkins、コンテナレジストリetc）
● AWS・GCPの各種サービス 11

12. #MicroadDevs
運用の自動化や監視の強化などインフラ環境の改善
繰り返し発生する作業のうち、手順化出来ている作業はコード化して
自動化出来るようしくみを構築して、手作業によるミスを無くすようにしてます。
例えば以下
● クレデンシャルの管理
● SSHリモートアクセス管理
● ミドルウェアのインストール
● 監視のアラート設定
また、構築したシステムを監視出来るようにPromethuesを使って、
取得出来るメトリクスを増やし、異常を補足できるようにアラートを設定しています。
12

13. #MicroadDevs
新しい技術の検証・導入
これまで利用していなかった技術を検証し、
効果がありそうと判断したら導入するまで対応していきます。
そこで大事なのは「新規性」ではなく、
「現状の課題（技術・コスト）を解決可能」かつ「継続して利用可能」である事とな
ります。
ただし、導入するための技術的な難易度や運用時の手間も考慮して判断しています。
例： Promethuesの長期メトリクス保存のためのVictoriaMetricsの導入
13

14. #MicroadDevs
パブリッククラウド（GCP・AWS）の運用管理
各種サービスを適切に利用できるように整備する。
● オンプレ環境と接続するためのネットワーク設定
● VPC管理
● IAM、サービスアカウントといったアクセス権限の管理
● 利用するサービスのリソースの作成
○ VMインスタンス、S3・GCSバケット、GKEクラスタなどなど
大事にしていること
● 安全に利用できること
● コスト
● 最小権限の原則に基づいて権限を考慮すること
14

15. #MicroadDevs
既存システムにおけるパフォーマンスチューニング
以下のような理由でパフォーマンス改善を行うこともあります
● 構築時の想定と異なる利用した影響でパフォーマンスが落ちる
● 要求するスペックが上がる
● ダッシュボードを見た際に想定よりパフォーマンスが悪い
などなど
チューニングの際は、観点となるメトリクスをGrafanaのダッシュボードを見なが
ら、改善していきます。
15

16. #MicroadDevs
基盤開発グループの体制
左図のようなロールで構成している。
各々の得意分野や今後の技術的志向に合わせて
タスクを分担して対応している。
その為、XXエンジニアだから●●な雑務をするといっ
た様なアサインはしない。
新人でも出来ると判断したらどんなタスクでも
アサインされる（サポート付けて相談しながら進める
場合もある）。
統括
シニアエンジニア
チーフエンジニア
エンジニア
16

17. #MicroadDevs
マイクロアドのインフラの魅力 その１
広告に由来する大規模データとトラフィックを支える巨大なインフラ環境に携われる
● 秒間30万件のリクエストを 100 msec 以下で捌く広告配信システム
● メインのデータレイクは約40TB/日の書き込み、総量が約2ペタバイト
基盤開発グループ視点での魅力
● 上記を支える約1,400台の物理サーバをデータセンターで運用
● AWS、GCPなどのパブリッククラウドサービスも併用
● Ansibleなどによる自動化で、容易かつ再現性のあるインフラ構築を実現
17

18. #MicroadDevs
マイクロアドのインフラの魅力 その２
広範なインフラ領域の様々な業務に取り組むことができる
近年に行った新規導入、検証、各種改善の例
● データセンターの移設
● IP Closネットワークの導入
● Rancher（& RKE2）によるKubernetes環境の導入
● CentOS以外のOSとしてUbuntuの導入
● Prometheus及びLong-term StorageとしてのVictoriaMetricsの利用
● GrafanaダッシュボードのIaC運用の導入
18

19. #MicroadDevs
基盤開発グループのミッション
アプリ開発や機械学習のチーム向けに安全で最適なプラットフォームを提供する
各チーム 基盤開発グループ
XX用サーバを追加して欲しい
GCPに新しいプロジェクトが欲しい
XXってミドルウェアを導入て欲しい
19

20. #MicroadDevs
大事にしている事
各所から要望に対して「顧客が本当に必要だったもの」が何かを意識する。
「何を実現したいのか？」を明らかにして、必要であればオンプレにこだわらず、
パブリッククラウドを活用するなど柔軟に対応する。
出典: https://www.businessballs.com/amusement-stress-relief/tree-swing-cartoons-new-versions/ 20

21. #MicroadDevs
大事にしている事
目標の達成にこだわる
緊急度と重要度を天秤にかけながら「達成すべきこと」を考えた行動が求められる。
例1）障害が発生した際
障害の原因究明は大事だが、復旧が遅れるのもまずいので、
ある程度の段階で原因が特定出来なければ、復旧を優先する。
例2）新機能の検証の際
ベストの方法はXXXだけど、やりたかった事は出来ているし、
運用面もクリア出来ているので、期日の問題もあるので、ベターな方法をとる。
など。
21

22. #MicroadDevs
振り返り
1. どの様な技術を使っているか
2. 業務内容について
3. 基盤開発グループの体制について
4. マイクロアドのインフラの魅力
5. 基盤開発グループのミッション
6. 業務を行う上で大切にしていること
22

23. 補足（MicroAd Developers Blog）
● ケーブリングを改善した話
https://developers.microad.co.jp/entry/2022/06/27/100000
● strongSwanとFRRでオンプレとGCPをVPN接続
https://developers.microad.co.jp/entry/2022/05/30/100000
● CDH (Hadoop) 入門
https://developers.microad.co.jp/entry/2021/09/21/063000
● redis threadedI/Oの検証
https://developers.microad.co.jp/entry/2021/06/28/063000
23

24. 補足（MicroAd Developers Blog）
● Ansible AWXでMySQLの構成管理を行う
https://developers.microad.co.jp/entry/2019/06/07/190000
● MAASを導入した話
https://developers.microad.co.jp/entry/2020/09/29/063000
24

25. 補足（SlideShare）
● Cumulus Linuxを導入したワケ
https://www.slideshare.net/microad_engineer/cumulusug20191120
● Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介
https://www.slideshare.net/microad_engineer/camphorinfra20191005
25