Mais conteúdo relacionado
Semelhante a Monitoring the health and performance of your aws environment using the Elastic observability solution (20)
Mais de Shotaro Suzuki (20)
Monitoring the health and performance of your aws environment using the Elastic observability solution
- 5. The Elasticsearch Platform
Enterprise Search Observability Security
Kibana
Explore, Visualize, Engage
Elasticsearch
Store, Search, Analyze
Integrations
Connect, Collect, Alert
Public cloud Hybrid On-premises
- 17. 統合スキーマ︓Elastic Common Schema (ECS)
Elastic Stack のデータ正規化プロセス
Elasticsearch にデータを取り込むために、フィールド
とオブジェクトの共通セットを定義
様々なデータを横断的にカバーするクロスソース分析
を有効化
拡張性を考慮した設計
Elastic Stack 全体に ECS を適⽤
コントリビューションやフィードバックをお待ちしています︓
https://github.com/elastic/ecs
ECS を使わずに検索すると︓
src:10.42.42.42
OR client_ip:10.42.42.42
OR apache2.access.remote_ip:
10.42.42.42
OR context.user.ip:10.42.42.42
OR src_ip:10.42.42.42
ECS を使って検索すると︓
source.ip:10.42.42.42
- 29. AWS Well-Architected フレームワーク
リスクとコストを低減し、クラウドへの移⾏をスピードアップ
● トレーサビリティ
● すべてのレイヤーを
保護
● セキュリティイベント
へ対策
● ベストプラクティスの
⾃動化
● 運⽤指標(メトリッ
ク)の定義・捕捉・
分析
● 運⽤指標や内部
状態(ログ、トレース
情報)の理解
● 勘に頼らない
キャパシティ予測
● 障害からの⾃動回復
● 変更管理の⾃動化
● 先端テクノロジーを
サービスとして利⽤
● 頻繁な実験
● サーバーレス
アーキテクチャの利⽤
● 効率性の測定
● 運⽤コストの抑制
● ⽀出の分析と分類
セキュリティ 信頼性 パフォーマンス効率
オペレーショナル
エクセレンス
コスト最適化
● リソース利⽤率の向上
による必要リソース量
の削減
● コードやアーキテクチャ
の最適化
持続可能性
- 30. 皆様のクラウドジャーニーを⽀援します
移⾏前 移⾏中 移⾏後
以下を考慮し、移⾏計画を効果的に
策定︓
● オンプレミスの状況を可視化し、お
客様環境のモノリシックアプリをすべて
把握
● サービスマップをもとに、アプリケー
ションアーキテクチャと依存関係をビ
ジュアル化
● オンプレミスのパフォーマンスをもとに、
Webアプリ閲覧者のリアルユーザー
エクスペリエンスを測定
● 移⾏前のコスト分析(TCO)、アプリ
ケーションポートフォリオ、サイジングの
適正化
● ハイブリッド環境の監視
● 複雑なアーキテクチャの(マイク
ロ)サービスに、カスタマーエクスペ
リエンスに⽀障をきたす⼤幅なレイ
テンシーやエラーなどの問題が潜ん
でいないかを分散トレーシングで
特定
● 移⾏作業中の検証
● 移⾏後の相互牽制機能
● アラート機能とインシデント管理
● クラウドに乗せたリソースをすべて
監視(アップタイム)
● コスト最適化
Elastic オブザーバビリティ
ログ
メトリック
APM
アップタイム
- 34. Elastic Agent Fleet 連携
• ログ、メトリック、セキュリティなどの
データを⼀元的に収集する総合
エージェント
• インストール、アップグレード、拡張
がより簡単に
• 各種エージェントと設定内容を
⼀元管理
• 何千ものエージェントをワンクリック
で⾃動更新
• 最もよく使われる AWS サービスと
のワンクリック連携機能を追加
• ログ解析、ダッシュボードなどの 機
能を標準搭載
Elastic へのデータ投⼊⽅法が改良されました
- 35. これまで これから
ホストごとに使い分け︓
• Filebeat (ログ)
• Metricbeat (メトリック)
• APMエージェント (アプリケーショント
レース)
• Heartbeat (アップタイム)
• Endpoint (セキュリティ)
• Winlogbeat (Windowsデータ)
ホスト単位で︓
• ログ、メトリック、セキュリティデータを
Elastic Agent が⼀元的に収集します。
アップタイム、Windows データ、トレースに
ついては近⽇中にサポート開始予定。
インストールから設定、拡張まで単⼀
エージェントで完結します。
Elastic Agent
ログ、メトリック、セキュリティなどのデータを⼀元的に収集する総合エージェント
- 36. よく使われる汎⽤的な AWS サービスを サポート
● AWS 環境全体を Elastic で⼀元的に
可視化
● 20種類以上の AWS サービスと統合可能
(順次拡充中)
● ログ解析、ダッシュボードなどの機能を標準
搭載
● Amazon インフラやアプリのパフォーマンスと
健全状態を可視化し、より深いインサイトを
提供
- 38. AWS 側のメトリックとの連携
メトリックセット (GetMetricData API 経由)
● Amazon CloudWatch
● Amazon EC2
● Amazon SQS
● Amazon S3(⽇次データのストレージ、リクエスト)
● Amazon RDS
● Amazon DynamoDB
● Elastic Load Balancing
● Amazon EBS
● AWS Lambda
● VPN、トランジットゲートウェイ、NAT ゲートウェイ
● 請求・使⽤状況
Amazon CloudWatchのメトリック合算(=統計)
● 最⼩値、最⼤値
● 合計、平均
● サンプルカウント
#welovecloud
- 40. AWS のログ/イベントを Elastic で収集
インジェスト ノード
Elasticsearch
データ ノード
Elastic Agent
Amazon
CloudWatch
Amazon
VPC
Amazon
EC2
Elastic
Load Balancing
Amazon
S3
AWS
CloudTrail
Amazon
S3
Amazon
SQS
- 41. Amazon VPC Flow Logs との連携モジュール
Amazon VPC Flow Logs︓AWS の VPC ネットワークインターフェースを⾏き来する IP トラフィックの状態を捕捉するためのログ
• S3 で収集する AWS サービスのログを捕捉
‒ Amazon VPC Flow Logs
‒ Elastic Load Balancing のアクセスログ
‒ Amazon EC2 のログ
‒ AWS CloudTrail のログ
‒ Amazon CloudWatch Logs
• さらに、Amazon S3 のサーバーアクセスログそ
のものも捕捉
‒ セキュリティ監査
‒ アクセスログ
‒ Amazon S3 の利⽤料⾦を把握する便利
な⼿段
• ダッシュボードも搭載しています
- 42. ● AWS Serverless Application Repository (SAR)、Amazon S3 → Elasticsearch
○ AWS SAR︓Lambda コンソールで利⽤可能なサーバーレスアプリケーションのマネージド型リポジトリ
○ ⼀元リポジトリである SAR 経由で、Lambda テンプレートを選択・実⾏可能
○ AWS の SAR テンプレートを使って AWS S3 から Elastic にログデータを取り込みます
● AWS Fargate、FireLens → Elasticsearch
○ Fargate︓AWS Elastic Container Service (ECS) のサーバーレスコンピューティングエンジン
○ FireLens︓Fargate が収集したログの出⼒先を選択したり、デプロイスクリプトを改変せずにフィルタを任意で定義できる、
コンテナログのルーティングツール
○ Fargate から Elasticsearch へのログデータは、FireLens を介してエージェントレスで取り込みます。これにより、AWS
CloudWatch によるログの集約が不要になるため、コスト低減と簡素化につながります。
● AWS Kinesis Firehose 配信ストリーム
○ Firehose から Elasticsearch へのデータ投⼊についても、サポート実現に向けて鋭意準備中です︕
AWS のデータをエージェントレスで Elastic に投⼊(全体の流れ)
Amazon S3
AWS Fargate
AWS Serverless
Application Repository
- 43. Amazon S3 および Firehose については、近⽇中に対応予定
AWS のデータをエージェントレスで Elastic に投⼊
Placeholder: visual
from S3 SAR demo
● Amazon S3 → Elastic Cloud
○ AWS EC2 に Beats をインストールする必要はありません︕
○ AWS SAR の elastic-agentless-logging テンプレートを選択します
○ S3 のデータを Elasticsearch に取り込みます
● 各種 AWS ログ → Firehose → Elastic Cloud
○ Beats をインストールする必要はありません︕
○ Firehose のログをほぼリアルタイムで Elasticsearch に取り込みます
- 47. ISV Workload Migration Program (WMP)
訳注︓AWS が ISV パートナーと共同で提供するワークロード移⾏プログラム
共通⽬標︓ AWS と Elastic は、お客様の Elastic ワークロードを Elastic Cloud に移⾏することで、
お客様が事業⽬標を達成し、クラウドジャーニーを加速できるよう⽀援します。
両者がもつノウハウを活⽤し、お客様の Elastic Cloud への移⾏を⽀援
規範的かつ反復可能な移⾏アプローチをお客様に提供し、クラウド化を加速
- 51. リソース
• 公式ドキュメント
https://www.elastic.co/guide/index.html
• クラウドネイティブ アプリでの Elasticsearch
https://docs.microsoft.com/ja-jp/dotnet/architecture/cloud-
native/elastic-search-in-azure
• Elastic APM Agent
https://www.elastic.co/guide/en/apm/agent/index.html
• Reactivesearch
https://opensource.appbase.io/reactivesearch/
• 優れた React 検索エクスペリエンスを迅速に構築する
⽅法
https://www.elastic.co/jp/blog/how-to-build-great-react-
search-experiences-quickly
● Search UI Elastic GitHub レポジトリ
https://github.com/elastic/search-ui
• APM
https://www.elastic.co/jp/apm/
• Configuration on .NET Core
https://www.elastic.co/guide/en/apm/agent/dotnet/current/co
nfiguration-on-asp-net-core.html
• ASP.NET Core Quick Start
https://www.elastic.co/guide/en/apm/agent/dotnet/current/set
up-asp-net-core.html
• K8s Observability サンプルソリューション GitHub
レポジトリ
https://github.com/michaelhyatt/k8s-o11y-workshop
• 関連ブログ
https://www.elastic.co/jp/blog/kubernetes-observability-
tutorial-k8s-cluster-setup-demo-app-deployment
https://www.elastic.co/blog/kubernetes-observability-tutorial-
k8s-log-monitoring-and-analysis-elastic-stack
https://www.elastic.co/blog/kubernetes-observability-tutorial-
k8s-metrics-collection-and-analysis
https://www.elastic.co/blog/kubernetes-observability-tutorial-
k8s-monitoring-application-performance-with-elastic-apm