Mais conteúdo relacionado
Semelhante a ぐるなびが活用するElastic Cloud (20)
Mais de Elasticsearch (20)
ぐるなびが活用するElastic Cloud
- 11. 13
Elastic Stack 導入前 ・ 導入後
導⼊前 導⼊後
Service A
Service B
Service C
Service A
Service B
Service C
API A
API B
API C
API A
API B
API C
- 14. 16
オンプレミス抱える問題
vesion Release date
Elasticsearch 7.7.0 2020/05/04
Elasticsearch 7.6.2 2020/04/01
Elasticsearch 7.6.1 2020/03/05
Elasticsearch 7.6.0 2020/02/12
Elasticsearch 7.5.2 2020/01/22
Elasticsearch 7.5.1 2019/12/19
Elasticsearch 7.5.0 2019/12/03
Elasticsearch 7.4.2 2019/11/01
Elasticsearch 7.4.1 2019/10/24
Elasticsearch 7.4.0 2019/10/02
Elasticsearch 7.3.2 2019/09/13
Elasticsearch 7.3.1 2019/08/23
Elasticsearch 7.3.0 2019/08/01
Elasticsearch 7.2.1 2019/07/31
Elasticsearch 7.2.0 2019/06/26
Elasticsearch 7.1.1 2019/05/29
Elasticsearch 7.1.0 2019/05/21
Elasticsearch 7.0.1 2019/05/02
Elasticsearch 7.0.0 2019/04/11
バージョンアップがシンドイ
- 29. 31
Logs Stream
• tailf コマンドのような
• どんなログでも対応できる(messageがないとダメ)
• Defaultはfilebeat-*が設定されている
• Kubernetesとの相性はいい、エラーログを瞬時に⾒つけられる
• Stream Live に [Highlights]をつけられる
- 30. 32
Logs Log Rate / Machine Learning analysis
Messageを機械学習を使って条件検知をしてくる
Count(数)で設定されているので、同じような条件のログ
から異常値を検出する。
設定がほとんどいらない。今後の拡張にも期待。
- 40. 42
Functionbeat runs as a Lambda function
Amazon CloudWatch logs Amazon Simple Storage
Service
Outout S3
backup
Outout Elastisearch
Outout Logstash
Outout Elastisearch
- 41. 43
On-premises / AWS Hybrid Input / Output
Application
Logs
Php/java/Nodejs/Ruby
Network
devices
AWS services logs
RDS
NoSQL/Data Store
RKS Container
Kubernetes
Block
storage
Web Server
Apache access
Log
Amazon CloudWatch
Amazon Simple Storage
Service
Lambda function
Beats
Logstash
Elastic Cloud
Logstash
Amazon Simple Storage
Service
OutputS3
Logstash
Input S3
Output Logstash
Output elasticsearch
On-Premises logs
Logstash
Elasticsearch OSSKibana
Kibana
- 42. 44
AWS S3 から Elastic Cloud への転送
Amazon Elastic Container
Service
AWS services
SNS Topic
Queue
Bucket
Elastic Cloud
SQSにQueueを⼊れる
ファイル単位で
SNS Topicに
イベントを送信
ログを保存
SQSのQueueを取得
Elastic Cloudに転送
S3バケットからファイル取得
fingerprint {
source => "message"
target => "[@metadata][fingerprint]"
method => "MD5"
}
- 43. 45
Functionbeat から Elastic Cloud への転送
Elastic Cloud
Amazon CloudWatch
Lambda function
Amazon CloudWatch
Lambda function
Amazon CloudWatch
Lambda function
Ingest pipeline
Ingest pipeline
でフィルタを設定して
ログを加⼯する
LogGroup単位で
Functionbeatを設定
Ingest nodeに負荷がかかる
別途⽴てるとコストもかかる
- 44. Functionbeat から Logstash 経由 Elastic Cloud への転送
Amazon Elastic Container
Service
Elastic Load Balancing
Bucket
Elastic Cloud
Amazon CloudWatch
Lambda function
Amazon CloudWatch
Lambda function
Amazon CloudWatch
Lambda function
バックアップをS3に保存
Elastic Cloudに転送
LogGroup単位で
Functionbeatを設定
- 48. 50
• Client Geo-location : 国/町/緯度・経度
• Client User-Agent : アプリ? or ブラウザ or Bot
ビジネス戦略ログ活⽤
• Details: URI/ステータス/レスポンス/遅延/ユーザ属性
• アプリケーション特有の情報等