Mais conteúdo relacionado Semelhante a Elastic stack_&_cloud_7.11_updates-summary (20) Mais de Shotaro Suzuki (20) Elastic stack_&_cloud_7.11_updates-summary1. Elastic Stack & Cloud
7.11 アップデートダイジェスト版
鈴⽊ 章太郎
Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト
内閣官房 IT 総合戦略室 政府 CIO 補佐官
3. Elastic Stack and Cloud 7.11 Release
Agenda
Elasticsearch 7.11
Elastic Stack 7.11
1
Kibana 7.11
2
3
Elastic Enterprise Search 7.11
4
Elastic Observability 7.11
5
Elastic Security 7.11
6
Elastic Cloud 7.11
7
4. Elastic 7.11 リリースのハイライト
• コスト、パフォーマンス、インサイト、柔軟性の最適化を強⼒に⽀援する各種新機能が搭載
• ⼀般提供 (GA) を開始した Searchable Snapshots
• Schema on read (ベータ版) Elastic Enterprise Searchの新しい Web クローラー(ベータ)
• Elastic オブザーバビリティの Service Health と Host のDetail View を表⽰する機能
• Elastic セキュリティの事前構築済み検知ルール、機械学習ジョブ、カスタマイズ可能なアラート通知、
アナリストの⼀元的な作業スペース
• Elastic Cloud でも複数のリリースアナウンス
• Elastic Cloud でSearchable Snapshotsの強⼒なサポートを開始
• データと機械学習ノードの⾃動スケールに関するアナウンス
• クラスター横断検索(CCS)とクラスター横断レプリケーション(CCR)の強化による可⽤性と検索
パフォーマンスの向上
5. Elasticsearch と Kibana のライセンスオプションを変更
• Apache 2.0 によりライセンス提供される
コードから、Elastic License と SSPL に基づ
くデュアルライセンス提供に移⾏
• また Elastic は⼤幅なアップデートを通じ
て、Elastic License を⼀層シンプルかつ寛
容なライセンスに
• Elastic の配布パッケージ、ならびに無料・
有償を含む全機能のソースコードは Elastic
License v2 の下に使⽤許諾され、また⼀連
のコアな無料機能群のソースコードは
SSPL v1 によっても使⽤許諾される
• この変更は、Elastic コミュニティの圧倒的
⼤多数のユーザーに、⼀切の影響を与え
ません
https://www.elastic.co/jp/blog/license-change-clarification
https://www.elastic.co/jp/blog/why-license-change-AWS
7. Elastic Stack リリースのハイライト
• 安価なオブジェクトストアに格納する Searchable Snapshots に
新登場の Cold ティアを組み合わせ、より多くのデータを保持・検索
• ランタイムフィールドで活⽤できる Schema on read が登場
• Elastic Stack と外部システムを横断する新しいアラートフレームワークで
通知の作成と管理、監視を実現
8. Searchable Snapshots と Cold ティア
• 安価なオブジェクトストアに格納する Searchable Snapshots に新登場の Cold ティア
を組み合わせ、より多くのデータを保持・検索
• Searchable Snapshots
• AWS S3 や Microsoft Azure Storage、Google Cloud Storage など、ローコ
ストオブジェクトストレージに格納されたスナップショットのデータを検索できる
• Elasticsearch クラスターのストレージコストと、検索パフォーマンス、データから取得す
るインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチ
• Searchable Snapshots はストレージコストを⼤幅に減少に引き下げ、また新登場
の Cold ティア機能をサポート
• Cold ティアは今回 GA 移⾏し、Elastic Cloud でも提供を開始
• パフォーマンスへの影響を最⼩限に抑えながら、インフラコストを最⼤50%削減
9. Schema on read (7.11でベータリリース)
• ランタイムフィールドで、クエリ時にインデックスのスキーマを定義可能に
• スキーマの作成中に新規データや新規のワークフローを発⾒できる
• コストとパフォーマンスのトレードオフ関係について選択しつつ、新しいインサイトの発⾒をもたらす⽐類ない柔軟
性も確保できる
• Elasticsearch は超⾼速の分散型検索・分析エンジン
• データを格納するインデックスがディスク書き込み時に構造化インデックスとして作成されるアプローチ、い
わゆる “Schema on write”のおかげ
• 構造を整理するには、Elasticsearch でデータがどう表現されるかについての理解と準備が⽋かせない
• その分、スピード、スケール、関連性という⼤きなメリットを享受できる
• しかし時には、データスキーマを事前に計画するのではなく、データを新しい切り⼝で探索、調査するアプローチ
が必要となることもある
• そこで今回、検索時にランタイムフィールドに Schema on read を⽤いて流動的なデータストラクチャーを作
成する⽅法が登場
• この⽅法はフレキシブルで、最初にインサイトを取得するまでの時間を短縮できる
• 他⽅で総合的なパフォーマンスではトレードオフとなる部分もある
• そのため、検索シナリオに応じてユーザーが Schema on read と Schema on write をすばやく切り替え
ることができるようになっている
10. Runtime fields
新しいフィールド タイプ
Defined by a script
グロック/正規表現、あるいはダイナミックルックアップ
Evaluated at query time
マッピングに追加するか、クエリを指定
Works like a regular field
検索、集計、通常のフィールドと同じように視覚化
変換とエンリッチメントに使⽤できる
データが取り込まれた時点で値を追加する
“runtime_mappings”: {
“day_of_week" : {
"type" : "long",
"script" : {
"source" :
"emit(doc[ʻtimestampʼ].value.getDayOfWeek())"
}
}
}
新しいデータ ソース
変更の処理
新しいワークフローを有効にする
Good for
12. Runtime fields in Index Templates
インデックス テンプレート マッピング エディタ UI サポート
OODA
Loop
STANDARD | GA
13. ● スキーマの柔軟性: フィールドの追加と変更
● ランタイムからインデックスへ、インデックスからランタイムへフィールドを移動する
● クエリパフォーマンスへの影響を軽減するためのインデックス付きフィールドへの依存
● 任意のフィールドと同様に消費される
Runtime fields
Elasticsearch 読み取り時のスキーマ
"runtime_mappings": {
"duration": {
"type": "double",
"script": {
"source": """if(params._source['duration'] == null){return}
else if(doc['browser'].value == "Firefox") {emit(params._source['duration'] / 1000)}
else {emit(params._source['duration'])}"""
}
}
}
OODA
Loop
STANDARD | GA
14. 新しい Alert フレームワーク が GA
• 脅威検知、アプリケーションパフォーマンス警告、
物理アセットの追跡まで、データインサイトに基
づいて判断するには、重⼤な変更が⽣じたとき
にタイムリーにアラートが届く仕組みが不可⽋
• このようにタイムリーなアラートを Elastic
Stack に提供する新しいアラートフレームワー
クは7.11リリースで⼀般公開 (GA) に移⾏
• このアラートインターフェースは Elastic セキュリ
ティと Elastic オブザーバビリティに直接組み
込まれている PagerDuty や ServiceNow、
Microsoft Teams といったプラットフォームと
のサードパーティアラート統合に対応する形で
拡張
• また各種アラートは、ロールベースのアクセス制
御機能を使って簡単に管理可能
Kibana 7.11ブログ記事およびElasticsearch 7.11ブログ記事
17. Alerting OODA
Loop
BASIC
Free and Open2
GOLD PLATINUM ENTERPRISE
アラートの作成 ✅ ✅ ✅ ✅
アクション:
インデックスとログ記録
✅ ✅ ✅ ✅
アクション:
電⼦メール, WebHook, Jira,
Microsoft Teams, Page duty,
Slack
✅ ✅ ✅
アクション:
IBM Resilient, ServiceNow®
ITSM
✅ ✅
2 Elastic License
26. Maps
• Elastic Map Server
• Geo Alert : 封じ込め
• トラックレイヤー
• パーセンタイルによるレイヤースタイ
リング
強化
OODA
Loop
27. Maps: Elastic Maps Server
• エアギャップ環境
• 連邦/公共部⾨
• 最も要求された機能
なぜこれが重要なのか
OODA
Loop
ENTERPRISE | BETA
28. Maps: Geo alerts
• 資産の追跡/管理
• 新しいアラートタイプ: 封じ込め
• ベータ⚠
•
なぜこれが重要なのか
OODA
Loop
GOLD | BETA
30. Maps: Style layer by percentile
簡単な視覚分析
地理空間解析でデータ分布を表⽰
する柔軟性
なぜこれが重要なのか
OODA
Loop
STANDARD | GA
37. Machine Learning:
スペースあたりの ML ジョブの管理
• ML ジョブは 1 つ以上のスペース
に追加できる
• 異常検出とデータフレーム分析
ジョブ
• 注意: カレンダー、フィルタルール、
推論モデルは、すべてのスペースに
表⽰される
•
なぜこれが重要なのか
OODA
Loop
PLATINUM | GA
38. Machine Learning:
変換タイプ - 最新
• 最新のイベント (最終購⼊、最終
トランザクションなど) を追跡する
場合に必要
• 最新のドキュメントを新しいコピー
先のインデックスにコピーできる
• 最新の状態を記録する
• 例: 前回エージェントが報告し
た⽇時、最後のログイン、
最新のアクション
•
なぜこれが重要なのか
OODA
Loop
PLATINUM | GA
39. Machine Learning:
データフレーム分析 UI マップ ビュー
• ジョブ、インデックス変換、モデルの
接続ビューを提供
• データ フレーム ジョブ パイプライン
の表⽰に役⽴ちます。
• 依存関係を⼿動で追跡する必要
があるお客様の負担を軽減
なぜこれが重要なのか
OODA
Loop
PLATINUM | GA
40. Machine Learning:
データ ビジュアライザー テーブル ビュー
• インデックスを視覚化して、より多く
の結果を表⽰し、ナビゲートしやす
くする
• ML ジョブを作成する前にフィール
ドとインデックスを確認する
• 詳細を掘り下げる
•
なぜこれが重要なのか
OODA
Loop
STANDARD | EXPERIMENTAL
42. Searchable Snapshots - Now GA in 7.11
• S3 およびその他のオブジェクト・ストアの
使⽤法を変換する
• 3 つのクラウド プロバイダーすべて
• オンプレミス
● ECK と ECE
● 複数のオブジェクト ストア(MinIO,など)
•
• スナップショットをより効果的に活⽤
• 無制限のデータ量を検索する
• 新しい Cold Tier、Frozen Tier に
パワーを与える
オブジェクトストアを最⼤限活⽤する
OODA
Loop
ENTERPRISE | GA
43. Cold Tier - Now GA and in Elastic Cloud
OODA
Loop
ENTERPRISE | GA
44. Cold Tier vs AWS UltraWarm
⼤きなトレードオフ
Cold Tier AWS UltraWarm
移植性 ✔ ● All three cloud providers
● On-premises
● ECK and ECE
● Multiple object stores
(MinIO, etc.)
✘ ● Only available on AWS ES
● Not part of OpenDistro
クエリ実⾏可能性 ✔ ● Async search
● Kibana streaming results
● Cold Tier optimizations
✘ ● Timeouts
● Infrastructure not in place to
manage long running queries
サポート ✔ ● Makers of Elasticsearch
● Large number of Cold Tier
improvements after AWS
fork
✘ ● To be determined…
● High risk, no relationship with
Elastic
OODA
Loop
46. geo_line Aggregation
geo_points + timestamp = geo_line
なぜこれが重要なのか
● ⼀連の場所からパスへ
● 資産追跡を頻繁に要求する
● 有料ライセンス geo 機能
● geo_points セットの集計
● GeoJSON ラインストリング内
● フィールドによるソート
(timestamp 等)
OODA
Loop
GOLD | GA
50. Event Query Language (EQL)
● ':' 演算⼦のワイルドカードサポート
● ':' 演算⼦のリスト宣⾔
● ベンチマークおよびテストカバレッジの向上
● その他のクエリの最適化
● 検出エンジンで EQL ルールをテストする
GA Release!
OODA
Loop
STANDARD | GA
52. Web クローラーが新登場
• ユーザーは パワフルな Web クローラーを使って
コンテンツをインジェストすることも可能に
• Web クローラーはパブリックにアクセス可能な
Web サイト情報を取得し、コンテンツを、 使
われている App Search エンジンで⼿軽に検
索可能に
• App Search の他のインジェスト⽅法と同様、
スキーマの推論はインジェスト時に実⾏
• 1クリックでほぼリアルタイムにアップデート
できる
• ユーザーはコードを書かずにクリックだけで
Web クローラーをカスタマイズ
• 除外するページやコンテンツ、語句などの
ルールを Web クローラーに指⽰
• エントリーポイントを指定可能
Elastic App Searchに新しいWebクローラーが登場
53. Box に保存したコンテンツ検索のサポートを拡充
• Workplace Search の
コンテンツソースとして Box
のサポートを開始
• 事前構築済みのコネク
ターにはドキュメントレベル
の権限機能が搭載
• 適切なユーザーに適切な
コンテンツを表⽰
• Google Drive や
Dropbox に Box が
コンテンツソースサポート
対象に追加
54. Jira Cloud と Confluence Cloud 向けに
きめ細やかなアクセス制御の提供を開始
• Elastic Workplace Search は、Atlassianの Jira Cloudと
Confluence Cloud でドキュメントレベルの権限サポートを開始
• Elastic Workplace Search から権限を引き継ぎ、同じものを前出の
ソースアプリケーションに設定できる
エンタープライズサーチ7.11リリースブログ
56. Elastic APM の新しいサービスヘルスビュー
• 最新のクラウドネイティブなアプリケーション
は、典型的には数百のマイクロサービスの
上に成り⽴つ
• したがってインシデント調査のワークフロー
には、個々のサービスのパフォーマンスとヘ
ルスをピンポイントで速やかに特定する能
⼒が不可⽋
• 今回登場した“サービス概要ページ”は、
サービスのヘルスに関するすべての情報を
⼀元的に要約して表⽰
• これにより、開発者や SREs はパフォーマ
ンスの問題のトラブルシューティングをより
⼿軽に実⾏することが可能になる
Elasticオブザーバビリティ7.11ブログ記事
57. Elastic Metrics の新しいホスト詳細ビュー
• Elastic Metrics アプリのリソース
ヒートマップは、インフラストラクチャー
内のトラブルを発⾒し、後続の調査
ステップを絞り込む上で役⽴つ
• Metrics UI の新しいビューを使うと、
⾼次のビューから簡単に移動して、
個々のホストで何が起きているか調
査することができる
• ヒートマップのタイルをクリックするとポッ
プアップウインドウが開き、主要なホス
トのメトリック、ホストで⽣成されたロ
グ、ホストで実⾏中のプロセス、ホス
トのメタデータの時系列チャートなど、
主要な情報を確認できる
Elasticオブザーバビリティ7.11ブログ記事
58. Elastic Common Schema(ECS)の
新しいロギングライブラリ
• アプリケーションのトラブルシューティングのワークフ
ローには、アプリケーションのログとトレースを相関
付け、コンテクストを失うことなく画⾯を移動でき
る操作性が不可⽋
• APMエージェントが捉えたトレースコンテクストが
アプリケーションログに⾃動で挿⼊され、ログから
スムーズな分析に必要な相関関係をトレースす
ることができる
• ECS のロギングライブラリには、log4j をはじめと
する⼈気のロギングフレームワーク向けプラグイン
• 開発者はこれを使って、ネイティブなワークフロー
を変更することなく、ECS 準拠の JSON 形式
でアプリケーションログを書き出すことができる
• ECS ロガーは APM エージェントが捕捉した関
連するトレースコンテクストを⾃動でログに書き込
む
• 開発者は特別な作業を⾏うことなく、“オブザーブ
可能な”アプリケーションを開発することが可能 Elasticオブザーバビリティ7.11ブログ記事
61. しきい値ルールと ML ルールのルール例外
• ユーザーは、ML ルールとしきい値
ルールの例外を作成可能に
• 統⼀されたルール管理エクスペリ
エンスをサポート
• 基になる ML ジョブを変更せずに
ML ルールの例外条件を作成可
能に
Elastic セキュリティ7.11リリースブログ
62. 7.11 で刷新された Timeline ワークスペース
• タイムラインワークスペースの更新
• タブ付きタイムライン情報
• タイムラインの切り替えと更新
• 全画⾯表⽰
Elastic セキュリティ7.11リリースブログ
65. Elastic Cloud アップデート
• S3 などのオブジェクトストアに
検索可能スナップショットを⼊れ
て使える Cold ティアが新登場
• データの⾃動スケールと機械学
習ノードを活⽤したクラウドのス
ケールと運⽤合理化
• リージョンとクラウドプロバイダー
を横断してデータを複製、検索
Elastic Cloud 7.11の最新情報ブログ
68. Cloud Native Days 2021 (3/11-)
https://event.cloudnativedays.jp/cndo2021/talks/921
70. Elastic 7.11 新機能
ソリューション/プロダクト別ブログ記事
• Elastic Stack
‒ Elasticsearch 7.11.0リリース(ブログ記事)
‒ Kibana 7.11.0リリース(ブログ記事)
• Elasticのソリューション
‒ Elasticエンタープライズサーチ7.11.0リリース(ブログ記事)
‒ Elasticオブザーバビリティ7.11.0リリース(ブログ記事)
‒ Elasticセキュリティ7.11.0リリース(ブログ記事)
• Elastic Cloud
‒ Elastic Cloud 7.11.0の最新情報(ブログ記事)
‒ Elastic Cloudの無料トライアルを開始