Supervised Machine Learning of Elastic Stack

1Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Elastic Stack7.6における
教師あり機械学習の紹介
Acroquest Technology株式会社
Senior Consultant / Elastic Certified Engineer
吉岡洋 @Hirosh_Yoshioka

はじめに
Copyright © Acroquest Technology Co., Ltd. All rights reserved.
1. 今日話すこと
①Anomaly Detectionの概要
②Data Frame Analyticsの概要 ← 教師あり機械学習はここ
2. 今日話さないこと
①機械学習のアルゴリズムや評価手法の詳細

目次
1. Elastic MLにおける2種類の機械学習機能
1-1. Anomaly Detection
1-2. Data Frame Analytics
2. デモ
2-1. 分類による不良品予測

自己紹介
⚫ 名前：吉岡洋（よしおかひろし）
⚫ 所属：Acroquest Technology株式会社
(シニアコンサルタント)
⚫ 領域：全文検索／ビッグデータ分析／可視化
⚫ その他：
─Microsoft MVP for Powershell（2006～2010）
─「Windows PowerShell宣言！」(2007)
─IBM Certified Specialist
IBM SPSS Modeler Professional（2014～）
─Elastic Certified Engineer（2018～）

Acroquest Technology株式会社
1. 新横浜にあるITベンチャー
①Great Place To Work(R) Institute Japan実施
働きがいのある会社ランキング第1位(3回受賞)
2. 事業（データ活用ビジネス）
①Elastic Stack活用コンサルティングサービス
– 検証／設計／構築／運用支援など
– Elastic Certified Engineer：5名
②IoTデータ分析プラットフォーム
③機械学習／AI

1. Elastic MLにおける
2種類の機械学習機能

1-1. Anomaly Detection（Ver.5.5でGAリリース）
1. 特徴
①時系列データの異常検知
②教師なし機械学習
– 閾値判定で検知できない異常を
判定／検知可能
2. サポートする異常検知
①トレンド異常検知
– 特定の周期を持った時系列データが過去と異なる振る舞いをしている
②Population Analysis
– グループ内の特定の個体が他とは異なる挙動をしている
例）特定のIPアドレスからのアクセスだけ404レスポンスの数が多い
閾値判定だと
異常検知できない

1-1. Anomaly Detection（機能強化）
1. 分析プロセスの効率化
① Data Visualizer（v6.1）
② CSVファイルのインポート機能（v6.5）
③ Annotation（v6.6）
2. モデル精度の向上
① Calendar Management（学習対象除外日の設定、v6.2）
② Custom Rule（モデル更新条件/異常検知判定のルール制御、v6.4）
③ スコア計算アルゴリズムの改善（v6.5）
– パーティション毎のスコア正規化／マルチバケット分析
3. 将来予測
① Forecast（v6.1）

1-2. Data Frame Analytics（Ver.7.3～）
1. 特徴
① 非時系列データの様々な分析
② Elastic Stack単体で学習／推論が可能
– 学習：Data frame analytics APIまたはKibana UIで実施
– 推論：Ingest Node(Inference Processor)を利用する。（v7.6）
2. サポートする分析手法
No 分析タイプ学習推論 Version 備考
1 Outlier Detection(外れ値検知) なしー v7.3
2 Regression(回帰) あり可能 v7.4
3 Classification(分類) あり可能 v7.5 二項分類にのみ対応
4 Language identification
(言語識別)
あり
(プリセット)
可能 V7.6 109言語に対応

1-2. Data Frame Analytics（ユースケース）
1. 教師あり機械学習はBusiness Analytics領域で有用
Regression
(回帰)
Classification
(分類)
Language identification
（言語識別）
[信用リスク分析→未払いリスク低減]
債務者データから格付けスコアモデルを作成。
[アプリユーザ解約予測→解約防止キャンペーン]
顧客動向データから解約予測モデルを作成。
[問い合わせ言語判定→アサイン効率化]
問い合わせ内容を言語判定。適切な担当者をアサイン。

1-2. Data Frame Analytics（処理の流れ）
④推論
新規
インデックス
②Reindex 学習データ
インデックス
②分析
モデル
学習データ
インデックス
学習データ
(検証データ)
①データ登録
Ingest Node
(Inference Processor)
テストデータ
③データ登録
※②は以下のAPI
・Create data frame analytics jobs API
・Start data frame analytics jobs API
学習データ
インデックス
(+分析結果)

2. デモ

1. デモデータ（製造／試験データ：1000件）
① p1～p12：12ステップある各製造過程での評価値
② result：製造後の負荷試験結果（NGは不良品）
2. 分類を利用して不良品を予測する
① 説明変数：p1～p12
② 目的変数：result
p1 p2 p3 p4 p5 p6 p7 p8 p9 p10 p11 p12 result
1 28 1 0 1 65 158 1 12 5 B A NG
1 41 1 0 0 197 479 4 6 11 B B OK
1 44 1 0 0 0 651 6 3 7 B C OK
1 50 1 0 1 189 454 5 6 10 B C OK
1 25 1 0 1 153 368 7 4 5 B B OK

1. 作成したモデルに対する推論のテスト（正解はNG）
POST _ingest/pipeline/_simulate
{
"pipeline": {
"processors": [
{
"inference": {
"model_id": "★model_id★",
"inference_config": {
"classification": {}
},
"field_mappings": {}
}
}
]
},
"docs": [
{
"_source": {
"p1" : 1,
"p2" : 28,
"p3" : 1,
"p4" : 0,
"p5" : 1,
"p6" : 65,
"p7" : 158,
"p8" : 1,
"p9" : 12,
"p10" : 5,
"p11" : "B",
"p12" : "A"
}
}
]
}

まとめ
1. Elastic MLには2種類の機械学習機能がある
①Anomaly Detection（教師なし機械学習）
②Data Frame Analytics（教師あり機械学習）
※一部例外あり（Outlier Detectionは教師なし）
2. v7.6から教師あり機械学習の推論をサポート
①Elastic Stack単体での学習／推論が可能
②Data Frame Analyticsが導入されたことで、
Business Analytics領域での活用が期待できる

ご清聴ありがとうございました。
Evolve the Earth with Emotion of Technology

Supervised Machine Learning of Elastic Stack

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Supervised Machine Learning of Elastic Stack

Semelhante a Supervised Machine Learning of Elastic Stack (20)

Supervised Machine Learning of Elastic Stack