スタートアップが始める機械学習はじめの一歩

CONFIDENTIAL : copyright © by 2017 AnyPay inc. all rights reserved.
0
スタートアップが始める機械学習はじめの一歩

1
Agenda
1. 自己紹介
2. データサイエンスの領域
3. データサイエンス・チームの作り方
4. データ解析のエコシステム
5. 例：レシート仕分けモデル
6. リサーチ・フェーズ
7. プロダクショナイズ・フェーズ
8. モニタリング・フェーズ（Airflowの紹介）
9. まとめ

2
自己紹介
CDO/Data Scientist
中澤公貴
これまで
• データ解析、事業開発＠サンフランシスコ＆東京
• 事業会社で、コンサルファームで、提案から実装まで経験
• 現在は、データ整備〜不正検知、ユーザー行動分析まで幅広にデータまわり見てます

3
データサイエンスの領域
データ・サイエンス
AI
ディープ
ラーニング
機械学習
ルール
ベース
データ・エンジニアリング
Big
Data
SQL
ABテスト
実験
プラットフォーム
ベイズ統計

4
データサイエンス・チームの作り方
1人目３人目以降２人目
データサイエンティストデータエンジニア
• NLP
• ビックデータ
• ディープラーニング
• ベイス統計 etc
職種
タスク
• ゼロからデータ解析
エコシステムを構築
• 機械学習
• モデルのプロダクショ
ン導入
• 事業側との連携（レポ
ーティング）
• データデザイン・選定
• 社内の啓蒙活動
• ETL
• 解析基盤デザイン・構
築
• データベース・SQL
• ビックデータ
各分野の専門家

5
データ解析のエコシステム
①探索的データ解析
データ可視化
基礎統計
②リサーチ ③プロダクショナイズ
④モニタリング
レポーティング
学習

6
例：レシート仕分けモデル
CS：
レシート確認がつら
いっす。。
CTO：機械学習で
自動化したらいい
んじゃない？
中澤：
やってみましょか
Image source

7
リサーチ・フェーズ
概
要
• 社内の担当者にヒ
アリング
• 説明・⽬的変数に
使えそうなデータ
取得
データ取得前処理モデル開発
• 変数処理
• 変数エンジニアリ
ング
• 情報量の多い変数
のランク付け
• アルゴリズム選定
• Ensemble⼿法
• チューニング
期
間
2⽇
（通常は2週間）
1⽇
1⽇
モデル評価
• 評価メトリクスの
選定
1⽇
具
体
例
• 説明変数：画像
• ⽬的変数：1(レシ
ート)、0（⾮レシ
ート）
• 回転
• ねじり
• Zoom in
• ⾊を0-1の値に変
換など
• たたみ込みNN
• 過学習コントロー
ル(Maxpooling)
など
• Accuracy(正解率)
• レシート取りこぼ
し率

8
プロダクショナイズ・フェーズ
※画像は中澤のもの
3
5

9
モニタリング・フェーズ：Airflow紹介
Airflowについて
• Airbnbが開発したパイプライン管理
のオープンソース・ツール(Apacheの
Incubator枠に⼊っています)
• 簡単に⾔えば、Cronの代替ツール
• シリコンバレーのスタートアップ界隈
ではデフォルト化してきつつあります
素晴らしい点：
• きれいなUI
• 実⾏状況のトレーサビリティ
• 直感的なパイプラインを作るメソッド
DAGで実⾏フローを管理

10
• タスク管理画面
• 現在動いているタスクを把握
モニタリング・フェーズ：Airflow

11
• Graph View：パイプラインのロジック/フローが間違っていないか等を確認

12
• Tree View：各工程の進捗を把握

13
• 各工程のログを簡単にトラック可能

14
• 各工程の実行にどのくらい時間がかかったのかを視覚的に把握

15
まとめ
• データサイエンスは色々な領域があるので総合力で勝負
• まずはデータサイエンティスト、そしてデータエンジニアを採用
• データ解析は4つのフェーズがある
（探索、リサーチ、プロダクショナイズ、モニタリング）
• Airflowは、すばらしい

スタートアップが始める機械学習はじめの一歩

Recomendados

Recomendados

Mais conteúdo relacionado

Semelhante a スタートアップが始める機械学習はじめの一歩

Semelhante a スタートアップが始める機械学習はじめの一歩 (20)

スタートアップが始める機械学習はじめの一歩