データアナリシスをもっと知ろう！ - JFPUG 語らいの夕べ

データアナリシスをもっと知ろう！ - JFPUG 語らいの夕べ
データアナリシスをもっと知ろう！〜データ活用型の業務形態へ〜野田隆広 - JDMC 特別研究員 - 2023年2月15日 - JFPUG “語らいの夕べ"
本日話題にする「データアナリシス」の範囲企業経営観点のデータ分析・手法 (会社・事業・商売）含む芸術・政策・医療・教育など企業経営観点から外れるデータ分析・手法 2022年の話題 Stable Di ff usion (text-to-image) Chat GPT 自動運転・ドローン含まない
「データ分析」の生息域会社・経営目的利益のためにを産み続ける方針実行を決めてする目的: 最近は「パーパス」と呼ばれたりします。（参考）名和高史「パーパス経営: 30年先の視点から現在を捉える」東洋経済新報社，2021. 意思決定自動化データ分析
意思決定
意思決定とは? 方針意思決定自動化データ分析不完全，かつ，限られた情報をもとに，経営者が即断・即決 =経営者の役割データ分析が無い場合でも，経営者は即断・即決しなければならない → データ分析は経営に必須ではない
意思決定のパターン選択数量例. 柔軟剤の新商品を発売したい。これまでより，柔軟効果を高めた新商品を開発するのか，それとも，防臭効果を追加した新商品を開発するのか? 例. 来年度の主力商品の生産・販売個数を決めたい。今年並みの数量とするのか，それとも，増産・拡販するのか。増産するとすれば300万個か450万個か?
意思決定でデータ分析が登場する理由 • 意思決定を加速したい（経営者が即決できない） • 意思決定できない（経営者としての資質，権限の移譲） • 意思決定精度の向上（誤りを減らす。リスクマネジメント） • データ分析の目的化（なんとなく流行りだから）
意思決定におけるデータ分析のパターン集計視覚化介入効果予測帳票・レポーティングダッシュボード・BI 例. 前日の売上・客数をエリア別に集計する。売上 top 20レポート。在庫レポート。財務分析例. 前日の売上が予算未達であれば赤色で警告。欠品が生じているエリアを地図で表示例. 消臭機能をもつ柔軟剤を市場に投入した際の初年度の売上予測例. 新規顧客獲得キャンペーンでクーポンを配布した場合の3年度累計の収益改善効果 ??? ???
意思決定におけるデータ分析のパターン集計視覚化介入効果予測帳票・レポーティングダッシュボード・BI ??? ??? } } かなりの企業で活用されている相当程度 IT システムで支援活用していない企業が多い人力で頑張っている
人手で頑張る「データ分析」活用集計視覚化介入効果予測帳票・レポーティングダッシュボード・BI ??? ??? Excel で毎週つくる定型レポート PowerPoint でつくるダッシュボード予測モデルではなくフェルミ推定データサインティストが頑張るデータ分析をしてモデルをつくったのではなく，勘と経験でつくった秘伝のExcelファイルで数字をつくっている。社内会議のたびに，PowerPoint で毎回それっぽいダッシュボードを描いている。毎回同じレイアウトで表をつくっているが，この表を出力できる社内システムがなく，データをかき集めて作る。
データ分析 =「未システム化データ活用」 • データ分析のシステム化を意思決定できない • 意思決定のコスト（CEO/CFOは意思決定のコストを正確に把握しているのか?） • 経営者の報酬 • システム投資予算超過を「データ分析」の人力化で補う • 予算超過時に人が頑張ればできる部分はシステム化が見送られる • システム企画の際に正しく費用（開発規模）を見積れない • 「予測」「介入効果」につきまとう精度の問題。費用をかければ精度を上げることはできるが，どこまで精度を上げるのにどの程度の費用が必要か? • 意思決定案件だけ単独で見積ると費用が高額に（データマネジメント・データ戦略=後述） • システム開発費用 + モデリング費用（データサイエンティストによる分析・研究稼動） ITシステムによる支援の少ないデータ活用のことを「データ分析」と呼ぶようになった? 集計・可視化については比較的精度高い見積。予測・介入効果推定での課題（JFPUG・定量化手法への今後の期待）
意思決定の事例③: デジタルマーケティング Web上の行動データをビッグデータとして利用できるので，データ分析と相性が良い最近はプライバシー強化の流れで制約が大きくなってきている広告媒体の選択ターゲティング広告広告媒体毎に介入効果を推定。どの媒体に出稿するのが最適か，媒体の貢献度をもとに意思決定サイトの閲覧履歴・サービスの利用履歴に応じて，最も効果の高いと推定される顧客に広告を出稿
意思決定に対してどのような手法があるのか（データ分析でできることの例）回帰数量を予測する。過去データ（表形式になっているものが望ましい）から予測モデルを作成。予測モデルに新しいパラメータを入力することで，未知の事象の数値を予測する。過去データに存在しない事象，モデル作成時に存在しないパラメータが影響すると予測が外れることがある。例. 売上予測（プロ野球の優勝記念セール） A/Bテストある施策を実施 (A) した際に，その施策を実施しないグループ (B) を意図的に用意。A/B 両グループを比較することで，その施策の効果があったのかを推定する。A/Bテストはデータサイエンティストにとって設計・実施が難しく，意外と正しくテストできている例は少ない。例. お得意様へのノベルティ配布により客単価・買い上げ率は上昇したのか? 介入効果推定ある施策を実施した際に，その施策を実施しなかった（と想定した場合）との差がどの程度あったのか介入効果として推定する。計量経済学で開発されてきた手法で，ここ数年ライブラリが整備されてきてデータサイエンティストが使えるようになってきた。例. マーケティングキャンペーンを実施したところ実施前週と比較して，売上が15%上昇した。マーケティングキャンペーンの効果はあったといえるか? あったとすれば何%に相当する効果か?
自動化
自動化とは? 実行意思決定自動化データ分析人手で行なっていた作業を ITシステムで代替（自動化）あるいは，一部をシステム化（省力化）
自動化の効果（データ分析によって得られる） • 作業水準の向上 • 担当者毎にバラツキのあった水準を高い水準で統一 • リードタイム短縮 • 人手で数日かかっていた作業を一瞬で完了 • 働き方改革 • 繰り返し作業からの解放。生産性の高い業務により多くの時間を使えるように • コスト削減 • 削減できた人件費を新たな領域に投資
自動化に対してどのような手法があるのか（データ分析でできることの例）回帰（意思決定で使える手法と同じ）分類ある入力（表形式データ，メディア（動画・画像・音声），文章）に対して，予め用意しておいた複数の分類先のどれに該当するのかを識別して分類するモデルを開発する。入力=正解の組み合わせ（学習データ）を大量に用意し，機械学習モデルに学習させる。例. 災害で被害に遭った家屋の写真を読み込み，全壊・半壊・被害なし・その他に分類ルール作成決定木という手法を使う。表形式の入力（以下説明変数）に対して，分類するモデルを樹形状のモデルとして作成。作成したモデルはルールベースのモデルとして自動化システムに組込み例. どの顧客にダイレクトメールを送るのか?, 簡易な売上予測デル数理最適化過去データを元に統計的にモデルを作成する上記の方法とは異なり，データ・ルールが決まっている制約の元で，最適（に近い）解を求める手法。例. 病棟看護師のシフト作成（看護師配置基準・休暇希望・年収の壁・労働基準法）。複数工場での生産計画（どの工場で何を生産すると，最も安く生産でき早く顧客に届けることができか?)
自動化への「データ分析」の進出 • 計算機資源の大容量化・低廉化 • クラウド・大規模分散処理技術のコモディティ化（誰でも使える価格に下がってきた） • 統計的機械学習技術のコモディティ化 • 標準的な手法・アルゴリズムのライブラリ化 (Python)，クラウド事業者によるサービス化 • データ人材の増加 • 教育に力を入れる大学の増加 • 国外からの就労 • 大規模データセット + 統計的機械学習により • 従来人手で実施していた自動化のためのルール作成を，機械学習エンジニアがモデリング • 人手では不可能だった，多数のパラメータ・条件を扱うルールを機械学習エンジニアがモデリング ITシステムによる自動化は特段新しいものではないが，なぜ「データ分析」が進出してきているのかルールベースの自動化はこれまでもあったが，以上の背景で今までできなかったことが可能に
データ活用プロジェクトでよくある課題 • データ活用でどのような課題を解決できるのか分からない • システム開発経験 + 業務経験 + データサイエンスのスキル・経験 = 人材難 • データ活用が目的となっている • 経営課題「発注業務の自動化」 • データ活用プロジェクト「需要予測」（発注業務を自動化しようとすれば需要予測だけではだめで，SCMや要員計画も含めて最適化する必要） • 費用がかかりすぎる • 「社内にある全てのデータを使いたい」「外部データを購入したい」 • 情報管理・個人情報保護 • 社外の第三者にデータを渡して分析してもらう・モデリングしてもらう際の制約データマネジメントの役割
データマネジメントについてデータ分析を最大限活用するために必要なこと
回帰 A/Bテスト介入効果推定分類ルール作成数理最適化意思決定自動化（数理最適化を除き）どれも過去データ（これまでの実績値 + 過去につくった予測・計画）を利用
例）あなたはドラッグストアの仕入れ担当者，マスクの売上を予測したい問. 過去何日間の販売データがあればよいか? 1) 90 日間 2) 360 日間 3) 1440 日間
機械学習・データサイエンスに必要なデータの種類 • 実績値（例: 販売実績，在庫実績） • 計画値（例: 売上目標，展開店舗数） • マーケティング計画（広告，チラシ，POP) • 外部環境（天候，ニュース，事件）
DWH DWH データマネジメントデータサイエンティスト機械学習エンジニア BI/レポーティング用に，既に DWH が整備されている「データウェアハウスありますか?」
その DWH 全部入りですか?
もっと重要なのは 1) データ一箇所に集っていること 2) インタフェースが提供されていること 3) 高頻度のアクセス・高負荷に耐えること
Data Lake 財務会計販売 (POS) 在庫物流マーケティング顧客店舗 Web アプリ天候イベント経済指標 SQL API 高頻度・大量データへのアクセス
Data Lake から DWH へ Data Lake (初期) Data Lake (全部入り) DWH (理想) 必要なデータから揃えていく（優先順位づけ） Raw データでよい (機械学習エンジニア・データサイエンティストが自力で何とかする） SQL で問合せできればよい（プログラムからアクセスできればよい）ただし，高負荷・高頻度のアクセスには耐える必要データ収集の待ち時間を無くしてスピードアップ Raw データでよい，が，構造化・前処理されていて，テーブルデータになっていると嬉しい SQL で問合せできればよい，が，高度な API があるとなおよいただし，高負荷・高頻度のアクセスには耐える必要 Data mart/cubu が用意されていて自分でつくる必要がないデータベースが最適化されていて，必要なデータを最速で取得できるデータ品質が担保されており，クレンジングなどの工程をスキップできるメタデータリポジトリが整備されていて業務担当者に問い合わせなくてもデータを理解できる
Data Lake/DWH の課題 • ここに書いたことを実現しようとすると投資負担が重い • 単一のデータ分析・活用プロジェクトでは採算がとれない • 社内でデータ戦略を作り，データ活用プロジェクト・具体的なアクションを全て洗い出し。戦略パッケージとして投資判断 • もちろん，単一の自動化プロジェクトで収益が見込める場合もあるので，最初のプロジェクトも重要
機械学習エンジニアデータサイエンティストの立場から，データマネジメントでお願いしたいことデータマネジメントの有無，その仕事の品質が，機械学習・データサイエンスの成果の質，アウトプットまでの時間に影響する。すなわち，費用と便益に影響する。
例）One-to-one マーケティングある商品の DM を送るべき人を見つけよう。北海道在住 30 代女性過去 28-42 日で類似購入履歴あり顧客販売商品過去5年分
例）One-to-one マーケティングある商品の DM を送るべき人を見つけよう。北海道在住 30 代女性過去 28-42 日で類似購入履歴あり東京都在住 1年前顧客販売商品
過去の任意の時点を今日再現できるデータマスターデータマネジメントが最重要 • タイムマシン • エンコーディングの変更北海道在住 30 代女性過去 28-42 日で類似購入履歴あり顧客販売商品
Data Lake はあるが，。。。財務会計販売 (POS) 在庫物流マーケティング顧客店舗 Web アプリ天候イベント経済指標 SQL API 高頻度・大量データへのアクセス
よくある言い訳 • どこに欲しいデータがあるか分からない • コードの定義が分からない • データをどこまで信用してよいのか分からない。汚いデータでもよいのだが，さすがに全ての項目を目視で確認していられない。 • どのようにデータが作られているか分からない
機械学習エンジニア，データサイエンティスト向けのセルフサービスメタデータマネジメントが重要 • どのようにデータが生成されるか • データ品質の定義 • ビジネスプロセス • 検索可能なメタデータリポジトリ
仕事は RDBMS ではなく Computing Engine （別のサーバー）で行う DWH ダッシュボード帳票 BI 的な使い方機械学習・データサイエンス集計値だけが DWH の外に出て Raw データはコピーされない Data Lake から raw データが外の環境（別サーバ）にコピーされるサーバー成果物
これはとてもこわい使い方
GDPR, 個人情報保護法対応 • Data deletion • 個人から要望があった場合に，その個人に関する全ての情報を確実に消去できる仕組みが必要 • 開示 • その個人に関して，どのような情報を収集し，保有しているかを開示する義務
Data lake からコピーされて外に出たデータについて追跡する必要機械学習・データサイエンス Data Lake から raw データが外の環境（別サーバ）にコピーされるサーバー成果物 Data Linage の仕組みを data lake だけでなく，機械学習・データサイエンスの実務環境にも導入する必要データライフサイクルマネジメントの仕組みを導入して，確実に不要なデータが消去される仕組み
データマネジメントまとめ • マスターデータマネジメント • 機械学習・データサイエンスは「過去」のデータを利用するが，これは「過去の任意の時点を現在基準で再現する」という意味。 • メタデータマネジメント • 機械学習エンジニア・データサイエンティストが自力でデータに関する疑問を解消できるようにする • そもそも，疑問が起きないようにして，彼らの業務をスピードアップする • Data Linage/データライフサイクルマネジメント • GDPR, 個人情報保護対応 • Raw データを扱う機械学習・データサイエンス業務は，個人情報が DWH/Data lake 外にコピーされる。これを適切に管理する仕組み
おわりに • 経営観点でのデータ活用 • 意思決定か自動化か • データ分析で何ができるのか? • 集計/視覚化/予測/介入効果の推定 → 意思決定 • 予測/分類/ルール作成/数理最適化 → 自動化 • データ活用の前提条件としてのデータマネジメント • BI/レポーティングのためのDWHとデータサイエンス・機械学習のためのDWH • マスターデータマネジメント・メタデータマネジメント・data linage/ライフライクルマネジメント • JDMC (https://japan-dmc.org/)

Check these out next

データアナリシスをもっと知ろう！ - JFPUG 語らいの夕べ

Recomendados

Mais conteúdo relacionado

Similar a データアナリシスをもっと知ろう！ - JFPUG 語らいの夕べ(20)

Último(20)