[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
•
0 gostou•4,760 visualizações
2021/07/28開催された丸ノ内アナリティクスバンビーノの発表資料です。 社内のデータ活用の事例を3つほど発表しました。
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a [丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
Semelhante a [丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み (20)
Mais de Teruyuki Sakaue
Mais de Teruyuki Sakaue (14)
Último
Último (20)
[丸ノ内アナリティクスバンビーノ#23]データドリブン施策によるサービス品質向上の取り組み
- 1. Leverages Co., Ltd Data Strategy Office データドリブン施策による サービス品質向上の取り組み 丸の内アナリティクスバンビーノ#23 2021/07/28 レバレジーズ株式会社 データ戦略室 室長 阪上晃幸
- 2. Leverages Co., Ltd Data Strategy Office 自己紹介 名前：阪上晃幸（さかうえ てるゆき） 出身：兵庫県宝塚市 バックグラウンド：経済学（計量経済学、マクロ経済学） 趣味：読書、ブログ作成、トランペット、料理 大学院修了後、2012年にレバレジーズに入社し、 SEM（検索エンジンマーケティング）を中心にマーケティング業務を行い、 2017年より社内の便利屋になり、2019年より データ戦略室の発足と同時に室長に。 丸の内アナリティクスバンビーノは2016年6月にLT以降、 5年ぶり2度目の発表。 2
- 3. レバレジーズ株式会社 Leverages co.,Ltd. 〒150-6190 東京都渋谷区渋谷 2-24-12 渋谷スクランブルスクエア 24・25階 2005年 4月 6日 27拠点（海外拠点を含む、2021年5月時点） 正規：1183名 非正規：675名（2021年5月時点） 5,000万円 自社メディア事業・人材関連事業・システムエンジニアリング事業 M&Aコンサルティング事業・ ASP/ SaaS/クラウド関連事業 有料職業紹介事業 13-ユ-302698 労働派遣事業 派 13-302333 社会の課題を解決し、関係者全員の幸福を追求し続けることをミッションに、メディア・人材・システムエンジニアリング・M&Aの領域で 国や業界をまたいだ問題解決を行っています。各分野のスペシャリストが集うオールインハウスの組織構成と、業界を絞らないポート フォリオ経営で、時代を代表するグローバル企業を目指します。 経営判断を早め、実現性を上げるため、分社・子会社化を行っています。 Leverages Groupについて 会社名 所在地 設立 拠点数 従業員数 資本金 事業内容 認定 ・レバテック株式会社 ・レバレジーズキャリア株式会社 ・レバレジーズメディカルケア株式会社 ・レバレジーズオフィスサポート株式会社 ・レバレジーズM&Aアドバイザリー株式会社 会社概要 レバレジーズグループ会社一覧
- 4. Leverages Co., Ltd Data Strategy Office ブログを始めました！ 4 https://analytics.leverages.jp/
- 5. Leverages Co., Ltd Data Strategy Office ブログを始めました！ 5
- 6. Leverages Co., Ltd Data Strategy Office 今回お話しする内容 ● 0章：レバレジーズの課題/分析環境など ● 1章：LTV計算と広告投資 ● 2章：職務経歴書の解析 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） 6
- 7. Leverages Co., Ltd Data Strategy Office 話すこと・話さないこと ● 対象リスナー ○ データを蓄積して何かできないかを知りたいマーケターやエンジニア ● 話すこと ○ 課題とデータを用いた施策の事例紹介 ● 話さないこと ○ 手法の詳細（データやアルゴリズム） ○ 具体的にどのサービスで使っているか 資料は公開します ので、メモは不要 7
- 8. Leverages Co., Ltd Data Strategy Office ● 0章：レバレジーズの課題/分析環境など ● 1章：LTV計算と広告投資 ● 2章：職務経歴書の解析 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） 8
- 9. Leverages Co., Ltd Data Strategy Office 0章：レバレジーズの課題/分析環境など ● 課題 ○ 顧客体験を改善すること ■ やりたい仕事ができる/キャリアアップができる ■ プロジェクトが成功する ■ スキルアップできる ○ 社員の生産性向上 ■ 情報検索にかける時間の短縮など ○ マーケティング ■ ROIの向上 9
- 10. Leverages Co., Ltd Data Strategy Office 0章：レバレジーズの課題/分析環境など 生成 データ 生成 データ 収集 データレイク データウェア ハウス レコメンドシス テム データ可視化 アドホック 分析 収集 蓄積 活用 利益向 上 意思決 定 構造化 データ 構造化 データ 非構造化 データ 赤線のデータ基盤を起点にデータ分析業務を行なっている 10 データ基盤
- 11. Leverages Co., Ltd Data Strategy Office 0章：レバレジーズの課題/分析環境など ● よく分析に用いる言語/ツールなど ○ Python ○ R ○ Stan ○ SQL(BigQuery) ○ MeCab 11
- 12. Leverages Co., Ltd Data Strategy Office ● 0章：レバレジーズの課題/分析環境など ● 1章：LTV計算と広告投資 ● 2章：職務経歴書の解析 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） 12
- 13. Leverages Co., Ltd Data Strategy Office 1章：LTV計算と広告投資 ● 問題設定 ○ マーケティングにおける広告予算を決めるには 顧客生涯価値(CLTV)を求める必要がある。 ビジネスモデルによっては解約率次第でCLTVは大きく変わる。 ● データ ○ 数年分の顧客との取引レコード（月単位） ○ それに紐づく情報 13
- 14. Leverages Co., Ltd Data Strategy Office 1章：LTV計算と広告投資 ● 手法 ○ 生存時間分析 ■ ベイズ統計学でのWeibull分布を用いた 比例ハザードモデル ○ RやStanを使用 14
- 15. Leverages Co., Ltd Data Strategy Office 1章：LTV計算と広告投資 ● 評価指標 ○ 1年間、2年間の顧客売上金額の RMSE(二乗平均平方根誤差) ■ 🤔。○（1~2年て生涯ではないのでは？） ● 進め方 ○ データの整形 ○ 離脱の定義の設定（N期経つと離脱とみなす） ○ モデルの当てはめ（様々なカテゴリデータで回帰） ○ 検証用データでの精度の比較 ○ 従来手法（ルールオブサム）との比較 15
- 16. Leverages Co., Ltd Data Strategy Office 1章：LTV計算と広告投資 16 LTVの計算方法と生存曲線 月毎の継続確率の推定 割引現在価値に関しては事業部ご とに自由に設定。
- 17. Leverages Co., Ltd Data Strategy Office 1章：LTV計算と広告投資 ● 結果 ○ 検証用データにおいてルールオブサムよりもよくなったので、意思決定に利用している。 17 ルールオブサム では3年目を高く 見積もりすぎてい る。
- 18. Leverages Co., Ltd Data Strategy Office 今回お話しする内容 ● 0章：レバレジーズの課題/分析環境など ● 1章：LTV計算と広告投資 ● 2章：職務経歴書の解析 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） 18
- 19. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 ● 問題設定 ○ 顧客の職務経歴情報はWord・PDF・Excelなどで 蓄積しているが、データ化して活用することが十分に できていなかった。 ■ 用途として求人とのマッチングや検索があげられる。 ● データ ○ 顧客の職務経歴情報はWord・PDF・Excelなど ○ 顧客関連の別レコード情報 19
- 20. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 20 典型的な職務経歴書 期間 社名 職務内容
- 21. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 ● 手法 ○ daXtra（ダクストラ）というレジュメ解析に特化した SaaSのAPIを活用（有償） ■ 職務経歴書をアップロードするとJSON形式のデータが返される。（API のサーバにデータは残らないようになっている） ● そのJSONにはスキル名やその年数、 最後に用いた年や、どの企業に何年在籍したのかが入っている。 ○ ETLなど諸々、Pythonを使用 21
- 22. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 ● 評価指標 ○ なし ■ 一応、サンプリングしたデータでの 職務経歴書と抽出結果との適合率は見ている。 ● 進め方 ○ 職務経歴書をPythonで読み込み、WebAPIを用いて解析 ○ JSONを解析し、テーブルを生成 ○ 解析した結果と職務経歴書を比較して、 正しい値が入っているかチェック。（初回のみ） ○ DWHに日次でアップロードするワークフローを構築（初回以降） 22
- 23. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 ● 結果 ○ フォーマットとして苦手なものも一部あるが、だいたいの職務 経歴書において構造化データとして抽出することができた。 23
- 24. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 24 例：スキル情報を取得（DWHに蓄積されている） スキルの経験月数 最後にそのスキルを使った年
- 25. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 25 例：職務経歴情報を時系列で取得（DWHに蓄積されている） 会社名 業務内容 期間
- 26. Leverages Co., Ltd Data Strategy Office 2章：職務経歴書の解析 26 活用例1：ニッチなスキルの検索 希少性の高いスキルが必要な求人が ある場合に、それを有する方を検索す ることが容易に。 活用例2：年収の推定（機械学習） スキルの情報を使って年収をある程度 の精度で予測することが可能に。
- 27. Leverages Co., Ltd Data Strategy Office ● 0章：レバレジーズの課題/分析環境など ● 1章：LTV計算と広告投資 ● 2章：職務経歴書の解析 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） 27
- 28. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 ● 問題設定 ○ 人の職種に関するデータをこれまで人間が判断して 入力していたが、半自動化できればデータ入力が捗るのではないか。 ■ ただし、半自動化するにも機械的に判断した際の根拠が欲しい。 ● データ ○ 職種が付与されたユーザーデータ（職種は70種類以上） ○ 職務経歴データ 28
- 29. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 29 ● 手法 ○ LIME ■ Local Interpretable Model-agnostic Explanationsの頭文字をとったもので、機械学習に よって構築したモデルに関して、その予測結果を人間が 解釈しやすくする技術です。 ● ゲーム理論の知見を応用したSHAPなどもある。 ○ 多クラス分類のためにscikit-learnのLabelEncoderを利用 ○ 今回扱うアルゴリズムはRandom Forest（RF） ■ このRFのモデルにLIMEを適用する。 ○ Pythonを使用
- 30. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 30 参照元：https://github.com/marcotcr/lime 猫を猫だと推論した根拠は黄緑の領域、 犬を犬だと推論した根拠は赤の領域
- 31. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 ● 評価指標 ○ Precision（適合率） ■ 予測した職種が当たっているかどうかを評価 ● 進め方 ○ 前処理 ○ 複数のクラスを分類するための特徴量を作成 ○ 一定の精度に至るまで交差検証を続ける ○ 一定の精度に至ればLIMEを適用してみる 31
- 32. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 ● 結果 ○ テスト用データでの精度が77%となった。 ■ 人間が100%に近いと思うとまだ低い水準。 32
- 33. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 33 【LIMEの結果】 職務経歴書から抽出したスキル情報を特徴量に学習したモデルから、 その予測の根拠としている特徴量を可視化している。 YamahaやCisco のネットワーク系 の機器の経験か ら、 ネットワークという 職種を予測 納得感はありそう。
- 34. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 34
- 35. Leverages Co., Ltd Data Strategy Office 3章：機械学習の解釈可能性を用いた入力補助 35 ユーザー情報 の入力 機械学習での予測 + LIMEでの可視化 解釈可能性の情報 を見ながら、 職種のデータ を入力する ユーザー情報 の入力 ユーザーの過去に 取り組んだ 仕事内容を熟読 人手で、複数ある分 類表を見ながら職種 を決め入力する これまで これから 今後の方向性
- 36. Leverages Co., Ltd Data Strategy Office まとめ/今後の展望 ● レバレジーズではマーケティング活動、 営業活動の効率化、データ蓄積支援など幅広く データサイエンスを適用している。今回はその一部を紹介した。 ● 今後は、データ基盤をより発展させ、データドリブン施策を低コストで実行す ること、 より増加していく機械学習プロダクトを管理していく体制を構築していく。 36
- 37. Leverages Co., Ltd Data Strategy Office Appendix：発表していないが取り組んでいること ● 求人レコメンドシステム開発 ● マーケティング施策の効果検証のための統計モデリング ● 機械学習を用いた、Google広告のためのオフラインコンバージョン値の予測 ● オウンドメディアの評価向上のための自然言語処理技術の適用 37
- 38. Leverages Co., Ltd Data Strategy Office Q&A用 ● 0章：レバレジーズの課題/分析環境など ○ データ基盤、OSSでの分析 ● 1章：LTV計算と広告投資 ○ 生存時間分析、CLTV ● 2章：職務経歴書の解析 ○ 職務経歴書、解析、ETL、スキル検索、年収予測 ● 3章：機械学習の解釈可能性を用いた入力補助（PoC） ○ 機械学習の解釈可能性、マルチクラス分類 38