[Track4-3] AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた
•
1 gostou•5,368 visualizações
2020/8/1 Deep Learning Digital Conference 株式会社電通国際情報サービス CDLE 日本ディープラーニング協会 小川 雄太郎 氏 / 御手洗 拓真 氏
![DEEP LEARNING Digital Conference
20年8月1日 15:20-15:45
AI・ディープラーニングを駆使して、
「G検定合格者アンケートのフリーコメント欄」
を分析してみた
株式会社電通国際情報サービス
X（クロス）イノベーション本部 AIテクノロジー部
兼 CDLEメンバ
小川 雄太郎、御手洗拓真
[※本スライドは後ほど公開]](https://image.slidesharecdn.com/43dllab20200801isid-200807101606/85/track43-aig-1-320.jpg)
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a [Track4-3] AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた
Semelhante a [Track4-3] AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた (20)
Mais de Deep Learning Lab（ディープラーニング・ラボ）
Mais de Deep Learning Lab（ディープラーニング・ラボ） (20)
Último
Último (9)
[Track4-3] AI・ディープラーニングを駆使して、「G検定合格者アンケートのフリーコメント欄」を分析してみた
- 1. DEEP LEARNING Digital Conference 20年8月1日 15:20-15:45 AI・ディープラーニングを駆使して、 「G検定合格者アンケートのフリーコメント欄」 を分析してみた 株式会社電通国際情報サービス X（クロス）イノベーション本部 AIテクノロジー部 兼 CDLEメンバ 小川 雄太郎、御手洗拓真 [※本スライドは後ほど公開]
- 4. 4 会社紹介（省略）
- 5. 簡単にISIDのAIテクノロジー部について紹介します 電通国際情報サービス（通称ISID）では、XI本部AIテクノロジー部を中心に、製造 業をはじめとする多様な領域において、100を超えるAIプロジェクトの推進 Microsoft TechSummit / 各種講演 放牧牛の行動予測 NHK 「人間ってナンだ？超AI入門」 AI事例 ワールドビジネスサテライト 5 DEEP LEARNING LAB ステアリングコミッティ 第10章 双日ツナファーム鷹島 養殖マグロの数の把握にAI活用 ISID-AIトランスフォーメーショ ンセンターの設立（日経XTEC） https://isid-ai.jp/
- 6. 6 小川 雄太郎 所属：電通国際情報サービス クロスイノベーション本部 AIテクノロジー部 業務：AI案件のコンサル、リード、自社AI製品の開発 兼職：日本ディープラーニング協会 委員、早稲田大学 非常勤講師、執筆業 詳細：https://github.com/YutaroOgawa/about_me Twitter：https://twitter.com/ISID_AI_team 出版： PyTorch・発展ディープラーニング、深層強化学習、機械学習入門、因果分析 自己紹介
- 7. 自己紹介 所属：電通国際情報サービス クロスイノベーション本部 AIテクノロジー部 経歴： 2015年3月：慶應義塾大学総合政策学部卒 2015年4月：新卒でとあるSIerへ入社 Azureベースの機械学習システム導入案件を推進 2020年2月：ISID AIテクノロジー部へ中途入社 業務： 機械学習システム開発・導入、自社のAIソフトウェアの開発、主にAzureによる アーキテクチャ設計 御手洗拓真
- 8. アンケート分析 の概要
- 9. アンケート分析の概要 人手でのフリーコメントの解析フロー [1] 全コメントを読みながら、似たような内容の文章を次々とグルーピング（クラスタリング）する [2] クラスタ内容を代表するキーワードを抽出 [3] クラスタ内容の要約文章を作成 [4] ちなみに、今回使用したデータは以下のような感じです ・・・ 250件超。。。（大変、自然言語処理・機械学習技術でどうにかしたいというモチベーション）
- 13. アンケート分析 ツールの技術詳細
- 14. アンケート分析ツールの構成図（省略） システム構成は以下の通りです（プロトタイプなので簡易） 個人PC バックエンドフロントエンド 開発・運用環境：コンテナ環境 （Docker、Docker Compose） フロントエンド： Vue.js、Nuxt.js、Vue Material バックエンド： Django、Django REST framework REST-API
- 15. アンケート分析ツールで使ったAI技術 1. ワードクラウド 2. 文書の特徴量作成 3. デンドログラム（樹形図や、階層別 or 階層的クラスタリングと呼ばれます） 4. クラスタリング 5. 重要単語の抽出 6. 要約 ※時間の関係上、各技術の詳細はスライド掲載のみで、分析の流れを重視して説明します。 分析ツールで使っているAI系の技術として、以下を順番に紹介します
- 17. 元の文書 ストップワード 除去等 単語数カウント ・可視化 私はAIビジネスを 勉強します。 AIをビジネスで 活用したい。 AIの勉強になった。 私/は/AI/ビジネス/を /勉強/します。 AI/を/ビジネスで 活用/したい。 AI/勉強/に/なった。 良かっ/た。 AI ビジネス 勉強 AI ビジネス 活用 AI 勉強 良い 単語 AI ビジネス 勉強 活用 回数 3 ２ ２ １ 形態素解析 • トークンに分割 • トークナイザはSudachipyのC モードを利用 • ストップワード除去 • 同義語変換 • 登場回数を基準にして、 単語の表示サイズを変更 1. ワードクラウド：算出の流れ おおまかな流れは、形態素解析→ストップワード除去→単語数カウント
- 19. 2. 文書の特徴量作成とデンドログラム 2. 文書の特徴量作成 と 3. デンドログラム（階層別クラスタリング）
- 21. 2. 文書の特徴量作成 No. アンケート単語 1 AI, ビジネス,勉強 2 AI, ビジネス, 活用 3 AI, 勉強 No. AI ビジネス 勉強 活用 1 -0.1 0 0 0 2 -0.1 0 0 0.12 3 -0.15 0 0 0 単語に分割した文字列データを、数値データ（ベクトル）に変換（ALBERT or TF-IDF ） 数値データを、可視化用に二次元（X軸とY軸）に変換（PCA or UMAP） No. X軸 Y軸 1 0.1 0.5 2 0.5 0.6 3 0.3 0.7 ベクトル化 次元圧縮 No. AI ビジネス 勉強 活用 1 -0.1 0 0 0 2 -0.1 0 0 0.12 3 -0.15 0 0 0 X Y 大まかな流れは、アンケートをベクトル化した後、二次元に減らしてプロット
- 25. 2. 文書の特徴量作成：ALBERT https://www.slideshare.net/DeepLearningLab/nlp- 236520444?ref=https://dllab.connpass.com/event/177785/presentation/ ALBERT(A Lite BERT)については、 7/2の「自然言語処理ナイト」で詳しく解説したので、そちらをご覧ください PCA UMAP ベクト ル化 次元 圧縮 TF-IDF ALBERT
- 26. 2. 文書の特徴量作成：TF-IDFの仕組み① TF-IDF PCA UMAP ベクト ル化 次元 圧縮 No. 単語 1 AI,ビジネス, 勉強 2 AI, ビジネス, 活用 3 AI, 勉強 No AI ビジネス 勉強 活用 1 -0.1 0 0 0 2 -0.1 0 0 0.12 3 -0.15 0 0 0 No. [AI,ビジネス,勉強,活用] 1 [ -0.1, 0 , 0, 0] 2 [-0.1, 0, 0.12 ] 3 [-0.15, 0, 0,0] TF-IDF は、 単語の重要度スコア ▼形態素解析 ▼TF-IDFでベクトル化 イメージは、「重要な単語はポイントを高く」 「そうでもない単語はポイント低く」して文章をベクトル化 ALBERT
- 27. 2. 文書の特徴量作成：TF-IDFの仕組み②（省略） 重要度 そうでもない度 一つのアンケートに何回も 登場する単語は重要 例）「高額」など 多くのアンケートに共通で 登する単語はそうでもない 例）「検定」「受験」など log アンケートの総数 単語を含むアンケート数 + 1 TF-IDF 重要スコア TF IDF＝ × 重要度と そうでもない度の かけ合わせ 概要 数式 単語の登場回数 アンケート内の 全単語の登場回数の和 単語の重要スコア＝ 重要度 × そうでもない度 PCA UMAP ベクト ル化 次元 圧縮 TF-IDF ALBERT
- 28. 2. 文書の特徴量作成：TF-IDFの仕組み③（省略） 重要度 そうでもない度 TF-IDF 重要スコア TF IDF＝ × 例 計算 No. アンケートのトークン表現 1 AI, ビジネス, 勉強 2 AI, ビジネス, 活用 3 AI, 勉強, AI ビジ ネス 勉強 活用 IDF値 -0.3 0.0 0.0 0.4 No. AI ビジ ネス 勉強 活用 1 0.3 0.3 0.3 0 2 0.3 0.3 0 0.3 3 0.5 0 0.5 0 No. AI ビジ ネス 勉 強 活用 1 -0.1 0 0 0 2 -0.1 0 0 0.12 3 -0.15 0 0 0 単語の重要スコア＝ 重要度 × そうでもない度 PCA UMAP ベクト ル化 次元 圧縮 TF-IDF ALBERT
- 29. 2. 文書の特徴量作成：PCA（主成分分析）の仕組み 第一主成分 次元圧縮する前の状態 ばらつきが大きくなる ように新しい軸をとる 新しい軸の座標で、 データを表現する 最初はXY軸上の座標で 点は表現される 元の次元数分だけ、 第一主成分と直角に軸を取れる X Y 第一主成分 XY軸上の 点A（0.5,0.4） X Y XY軸上の 点A（0.5,0.4） 第一主成分上の 点A（0.2） 第一主成分上の座標で表すこと で、次元を削減 イメージは、データのばらつき具合が大きくなるように新たな軸を取り直し、 新たな軸上の点でデータを表現しなおす TF-IDF PCA UMAP ベクト ル化 次元 圧縮 ALBERT
- 30. 2. 文書の特徴量作成：UMAPの仕組み https://pair-code.github.io/understanding-umap/ • 色 クラスラベルだと思ってください （出典には色についての記載なし） • 円 半径が重複する点どうしを接続する 半径の色の濃さは接続の可能性 • エッジ • ポイント間の接続を示す イメージは、高次元データの構造と同じような構造を、 低次元の状態でも再現できるように学習する PCA UMAP 次元 圧縮 TF-IDF ベクト ル化 ALBERT
- 33. 4. クラスタリング、5. 重要単語、 6. 要約 4. クラスタリング、5. 重要単語、 6. 要約
- 34. 4. クラスタリング、5. 重要単語、 6. 要約 各文書をクラスタリング クラスターごとの 重要単語を算出 クラスターごとに、 重要単語を含む要約文を生成 おおまかな流れは、 クラスタリング ⇒ クラスターごとに重要単語算出⇒ クラスターごとに要約文生成
- 36. 4. クラスタリング：k-means ++の仕組み（省略） STEP1 各クラスタ重心の初期値 を選択 STEP1 各データを、一番重心が 近いクラスタに割り振る STEP1 新たな重心を計算する STEP1 一番近い新たな重心に、 クラスターを割り振る STEP5 クラスターが変化しなくなるまで、 STEP3, STEP4を繰り返す ：重心 ：重心 ：重心 ：重心 イメージは、「クラスターの重心を少しずつ移動させて調整していく」
- 37. 4. クラスタリング：k-means ++の仕組み（省略） STEP1 各クラスタ重心の初期値 を選択 1-1：ランダムに一つ目の重心を選ぶ 1-2：一つ目からの距離をもとに、確率分布を つくる（＝遠いデータほど確率が高くなる） 1-3：確率分布をもとに、二つ目を選ぶ 1-4：一つ目と二つ目、近い方の距離を もとに確率分布をつくり、三つ目を選ぶ 確率分布 = 一つ目からの距離 𝑥 2 一つ目の距離 𝑥 2 高確率 低確率 確率分布 = 近い方からの距離 𝑥 2 近い方から距離 𝑥 2 ：重心 k-meansとk-means++との違いは、 STEP1の初期値選択を「できるだけバラけさせる工夫」を入れていること
- 39. アンケート分析ツールで使った技術の紹介（省略） 「静的なタイプ」 1. クラスタ内の単語の頻度、tf-idf値、クラスタ間での頻度などから判定 2. クラスタ全文書の平均ベクトルと近い単語ベクトル 「クラスタごとに教師あり学習に置き換えるタイプ」：各クラスタとその他（1 VS ALL）を分離するモ デルをクラスタ数分作成 A) L1ノルム罰則の回帰：Lassoで、モデルの係数が大きい単語を重要単語とする B) ランダムフォレスト、LightGBM（グラディエントブースティング）などのモデルをクラスタ数分作成し、 Feature Importance（特徴量の重要度）が高い単語を重要単語とする C) LIMEもしくはSHAPでモデルを作成し、各文章の重要単語の情報から、グローバルに重要な単語を抽出 D) MSのInterpretML-Text（Unified Information Explainer≒ノイズへの頑強性から重要単語検出、 Introspective Rationale Explainer≒学習時に重要単語抽出モデルも作成 ）の使用 クラスタを代表する重要単語を抽出する手法（を考えてみた） https://www.youtube.com/watch?v=oL0P5n6jZBc https://github.com/interpretml/interpret-text
- 40. アンケート分析ツールで使った技術の紹介 今回は、 「クラスタごとに教師あり学習に置き換えるタイプ」：各クラスタとその他（1 VS ALL）を分離するモ デルをクラスタ数分作成 B）ランダムフォレスト、LightGBM（グラディエントブースティング）などのモデルをクラスタ数分作成し、 Feature Importance（特徴量の重要度）が高い単語を重要単語とする を使用。tf-idfでベクトル化してランダムフォレストで1 VS ALLのモデルをクラスタ数分作り、クラスタごとに Feature Importanceの高い単語を重要単語として抽出 クラスターを代表する重要単語を抽出する手法
- 41. 5. 重要単語の算出：ランダムフォレスト 1vsALL クラスタリング結果を目的変数とし 一つのクラスター vs それ以外 の二値分類モデルを ランダムフォレストで学習 No. AI ビジ ネス 勉強 活用 目的変数 1 -0.1 0 0 0 クラスタ 1 2 -0.1 0 0 0.12 クラスタ 1以外 3 -0.15 0 0 0 クラスタ 1以外 AI ビジネス 活用 E 検定 受験 勉強会 セミナー 出席 クラスター１の重要単語 クラスター2の要単語 クラスター3の要単語 ランダムフォレストの 特徴量重要度を、 そのクラスターの重要単語とする 全てのクラスターに対して、 1：二値分類モデル作成、 2：特徴量重要算出 を行う クラスタリングの結果を正解ラベルにして、 ランダムフォレストで教師有りの二値分類
- 44. 6. 要約：クラスターごとに要約文を生成 ビジネススクールに通う。AI ビジネスを学びたい。AIをビ ジネスで活用するために勉強 したい。AIだけではダメ だ！・・・etc E検定の受験を検討している。 E検定を受けようと思ってい る。・・・etc 元のアンケート クラスターごとに一つの文章化 クラスター1の文章 クラスター2の文章 AIビジネスを学びたい AIをビジネスで活用するために勉強したい G検定さいこう ビジネススクールに通う AIだけではダメだ！ E検定の受験を検討している E検定を受けようと思っている クラスターごとにアンケートを結合して一つの「文章」を作る
- 45. 6. 要約：クラスターごとに要約文を生成 ▼クラスタ１の要約スコア ※LexRankによる要約スコア算出の仕組みは後述 センテンス LexRank （要約スコア） ビジネススクールに通う 0.2 AIビジネスを学びたい 0.3 AIをビジネスで活用するために勉強したい 0.4 AIだけではダメだ！ 0.2 G検定さいこう！ 0.1 各クラスターごとの「文章」を構成する、各センテンスのLexRank（要約スコア）を計算
- 46. 6. 要約：クラスターごとに要約文を生成 ▼クラスター１から抽出するセンテンス センテンス LexRank （要約スコア） AIをビジネスで活用するために勉強したい 0.4 AIビジネスを学びたい 0.3 ▼クラスター１の重要単語TOP5 AI ビジネス 活用 学び 勉強 LexRankが高い順に、重要単語上位５つが含まれる最低限のセンテンスだけ抽出する
- 47. 6. 要約：クラスターごとに要約文を生成 ▼生成されたクラスター１の要約文 • AIをビジネスで活用するために勉強したい • AIビジネスを学びたい 抽出したセンテンスを結合し、そのクラスターの要約文とする
- 48. 6. 要約：クラスターごとに要約文を生成 ▼クラスター１の要約文 • AIをビジネスで活用するために勉強したい • AIビジネスを学びたい ▼クラスター2の要約文 • E検定を受けようと思っている • E検定の受験を検討している ▼クラスター3の要約文 • 勉強会を主催してほしい • AIに関する勉強会に出席するきっかけになった STEP2~5をクラスターの数だけ繰り返す
- 51. 6. 要約：LexRankの仕組み詳細（省略） ビジネススクールに 通う AIビジネスを学 びたい AIをビジネスで活用す るために勉強したい ビジネススクールに通 う 1 0.3 0.2 AIビジネスを学びたい 0.3 1 0.5 AIをビジネスで活用す るために勉強したい 0.2 0.5 1 ▼クラスター１の類似度行列 「AIビジネスを学びたい」 と「AIをビジネスで活用する ために勉強したい」 の類似度は「0.5」 各文書を構成する センテンスのcos類似度行列 作成 閾値以上を1、未満を0に して隣接行列に変換 列方向に正規化し、 確率行列に変換 確率行列の固有値１の固有 ベクトルを算出 この固有ベクトルの値が センテンスのLexRank 「センテンス同士の類似度」行列（＝類似度行列）を作成
- 52. 6. 要約：LexRankの仕組み詳細（省略） 各文書を構成する センテンスのcos類似度行列 作成 閾値以上を1、未満を0に して隣接行列に変換 列方向に正規化し、 確率行列に変換 ビジネススクールに 通う AIビジネスを学 びたい AIをビジネスで活用す るために勉強したい ビジネススクールに通 う 1 0 0 AIビジネスを学びたい 0 1 1 AIをビジネスで活用す るために勉強したい 0 1 1 確率行列の固有値１の固有 ベクトルを算出 この固有ベクトルの値が センテンスのLexRank ▼閾値を0.5とした場合のクラスター１の隣接行列 「AIビジネスを学びたい」 と「AIをビジネスで活用する ために勉強したい」には 類似フラグを立てる 類似度を閾値以上は1、閾値未満は0にして、 「センテンス同士の類似フラグ」の行列（=隣接行列）にする
- 53. 6. 要約：LexRankの仕組み詳細（省略） ▼クラスター１の確率行列 各文書を構成する センテンスのcos類似度行列 作成 閾値以上を1、未満を0に して隣接行列に変換 列方向に正規化し、 確率行列に変換 ビジネススクールに 通う AIビジネスを学 びたい AIをビジネスで活用す るために勉強したい ビジネススクールに通 う 1 0 0 AIビジネスを学びたい 0 0.5 0.5 AIをビジネスで活用す るために勉強したい 0 0.5 0.5 確率行列の固有値１の固有 ベクトルを算出 この固有ベクトルの値が センテンスのLexRank 「AIビジネスを学びたい」 は2個と類似しているので、 ル時フラグ1を2で割る 列方向に正規化し、「列のセンテンスが行のセンテンスになる確率」の行列（=確率行列）に変換
- 55. まとめ
- 58. 付録：最近の私たちのAI関連の発表スライド [1] NLP ソリューション開発の最前線, DLLAB 自然言語処理ナイト, 20年7月. [2] SIerで自然言語処理AI製品をアジャイル開発した際の試行錯誤, Machine Learning 15minutes!, 20年7月. https://www.slideshare.net/DeepLearningLab/nlp-236520444 https://drive.google.com/file/d/1xT_o7YbfLWfSBrjSw4l3- h2uAolS9jPe/view?fbclid=IwAR3SlNzvg1kCVYZpD7IFOiBkoy9kz9RmDIkIbFGyCPw43ZpuNCCnuuaJMLM
- 59. 付録：最近の私たちのAI関連の発表スライド [3] OSS プロジェクトの Issue 議論内容に対する BERT および AutoML を用いた文章分類の提案, 山田, 櫨山, 小川, 人工知能学会 2020@熊本, 20年6月. [4] 進化するSIerの最前線！電通国際情報サービス（ISID）が先端技術の活用事例を紹介【AI編】, 芝田, 小川, 19年12月. https://confit.atlas.jp/guide/event/jsai2020/subject/3Rin4-08/advanced https://techplay.jp/column/910?fbclid=IwAR3Di0Wad0y2sjjnlyZHlUaa_mHzC9Cf0aSaBY6MwE_ll8tMH9rsORo7E3k https://techplay.jp/eventreport/758740
- 60. 付録：最近の私たちのAI関連の発表スライド [5] BlackBox モデルの説明性・解釈性技術の実装, DLLAB_interpretabilityNight, 19年10月. [6] 電通国際情報サービスAIトランスフォーメーションセンター, 20年2月設立. https://www.slideshare.net/DeepLearningLab/blackbox-198324328 https://isid-ai.jp/
- 61. CONFIDENTIAL 【お問い合わせ先】 • 株式会社 電通国際情報サービス • X（クロス）イノベーション本部 AIテクノロジー部 • E-mail:g-isid-ai@group.isid.co.jp