O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

2018年12月15日 AITC女子会 顔認識を活用したセミナー参加者の満足度分析

67 visualizações

Publicada em

AITC女子会
2018 機械学習勉強会
AITCオープン活動発表会

タイトル:顔認識を活用したセミナー参加者の満足度分析
顔認識のAPIを活用して、セミナー参加者の満足度分析ができるツールを検討し
ました。セミナーの満足度調査は、通常アンケートなどを用いて主観的な評価
を調査しますが、実際のセミナー参加者の写真を元にして、画像解析を行うこ
とで、客観的な評価が得られるようになります。

■日時
2018年12月15日(土)15:00~18:00

Publicada em: Internet
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

2018年12月15日 AITC女子会 顔認識を活用したセミナー参加者の満足度分析

  1. 1. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. AITC女子会 機械学習ことはじめ 成果報告 2018年12月15日 顔認識で感情分析するチーム 宮城 亜莉沙、上村 瑶子 野田 洋之、井上 雅典、池森 俊介、 岩佐 卓樹、岩佐 賢
  2. 2. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 目次 1. メンバー紹介 2. 制作物決定まで 3. セミナー満足度 4. 没になった案たち 5. メンバーからひと言 参考 2
  3. 3. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 1. メンバー紹介
  4. 4. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 1. メンバー紹介 4 上村 宮城 井上 野田 岩佐S 岩佐J 池森 怒り 0.000 0.000 0.000 0.000 0.000 侮辱 0.001 0.001 0.001 0.003 0.000 嫌悪 0.000 0.000 0.001 0.000 0.000 恐れ 0.000 0.000 0.000 0.000 0.000 幸福 0.969 0.019 0.015 0.384 0.000 自然 0.024 0.979 0.932 0.611 1.000 悲壮 0.005 0.001 0.046 0.002 0.000 驚き 0.000 0.000 0.005 0.000 0.000 顔 で は な い 模 様 幽 霊
  5. 5. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5 2. 制作物決定まで
  6. 6. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 6 アイデアソン実施 画像認識系のAPIを活用して、 〇〇さんの機嫌がわかるようにする。 いまダメ
  7. 7. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 7 Google Vision API Microsoft Azure Face API 顔認識(感情分析)は、 2. 制作物決定まで 実装にあたっての検討 どのクラウドサービスのAPIを使用して実装するか Google Vision API Microsoft Azure Face API 顔認識(感情分析)は、 2. 制作物決定まで 実装にあたっての検討 どのクラウドサービスのAPIを使用して実装するか
  8. 8. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 8 調査① Azure Face APIでは何ができるか? ◆顔検出 座標表示 人の顔の位置を検出し、四角形の座標で表示 属性返却 性別、年齢、感情などの属性を返却 感情分析 怒り、軽蔑、嫌悪感、恐怖、喜び、自然、哀しみ、 驚きといった要素を分析 ◆顔検証 同一人物判別 事前登録された顔と読み込んだ画像の比較や、読 み込んだ2つの顔の比較で、同一人物であるかを 判定する
  9. 9. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 9 調査② ・顔画像サンプルをGoogle検索で収集 ・ Azure Face APIの感情分析パラメータをアウトプット するプログラムを作成 ・ アウトプットするパラメータは以下の通り Azure Face API感情分析の精度は? ◆調査方法 怒り、軽蔑、嫌悪感、恐怖、喜び、自然、哀しみ、驚き
  10. 10. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 10 調査画像一例
  11. 11. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 11 調査画像一例 怒り 侮辱 嫌悪 恐れ 幸福 自然 悲壮 驚き
  12. 12. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 12 調査画像一例 怒り 0.227 侮辱 0.004 嫌悪 0.020 恐れ 0.245 幸福 0.325 自然 0.016 悲壮 0.077 驚き 0.085
  13. 13. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 13 調査画像一例
  14. 14. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 14 調査画像一例
  15. 15. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 2. 制作物決定まで 15 全体的に 幸福 自然 が多く出てくる傾向 問題点 ・横顔や、手で顔を隠すと顔として認識されない ・日本人顔は 自然 がやたら多く出る ⇒感情に乏しい or Azureさんの日本人不足? 調査結果
  16. 16. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 調査結果をもとに、 感情分析で何を実現するか 16 チーム内で再アイデアソンを実施 2. 制作物決定まで
  17. 17. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 17 今日のシニア勉強会は 満足してもらえただろうか・・・ 自分の講演は 参加者の心に響いただろうか・・・ 2. 制作物決定まで 次のような困りごとがあるのではないか?
  18. 18. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 18 今日のシニア勉強会は 満足してもらえただろうか・・・ 自分の講演は 参加者の心に響いただろうか・・・ 2. 制作物決定まで 次のような困りごとがあるのではないか? 顔認識・感情分析を活用した セミナー満足度判定
  19. 19. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 19 3. セミナー満足度
  20. 20. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度 20 概要 セミナー写真から満足度、不満足度を測定 実現方法 セミナー中の参加者の写真を顔認識。 参加者毎の満足度、不満足度の 表情から感情分析を行い、 パラメータを抽出
  21. 21. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度 21 アンケート 感情分析 判定回数 提出時1回のみ セミナー中何度でも 信憑性 個人によりいい加減 表情は正直 参加者の手間 項目数が多いほど回答がい い加減に 手間不要 集計の手間 参加者、項目数が多いほど 大変 プログラムで全自動なので楽 従来のアンケートによる満足度調査との比較 メリット
  22. 22. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度 22 満足度 :0.91 不満足度:0.02 満足度 :0.89 不満足度:0.03 満足度 :0.10 不満足度:0.82 満足度 :0.09 不満足度:0.85 セミナー写真を測定した実施イメージ
  23. 23. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 23 3. セミナー満足度 実装方針と課題 • 入力フロントエンドWeb化 – URLやアップロードされた画像から識別 – 入力する画像形式はJPEGを基本とする • 課題 – どこのサーバーを使う?自前?クラウド? – 画像形式がJPEGだけでは不足、少なくともPNGも – 著作権、肖像権など権利の問題 – etc.
  24. 24. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 24 3. セミナー満足度 実装検討 使用するクラウドサービス選定 を踏まえ、総合的に判断した結果 を使用することに決定 • アイデアソン前のGCP学習 • 前述のAzure機能調査 Microsoft Azure Face API
  25. 25. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3.セミナー満足度(今回使用する環境) • Azure Face API – マイクロソフト社が提供する顔認識用のライブラリ 登録することで1ヶ月無料で使用できる。 https://azure.microsoft.com/ja-jp/services/cognitive-services/face/
  26. 26. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3.セミナー満足度(Face APIの特徴) • 認識できる顔の最大数は64 – 集合写真でも個々の顔を十分に識別可能な数 • 新たに顔を学習して人物を特定できる – 登録可能最大数は248個 26
  27. 27. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3.セミナー満足度(感情パラメータ検証) 感情分析の結果パラメータには、複数の要素が含まれる。 どの程度の検出結果となるか実際の顔認識して確認した 。 27 以下の事が分かった。 ・使えるパラメータ 幸福、驚き、悲壮、怒り ・場合により使える 侮辱、恐れ ・使えないかも 嫌悪 ・女性はポジティブ(幸福が 大きく、悲壮が少ない)
  28. 28. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デモの準備ができたようです。 それではご覧ください。 28 3. セミナー満足度
  29. 29. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度(デモ内容) • 動作環境)Windows10 • 使用言語)Python3.5.6 ・サンプルとして以下の画像を使用(著作権フリー画像より) セミナー前) セミナー後) 29
  30. 30. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度(デモ内容) • コマンドプロンプトを開き、コマンドを入力。 python semsat.py セミナー前の画像ファイル セミナー後の画像 ファイル 30
  31. 31. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3. セミナー満足度(デモ内容) • 結果ファイルは以下の形式で作成されます。 31
  32. 32. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 32 4. 没になった案たち
  33. 33. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4. 没になった案たち 再アイデアソンで提案されるも、 惜しくも没となってしまった案をご覧ください。 33
  34. 34. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.1 上司のいかり検知 没案① 上司のいかり検知 34 あのプロジェクトの件相談したいけど、今部 長は機嫌が悪いかな・・・。機嫌が悪いと きに話しかけると話が長くなるし、イヤなん だよなぁ。サクッとすませたいのに・・・。 概要 表情から上司のいかり(機嫌)を判定
  35. 35. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.1 上司のいかり検知 35 実現方法 「Microsoft Azure Face API」で感情判定し、いかり(機嫌)を判定 メリット ・機嫌のよいときにすかさず相談 部下 ( ・ω・)r◇この書類でいこうと思うのですがどうでしょう? 上司 ( ・ω・)イイネ! 没理由 ・「セミナー満足度」判定を応用すれば「上司のいかり検知」も実現可能 → 「まずはセミナー満足度」判定を優先 → 適切なタイミングで相談することで平和に業務を遂行できる!
  36. 36. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.1 上司のいかり検知 36 実現方法 「Microsoft Azure Face API」で感情判定し、いかり(機嫌)を判定 メリット ・機嫌のよいときにすかさず相談 部下 ( ・ω・)r◇この書類でいこうと思うのですがどうでしょう? 上司 ( ・ω・)イイネ! 没理由 ・「セミナー満足度」判定を応用すれば「上司のいかり検知」も実現可能 → 「まずはセミナー満足度」判定を優先 → 適切なタイミングで相談することで平和に業務を遂行できる! シニアIoT勉強会 IKARIチームと丸被り
  37. 37. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.1 上司のいかり検知 37 実現方法 「Microsoft Azure Face API」で感情判定し、いかり(機嫌)を判定 メリット ・機嫌のよいときにすかさず相談 部下 ( ・ω・)r◇この書類でいこうと思うのですがどうでしょう? 上司 ( ・ω・)イイネ! 没理由 ・「セミナー満足度」判定を応用すれば「上司のいかり検知」も実現可能 → 「まずはセミナー満足度」判定を優先 → 適切なタイミングで相談することで平和に業務を遂行できる! シニアIoT勉強会 IKARIチームと丸被り コラボレーションの提案 お待ちしております
  38. 38. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.2 役者分析ツール 没案② 役者分析ツール 概要 登場人物の「台詞」と「表情」が一致しているかを分析し、 演技力を判定する(大根役者判定) 利用場面 ・映画の客観的な評価指標にする ・役者の所属事務所が 映画会社に営業をする
  39. 39. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.2 役者分析ツール 使用するAPI Microsoft Azure Emotion API(感情検出) 表情のネガティブとポジティブ判定 Google Natural Language API(テキスト分析) 字幕のネガティブとポジティブ判定 実現方法 分析対象シーンの動画から、 ①役者の表情をEmotion APIで喜怒哀楽判定 ②字幕をLanguage APIで喜怒哀楽判定
  40. 40. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.2 役者分析ツール 没理由 ・動画の解析になるので、どのようなタイミングで判定するのか ・皮肉を言うシーンなどに対しては、分析に味付けが必要 ・何をもって演技が上手いとするのか ・できたところで誰がうれしいのか? 評価基準の作成が必要 ・何が結果として得られるのか、効果が見えづらい
  41. 41. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 41 没案① 唇の動きからセリフ認識 概要 人が話しているが音声の無い動画から 何を話しているのか認識する つまり、AI読唇術 実現方法 没理由となるので後程
  42. 42. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 42 メリット 以下のような様々な場面での活用が期待できます
  43. 43. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 43 メリット 以下のような様々な場面での活用が期待できます スポーツ観戦
  44. 44. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 44 メリット 以下のような様々な場面での活用が期待できます スポーツ観戦 手話の代用
  45. 45. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 45 メリット 以下のような様々な場面での活用が期待できます スポーツ観戦 手話の代用 産業スパイ
  46. 46. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 46 メリット 以下のような様々な場面での活用が期待できます スポーツ観戦 手話の代用 産業スパイ 悪口判別
  47. 47. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 47 没理由 「APIを使う」という今回のテーマから外れてしまう ☆学習モデルの作成が必要 「おはよう」 ⇒ 「おはよう」の唇の動き 人によって口の動く方などいろいろ違う 唇など、顔の動きと対応する言葉の学習が不可欠
  48. 48. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 48 さらに問題点が・・・ 来て(KITE) 死ね(SHINE) のように、母音が同じ言葉の判別が非常に難解 通常の音声認識や構文分析等と異なり 前後の文脈から判断することも不可
  49. 49. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4.3 唇の動きからセリフ認識 49 さらに問題点が・・・ 来て(KITE) 死ね(SHINE) のように、母音が同じ言葉の判別が非常に難解 通常の音声認識や構文分析等と異なり 前後の文脈から判断することも不可 来年のシニア&女子会の 研究テーマにいかがでしょうか
  50. 50. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 50 5. メンバーからひとこと
  51. 51. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5.メンバーからひとこと 51 「Google Cloud Platform」のAPIを利 用し機械学習を学んだが、GCPのアカウ ント作成からステップバイステップで勉強で きたのが良かった。 宮城さん 実際に手を動かしながらAPIを活用してど のようなものが作れるかについて、皆さんと 意見を交わすことができてとても有意義で した。 上村さん AIについて興味があり、今年より本勉強 会に参加させて頂ました。 Python、GCP、Azureについて学び、 色々と苦戦しましたが 周りの方の助言 や協力もあり、どうにか理解を深めること ができました。 まだ技量不足ですので、今後も継続で きればと思っております。 井上さん アイデアソン、私が思いつかないような 数々のアイディアを頂戴し、楽しむことがで きました。今後、どう実装するかあ、思案 のしどころです。 野田さん 所属の枠を超えて多くの人と意見を話し 合い、このような場で発表する経験は初 めてでしたので、この経験を他で活かせた らと思います。 岩佐Jさん 感情分析が簡単に使える状況になってい る事に驚き、このモデルを提供してくれたベ ンダーに感謝したい。(AIは、使えるモデ ル作成が大変なので) 岩佐Sさん
  52. 52. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. おまけ(本編) 52
  53. 53. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 参考:Google Vision kit V1.1 53 Vision Kitは、手軽に、簡単に画像認識のAIをクラウド接続なしに 利用できるキットです。 動作すると、顔検出し、笑顔の度合いをLEDの色の変化で表しま す。 その他にも次のモデルが用意されています。 ・1000種類のモノを認識するモデル ・人、犬、猫を識別するモデル ・顔検出し、 「悲しみ」や「笑い」などを評価するモデル 本キットに初めから用意されているモデル以外にも、独自のモデルを動かすことが 可能です。 TensorFlow(Googleが提供する機械学習ライブラリ)を利用して、機能拡張、カス タマイズが行えます。 ディープラーニング機能を備えたIntel Movidius MA2450を搭載し、写るモノをリア ルタイムに認識できる全く新しいカメラです。 ユーザーが組み立て、セットアップなどを行う必要がありますが、作りながら、楽し みながら、より深くAIデバイスが理解できます。 はんだ付けなどの必要が無く、小学校低学年ほどのお子さまでも自作できます。
  54. 54. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 参考:Google Vision kit V1.1 54 キットの内容一覧 1 Vision Bonnet(拡張ボード) ×1 7 ボタン ハーネス ケーブル ×1 13 三脚固定用ナット ×1 2 Raspberry Pi Zero WH (超小型コンピューター) ×1 8 Micro USBケーブル ×1 14 LEDベゼル ×1 3 Piカメラ V2 ×1 9 圧電ブザー ×1 15 プラスチック スペーサー ×2 4 カメラケーブル for Pi Zero ×1 10 フルカラー LED ×1 16 外装箱用ボール紙 ×1 5 OS書込済 microSDカード ×1 11 カメラ ケーブル Bonnet to Pi ×1 17 内部フレーム用ボール紙 ×1 6 プッシュ ボタン ×1 12 ボタン ナット ×1
  55. 55. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 参考:Google Vision kit V1.1 購入先(おすすめ) 株式会社ケイエスワイ https://raspberry-pi.ksyic.com/main/index/pdp.id/443,444/pdp.open/444 ¥12,420(税込) *組み立て説明書はGoogleのHPを参照下さい https://aiyprojects.withgoogle.com/vision 他に必要なもの(最低限) 電源(マイクロUSB Bコネクタの2.1A以上の電源) 他に必要なもの(シャットダウンや、追加開発なら) キーボード、マウス、HDMIディスプレイ または アンドロイド携帯、PC(TeraTermなど) 55
  56. 56. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 参考:試した結果(2枚の写真) 56 A B C D E F G ① 0.84 0.90 ー ー 0.97 0.76 ー ② ー 0.84 0.82 ー 0.98 0.87 0.97 ③ ー 0.94 0.82 0.81 0.35 0.86 0.98 ④ ー 0.94 0.91 ー ー 0.89 0.98 ⑤ 0.86 ー ー ー 0.46 0.64 0.97 ⑥ 0.91 ー 0.81 ー 0.48 0.78 0.98 ⑦ ー 0.82 0.90 0.88 0.37 0.71 0.99 顔を認識しない(-)。感情分析で不安定もあり(0.64と0.89)。
  57. 57. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今後のバージョンアップ • 笑顔訓練機 – リングLED(NeoPixel)で、笑顔度合いを表示し、指 定した値を超えたら、Happy点灯する。 – 課題はリングLEDの接続etc. • セミナー満足度リアルタイム – 定期的に満足度測定し、時間的推移、聴講者毎 の状況を保存する。 – セミナー音声もテキスト化により、セミナーポイン ト毎の状況が確認できる。 – 課題は、リアルタイム性etc. • 構想はあるが、来年度の実行は未定。 57

×