O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AITC女子会
2018 機械学習勉強会
「会話の記録と分析」
...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
目次
2
概要
こんなことがしたい
こんなものを作ろう
まとめ
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
概要
3
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
概要
4
「会話の記録と分析」チーム
メンバーの困りごと
「議事...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
例) 病院の困りごと
■背景
・医師の負担軽減および病院・クリニ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ほかにも、こんな困りごとも
6
・毎回の議事録を作るのに、会議よ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
こんなことがしたい
7
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①診療中の会話を
テキストに変換
②開始キーワードで記録開始
患...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
診療の自動記録2
9
患者様の
音声を記録​看護士の音声を記録​...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①面接中の会話を
テキストに変換
②発言者ごとに発言
が色分けさ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
音声による安全確認の記録
後方確認(サイドミラー)
止まれ
前方...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
①会議中の会話を
テキストに変換
②発言ごとに
発表者名を記載
...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
会話の記録と言っても・・・
13
一口に会話の記録と言っても
使...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
もちろん、みんな
14
自分用のが欲しい~~!
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
こんなモノを作ろう!
15
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
こんなのを作ろう!
16
1.目的別に記録ファイルの雛形と
「キ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
先生!
患者さんが不
安そうですよっ。
どう作るか? 案1
17...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案1
18
2018.06.29 FRI 08:3...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
先生!
患者さんが不
安そうですよっ。
どう作るか? 案1
19...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
先生!
患者さんが不
安そうですよっ。
どう作るか? 案1
20...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案2
21
しゃべる
1つのマイクで
集音
話者を...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案2
22
しゃべる
1つのマイクで
集音
話者を...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案2
23
しゃべる
1つのマイクで
集音
話者を...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案3
24
Google Document には「...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案3
25
いや、そもそも、スマホに音声入力あるじ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案3
26
しゃべる スマホで集音
Google ...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか? 案2
27
しゃべる スマホで集音
・ドキュメント...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
どう作るか?
28
音声
音声入力
テキスト
入力処理
キーワー...
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 29
というものを一緒に作ってくれる人
絶賛募集中です!
Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
まとめ
30
荒井:今回は計画までですが、これが実現したら楽
し...
Próximos SlideShares
Carregando em…5
×

2018年12月15日 AITC女子会 会話の記録と分析

21 visualizações

Publicada em

AITC女子会
2018 機械学習勉強会
AITCオープン活動発表会

タイトル:会話の記録と分析
身近な困り事から、機械学習でより便利なツールを実現できないかを検討しました。


■日時
2018年12月15日(土)15:00~18:00

Publicada em: Internet
  • DOWNLOAD FULL MOVIE, INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... ,DOWNLOAD FULL. MOVIE 4K,FHD,HD,480P here { https://tinyurl.com/yybdfxwh }
       Responder 
    Tem certeza que deseja  Sim  Não
    Insira sua mensagem aqui
  • Seja a primeira pessoa a gostar disto

2018年12月15日 AITC女子会 会話の記録と分析

  1. 1. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. AITC女子会 2018 機械学習勉強会 「会話の記録と分析」 2018年12月15日 議事録チーム (久保、藤井、入村、赤池、荒井)
  2. 2. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 目次 2 概要 こんなことがしたい こんなものを作ろう まとめ
  3. 3. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 概要 3
  4. 4. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 概要 4 「会話の記録と分析」チーム メンバーの困りごと 「議事録」「面談記録」など、会議や会話の記録を文書 にすることに多くの時間を割いている そんなみんなの願いは・・・ 音声を自動でテキストに変換できたら、 そのまま議事録が作れるんじゃないかしら? じゃあ、音声入力させよう!
  5. 5. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 例) 病院の困りごと ■背景 ・医師の負担軽減および病院・クリニックの経営効率化のため、 医師の診察以外の付随業務を減らしたい ・患者様の不安な気持ちや不信感を汲み取れない医師が多い ⇒Googleの音声入力で解決できるのでは? 5
  6. 6. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ほかにも、こんな困りごとも 6 ・毎回の議事録を作るのに、会議よりも時間がかかる ・面談のときに記録をつけるのに時間がかかる。 ・・・面談は同じ時期に大量にさばく必要がある ・一人作業で何か記録を残したい。 作業しながら、「やりました」が履歴がのこる。 後から、ほかの人が確認できる。
  7. 7. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. こんなことがしたい 7
  8. 8. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ①診療中の会話を テキストに変換 ②開始キーワードで記録開始 患者様・医師・看護師各々の発言者が区別される いったんGoogleドキュメントに書き込まれる その際、項目キーワードでフォーマットに項目分けさ れる 診療記録 20XX 年 11月 28日 / 午前10時 / 診察室A 医師:山田 患者様:A123456 鈴木 10:00 看護士:「次回予約は」←診療開始キーワード 0:00 医師:今日はどんな症状がありますか? 0:05 患者様:後頭部がズキズキ痛くて・・・ 0:12 医師:「症状は」←症状記録キーワード 頭痛 ~~診療中の会話~~ 10:10 看護士:お大事になさってください←診療終了 キーワード 診察日時 医師名 患者名 症状 内容 ③電子カルテに転記 診療の自動記録1
  9. 9. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 診療の自動記録2 9 患者様の 音声を記録​看護士の音声を記録​ 自動で予約スケジュール登録診療後の感情分析 信頼できるお医者さんだな なんだか不安だなぁ 私の症状を理解していないぞ 本当はこうで きたらいいな 💛 即時カルテ入力 医師の音声を記録​
  10. 10. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ①面接中の会話を テキストに変換 ②発言者ごとに発言 が色分けされる 事前に登録しておく と名前が出てくる ③面接終了後に参加者の発言から感情を分析 (※面接者がネガティブな感情になる率が高い面接担 当者は圧迫面接をしているかも… 面接担当者がネガティブで面接者の発言内容に問題 がない場合、単に性格が合わないだけかも…) 面談の会話を自動記録
  11. 11. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 音声による安全確認の記録 後方確認(サイドミラー) 止まれ 前方確認(歩行者、自転車) 時間確認 出発よし 前方よし 歩行者確認 運転手の音声を記録​ 歩行優先レーン読み上げ 1月1日2019年 運転手: 渋谷ハチ公口 歩行者確認 13:15 NHN放送センター 後方確認 13:18 代々木公園 正門 右折 左右確認 ハンズフリー 読み上げ ハンズフリー 書き込み 補足:決められたルートにしか対応できません
  12. 12. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ①会議中の会話を テキストに変換 ②発言ごとに 発表者名を記載 ③議論の白熱度や、議事内容に対して 肯定的/非肯定的などのフラグ付け ※会議欠席者や第三者が議事録を確認すれば、 会議出席者と同じ認識を持てるようになる 議事録
  13. 13. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 会話の記録と言っても・・・ 13 一口に会話の記録と言っても 使うシーンも実現したいことも みんなバラバラ。 「。。。。 で、 どれ作る?」 診療記録 採用面談 安全確認 議事録
  14. 14. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. もちろん、みんな 14 自分用のが欲しい~~!
  15. 15. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. こんなモノを作ろう! 15
  16. 16. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. こんなのを作ろう! 16 1.目的別に記録ファイルの雛形と 「キーワード・アクション」リストを準備 診 療 採 用 記録ファイルの雛形 「キーワード・アクショ ン」リスト 2.雛形から「キーワード・ア クション」 リストをコピー 3.発言を自動でファイルに 書き込む。 4.発言が「キーワード・アク ション」リストの項目に一致し たら、紐づけられているアク ションを実施 5. 感情分析を実施
  17. 17. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 先生! 患者さんが不 安そうですよっ。 どう作るか? 案1 17 しゃべる マイクで集音 音声から感情分析 オンライン ドキュメントを 事前に作成・共有 テキスト+感情を ドキュメントに追記 音声をテキストに変換
  18. 18. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案1 18 2018.06.29 FRI 08:30 日本発、「音声感情解析」のスタートアップに世界が注目 今年5月にルクセンブルクで開催 されたカンファレンス「ICT Spring」のピッチコンテストで、日 本のスタートアップが優勝した。 その企業、Empathが扱うのは 「音声感情解析」という聞き慣れ ない技術である。技術のユニー クさを大きく評価された彼らは、 いったい何をなそうとしているの か。 出典: https://wired.jp/2018/06/29/ict-spring-luxembourg-empath/
  19. 19. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 先生! 患者さんが不 安そうですよっ。 どう作るか? 案1 19 しゃべる マイクで集音 音声から感情分析 オンライン ドキュメントを 事前に作成・共有 テキスト+感情を ドキュメントに追記 音声をテキストに変換 ・音声から感情分析はどうやら最先端すぎ る技術らしい。
  20. 20. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 先生! 患者さんが不 安そうですよっ。 どう作るか? 案1 20 しゃべる マイクで集音 音声から感情分析 オンライン ドキュメントを 事前に作成・共有 テキスト+感情を ドキュメントに追記 音声をテキストに変換 ・音声から感情分析はどうやら最先端すぎ る技術らしい。 NG!
  21. 21. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案2 21 しゃべる 1つのマイクで 集音 話者を識別 音声をテキストに変換 オンライン ドキュメントを 事前に作成・共有 ドキュメントに追記 「しゃべり」の区切りを判定
  22. 22. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案2 22 しゃべる 1つのマイクで 集音 話者を識別 音声をテキストに変換 オンライン ドキュメントを 事前に作成・共有 ドキュメントに追記 「しゃべり」の区切りを判定 ・誰がしゃべったかを区別するのは難しそ う ・特定話者識別には音声登録が必要 → 音声登録してから面談や会議を 始めるのは現実的ではない
  23. 23. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案2 23 しゃべる 1つのマイクで 集音 話者を識別 音声をテキストに変換 オンライン ドキュメントを 事前に作成 ドキュメントに追記 「しゃべり」の区切りを判定 ・不特定話者識別は難しそう。 ・特定話者識別には音声登録が必要 → 音声登録してから面談や会議を 始めるのは現実的ではない NG!
  24. 24. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案3 24 Google Document には「音声入力」というステキな機 能があるらしい
  25. 25. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案3 25 いや、そもそも、スマホに音声入力あるじゃん。
  26. 26. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案3 26 しゃべる スマホで集音 Google ドキュメントを 事前に作成・ 共有 話者ごとにGoogle ドキュメントに記録される スマホからGoogle ドキュメントにアクセス 音声入力
  27. 27. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 案2 27 しゃべる スマホで集音 ・ドキュメントにテキストで入力できる ・誰が話したかも記録される ひとまず採用! Google ドキュメントを 事前に作成・ 共有 話者ごとにGoogle ドキュメントに記録される スマホからGoogle ドキュメントにアクセス 音声入力
  28. 28. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. どう作るか? 28 音声 音声入力 テキスト 入力処理 キーワードファイル 読み込み キーワードファイルと比較 ・コマンドなし テキスト挿入 ・コマンド 挿入場所移動 ドキュメントを閉じる 等 ・感情分析 感情分析処理実行 出力処理 ドキュメントへの出力 ・カーソル位置を管理 ・カーソル移動 ・テキスト出力 ・終了/閉じる 感情分析処理 感情分析結果を挿入 ・会話部分を読み込み ・Google Natural Language APIで感情分析 実行 ・結果をドキュメントへ挿入 テキスト書き込み 内容読み込み 感情分析結果書き込み Google Cloud Platform Google App Script ?
  29. 29. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 29 というものを一緒に作ってくれる人 絶賛募集中です!
  30. 30. Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. まとめ 30 荒井:今回は計画までですが、これが実現したら楽 しそうです! 入村:色々とアイデアをだせたので、ソフトウエアづ くりにつなげられるのを楽しみにしています。 久保:今の仕事に直結した願望をテーマにしてしま いました。手が届きそうなアイディアなので、ぜひ実 現させたいです。

×