using google cloud speech on hololens

1. HoloLensに
日本語聞いてもらいたい
IoT縛りの勉強会 #28 2017/06/13
えむにわ @m2wasabi
サイボウズ

2. 自己紹介
• 山本 允葵
(Masaki Yamamoto)
えむにわ
@m2wasabi新しいものに何でも食いつく
雑食系野良エンジニア
Milkcocoa WebGL(jThree) KinectV2で
本を書いたこともある(共著)
時が経つのは早いものでもはや黒歴史です
Kinect… jThree…. うっ、頭が…

3. 過去に作ったもの
MilkcocoaのUnityプラグイン
http://m2wasabi.hatenablog.com/entry/2016/03/25/071932
RPGツクールMVのMilkcocoaプラグイン
http://qiita.com/m2wasabi/items/267b57d2b6c90ce93ad2
VisualStudioCode用のGrimoire.jsプラグイン
http://qiita.com/m2wasabi/items/bc18a7d0710ea31d43d5
プラグインばっかり

4. 今回の内容
ライブラリばっかりで地味なので
HoloLensで盛り上がる方法を考える

5. 目次
• Chapter0 HoloLensとは
• Chapter1 HoloLensとIoT
• Chapter2 HoloLensで日本語使うには
• Chapter3 Demo

6. HoloLensとは何か
• Thing
 半透過ディスプレイを持つ
ヘッドマウント型ARデバイス
 CPUを持ち独立で稼働可能な
小型コンピューター
• Activity
 現実と重ねて映像を映し出すことが出来る
 視覚情報を拡張できるデバイス
https://docs.com/mstechsummit16/9434/spl006-mixed-reality-microsoft-hololens
詳しくはMSの人の資料見てください

7. Chapter1
HoloLensとIoT

8. HoloLensとIoTは相性がいい
http://www.1ft-seabass.jp/memo/2017/05/31/
hololens_meets_milkcocoa_unity5_6_thanks/
※田中正吾さんの事例
Milkcocoaと繋げることが出来る
あとはアイデア次第で何でも！

9. でもOSが英語のみ
• 英語しか選択できない
• だからエージェントは
コルタナではなくてCortana
• 日本語の発音・文字は
理解できないようだ
それでもHoloLensのUIは
音声コマンドが良いと思う

10. Chapter2
HoloLensで日本語使うには

11. Google Cloud Speech API
• 「OK Google」はGoogle Assistant API
 APIは英語のみ(お前もか)
• APIで各国対応してるのは、音声テキスト変換に特化した
「Google Cloud Speech API」
• 悪い癖でライブラリから作ろうとする
2週間やそこらでは無理でした！

12. 安全牌なAssetあります($20)
Google Cloud Speech Recognition
• 使うのは簡単
 買ったその日にデモ作れる
 簡単故に、使ってみただけだと、
もはやn番煎じ。アイデアで戦おう
• gRPCではない
 双方向ストリームに対応してないので
gRPC版作ろう(茨の道)

13. Chapter3
Demo

14. Demo

15. まだまだ遊び足りない
• この盛り上がり、伝わったかな？(´・ω・`)
 やってる人は楽しい！
• 外から見たシュール感を打ち壊したい
 だからこそ、IoTで外に何か出そう！魔術師になろう！
• gRPC x Unityは今キテルので開拓しよう(したい)
 MagicOnionとか事例あるけど
Unityクライアントがソース読むしかなく難しい…
思いついたら作ってみよう！
楽しむことが大事