O slideshow foi denunciado.
Seu SlideShare está sendo baixado. ×

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio
Anúncio

Confira estes a seguir

1 de 46 Anúncio

Mais Conteúdo rRelacionado

Diapositivos para si (6)

Semelhante a 協働プロジェクト「空気を読む家」キッチンにおけるデータ収集 (20)

Anúncio

Mais recentes (20)

Anúncio

協働プロジェクト「空気を読む家」キッチンにおけるデータ収集

  1. 1. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 協働プロジェクト『空気を読む家』
 キッチンにおけるデータ収集(2) 2019年2月5日 先端IT活用推進コンソーシアム ナチュラルユーザーインターフェース活用部会 リーダー 岡村 和英(株式会社テクリエ)
  2. 2. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Today’s Topics
  3. 3. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 3 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  4. 4. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 4 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  5. 5. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動テーマ ⼈の⾃然な振る舞いや仕草を ユーザーインターフェースとする ナチュラルユーザーインタフェース (NUI)を追求 様々なデバイスを実際に使⽤したり プロトタイプの開発を通して 現時点での限界や可能性を探求 5
  6. 6. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ゴール 協働プロジェクト「空気を読む家」 のなかで ⽇常的な⼈間の振る舞いが ⾃然なインターフェースとして システムと繋がるような フレームワークを検討・開発する 6
  7. 7. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 7
  8. 8. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 8 実際のデバイスに 触れてみたい
  9. 9. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 9 もっと⾊々な⼈に 知ってもらいたい
  10. 10. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デジタルガジェット祭り 10 各種デバイス、およびそれを利⽤したアプ リケーション等を紹介・展⽰。最新デバイ スを⾝近に触れる機会を提供。
  11. 11. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 11
  12. 12. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 12
  13. 13. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  14. 14. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  15. 15. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
  16. 16. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 16
  17. 17. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. NUIを活⽤した乗⾞券販売機 17 TheEyeTribeTracker 視線を検出する アイトラッキングセンサー LeapMotion 指と⼿の動きを検出する モーションセンサー
  18. 18. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 18
  19. 19. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 活動内容 NUI技術及び事例の調査 勉強会・ハンズオンの開催 NUIデバイスを⽤いたアプリ試作 NUIフレームワークの検討・開発 19
  20. 20. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 20 空間OS 訪問者情報 在宅状況 室温 状態 取得 Hueブリッジ照明 制御 来客の通知  ・知⼈、宅配便など    → ⼈がいる部屋の電灯を点滅  ・セールスマン    → 何もしない(無視) 来客だよ! アラート! 空間OSによる照明制御
  21. 21. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 21 在室状況 起床時刻 睡眠度 起床制御 07:30 2 of 9 在室 起床時間にはちょっと 早いけど、睡眠が浅いから 環境⾳楽と優しい照明で ゆっくりと起こし始めよう 空気を読む家における起床 空間OS 状態取得 睡眠レベルや起床すべき時刻に基 づいて、起きやすい状態の時に⽬ 覚めを誘う 超指向性スピーカーで狙った ところに⾳を届ける
  22. 22. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ログファイル  睡眠環境データの収集 22 約0.5秒毎に温度や光 量などのデータを測 定し、送信 受信したデータを10秒単位 に集計。平均値(⾳量のみ 最⼤値)をplotlyに送信し、 リアルアイムでグラフ描画 受信したデータを逐次、 ⽇毎のログファイルに保存 クラウド部会の データ解析担当者に提出
  23. 23. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 23 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  24. 24. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫の奥で 忘れ去られているモノ ありませんか?
  25. 25. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 検討過程は 荒本さんの資料に 詳しいので省略
  26. 26. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 重さ(=圧⼒)で モノの有無を判定する
  27. 27. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成 27 •  冷蔵庫の棚を想定した 板の4隅の裏側に感圧 センサーを取り付ける •  冷蔵庫内のESP32 (M5 Stack) からBLEで測定 データを送信する •  冷蔵庫外のRaspberry Pi でデータを受信し、 WebSocketサーバーへ 転送する •  WebSocketクライアン トへデータを通知する
  28. 28. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫に 電気機器を⼊れて ⼤丈夫?
  29. 29. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回はあくまで コンセプト検証が⽬的
  30. 30. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 冷蔵庫の機能として 実現される想定なので センサー部以外は 庫内には⼊らないはず
  31. 31. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装⽅法 31 •  ESP32側はArduino開発環境で実装 –  MicroPythonがBLEに対応していなかった!! –  ADコンバーター経由でセンサーの出⼒電圧を取得 –  BLEのAdvertiseパケットで測定データをブロードキャ スト送信 •  RaspberryPi側はpythonで実装 –  Pybluezパッケージを⽤いてAdvertiseパケットを受信 –  フォーマットが⼀致するデータのみを抽出 –  JSON形式に変換、時刻情報や発信元BDアドレスなど を付与してローカルホスト上のWebSocketサーバーへ 送信 –  WebSocketサーバーは受け取ったデータを全クライア ントに通知するだけ
  32. 32. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装⽅法(続き) 32 •  WebSocketクライアントとはJavaScriptで実装 –  今⽇は mac & chrome で実⾏ –  受信した測定データを蓄積&解析 •  モノが置かれた、取り除かれたの判定 •  置かれた/取り除かれた場所を推測 •  置かれた/取り除かれたモノを推測 –  Highchartsでグラフ表⽰ –  Three.jsで圧⼒分布をビジュアライズ
  33. 33. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. デモ
  34. 34. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 34 BLEで送信されたデータをJSON化 データ値を電圧に変換 電圧からセンサーの コンダクタンス値を算出 ざっくり300のべき乗で ⾮線形化
  35. 35. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 35 質量に変換 質量の変化を検出 圧⼒を視覚化 ⻘<<<⻩ 置かれたモノ、 置かれた場所を推測
  36. 36. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 36 この辺にビール⽸が置かれたみたいだよ? 2つのセンサーが ⼤きく変化
  37. 37. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 37 この辺に2本めのビール⽸が置かれたよ? 1つのセンサーが ⼤きく変化
  38. 38. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 38 この辺にあったビール⽸が取り除かれたよ? 2つのセンサーが ⼤きく変化
  39. 39. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感想 39 •  圧⼒のかかり具合が均等化できない! –  ちょっとした歪みが⾼さの違い=ガタツキとなって しまう –  センサー⾯との間にボルト+ナットを挟むことで微 調整したものの、、、 –  結果として、重さの偏り(=位置情報)の精度が低 くなってしまった •  抵抗値から圧⼒値への変換がうまくできなった! –  重さが増える(圧⼒が⾼くなる)ほど、抵抗値の変 化が少なくなる –  センサーのデータシートにグラフデータとして掲載 されてはいるけど、数式や換算表に落とし込めな かった –  いちおうそれっぽい感じの式を作ってみたけど期待 する値には程遠かった –  結果として、モノの判定の精度が低くなってしまっ た
  40. 40. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. でも ⼀番の問題は、、、
  41. 41. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 感圧センサーが 届いたのが 先週の⾦曜⽇ (=4⽇前)
  42. 42. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. とにかく 時間がなかった!
  43. 43. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 43 NUI活⽤部会のとりくみ キッチンにおけるデータ収集 今後の取り組み
  44. 44. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回システムの改良 44 •  データ測定点の追加 – センサーをつけた⼩さいパネルを敷き詰めて みたい – 位置情報の精度は⾼まりそうだが、設置⾯の ばらつきがより⼤きくなるのでは? •  機械学習的な⼿法によるデータ補正 – 設置精度を⾼めるよりも、誤差があることを 前提として補正を⾏ってはどうか? – ある決まったものを繰り返し置くことでキャ リブレーションすればいいのでは? – センサーデータ→圧⼒値→重さの変換も機械 学習で賄う!
  45. 45. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家とNUI •  空気を読む家=ユーザーインターフェー スを必要としない家? – 空気を読む=オートメーションとは限らない – ⾃動化がすすんでも明⽰的な操作が必要とさ れる場⾯は存在する – その時々に応じて必要・適正な操作を促し、 導くことも空気を読んでいるといえるのでは ないか? 45
  46. 46. 最新情報は こちらをご参照ください Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp ハルミン AITC⾮公式イメージキャラクター

×