Mais conteúdo relacionado
Semelhante a 空気を読む家のキッチン(3-1) (20)
空気を読む家のキッチン(3-1)
- 1. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウエアジャパン2019
協働プロジェクト『空気を読む家』
キッチンにおけるデータ収集
2019年02月05日
先端IT活用推進コンソーシアム
クラウド・テクノロジー活用部会 リーダー 荒本道隆
- 2. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
クラウド・テクノロジー活用部会のご紹介
■背景/活動目的
7年目は、特に音を使った機械学習を中心に、様々な技術について
「実際に触ってみる」を実践した。
8年目も、引き続き部会内勉強会や部会内ハンズオンの開催を継続しつつ、前
期の内容に加え、外部出力するためのロボットなど、さらに幅広いクラウド関連
の各要素技術の活用に挑戦する。
・測定(センシングなど): Arduino,RaspberryPI を使ったセンシング
・収集(ネットワーク) : 無線LAN, Bluetooth, 電子署名, セキュリティ
・蓄積(KVS, クラウドサービスの利用): RDF, SPARQL, IaaS の利用
・分析(統計処理、オープンデータの利用、アルゴリズム): R, 遺伝的アルゴリズ
ム, ディープラーニング
・出力(ビジュアライゼーション、外部操作): R, D3.js, ロボット, ROS
これら広範囲の各要素技術に対し、部会参加者が「知っている」ではなく「使った
ことがある」「人に教えることができる」と言えるレベルを目指す。また、それらを
使ったプロトシステムを開発し、運用を行う。
2
- 3. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
具体的な活動内容
• 月1回(13:30~17:30)のミーティング
• 情報交換(イベント、ニュース、その他)
• 東京都立産業技術研究センター
IoTテストベッド見学会
• 新しいサービスや面白い技術を触ってみる
• ROS(Robot Operating System)2
• 量子コンピュータ
• 書籍輪読
• 去年『仕事ではじめる機械学習』
• 今年『ゼロから作る Deep Learning ②』
• 気象庁XML取得APIを運用 http://api.aitc.jp/
– 運用期間を2021年8月まで延長
3
- 4. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
気象庁XMLの取得APIのアクセス数
4
REST API SPARQL WebSocket
年/月 リクエスト数 ユニークIP リクエスト数 ユニークIP リクエスト数 ユニークIP
2017/04 428,595 289 64 39 2,173 117
2017/05 452,716 441 100 40 923 155
2017/06 461,664 124 120 53 1,100 179
2017/07 485,524 139 205 54 1,743 164
2017/08 473,130 147 433 70 98,483 187
2017/09 487,245 582 503 62 79,967 191
2017/10 414,585 779 48 27 42,216 166
2017/11 302,232 558 67 30 1,552 148
2017/12 253,900 431 53 27 546 112
2018/01 349,202 265 32 28 758 162
2018/02 341,489 348 225 32 534 134
2018/03 388,140 294 77 22 1,580 148
2018/04 357,686 328 18 17 418 128
2018/05 368,571 460 39 26 369 108
2018/06 343,283 477 49 36 521 116
2018/07 257,046 351 55 35 463 103
2018/08 247,556 379 51 37 1,921 109
2018/09 290,163 319 29 24 504 128
2018/10 797,226 329 24 20 970 115
2018/11 1,742,973 843 59 15 200 106
2018/12 1,262,362 577 26 18 499 118
2019/01 154,889 469 45 21 521 123
- 5. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
キッチンにおけるデータ収集
冷蔵庫編
- 6. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
やりたいこと
• 今回の『空気を読む家』のテーマ
• ビール:冷えている物があと何本? → 在庫管理
• プリン:賞味期限切れを通知 → 期限管理
• ジュース:外気温だと味が悪くなる → 品質管理
• 冷蔵庫の中にある物の在庫管理 → 在庫、期限
• 冷蔵庫の外に出ている時間を測る → 品質
• 今回は冷蔵庫にフォーカス
冷蔵庫を改造すると怒られそうなので、復元可能な範囲で
6
- 7. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実現方法を検討-内蔵方式
• 冷蔵庫の中に設置
案1:BLEタグを対象物に付ける
案2:Arduino+圧力センサ+モバイルバッテリを設置
• 課題
• 冷蔵庫の中と外で通信できるのか?
• ダメなら、扉が開いている間のみ通信を行う仕組みが必要
• 外気温との温度差による結露
• リチウムイオンバッテリが濡れると、爆発の恐れが?
• 動作温度
• 電池やバッテリは、一般的に5度を下回ると良くない
• 冷蔵室の中は、約3~6度
7
- 8. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実現方法を検討-観測方式
• 冷蔵庫の外に設置
• カメラを冷蔵庫上部に設置し、内部を撮影する
• 物体認識で、何がどこにあるか把握
• 課題
• 扉が開いている間しか、撮影できない
• どうやって「扉が開いている」を知るか?
• ARマーカー or 画像 or e.t.c....
• 後ろに隠れた物は、分からない
• カメラ設置に、家族の賛同が得られるか?
• 冷蔵庫の近くは、カメラに映る危険がある
• 冷蔵庫を開けると、確実にカメラに映ってしまう
8
- 9. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 検証方法
• 冷蔵庫内にBLEタグを設置
• 外のRaspberyPi3で測定
• 検証結果
• 冷蔵庫の外からでも、問題なく中の電波が取れた
• 冷蔵庫の外:-40~-75
• 冷蔵庫の中:-60~-80
• 冷蔵庫の奥と、扉のポケットで、強さが違う
• BLEタグの向きが変わっただけでも、強さが大きく変わった
• 映画の影響で、「冷蔵庫は小さな電波暗室」と思い込んでいた
• 昔の冷蔵庫は磁石が付くので、電波が届かないかも
課題:冷蔵庫の中と外で通信できるか?
9
BLEタグを
外に出した
範囲が重なっている
- 10. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 構成
• 対象物にBLEタグを付ける
• 上に載せる、もしくは、輪ゴムで止める
• 基準用に、常に冷蔵庫内に1つ置く
• 外のRaspberry Pi3で、電波強度を測定する
• クラウドに測定した電波強度を送る
• 懸念点
• BLEタグが1個1,500円する
• どんなに高価なプリンにつけても、勿体ない
• 温度・加速度センサと合わせて、ワインなどを管理
冷蔵庫の中に設置:案1を実装
10
クラウド
- 11. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
データ量
• BLEタグのビーコンの電波強度を全て記録
• タグ数:4個/1軒あたり
• 間隔:約2秒(かなりバラバラ)
• 値の範囲:-35 ~ -105
• 通信量
• 2秒ごと、4個のBLEタグの電波強度をクラウドに送信
• 一番手軽なHTTPを利用したので、ムダが多い
• 「自宅=Internet使い放題」の場合が多いはず
• 削減方法
• 「状態が変化した時」だけ通知する
• 軽量なプロトコル(MQTTなど)にする
11
- 12. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
データ蓄積量
• レンタルサーバ上のRDB(MySQL)に格納
• 今回は、小規模な実験で必要な性能で良しとする
• 実測値:7日間 x 1軒 x 4タグで、約100万レコード
• つまり、1分1タグあたり25レコード
• RDBを使用しているので
• 時間が経つと蓄積量が多くなり、参照や挿入が遅くなる
• NoSQLも検討した方が良いが、今回は対象外とした
• 発表当日の状態
• 17日間動かして、550万レコード
12
- 13. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
受信した電波強度-1
• 扉を閉じている状態
• 4つのBLEタグを冷蔵庫の中に置いた
• -55~-90 の間を変動している
13
- 14. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 扉を開けて、BLEタグを1つ外へ出した
• 開けた瞬間だけ、値が大きくなる
• 注意:短時間だと、扉を開けた事が分からないかも
受信した電波強度-2
14
扉を開けた
BLEタグを
外に出した
- 15. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 冷蔵庫の扉の開閉
• 開:基準タグが -50 を超えた → 見逃しあり
• 閉:一定時間、基準タグが -50 を超えなかった → 遅延あり
• 対象物の位置
• 出:対象タグが -50 を超えて、扉が「閉」状態 → 遅延あり
• 入:一定時間、対象タグが -50 を超えなかった → 遅延あり
判定方法
15
10秒で、たまに誤判定
20秒で、ほぼ誤判定しない理想
現実
- 16. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 30分間、対象タグを外に出した場合
• 最初の2分間
判定方法検証-1
16
扉を開けた
誤判定した
とても小さい値も
たまに出る
「外」と判定
- 17. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 30分間、対象タグを外に出した場合
• 最後の2分間
判定方法検証-2
17
仕舞った
扉を開けたことを
見逃した
- 18. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実装について
• Raspberry Pi3側は awk で実装
• btmon(BLEモニタ)コマンドの出力をawkに流し込む
• awk で、77Step を記述
• クラウドへの送信は、awk内からcurl コマンドを実行
• HTTPを使って送信
• DNS参照が何故か毎回遅いので、/etc/hosts にIPを記述
• サーバ側は php で実装
• 以前に作成したIoT用の可視化ツールを流用
• 2軒 x 4タグ x 2秒周期で、性能上は問題ナシ
18
- 19. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSとの連携
• 状態が変化したら、空間OSに通知する
• 冷蔵庫の扉 :閉、開
• プリン1の位置:入、出
• プリン2の位置:入、出
• プリン3の位置:入、出
• HTTPを使って送信
• curl コマンドを叩くだけ
19
- 20. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
部会メンバによる実験の様子
• 花粉症対策で、ヨーグルトを1日1個必ず食べる
• ヨーグルトが無いと、BLEタグを冷蔵庫の上へ置く
20
- 21. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 夜にヨーグルトを食べている
• 2/1 はタグ無しのヨーグルトを食べた
• グラフ通り、残ヨーグルトは1個(本人に確認済み)
部会メンバによる実験の結果
21
スタート
ble2を
食べた
ble4を
食べた
- 22. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
• 扉の開閉で、電波強度の変化が少ない冷蔵庫もあった
• BLEタグ、Raspberry Pi3、使用しているソフトウエアは同じ
• 基準タグの変化量が、非常に少ない
やってみて分かった事
22
我が家の冷蔵庫
Uさん宅の冷蔵庫
物を取り出したのに、
それらしい記録がない
- 23. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
感想
23
• ログを取っておくと、何かに使えるかも
• 朝、冷蔵庫を開ける習慣があるなら
→ 気温と、起床時刻との相関
→ 体重と、冷凍庫の開閉回数との相関
• 今回は、電子工作が一切不要だった
• 機器を買うだけなので、ハードルが低い
• BLEタグを見分けるためのシールを貼った
• BLEタグの電波をどこまで信じられるか?
• 一方的に電波を出し、上下幅がかなりあり、判定が難しい
• 基準に複数のBLEタグを使うことで、誤差を減らせる
• 4つで0.5秒周期相当
1
- 24. Copyright © 2019 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター
AITC クラウド活用部会への参加、
お待ちしてます