FlashAirとCognitive Servicesを使おう！

FlashAir Developers Summit
FlashAirとCognitive Servicesを使おう！
2017年2月19日
綾瀬ヒロ
Twitter @ayasehiro
2017/2/19 1All rights reserved. Copyright(C) 2017 AYASE Hiro

１．自己紹介
 綾瀬ヒロ
Twitter：@ayasehiro
FlashAirエバンジェリスト（自称）
2017/2/19 2All rights reserved. Copyright(C) 2017 AYASE Hiro
運輸サービス系インダストリーマネージャです（元鉄道系SE）
趣味で庭園鉄道の建設をしていたりします。昔、Mac用フリーソフト「何かon
林檎」を作っていました。
Arduino/FlashAir/Xamarin/鉄道模型
Qiita: http://qiita.com/ayasehiro
MakersHub: https://makershub.jp/ayasehiro

2017/2/19All rights reserved. Copyright(C) 2017 AYASE Hiro 3
本発表内容は、個人の見解であり、
所属する組織の公式見解ではありません。

作例１）人物カウンター

作例１）人物カウンター全体概要
Microsoft
Cognitive Services
Face API
（顔認識）
人数・年齢・性別を認識
画像ファイル
画像ファイル
画像ファイル
画像ファイル
画像ファイルの送信
60秒待機
年齢層別・男女別
人数カウント
最終更新日時の
画像ファイルを検索
60秒周期に
写真を撮影
実行スクリプト（Lua）
FlashAir IoT Hubに
データ送信

Microsoft Cognitive Services
 さまざまなAPIが公開されています。 https://www.microsoft.com/cognitive-services/
2016/10/15All rights reserved. Copyright(C) 2016 AYASE Hiro

 Computer Vision API – 画像分析機能

 Computer Vision API – 画像分析機能（タグ・キャプション等）

 Computer Vision API – Describe Image機能
 画像データをもとに、タグ（属性）情報とキャプション（説明文）を自動生成する機能。
 JPEG, PNG, GIF, BMP形式に対応
 4MBまで
 50x50ピクセル以上が必要
 REST API
 Http MethodでPOSTするだけで、JSON形式でタグ・キャプション等の情報を取得できる
 無料利用可能
 1分間20リクエストまで
 １ヵ月5,000リクエストまで
Http Method POST
Request URL https://api.projectoxford.ai/vision/v1.0/describe[?maxCandidates]
Request parameters maxCandidates (optional) Maximum number of candidate descriptions to
be returned. The default is 1.
Request headers Content-Type (optional) Media type of the body sent to the API.
Ocp-Apim-Subscription-Key Subscription key which provides access to
this API. Found in your subscriptions.

 Computer Vision API – Faces機能を利用
Faces : JSONメッセージ
[ { "age": 28, "gender": "Male",
"faceRectangle": { "left": 744, "top":
338, "width": 305, "height": 305 } } ]

 Luaスクリプト例
boundary = "1234567890"
contenttype = "multipart/form-data; boundary=" .. boundary
mes = "--" .. boundary .. "¥r¥n"
.."Content-Disposition: form-data; name=¥"file¥"; filename=¥""..last_fname.."¥"¥r¥n"
.."Content-Type: image/jpg¥r¥n¥r¥n"
.."¥r¥n"
.."--" .. boundary .. "--¥r¥n"
blen = lfs.attributes(last_fpath,"size") + string.len(mes) - 17
b, c, h = fa.request{url =
"https://westus.api.cognitive.microsoft.com/vision/v1.0/analyze?visualFeatures=Faces",
method = "POST",
headers = {["Content-Length"] = tostring(blen),
["Content-Type"] = contenttype,
[“Ocp-Apim-Subscription-Key”] = “ここにサブスクリプションキーを記述する",
["maxCandidates"] = "1"},
file = last_fpath,
body = mes
}

cjson = require "cjson”
if(c == 200) then
res = cjson.decode(b)
for idx=1,#res.faces do
local agenum = tonumber(res.faces[idx].age)
if(agenum < 20) then
faces_num_00 = faces_num_00 + 1
elseif(agenum >= 20 and agenum < 60) then
elseif(agenum >= 60) then
end
if( res.faces[idx].gender == "Female" ) then
faces_num_female = faces_num_female + 1
else
faces_num_male = faces_num_male + 1
end
end
end

iothub = require("iothub")
iothub.addMeasurement({
faces_num_00,
faces_num_20,
faces_num_60,
faces_num_male,
faces_num_female
})

作例１）人物カウンター詳しくは・・・
 Qiitaの記事を参照ください。
http://qiita.com/ayasehiro/items/9651e1231951766fbe12

作例１）人物カウンター全体概要
Microsoft
Cognitive Services
Conputer Vision API
（顔認識）
人数・年齢・性別を認識
画像ファイル
画像ファイル
画像ファイル
画像ファイル
画像ファイルの送信
60秒待機
年齢層別・男女別
人数カウント
最終更新日時の
画像ファイルを検索
60秒周期に
写真を撮影
実行スクリプト（Lua）
FlashAir IoT Hubに
データ送信 Azure IoT Hub
Stream Analytics
Azure IoT Hub
+Stream Analytics
+Power BI
でもできるんだからね!

作例２）音声で鉄道模型を運転

iOSアプリ
powered by Xamarin
作例２）音声で鉄道模型を運転全体概要
Microsoft
Cognitive Services
Bing Speech API
（音声認識）
LUIS -
Language Understanding
Intelligent Service
（自然言語認識）
音声録音
文字列取得・送信
PWM出力
ポイント制御
Intent・Entity取得
運転コマンド生成
無線LANモジュール
マイコンボード
モータードライバ
速度八十で前に進め
一番ポイントを右へ

 Bing Speech API（音声認識） https://www.microsoft.com/cognitive-services/en-us/speech-api

 Bing Speech API – Speech Recognition機能
 音声データをもとに、文字情報を認識する機能。
 PCM single channel、Siren、SirenSR形式に対応
 REST API
 Http MethodでPOSTするだけで、JSON形式で音声認識した文
字データを取得できる
 無料利用可能
 １ヵ月5,000リクエストまで
 機能ごとに20リクエスト／分まで
 全機能で60リクエスト／分まで

 Bing Speech API – Speech Recognition機能
 対応言語
language-
Country
English Name language-
Country
Country
Country
English Name
ar-EG* Arabic (Egypt) en-IN English (India) fr-FR French(France) pt-BR Portuguese(Brazil)
ca-ES Catalan(Spain) en-NZ
English (New
Zealand)
it-IT Italian(Italy) pt-PT
Portuguese(Portug
al)
da-DK Danish(Denmark) en-US
English (United
States)
ja-JP Japanese(Japan) ru-RU Russian(Russia)
de-DE German(Germany) es-ES Spanish(Spain) ko-KR Korean (Korea) sv-SE Swedish(Sweden)
en-AU English(Australia) es-MX Spanish (Mexico) nb-NO
Norwegian-Bokmal
(Norway)
zh-CN Chinese (China)
en-CA English(Canada) fi-FI Finnish(Finland) nl-NL Dutch(Netherlands) zh-HK
Chinese (Hong
Kong SAR)
en-GB
English(United
Kingdom) fr-CA French(Canada) pl-PL Polish(Poland) zh-TW Chinese (Taiwan)
*ar-EG supports Modern Standard Arabic (MSA)

LUIS – Intent設定画面

LUIS – 学習状況確認画面

LUIS – 文章認識例
一番ポイントを右へ
速度八十で前に進め
Entityの認識:
pointNumber「一番」
pointDirection「右」
Intentの認識:
ポイント制御用文章と認識
Intentの認識:
電車制御用文章と認識
Entityの認識:
trainSpeed「八十」
trainDirection「前」

というわけで、
とても簡単に使えるので
FlashAirで
Cognitive Servicesを使って
いろいろ試してみてください！

ご静聴ありがとうございました

FlashAirとCognitive Servicesを使おう！

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a FlashAirとCognitive Servicesを使おう！

Semelhante a FlashAirとCognitive Servicesを使おう！ (20)

FlashAirとCognitive Servicesを使おう！