Realsene の Object Tracking ライブラリを利用して花札を認識させます。 Android TV への画像転送や Raspberry Pi を使って LED も光らせます

1. RealSense 活用した
猪鹿蝶アタック
増田 智明（@moonmile）
.NET ラボ Micorosft MVP .NET
Moonmile Solutions

2. 自己紹介
 増田 智明 masdua@moonmile.net
 執筆業＆プログラマ
 C#によるiOS, Android, Windowsアプリケーション開発入門
 逆引き大全 Visual C# 2013, Visual Basic 2013
 逆引き大全 iPhone/iPad アプリ開発（iOS8版を近日発売）

3. Intel Realsense
 顔分析、ハンド認識など、カメラ機能と
ライブラリがワンセットで提供される。
 http://japan.intel.com/realsense/
 SDK は無償で使える
 https://software.intel.com/en-us/intel-realsense-sdk
 一部の機能（顔認識など）は普通のWebCamでも
利用できる。

4. PXCMTracker クラス
 「Metaio Object Tracking and Recognition」を利用
 本来は 3D モデルのトラッキング用なのだが、2D にも利用できる

5. 花札認識
 2D（写真）で花札を登録しておく。
 PXCMTracker クラスを使って認識する。

6. コードの抜粋(初期化)
// Realsense の初期化
PXCMSenseManager sm = PXCMSenseManager.CreateInstance();
// Tracker の初期化
sm.EnableTracker("Metaio Object Tracking and Recognition");
PXCMTracker ft = sm.QueryTracker();
// 認識する2D画像の読み込み
foreach (Model model in this.models) {
model.cosIds.Clear();
var sts = ft.Set2DTrackFromFile(model.getFileName(), out firstID);
model.AddCosID(firstID, name);
}

7. コードの抜粋(認識時)
// トラッキングデータ
PXCMTracker.TrackingValues trackData ;
// サンプリング
PXCMCapture.Sample sample = sm.QueryTrackerSample();
foreach (Model model in this.models) {
for (Int32 j = 0; j < model.cosIds.Count(); j++) {
Model.TrackingState track = model.cosIds[j];
// 見つける cosID を指定するとここでカード数を絞れる
ft.QueryTrackingValues(track.cosID, out trackData);
if (PXCMTracker.IsTracking(trackData.state)) {
// 見つかった場合の処理

8. フィードバックを付ける
 花札認識と Android, Arduino などと
連携させる。
 Realsense + PC で画像認識
 Android TV に結果を表示
 Raspberry Pi で LED を光らせる
Android TV App
Recognition App
Figure and Cards
LED App
RealSense

9. システム構成
 Realsenseで認識した結果を
HTTPプロトコルで Android と RasPi に送信
 通信は WiFi を使っている
Android TV App
Simple HTTP Server
Attach pattern
Figure Image Display
Recognition App
Detect Figure
Detect Cards
Command sendFigure and Cards
LED App
Simple HTTP Server
LED pattern control
RealSense
HTTP protocol
GET or POST

10. デモ
 デモビデオ
https://www.youtube.com/watch?v=efn3aSGfo1g

11. 今後の予定
 Intel RealSense 3D Camera の取り込み
 OpenCV との組み合わせ（特徴量抽出、背景差分など）
 Bluetooth/RFCOMMを使った通信
 LED以外にフィードバック（サーボ、モータ制御、音など）
 Arduino, Netduinoの利用
 Android TVアプリがチープなので、何とかする（苦笑）

12. 参考文献
 Intel Realsense
http://japan.intel.com/realsense/
https://software.intel.com/en-us/intel-realsense-sdk
 Xamarin.Android
http://Xamarin.com/
 Raspberry pi
http://www.raspberrypi.org/
 Arduino
http://www.arduino.cc/
 Netduino
http://www.netduino.com/
 スイッチサイエンス
https://www.switch-science.com/