IL、VR始めるってよ

IL、VR始めるってよ
VR部（本田、齊藤、クーン、山口、山岸、鈴木、萩原）

メンバー紹介（発表順）
担当 : 本田 Infinite Loop 2016
<< 伝道師 >>
本田
<< あいえるたん >>
齊藤
<< インターン >>
クーン
<< 撮影 >>
山口
<< 人柱 >>
山岸
<< 財布 >>
鈴木
<< 雑用 >>
萩原

次の発表者
Infinite Loop 2016
<< 伝道師 >>
本田
齊藤
クーン
<< 撮影 >>
山口
<< 人柱 >>
山岸
<< 財布 >>
鈴木
<< 雑用 >>
萩原

VR事業部が出来ます！
- VR領域への取り組みについて -
以前よりVR部として部活動をしておりましたが、
4月からは正式にチームとして発足し、研究・開発及び販売を行います。
弊社サイト内、VRページはこちら
http://www.infiniteloop.co.jp/job/vr/

ソリューション紹介
- VR コンテンツ
- 360° VR動画配信・録画・販売プラットフォーム(1分)
- 360° VRゲーム(3分)
- Kinect コンテンツ(3分)
- 360° VRライブ大規模ストリーミング配信システム(11分)

Infinite Loop 2016
VRチーム発足までの経緯 -2014-
saitou
担当 :齊藤

・大体データが完成したから動作検証用になんかテストアプリ作ろうか
・丁度社内にOculus Rift DK2もあるし、ここはVR添い寝アプリでも作ろうかな
・ああ＾～、あいえるたんかわいいんじゃあ＾～
・ハンドトラッキングセンサーのLeapMotionがSDKのアップデートで精度が向上したらし
い（当時SDK V2）
・会社帰りにヨドバシでLeapMotionを買って、家で試しに組み込んでみた
・ヤバい(確信)
・あいえるたんのMMDモデルデータを作ろう！（ゲームとかでも使えるように）
担当 :齊藤 Infinite Loop 2016

あいえるたんさわさわ:Orion

・動画のアクセス解析見たら、やたら海外が多い
・MMDデータの公開はもうちょっと先だったので、会社の技術ブログに動画で掲載

あいえるたんチョコプレッツェル

・両方ともUnityで開発
・Oculus Riftの組み込みプラグインもLeapMotionのプラグインもパッケージで提
供されており、楽に導入することが出来る。
（現在、VR向け機能は標準で統合されている）
・MMD4MecanimというMMDデータを取り込むための強力なプラグインが存在
開発環境
・あいえるたんMMDデータ、ぜひ使ってね！

- 360° VRゲーム(3分)
- 360° VRライブ大規模ストリーミング配信システム(11分)

Kinectコンテンツ
Kinectの仕組み
担当 :クー Infinite Loop 2016

Kinectからどんなデータが流れてくるか？
● 色付きのビデオデータ
● skeletonデータ

Kinectからどんなデータが流れてくるか？
● 奥行データ

KinectとUnity3Dで実現した人間ジョイスティック

- 360° VRゲーム(3分)
- 360° VRライブ大規模ストリーミング配信システム（11分）
担当 :山口 Infinite Loop 2016

配信のイメージ
配信ストリーミング撮影
（録画・生放送）
加工視聴
担当 :山口

1.撮影・加工
加工視聴
担当 :山口

撮影・加工
- 撮影からサーバ配信までの映像の流れ
- openFrameworksでやってること
- 仮想カメラ(DirectShow)

撮影からサーバ配信までの映像の流れ
撮影加工出力配信
全天球カメラ
（THETA S)
openFrameworks DirectShowによる
仮想カメラ
OpenBroadSoftware
(OBS)
XSplit
作成した部
分

openFrameworksでやってること
球に貼り付け
展開
補完
※リアルタイムに１フレームずつ行ってい
ます
仮想カメラへ
出力
（カメラからの入力画像
）
（Dual-Fish Eye形式
）
（舟型多円錐図法）
（正距円筒画像）

仮想カメラ(DirectShow)
・DirectShowを使って仮想カメラを作成
・作成した仮想カメラに openFrameworks で作成した画像を流し込み
・これにより、配信を行うソフトはデバイス
を指定することで配信可能
（配信ソフトを気にする必要はなし）

2. ストリーミング処理・配信
加工視聴
担当 :山岸

ストリーミング処理・配信
サーバサイドは基本的な映像ストリーミング配信技術を研究
● RTMP Server powered by
● HLS
● WebRTC
担当 :山岸 Infinite Loop 2016

Real Time Messaging Protocol Server
nginx-rtmp-module という手軽にサーバを構築出来るライブラリを利用
nginxのコンフィグをいじるだけでRTMPストリーミングの受信・送信が可能
受信時にミドルウェアを実行可能なので、サーバサイドエンコードも可能(研究中
)
※ストリームキー(アクセスポイント)の管理は自前で行う必要がある
https://github.com/arut/nginx-rtmp-module

HTTP Live Streaming
HTTPプロトコルでストリーミングを受信するApple提供の技術
モバイル端末では基本の形式
配信者 nginx rtmp {}
RTMP
nginx-rtmp-module
で加工
nginx http {}
HTTP
リスナー
(主にブラウザ)
stream.m3u8
stream-1.ts
stream-2.ts
stream-3.ts
...

WebRTC
RTMPは遅延が大きい(数秒〜数十秒)
双方向コミュニケーションをするためにWebRTCが利用出来ないか研究中
※プロトコル仕様が複雑なので商用するのは中々厳しさがある

3. 視聴クライアント
配信ストリーミン
グ
撮影
加工視聴
担当 :鈴木 Infinite Loop 2016

(多分)最も簡単なGearVRクライアントの作り方
・必要なもの
Unity、お手元のGearVRとGalaxyS6、なけなしの55$
・手順
- Unityを起動
- EasyMovieTexture購入・インポート
- Sphere設置
- Movie を Texture としてSphereのMaterialに設定
- カメラをSphereの中心に
- UnityのVirtual Reality Supported を ON に

VRメニュー機能
複数動画再生対応の為、メニューから再生する動画を選択する仕組み作成
ヘッドセット付けているので目線でメニュー選択できるように
360度動画用なので、タップした時に向いている方向にメニューが表示される
ように
フェードイン・アウトでちょっとシャレオツに

ブラウザベース
three.js や A-FRAME などを使ってブラウザで360動画/ストリーミングをVR視聴す
る環境も整備中！

最後の発表者
Infinite Loop 2016
<< 伝道師 >>
本田
齊藤
クーン
<< 撮影 >>
山口
<< 人柱 >>
山岸
<< 財布 >>
鈴木
<< 雑用 >>
萩原

このプロジェクトの良いところ
情熱
分業制
詳しい人が作る。できたら作り方を共有する（社内ナレッジベースの記事が増える）
ランチミーティング
会議室でごはん食べながらVR談義→記録に残す
自分たちが良い、面白いと思うものを作れる
収益化を念頭に置いて議論できる担当 :萩原 Infinite Loop 2016

今後の課題
顧客を探し出し、価値を生み出す
チームとして同じ問題意識を共有する
遊びで終わらせないための工夫・努力
これから取り組む技術が他の案件で使えるか検討したり・・
技術ブログを書いて会社のアピールをしたり・・
担当 :萩原 Infinite Loop 2016

おわりに
Infinite Loop 2016
情熱を持って仕事をするのは楽し
い！

IL、VR始めるってよ

Recomendados

Recomendados

Mais conteúdo relacionado

Mais de infinite_loop

Mais de infinite_loop (20)

Último

Último (10)

IL、VR始めるってよ

Notas do Editor