Treasure Data - TUG ( Treasure Data User Group ) vol.2　にて発表。 U-NEXTはビッグデータ基盤としてTreasure Dataを活用させていただいております。

1. U-NEXTの動画配信ログ収集・分析
レコメンドエンジンを支えるトレジャーデータ
事業戦略室
柿元崇利
2016年5月26日

2. 1
株式会社U-NEXT 事業戦略室
柿元崇利
• ギークとスーツの橋渡し
• アプリマニア (3千個以上のアプリ利用経験あり - Win/Mac/iOS/tvOS/Android)

3. 2

4. 3
◯◯億 アップロード/月
◯◯◯億 件/累計
by

5. 4
2009年12月
~2010年12月
2007年
６月
2015年10月
~2015年12月
2014年12月
~2015年2月
2012年9月
~2013年7月
株式会社USENにて専用STBによる動画配信サービス「GyaO NEXT」事業開始
•ブランド名称を「U-NEXT（ユーネクスト）」へ変更
•吸収分割方式にて株式会社USENから分離独立
•TV、PC、スマートフォン、タブレットのマルチデバイス向けに動画配信サービスを提供開始
•“国内初”のシネコンと連動したVODサービス「イオンシネマWEBスクリーン powered by U-NEXT」を提供
開始
•東京証券取引所マザーズ市場への上場
•ソフトバンク様が提供する「アニメ放題」の運営を開始
•動画配信サービスの全面的な刷新を実施
•ヤマダ電機様が提供する「ヤマダビデオ」の運営を開始
•楽天ショウタイム様が提供する「プレミアム見放題パック」の運営を開始
•東京証券取引所マザーズ市場から一部へ市場変更
8年以上の動画配信実績

6. 5
出典：GEM Partners株式会社
国内シェア3位

7. 6
12万本 以上の映像コンテンツ
20万冊 以上の電子書籍
133万 以上の契約者数
◯◯PB クラスの転送量/月
2016年4月時点

8. 7
• ビデオ見放題
• 雑誌読み放題
• 最新映画約2本分
• コミック・書籍約2冊分
• 全国の対象映画館で映画チケットの割引
定額見放題
1,000ポイント
見放題＋毎月1,000ポイント付
4 アカウント HD 1080p ダウンロード 視聴
1,990円
pt
∞

9. 8
最新作から準新作・旧作まで
あらゆるジャンルを網羅
ドキュメ
ンタリー
音楽・
アイドル

10. 9
視聴時間の割合/デバイス
66
%
34%
2人
以上
1人
ユーザー数/契約
ファミリー & TV ファースト
TV PC スマホ タブレット
10%
67
%
8%
15%
2016年4月時点

11. 10
•U-NEXT TV app
•PC browser
(IE, Edge, Chrome, Firefox)
•iOS Mobile/Tablet app
•iOS Mobile/Tablet app Chromecast
•iOS Mobile/Tablet browser
•Android Mobile/Tablet app
•Android Mobile/Tablet app Chromecast
•Android Mobile/Tablet browser
•Android TV app
•Smart TV app
•ACTVILA TV app
•Other Set Top Box app
アニメ放題
•PC browser
•iOS Mobile/Tablet app
•iOS Mobile/Tablet app Chromecast
•Android Mobile/Tablet app
•Android Mobile/Tablet app Chromecast
マルチデバイス

12. 11
他、続々追加予定
アライアンス

13. 12
レンタルビデオ店・リアル書店の
わくわくする棚作りをデジタルの世界へ

14. 13

15. 14

16. 15
作品にまつわるすべての文章は
本編を見ているライター陣が
1本1本丁寧に執筆※
※ 一部の例外を除く

17. 16

18. 17

19. 18

20. 19
その数
2,300特集
もっと映画・映像を知ってほしいから
専門編集者がさまざまなテーマで
キュレーション特集を作成
2015年10月時点

21. 20
でも、
さすがに全部は見れないですよね

22. 21
パーソナライズ

23. 22
User A User B

24. 23
その人の好みに合わせてオススメが変わる
•Contents base
•Item based collaborative filtering
•User based collaborative filtering
•Clustering
•Matrix Factorization vuuv bbb  
v
T
uuvuv qpbr '

25. 24
パーソナライズ
全く同じ配置は
一切存在しない

26. 25
レコメンド
エンジン
※自社開発
API SVR
※自社開発
Solr
※OSS
ユーザーごとに異なる
作品紹介画面
CMS
※自社開発
行動ログ
加工済み
データ
ユーザー毎の
レコメンド結果
パーソナライズ（レコメンド）システム
各種データ
・作品
・特集
・タグ
・視聴ログ
・評点
・お気に入り
・レコメンド履歴
レコメンドリスト作成
・各ユーザー
・ポストプレイ
・ランキングリストなど
演算結果

27. 26
Treasure Dataの役割
1. データの保存
2. データの加工
3. データの集計、分析

28. 27
Treasure Dataの役割
1. データの保存
2. データの加工
3. データの集計、分析
A) レコメンド演算に必要なデータ
• 各種ログデータ（視聴履歴、評点データ、お
気に入り登録履歴）
• 作品データ、ユーザーデータ
B) レコメンドの評価に必要なデータ
• 各種ログデータ（視聴履歴、評点データ、お
気に入り登録履歴）
• 各ユーザーのレコメンド履歴（topページの
並び）
• ◯億件/day
超大量のデータを保存

29. 28
Treasure Dataの役割
1. データの保存
2. データの加工
3. データの集計、分析
A) レコメンドエンジン向けにデータを前処理
• ユーザーの視聴履歴、評点データ、お気に入
りデータを集計、スコア化
• 視聴ログと作品データから完走率を求め、ス
コア付与
• ◯億レコード以上のデータ→◯千万レコード
以上のレコメンド演算用データへ加工
処理速度が速く、レコメンドの計算時間を短縮

30. 29
Treasure Dataの役割
1. データの保存
2. データの加工
3. データの集計、分析
A) レコメンドの評価
• ＡＢテストの評価
• 視聴回数、時間の集計
• 再現率、適応率の算出
• レコメンド履歴と視聴ログからアルゴリズム
の精度を算出
B) Tableauと連携したデータの可視化
• 集計データの可視化
• グラフ化
クエリが早く、試行錯誤しながら快適に分析

31. 30
パーソナライズあり
パーソナライズなし
視聴時間27.5%アップ
2016年2月時点

32. 31
Never Ending Story
開発
テスト
本番
テスト
全体
適用

33. 32
色んなログがたまってるなら
良い感じに見たい

34. 33
U-NEXT分析基盤

35. 34

36. 35

37. 36
行動ログ
U-NEXT分析基盤
Amazon
Redshift
加工済みデータ

38. 37
利用者の声
「知りたい」データを「見やすい」形に
カスタマイズして作ってくれる。最高！
（開発者の心の声：TDのデータを扱いやすいからカスタマイズしやすい）
とれなかったデータもアプリを追加開発して
見られるようにしてくれた
（開発者の心の声：TDにデータを入れやすいので追加開発しやすい）
もうちょい早く
画面が更新されるといいのにね
（開発者の心の声：TDというよりはその他の理由ですが）

39. 38
今後の取り組み （2016年6月～）

40. 39
U-NEXTシステムコンテンツ
洋画/邦画
海外ドラマ/国内ドラマ
アニメ
ミュージックビデオ
再生
50種以上のデバイス
STB, PC, スマートTV,
iOS機器, Android機器,
Android TV, ゲーム機,
etc.
配信
アダプティブ配信
CDN
再生品質 向上
デジタル化
著作権保護

41. 40
ユーザー体験の向上
アダプティブ配信
ビットレート配分調整
ビットレート切替ルール
マルチCDN
アダプティブCDN切替
Amazon
CloudFront

42. 41
（ビッグ）データの収集と加工
アダプティブ再生
分析基盤
• ネットワーク速度推測
• ビットレート評価
• ビットストリーム切替実績
• 再生状況変化（読み込み）
• ネガティブ要素（リバッファ、フレームドロップ）
• ビットレート配分最適化
• ビットレート切替ルール最適化
Amazon
Lambda

43. 42
（ビッグ）データの可視化と分析
アダプティブ再生分析基盤

44. 43
（ビッグ）データの収集と加工
• CDNスコア化
• 自律的CDN切替
• 動的CDN切替
• 地域/ISPに基づくCDN統計情報
• コストコントロール
• CDN切替ルール
サービス
バックエンド

45. 44
今後の取り組みまとめ
最適化されたビットストリーム切替
+ 動的CDN切替

46. 45
Treasure Data導入の背景と現在の評価

47. 46
U-NEXTサービスの全面刷新（2015年10月）

48. 47
あれもこれも何もかも全部刷新
• 基幹システム
• 配信設備
• 動画ファイル
• 暗号化技術
• CMS
• API
• 各プラットフォームのアプリ
• etc.

49. 48

50. 49
ビッグデータ基盤は絶対に欲しかった
が
やらなくてすむことはやりたくない
（余力ない）

51. 50

52. 51
自社データセンター
&
ビッグデータエンジニア
他社クラウドサービス
&
ビッグデータエンジニア
Treasure Data
導入 保守・運用
選定・検証・評価
（当時の当社における環境）
×
×
◯
×
×
△
導入期間：1年～∞
導入費用：数千万円～
担当エンジニア不在なので採用
あるいはベンダー丸投げから
導入期間：半年～∞
導入費用：数万円～
担当エンジニア不在なので採用
あるいはベンダー丸投げから
導入期間：数日
導入費用：ゼロ
TDサポートのもとSDK組み込み
&保存先DBセットアップ
保守：ベンダーロックイン
運用：特殊スキル
保守：ベンダーロックイン
運用：特殊スキル
保守：不要だがTDロックイン
運用：不要（通常のDBスキル）

53. 52
サポートがむちゃくちゃ良い。
特に気軽にチャットで質問できて、
質の高い回答が即座に帰ってくるのが本当に素晴らしい。
24時間戦えるTさんがいる。
SQLさえ使えればかなりのレベルで使いこなせる
非エンジニアかつSQL知らなくても、わかる人のJOBをパクれば使える
ユーザー数に制限がないし、権限管理も良くできていてDB更新権限さえわたさなければ
事故は起こらない。利用者が増えても悩まない
PRESTOが爆速。もうHIVEには戻れない。
テーブルサマリ画面の「Rows」が紛らわしい。表示しているのは過去も
含めた全Row数だが、現テーブルRows数だと勘違いしてよくモメる
テーブルのプレビューが正確でなく、いつの情報を反映しているのかも
わからない、が正確そうに見えるので勘違いしてよくモメる
現時点の評価
（2016年5月）

54. 53
サポートがむちゃくちゃ良い。
特に気軽にチャットで質問できて、
質の高い回答が即座に帰ってくるのが本当に素晴らしい。
24時間戦えるTさんがいる。
SQLさえ使えればかなりのレベルで使いこなせる
非エンジニアかつSQL知らなくても、わかる人のJOBをパクれば使える
ユーザー数に制限がないし、権限管理も良くできていてDB更新権限さえわたさなければ
事故は起こらない。利用者が増えても悩まない
PRESTOが爆速。もうHIVEには戻れない。
テーブルサマリ画面の「Rows」が紛らわしい。表示しているのは過去も
含めた全Row数だが、現テーブルRows数だと勘違いしてよくモメる
テーブルのプレビューが正確でなく、いつの情報を反映しているのかも
わからない、が正確そうに見えるので勘違いしてよくモメる
現時点の評価
（2016年5月）
管理画面が刷新されるそうなので
近々解決しそうです

55. 54
評判の良いサポートチャット

56. 55
いい感じのJOBをパクれる

57. 56
Presto爆速

58. 57
誤解を生みやすい箇所
（近々画面が刷新されるので改善されそう）

59. 58
Thank you!

60. U-NEXTでは一緒に働く仲間を大募集！しています
https://www.wantedly.com/companies/unext