ニコニコ動画データセットの分析環境を作ってみた。 第３回ニコニコ学会データ分析研究会LT発表

1. ニコニコデータ分析環境
芝尾幸一郎 @shibacow

2. 自己紹介
芝尾幸一郎
@shibacow
ゲーム会社でデータ分析しています

3. こんなことをしてます
ニコニコ動画のランキングサイト作ってます
http://nico-ran.jp/

4. こんなのを書きました
CGMは儲からない
VOCALO CRITIQUE
vol 6
2012/10

5. こんなことを書きました
88888の多い動画
は!? ニコニコ動画の
データを分析してみよ
う
ななか+INSIDE
vol 3
2013/08

6. こんなことをやりました
世界のYoutube
ニコニコ学会データ分析
研究会発表
(2013/01,2013/07)

7. こんなことをやりました
ニコニコ動画データ分析
ワークショップ
@Cygames 2013/10

8. ニコニコ動画データ分析環境

9. ニコニコ動画データ公開
ニコニコ動画データ公開
2013/05
動画 800万
タグ 4000万
コメント24億
適度に巨大で、面白い
データ

10. 問題点
投げっぱ

11. 初心者困惑
好きに分析しろと言ったが
どうやって？

12. 環境構築
データ整形
データ分析
S3
HadoopFS
Jsonデータ
Hive取り込
取り出し
み
初心者には荷が重い

13. 閃いた
「構築」ではな
皆がやりたいのは分析環境
「分析」そのもの
く
Webで

15. データ解析環境(Web)
データ解析をWebで手軽に
http://nicodata.info/
(土日だけ開けてます)

16. 内部構造
Web
Shib by
tagomoris
Hive
Hadoop
(AmazonEMR)
Nodejs
Amazon EC2

17. やってみた

18. 88888の発生
8888はいつくらいから使われ始めたか？
88888を含むコメントを抽出し、コメント投稿月で集
約後カウントせよ。
SELECT substr(from_unixtime(`date`),1,7) as
ymd,count(*) FROM
nicodata.comment_data_sampling100 WHERE
`comment_string` LIKE "%88888888%"
GROUP BY substr(from_unixtime(`date`),1,7)

19. 88888の流行

20. 8888カテゴリごとの伝播
888888は、2011年以降使われるようになった。
カテゴリ単位ではどうか？
select substr(from_unixtime(cdate),1,7),cat,count(*)
from comment_density_with_cat where comment_string
like "%8888888%" group by
substr(from_unixtime(cdate),1,7),cat;

21. 歌ってみた
ボカロ
ゲーム
エンターテ
イメント

22. 8888カテゴリ伝播
最初はエンタメから後盛り上がらず。
2011年に再燃
ゲーム、歌ってみた、ボカロの順
歌ってみた、踊ってみた等、やって見たに拍手。
意外と政治に、888が多い(東方、アニメより上)
アニメ、東方にあまり888はつかない。
8888はニコ動の文化として定着
若者言葉の伝播

23. 作ってみて分かった事

24. 作ってみて分かった事
SQLの共有は便利
ほかの人のSQLを参考にする

25. 再度
土日立ち上げてます。
http://nicodata.info/
お金が掛かるので、若干CPUのグレードを落としまし
た。

26. 終わりに

27. お手伝いさん募集。@shibacowまで