Developers Summit 2014（デブサミ2014） 佐藤由紀 発表資料

1. ソフトとかハードとか
関係ございません
株式会社マイクロアド
佐藤由紀
http://engineer.microad.jp/strawberry/

3. はじめに

4. 森は、海の恋人
１９８９年に宮城県気仙沼で始まった活動
漁民が山で広葉樹の植林を行う
なぜ漁民が山で？
↓
豊かな海を作るには
豊かな森が必要

5. マングース導入の失敗
ハブ駆除のため奄美大島にマングースを導入
↓
ハブは駆除されず
ウサギ等の固有種が減少

6. まとめると
海は海、山は山、と別々に考えず
ハブとマングースだけを
入れた檻の中だけを考えず
山が良くなれば海が良くなると
全体として考える
せめて、島全体まで考える

7. 部分最適解と全体最適解は異なる
これは、自然科学における常識
システムの世界でも同じでは？

8. ひとつの表現として・・・
システムは
「ソフトウェア」
「ハードウェア」
「ネットワーク」
で構成される
ということができる
ソフトウェア＝アプリケーション／ミドルウェア。
ハードウェア＝OS／サーバ

9. アプリケーションエンジニア
ソフトウェア
ハードウェア
サーバエンジニア
ネットワーク
ネットワークエンジニア
スペシャリスト

10. ソフトウェア
アプリケーションエンジニア
ハードウェア
サーバエンジニア
ネットワーク
セクショナリズム
ネットワークエンジニア と混同？
スペシャリスト

11. そろそろ、
ソフトかハードか
フロントエンドかバックエンドか
そんなセクショナリズムを
打破しませんか？

12. この提言のため、
ＦＰＧＡをｗｅｂサービスへ導入
することの可能性についてお話します

13. 本日の流れ
一．ＦＰＧＡとは
二．ＦＰＧＡとの出会い
三．使い道の可能性
四．ＦＰＧＡ導入への第一歩

14. 一、ＦＰＧＡとは

15. 一．ＦＰＧＡとは
Field-Programmable Gate Array
現場で
内部処理を書き換え可能な
論理回路チップ

16. 一．ＦＰＧＡとは
データウェアハウス（Ｎｅｔｅｚｚａ）
 液晶ディスプレイの制御
 超音波診断のリアルタイム表示
 高速ネットワーク処理（ルータ等）

などに使われる、夢のチップ！

17. ＦＰＧＡ評価キットのボード
ＦＰＧＡ

18. ソフトウェア
ＦＰＧＡ
ハードウェア
実現できる機能
ネットワーク
モデルが簡易すぎ、わかりにくい再構築 ⇒ ⇒

19. レイヤ
機能
ソフトウェア
ハードウェア
ネットワーク

20. ＦＰＧＡ
ソフトウェア機能も
ハードウェア機能も
ネットワーク機能も
実現可能

21. ソフトウェア、ハードウェア、ネットワーク
の機能を実現できるＦＰＧＡ
誰が扱うの？
アプリケーションエンジニア？
そんな議論は
サーバエンジニア？
不毛だとは
ネットワークエンジニア？
思いませんか？

22. もう一度・・・
そろそろ、
ソフトかハードか
フロントエンドかバックエンドか
そんなセクショナリズムを
打破しませんか？

23. 二、ＦＰＧＡとの出会い

24. ＭｉｃｒｏＡｄにて
２０１１年に導入したＮｅｔｅｚｚａに
ＦＰＧＡが利用されている事から
その有用性を知る
Ｎｅｔｅｚｚａは、
アプライアンスの
データウェアハウス

25. 通常のデータウェアハウス
select/insert
Ｎｅｔｅｚｚａ
select/insert
＜専用＞
ネットワークコントローラ
特定処理の
ためだけに
最適化
されている
＜汎用＞
きめ細かに
多種多様な
CPU
事ができる
OS
FPGA
FPGA
メモリ
コントローラ
メモリ
ＳＡＴＡ
コントローラ
HDD
メモリ
HDD

26. 通常の反応
反射
（ＣＰＵ的）
（ＦＰＧＡ的）
③脳【判断/指示】
①刺激
①刺激
②脊髄
②脊髄
【既定の動作を指示】
ＦＰＧＡは反射の際の脊髄のように、
瞬時に既定の動作を行う

27. 大量のデータを用い、高速化が
必要な処理にＦＰＧＡを活用できる
↓
ＭｉｃｒｏＡｄのシステムと
特徴が合致！

28. 三、使い道の可能性

29. ＭｉｃｒｏＡｄのご紹介
自社でプラットフォームシステムを開
発し、広告配信事業を行う会社
広告をオークション形式で配信
100円
主催
参加system
system
Ａ
参加system
30円
Ｗｅｂユーザ
Ｂ

30. オークション参加システム
「広告を見る人」
人 × 広告主サイト
相性
「表示ページ」
“どの広告”を
“いくら”で
入札するかを
決定
広告 × 配信ページ
相性
人 × デモグラ情報
性別、居住地域、年代
人 × 広告閲覧回数
どの広告を何回見たか
等・・・

31. ＭｉｃｒｏＡｄのシステムの特徴
大量リクエスト(６０億件/日)に対し
 大量データ(１０億件を１０セット)を参照し
 高速にレスポンス（５ミリ秒)する

ＦＰＧＡが使えるかも？！

32. 使い道の可能性
大量リクエストのフィルタリング/正規化/
処理の分岐
 参照する大量データのＫＶＳとして

妄想
オークション処理全てをＦＰＧＡ上で
実現できたら、すごく面白いかもしれない

33. 状況
昨年１２月より検証開始し、２０１４年夏に
は一部導入予定。
検証は、こんな場所で実施しています

34. ＧＡＲＡＧＥ

35. 東京湾付近某所

37. 小休止

38. 小休止：StormとHBaseの活用事例
StormとHbaseを活用したシステムを
開発し、２０１３年９月より稼働
実現機能：
メインプロダクト
に搭載した、
新しいリターゲティング機能

39. リターゲティングとは
再来訪を促す広告配信手法
(1)広告主サイト訪問
成約
(4)再来訪
(2)離脱
(3)追跡
他のサイトで広告を掲載
サイトを離れる

40. ＭｉｃｒｏＡｄのリターゲティングの変遷
初代
【リリース時期】２００７年
【特徴】細やかなリタゲ設定が可能
二代目
【リリース時期】２０１１年
【特徴】リアルタイム性を向上
三代目
【リリース時期】２０１３年
【特徴】最も細やかなリタゲ設定ができ、
その上、リアルタイム(５０ミリ秒)
なデータ反映を実現

41. 三代目リターゲティングの特徴（１）
“細やかなリタゲ設定”とは
設定の一例（ファッションＥＣサイトの例）
Ａ）女性服のページに
三か月以内に５回～９回
Ｂ）子供服のページに
昨年の１１月に２回以上
５回～９回
三か月前
現在
２回以上
11/1
11/30
Ｃ）二か月以内に購入
二か月前
「Ａ and Ｂ not Ｃ」や「Ａ and Ｂ and Ｃ」などの指定が可能
（もっと細やかな設定も可能）
現在

42. 処理時に参照するデータの量
細やかな
設定を実現
３
６
５
日
分
１日分
３時間分
初
代
二
代
目
三
代
目

43. 三代目リターゲティングの特徴（２）
“50ミリ秒でのデータ反映”
広告主サイトに訪問
した瞬間(５０ｍｓ)
データが反映される
↓
直後から、
その広告主の広告が
配信される
(1)広告主
サイト訪問
(2)離脱
(3)追跡

44. データ反映タイムラグ
リアルタイム化
を実現
２
４
時
間
２時間
初
代
二
代
目
５０ミリ秒
三
代
目

45. 基盤となるミドルウェアの変遷
初代
二代目
三代目
MapReduce Hive
データ
集計・反映
データ蓄積 HDFS,MySQL HDFS
Storm
広告配信時 MySQL
参照データ
KyotoTycoon
KyotoTycoon
HBase

46. システム構成の概要
※数値は2014年2月1日時点
120億件
(300GB)
6,000QPS
（3億件/日）
Storm
KyotoTycoon
4.4億件

47. 
運用のポイント

MQに余裕を持たせることで、Stormや
HBaseのメンテナンスがしやすい
 Zabbixで各種統計情報を取得し、パ
フォーマンス解析に活用

現状の課題
 キャッシュ破棄等で、HBaseのパフォー
マンスが劣化するタイミングがある

48. 四．ＦＰＧＡ導入への第一歩

49. 必要な知識・スキル
ソフトウェア
1. ＨＤＬ(ハードウェア定義言語)
2. ＦＰＧＡの仕組み
ハードウェア
3. 論理電子回路
ネットワーク

50. この二つが分かっていれば、
「論理電子回路」はとても簡単です
1.
2.
論理演算(AND,OR・・・)
２進数計算
→調べてみてください

51. あとは、入門キット(20,000円~)を購入し、
ＨＤＬでコーディング/コンパイル
できたけど・・・
さっきの妄想を実現するには程遠い

52. 次はもうちょっと本格的な評価キットを購入
し、新たなコーディング
ここまで出来れば、ＦＰＧＡの扱いはＯＫ！

53. 参考：本格的なアプローチ
1.
回路設計
→回路ＣＡＤのスキルも必要
2.
パターン設計
→アナログ/デジタル回路のスキルも必要
3.
4.
基板/部品組み立ての発注
ＨＤＬでコーディング/コンパイル
※実は、アプライアンス製品を買っちゃう方
法もありますよ。

54. 最後にもう一度・・・
そろそろ、
ソフトかハードか
フロントエンドかバックエンドか
そんなセクショナリズムを
打破しませんか？

55. ありがとうございました
株式会社マイクロアド
佐藤由紀
http://engineer.microad.jp/strawberry/