[CROSS 2016] Google big query × Amazon redshift

1. Google BigQuery × Amazon Redshift
CyberAgent アドテク本部
成尾 文秀

2. 自己紹介
2011年5月よりサイバーエージェントグループのSAP（現SGE)にて
インフラや開発を担当。
2014年4月からアドテク本部にてインフラエンジニアとして
多数の広告プロダクトのサーバー、ミドルウェア、データベースなどの構築、運用から
データ分析基盤など担当

3. 株式会社サイバーエージェント
1998年の創業以来、インターネットを軸に事業を展開し
現在では代表的なサービスである「Ameba」をはじめ、
スマートフォン向けに多数のコミュニティサービスやゲームを提供しています。

4. 株式会社サイバーエージェント

5. アドテク本部
インターネット広告において、広告配信の最適化やメディアの収益最大化という観点から
アドテクノロジーの重要度が高まっています。
サイバーエージェントではアドテクノロジー分野におけるこれらのサービスについて各子会社を通じ開発しておりましたが
各サービスの開発部門を横断して組織化する専門部署としてアドテク本部が設立されました。

6. Google BigQuery
アドテク本部ではオンプレミスだけでなく
OpenStackで構築したPrivate Cloudをはじめ複数のCloudを専用線で結び利用しています。
各環境にあるサーバー側で出力したログを Fluentdを経由してBigQuery側にStreaming insert
・Streaming insertすることでほぼリアルタイムで確認が可能
・他のDWHからの移行ではなくBigQueryを利用する上で新規で作成
・基本的にスキーマに変更が少なく JOINも少ない
・多角度からの分析を定常的に行う環境ではなく必要に応じて分析

7. 各環境にあるサーバー側で出力したログを Fluentdを経由してRedshiftにLoad
・多角度からの分析を定常的に行う環境で利用
・ログのスキーマ変更が多い、人が実際に SQLを実行する機会も多く、 JOINも多様される
・アドテク本部では小さいインスタンスタイプも含め 100Node以上利用（昨年10月時点）
Amazon Redshift

8. Sparkで処理を行うケースも増えてきました。
・定常的な処理（Cronによるバッチ処理）で利用
・アドテク本部ではパフォーマンスと安定性を求め MapR Technologies社のMapR M7を採用
・Spark Streaming処理、MapR-FS(HDFS互換）にデータを置いての Spark処理やMapReduce処理
Sparkちなみに・・

9. アドテク本部ではRedshiftのもとになっているactian社のMatrixを採用し利用が進んでいます。
・インスタンスタイプに縛られずハードウェアの選定ができる
Matrixさいごに・・