Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a Cm re growth-devio-mtup11-sapporo-004
Semelhante a Cm re growth-devio-mtup11-sapporo-004 (20)
Mais de Satoru Ishikawa
Mais de Satoru Ishikawa (13)
Cm re growth-devio-mtup11-sapporo-004
- 1. ビックデータ解析基盤としてのAWS 「カスタマーストーリー」を支える技術 Ⓒ Classmethod, Inc. 1 DEVIO-MTUP11-SAPPORO-004 石川 覚 ソリューションアーキテクト クラスメソッド 2014年12月12日
- 2. 自己紹介 • メーカー系SE、VoIP関連ベンチャー企業を経て • CMに2014/06 join • 札幌出身、東京に８年 • Linux, Java, MySQL, Redshift • 自称 何でも屋 • 当然 AWS好き ! ! クラスメソッド株式会社 ソリューションアーキテクト Ⓒ Classmethod, Inc. 2
- 3. カスタマーストーリー • 販売データ（POS）やモバイルログなど、企業に存在する様々なデー タを集約し、様々な角度から顧客理解を深める、ビックデータ分析基盤 を提供します。 Ⓒ Classmethod, Inc. カスタマーストーリーで 「データ分析の民主化」をお手伝い 3
- 4. アジェンダ • AWSのビックデータ関連サービス • 高性能・大容量なAmazon Redshift • データ解析基盤の導入パターン • データ分析の課題 • ETLプロセスの見直し • まとめ Ⓒ Classmethod, Inc. 4
- 6. AWSサービスの全体像 AWSサービスの全体像 ‒ 40以上のサービス 更にビックデータ関連の新サービスとして、AWS Lambda、 S3 Event Notification、RDS for Auroraが追加 Ⓒ Classmethod, Inc. 6
- 7. 注目の新サービス AWS Lambda AWS上のイベントをトリガーに、独自のコードを実行させるこ とができるComputeサービス S3へのPUT、Kinesisのストリーム入力、CLI呼び出しなどの トリガ LambdaはAWSサービスをより簡潔に連携させる手段を提供 フルマネージメントならDataPipeline、セルフマネジメントな らAWS SDK Ⓒ Classmethod, Inc. Data Pipeline AWS SDK > > 7
- 8. 注目の新サービス S3 Event Notification S3でイベントが発生した際に、SNS/SQS/Lambdaへ通知呼 び出しする EC2/Linux(inotify)やS3のポーリングが不要になる Producer-Customerパターン適用して、他サービスと疎結合 でElasticな拡張が期待 バケット毎に設定可能 Ⓒ Classmethod, Inc. 8
- 9. 注目の新サービス Amazon RDS for Aurora クラウドのために再発明したRDB.. (まだ本物を見ていないのでわかりません…) Readはかなり速そうだが、DWH用途ではRedshiftの方が”Cost Effective”だろう RedshiftはPrimaryKeyは名ばかり、インデックスキーは sortkeyのみ、非冗長化のシングルAZなので、要件によっては Auroraがマッチする可能性がある 一般的にビックデータ関連は結果データの永続化よりも Ⓒ Classmethod, Inc. スケールアウトに重点が置かれています。 9
- 11. Amazon Redshift 大容量：160GB～1.6PB 高速：カラムナ型＋列圧縮、超並列演算(MPP) インスタンスの従量課金(ライセンス不要) Ⓒ Classmethod, Inc. 11
- 12. Amazon Redshift インタフェースはPostgreSQL互換 S3からの高速ロード・アンロードが可能 BIツールやETLツールとの連携 AWSサービスBIツール Ⓒ Classmethod, Inc. 12 EC2 SQL COPY /UNLOAD S3 Redshift SQL Alteryx Tableau SQL
- 14. 例．収集した売上データの活用 - BI Ⓒ Classmethod, Inc. 14 DB データ （オリジナル） ETL S3 EC2/EMR データ 店舗（ETL済み） Redshift EC2 データ （ETL済み） S3 分析 Tableau マート Redshift 会計データ 販売データ 生産管理データ 在庫管理データ 購買管理データ eコマース・SNS等
- 15. 例．収集したデータの活用 - DMP Ⓒ Classmethod, Inc. EMR 15 ログ コレクタ データ （オリジナル） S3 IoT 検索ワード SNSログ 投票データ ウェブコング 株式データ 医療情報 ETL Redshift データ （ETL済み） データ （ETL済み） S3 データ （オリジナル） ETL EMR データ （ETL済み） S3 データ （ETL済み） DynamoDB 分析データ 販売ビジネス レポート データ取得 WebAPI
- 16. データ分析の課題 16
- 17. 例．収集した売上データの活用 - BI Ⓒ Classmethod, Inc. 17 DB データ （オリジナル） ETL S3 EC2/EMR データ 店舗（ETL済み） Redshift EC2 データ （ETL済み） S3 分析 Tableau マート Redshift 会計データ 販売データ 生産管理データ 在庫管理データ 購買管理データ eコマース・SNS等 ETLが全体の作業７割を 占めると言われている
- 18. データ分析の課題 ETL(データクレンジング、連結、一次集計、データマー ト)は手間と時間を要する エンジニアがこれらの作業を代行すると事前に分析内容 を定めなければならない 分析内容の固定化・分析経過のフィードバックが容易で ない 結果として、データ分析に基づいた仮設・検証サイクルを 迅速に回せなくなる 分析内容の固定化は経験的な分析を数値化する価値があるが、 新たな課題や施策に必要なデータの発見には至れない Ⓒ Classmethod, Inc. 18
- 19. ETLプロセスの見直し 19
- 20. Data Pipeline データ統合・処理をスケジュールベースで自動化 Ⓒ Classmethod, Inc. 20
- 21. ETLツール - Alteryx データの入出力にS3やRedshiftが指定可能 予測分析やバスケット分析といった高度な分析が可能 分析結果を直接BIツール(Tableau)のファイルに出力できる Ⓒ Classmethod, Inc. 21
- 22. まとめ 22
- 23. まとめ • オリジナル・中間データはS3に保存する • オリジナルデータのクレンジングはEC2やEMR • 処理されたデータはRedshiftに格納・利用すること でBIツールやETLツールと連携 • Redshiftはデータ連結、一次集計、マート作成を高 速に生成 • ETLのオーケストレーションはData Pipeline、デー タサイエンティストに求められる高度な分析は Alteryxを始めとするETLツールを活用 Ⓒ Classmethod, Inc. 23
- 24. Ⓒ Classmethod, Inc. #cmdevio ご静聴ありがとうございました。 スライドは後日ブログで公開します。 24 DEVIO-MTUP11-SAPPORO-004