Enviar pesquisa
Carregar
Cookpad TechConf 2016 - DWHに必要なこと
•
53 gostaram
•
45,817 visualizações
Minero Aoki
Seguir
Cookpad TechConf 2016での青木の発表資料。大量のデータを最大限に活用するためのデータ処理システムの構築方針について
Leia menos
Leia mais
Tecnologia
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 40
Recomendados
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築
Minero Aoki
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
Recomendados
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
Amazon Redshiftによるリアルタイム分析サービスの構築
Amazon Redshiftによるリアルタイム分析サービスの構築
Minero Aoki
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Web Services Japan
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
Amazon Web Services Japan
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
DevOps with Database on AWS
DevOps with Database on AWS
Amazon Web Services Japan
CloudFront最近の事例と間違った使い方
CloudFront最近の事例と間違った使い方
Hirokazu Ouchi
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
Hajime Sano
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
Eiji KOMINAMI
データ分析基盤について
データ分析基盤について
Yuta Inamura
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
NTT DATA Technology & Innovation
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
Mais conteúdo relacionado
Mais procurados
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
Amazon Web Services Japan
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Web Services Japan
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Web Services Japan
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
Satoshi Nagayasu
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
Amazon Web Services Japan
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
Amazon Web Services Japan
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
DevOps with Database on AWS
DevOps with Database on AWS
Amazon Web Services Japan
CloudFront最近の事例と間違った使い方
CloudFront最近の事例と間違った使い方
Hirokazu Ouchi
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
Hajime Sano
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
Eiji KOMINAMI
データ分析基盤について
データ分析基盤について
Yuta Inamura
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
NTT DATA Technology & Innovation
Mais procurados
(20)
Amazon Redshift 概要 (20分版)
Amazon Redshift 概要 (20分版)
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
AWS Black Belt Techシリーズ Amazon EMR
AWS Black Belt Techシリーズ Amazon EMR
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
Amazon Game Tech Night #25 ゲーム業界向け機械学習最新状況アップデート
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
データウェアハウスモデリング入門(ダイジェスト版)(事前公開版)
開発者におくるサーバーレスモニタリング
開発者におくるサーバーレスモニタリング
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
DevOps with Database on AWS
DevOps with Database on AWS
CloudFront最近の事例と間違った使い方
CloudFront最近の事例と間違った使い方
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
Kinesis→Redshift連携を、KCLからFirehoseに切り替えたお話
CloudFrontのリアルタイムログをKibanaで可視化しよう
CloudFrontのリアルタイムログをKibanaで可視化しよう
データ分析基盤について
データ分析基盤について
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Kubernetes 疲れに Azure Container Apps はいかがでしょうか?(江東区合同ライトニングトーク 発表資料)
Destaque
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
VirtualTech Japan Inc.
第6回 itil講義資料
第6回 itil講義資料
Mugen Fujii
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
真吾 吉田
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
WebSig24/7
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
Katsuhito Okada
クックパッドの開発プロセス
クックパッドの開発プロセス
Hiroyuki Inoue
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
Haruo Sato
今年のOss業界10大ニュース
今年のOss業界10大ニュース
Yukio Yoshida
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
schoowebcampus
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
株式会社コパイロツト COPILOT Inc.
AWS クックパッドの運用事例
AWS クックパッドの運用事例
Satoshi Takada
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
de:code 2017
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
Nozomi Ito
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
uchan_nos
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
Ryuji Tamagawa
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Kouhei Sutou
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
Shunsuke KITADA
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
Hirofumi Ota
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
真吾 吉田
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Haruo Sato
Destaque
(20)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
クラウド運用のベストプラクティスを考える - OpenStack最新情報セミナー(2016年12月)
第6回 itil講義資料
第6回 itil講義資料
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
実務で活かせる AWSアーキテクチャ設計 〜AWS re:Invent 2016アップデート最新版〜
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
手っ取り早くプロジェクトをなんとかしたい人のためのnanapi流ツール活用術~WebSig会議 vol.34「Webディレクター必見!プロジェクトを成功に...
仕事の成果は「聞き方」で9割決まる
仕事の成果は「聞き方」で9割決まる
クックパッドの開発プロセス
クックパッドの開発プロセス
オブジェクト指向を学んで図解力、仕事力アップ
オブジェクト指向を学んで図解力、仕事力アップ
今年のOss業界10大ニュース
今年のOss業界10大ニュース
仕事に活きる数学講座(第四回:予測力編)
仕事に活きる数学講座(第四回:予測力編)
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
日々の気づきをふりかえり、 個人とチームの成長につなげる方法
AWS クックパッドの運用事例
AWS クックパッドの運用事例
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
[DO05] システムの信頼性を上げるための新しい考え方 SRE ( Site Reliability Engineering ) in Azure, o...
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
4時間で学ぶ、効率的な自動テストスクリプトのメンテナンス
5分で分かるサイボウズのSRE
5分で分かるサイボウズのSRE
hbstudy 74 Site Reliability Engineering
hbstudy 74 Site Reliability Engineering
全文検索でRedmineをさらに活用!
全文検索でRedmineをさらに活用!
Cookpadの料理画像を分類した話
Cookpadの料理画像を分類した話
いまの Office 365 ってこんな感じ?
いまの Office 365 ってこんな感じ?
ITサービスマネジメントとSRE
ITサービスマネジメントとSRE
技術者の自分が11年間会社を経営して学んだ7つのこと
技術者の自分が11年間会社を経営して学んだ7つのこと
Semelhante a Cookpad TechConf 2016 - DWHに必要なこと
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
kurikiyo
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
griddb
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Kazuhiro Mitsuhashi
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
Recruit Technologies
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
Rakuten Group, Inc.
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
Katsuhiro Takata
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
Hadoopカンファレンス2013
Hadoopカンファレンス2013
Recruit Technologies
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
日本ヒューレット・パッカード株式会社
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Kensuke SAEKI
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
Kimitaka Nakazawa
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Kazuto Ohara
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
Cloudera Japan
jubatus pressrelease
jubatus pressrelease
JubatusOfficial
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
Google Cloud Platform - Japan
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Semelhante a Cookpad TechConf 2016 - DWHに必要なこと
(20)
避けては通れないビッグデータ周辺の重要課題
避けては通れないビッグデータ周辺の重要課題
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
ビッグデータによる価値創造を実現するデータ収集・蓄積・分析クラウドサービス “簡単!賢く!データを活かす!”東芝データレイクサービスの取り組みのご紹介
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
データ集計基盤のいままでとこれから 〜Hadoopからdataflowまで使い込んだ経験を徹底共有〜
Big data解析ビジネス
Big data解析ビジネス
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
情報爆発シンポジウム infoplosion
情報爆発シンポジウム infoplosion
レコメンデーション(協調フィルタリング)の基礎
レコメンデーション(協調フィルタリング)の基礎
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
Hadoopカンファレンス2013
Hadoopカンファレンス2013
ビッグデータ活用とサーバー基盤
ビッグデータ活用とサーバー基盤
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
ビジネスインテリジェンス入門~OSSでBIを始めよう~version2(公開版)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
スタートアップが始める機械学習はじめの一歩
スタートアップが始める機械学習はじめの一歩
国内最大級の総合情報メディアを支えるVarnish Cache
国内最大級の総合情報メディアを支えるVarnish Cache
Strata + Hadoop World 2014 レポート #cwt2014
Strata + Hadoop World 2014 レポート #cwt2014
jubatus pressrelease
jubatus pressrelease
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
[Cloud OnAir] データ ウェアハウス モダナイゼーション 2019年10月17日 放送
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Cookpad TechConf 2016 - DWHに必要なこと
1.
DWHに必要なこと ∼1人で始めるCIO∼ Minero Aoki
2.
自己紹介 ‣ 青木峰郎(あおき みねろう) ‣
元Rubyコミッター ‣ 分析システム「たべみる」開発 ‣ データ分析基盤エンジニア ‣ 著書多数→
3.
データ活用基盤 今日のテーマ
4.
やりたいこと 大量のデータを 最高に活用したい
5.
やりたいこと 大量のデータを 最高に活用したい ユーザーコンタク トの一元管理 ターゲティング広告 ユーザー行動の分析 アプリのA/Bテスト
6.
DWH (Data Warehouse) が
その解となる
7.
DWHとは ‣ 90年代に提唱されたデータ分析アーキテクチャ ‣ 大量のデータを集めて部署横断で分析 ‣
Bill Inmonが定義(DWHの父と呼ばれている)
8.
DWH = 分析用のきれいなDB
9.
(DWHでない) 普通のDBは汚い
10.
DWHをどう作るか
11.
がんばる
12.
基本方針1. データは一箇所に集める
13.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム
14.
アプリB ターゲティ ング広告 DB アプリC 行動分析 DB アプリD ABテスト DB アプリA コンタクト 管理 DB 乱立する分析システム ダメ
15.
なぜダメか ‣ データを集めるのがつらすぎ…… ‣ 指標の定義が違う!(PVって?
UUって?) ‣ 元データがよくわからない
16.
あるべきすがた アプリA アプリB アプリC
アプリD コンタクト 管理 ターゲティ ング広告 行動分析 ABテスト データベース
17.
DBなににする? • クックパッドでは全面的にRedshiftをDWHとして 使うことにした • 速い •
安い • 普通のSQLが使える
18.
アーキテクチャ Redshift (DWH) マスター Cookpad 広告配信システム ログ マスター ログ マスター ログ マスター ログ ログ マスター 各種サービス ログ マスター 連携システム Re:dash Jupyter Tableau 独自バッチシステム (Bricolage)
19.
データを集めれば DWHか?
20.
もちろん違う
21.
データを集めただけ
22.
DWH
23.
データは加工しないと DWHにはならない
24.
どのように加工するか?
25.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile
26.
DWHの4つの条件 Integrated Subject- Oriented Time- Variant Non- Volatile略
27.
10年戦える データ分析入門 青木峰郎著 ソフトバンククリエイティブ 詳細は本で
28.
基本方針2. DWHはなりゆきで作る
29.
アプリケーションが先! DWHがあと! Redshift 元データ DWH 活用先ごと Cookpad 広告配信 動画配信 …… コンタクト 管理 ターゲティ ング広告 ユーザー 行動分析 ABテスト as-is
3NF 3NF/Star 構築順(1) 構築順(2)構築順(3)
30.
共通ライブラリ としてのDWH
31.
基本方針3. SQLですべてを処理する
32.
よい例 Redshift テーブル テーブル テーブル INSERT SELECT INSERT SELECT
33.
Redshift テーブル テーブル テーブル ダメな例 RubyRuby SELEC T IN SER T SELEC T IN SER T
34.
ポイント ウェブとDWHでは 同じSQL/RDBでも 使いかたが違う
35.
まとめ
36.
DWHに必要なこと
37.
データは 一箇所に集める
38.
DWHは なりゆきでつくる
39.
すべてをSQLで処理
40.
同じSQLでも ウェブとDWHは別物