SlideShare uma empresa Scribd logo
1 de 16
Snowflakeの威力を見よ!
2021-05-29 PHPCONF OKINAWA 2021
LT ちゅらデータ 菱沼雄太
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
AGENDA
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
• 自己紹介
• 1分で分るDWH
• 1分で分るSnowflake
• 終わりに
自己紹介
名前:菱沼 雄太
ちゅらデータのCTO(2020/4〜)
私の人生のメイン言語はPHP
ゲーム会社でちょっとCTOしたり、昔は金融SEやったりの真面目な経歴も
ありつつ、基本はなんでも屋です。
本職はインフラエンジニア…のハズ?
最近はデータエンジニアかもしれない?
沖縄歴4年目、最近はDATA CLOUD SUMMITで喋ったり、SnowVillageで配
信したり、Snowflake系の活動が多いです。
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
最近マイナビに載った写真
怖い
本物はこっち
1分で理解るDWH(比較表)
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
分類
高速化技法
データ格納
方針
得意なクエリ
設計パターン
DWH
RDB
OLTP=トランザクション用
(Online Transaction Processing)
OLAP=分析用
(Online Analytical Processing)
インデックス パーティショニングで分散処理
行指向、行ごとに格納 列指向、列ごとに格納
1行を対象にSelectやUpdate 特定列をGroupbyして集計
第3正規化 スタースキーマ
具体例 MySQL、PostgreSQL Snowflake、BigQuery
わ か
1分で理解るDWH(内部動作イメージ)
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
わ か
②Indexをスキャン
UPDATE USERS SET age = 11
WHERE id = 1;
①クエリを解析
③対象行を上書き
1 山田 10=>11 *** ***
2 佐藤 10 *** ***
3 高橋 10 *** ***
id name age *** ***
RDB DWH
SELECT category, avg(age) FROM USERS
GROUP BY category;
①クエリを解析
②対象列を分散スキャン、集計して返却
1 山田 11 A ***
2 佐藤 10 B ***
3 高橋 20 B ***
id name age category ***
Snowflake
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
Snowflakeのアーキテクチャ
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
クラウドサービス
仮想ウェアハウス
(EC2)
ストレージ
(S3)
Snowflakeの特徴
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
どこまで
スケール
ストレージ費用
サーバ維持費
PHPでつなげ
る?
1レコード取り出
すの苦手なんで
しょ?
コンピューティングとストレージ分離してる
から、ほぼ無限にスケール
ストレージ$25/TB月、S3と同じくらい安い
使うときだけ起動するから、作っておくだけ
なら維持費がかからないぞ。安い。
マイナーで
しょ?
最強
x
安い
x
苦手もない
x
もはやメジャー
pdo_snowflakeか、ODBCを使えるから、簡
単につなげる。
実はRDBと同じようなIndexを貼る検索最適化
機能があるので、そんなことなかった
アメリカですでにテック系最大金額の上場を
果たしてて、日本法人も最近できた
競合製品とのトレンド比較(=もはや差はない)
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
デモ
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
レッツゴー!
デモ
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
と思ったけど時間がねー!!
Snowflakeの威力は…
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
続きは
• https://www.youtube.com/watch?v=StW4ffZZn7w
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
Snowflakeの威力は…
https://www.youtube.com/watch?v=StW4ffZZn7
w
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
続きは
https://www.youtube.com/watch?v=StW4ffZZn7
w
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
今度勉強会をやります!!!
• 福岡のNOB DATAさんとコラボで実施
します〜
• 絶対きてくれよな!!!
• https://churadata.connpass.com/event
/214074/
© 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.

Mais conteúdo relacionado

Semelhante a 20210529 phpconfokinawa lt_snowflake_v1.0

Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由Yuji Otani
 
MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用CData Software Japan
 
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)NTT DATA Technology & Innovation
 
Apple sapの提携のその後
Apple sapの提携のその後Apple sapの提携のその後
Apple sapの提携のその後智洋 大野
 
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~Hitachi, Ltd. OSS Solution Center.
 
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)NTT DATA OSS Professional Services
 
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる虎の穴 開発室
 
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>Daisuke Maki
 
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていないNW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていないNHN テコラス株式会社
 
SIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くためにSIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くためにTakanari Konishi
 
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革オープンプロセスで変える調達改革
オープンプロセスで変える調達改革Hal Seki
 
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革オープンプロセスで変える調達改革
オープンプロセスで変える調達改革Code for Japan
 
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~NTT DATA OSS Professional Services
 
f4samurai会社説明資料.pdf
f4samurai会社説明資料.pdff4samurai会社説明資料.pdf
f4samurai会社説明資料.pdfssuser035e96
 
元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみたKumano Ryo
 
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るSnowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るRyota Shibuya
 
ストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッションストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッションg3akk
 
インフラCICDの勘所
インフラCICDの勘所インフラCICDの勘所
インフラCICDの勘所Toru Makabe
 

Semelhante a 20210529 phpconfokinawa lt_snowflake_v1.0 (20)

Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由
 
20180319 ccon sync kintone
20180319 ccon sync kintone20180319 ccon sync kintone
20180319 ccon sync kintone
 
MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用
 
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
 
Apple sapの提携のその後
Apple sapの提携のその後Apple sapの提携のその後
Apple sapの提携のその後
 
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
 
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
 
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
 
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
 
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
 
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていないNW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
 
SIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くためにSIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くために
 
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
 
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
 
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に! ~データ処理・分析基盤編を少しだけ~
 
f4samurai会社説明資料.pdf
f4samurai会社説明資料.pdff4samurai会社説明資料.pdf
f4samurai会社説明資料.pdf
 
元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた
 
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語るSnowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
 
ストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッションストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッション
 
インフラCICDの勘所
インフラCICDの勘所インフラCICDの勘所
インフラCICDの勘所
 

20210529 phpconfokinawa lt_snowflake_v1.0

Notas do Editor

  1. # で、今度勉強会をやります!!! 福岡でデータ分析やっているNOB DATAさんとコラボ勉強会をやります!! リモートでやります〜。よろしくお願いいたします。 ちなみに、去年コロナで全然勉強会できず悔しい1年だったので、今年はリモートでのコラボ勉強会をばんばんやっていきたいなって気持ちです。 よかったらぜひお声をかけてください!! (1分30秒ぐらい)