Enviar pesquisa
Carregar
20210529 phpconfokinawa lt_snowflake_v1.0
•
Transferir como PPTX, PDF
•
0 gostou
•
1,144 visualizações
Yuuta Hishinuma
Seguir
PHPカンファレンス沖縄2021で発表したSnowflakeの紹介LTです
Leia menos
Leia mais
Dados e análise
Vista de apresentação de diapositivos
Denunciar
Compartilhar
Vista de apresentação de diapositivos
Denunciar
Compartilhar
1 de 16
Baixar agora
Recomendados
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
NW-JAWS 勉強会#1 [LT] 閉域閉域もう飽きたよ
NW-JAWS 勉強会#1 [LT] 閉域閉域もう飽きたよ
NHN テコラス株式会社
IoTで都市開発・防災・観光活性化。 実証実験 in 中野区 -可視化の先へ-
IoTで都市開発・防災・観光活性化。 実証実験 in 中野区 -可視化の先へ-
NHN テコラス株式会社
失敗しない「VDIインフラ」と「HDI」の可能性
失敗しない「VDIインフラ」と「HDI」の可能性
NHN テコラス株式会社
ITインフラ・マネージド事業領域におけるデータサイエンスの取り組み
ITインフラ・マネージド事業領域におけるデータサイエンスの取り組み
NHN テコラス株式会社
No.1マルチクラウドインテグレーターが推奨するデジタルトランスフォーメーション
No.1マルチクラウドインテグレーターが推奨するデジタルトランスフォーメーション
NHN テコラス株式会社
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
一成 田部井
インターネットの仕組みとISPの構造
インターネットの仕組みとISPの構造
Taiji Tsuchiya
Recomendados
マルチクラウドDWH(Snowflake)のすすめ
マルチクラウドDWH(Snowflake)のすすめ
Yuuta Hishinuma
NW-JAWS 勉強会#1 [LT] 閉域閉域もう飽きたよ
NW-JAWS 勉強会#1 [LT] 閉域閉域もう飽きたよ
NHN テコラス株式会社
IoTで都市開発・防災・観光活性化。 実証実験 in 中野区 -可視化の先へ-
IoTで都市開発・防災・観光活性化。 実証実験 in 中野区 -可視化の先へ-
NHN テコラス株式会社
失敗しない「VDIインフラ」と「HDI」の可能性
失敗しない「VDIインフラ」と「HDI」の可能性
NHN テコラス株式会社
ITインフラ・マネージド事業領域におけるデータサイエンスの取り組み
ITインフラ・マネージド事業領域におけるデータサイエンスの取り組み
NHN テコラス株式会社
No.1マルチクラウドインテグレーターが推奨するデジタルトランスフォーメーション
No.1マルチクラウドインテグレーターが推奨するデジタルトランスフォーメーション
NHN テコラス株式会社
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
ハンズラボの考えるIoT Innovation EGG 第6回 『IoT 今と未来』
一成 田部井
インターネットの仕組みとISPの構造
インターネットの仕組みとISPの構造
Taiji Tsuchiya
Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由
Yuji Otani
20180319 ccon sync kintone
20180319 ccon sync kintone
CData Software Japan
MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用
CData Software Japan
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
NTT DATA Technology & Innovation
Apple sapの提携のその後
Apple sapの提携のその後
智洋 大野
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
Hitachi, Ltd. OSS Solution Center.
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
NTT DATA OSS Professional Services
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
虎の穴 開発室
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
Daisuke Maki
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NHN テコラス株式会社
SIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くために
Takanari Konishi
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
Hal Seki
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
Code for Japan
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
f4samurai会社説明資料.pdf
f4samurai会社説明資料.pdf
ssuser035e96
元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた
Kumano Ryo
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Ryota Shibuya
ストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッション
g3akk
インフラCICDの勘所
インフラCICDの勘所
Toru Makabe
Mais conteúdo relacionado
Semelhante a 20210529 phpconfokinawa lt_snowflake_v1.0
Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由
Yuji Otani
20180319 ccon sync kintone
20180319 ccon sync kintone
CData Software Japan
MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用
CData Software Japan
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
NTT DATA Technology & Innovation
Apple sapの提携のその後
Apple sapの提携のその後
智洋 大野
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
Hitachi, Ltd. OSS Solution Center.
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
NTT DATA OSS Professional Services
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
虎の穴 開発室
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
Daisuke Maki
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NTT DATA OSS Professional Services
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NHN テコラス株式会社
SIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くために
Takanari Konishi
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
Hal Seki
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
Code for Japan
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
f4samurai会社説明資料.pdf
f4samurai会社説明資料.pdf
ssuser035e96
元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた
Kumano Ryo
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Ryota Shibuya
ストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッション
g3akk
インフラCICDの勘所
インフラCICDの勘所
Toru Makabe
Semelhante a 20210529 phpconfokinawa lt_snowflake_v1.0
(20)
Hack/HHVMの最新事情とメイン言語に採用した理由
Hack/HHVMの最新事情とメイン言語に採用した理由
20180319 ccon sync kintone
20180319 ccon sync kintone
MS-Office 製品からのkintoneデータ活用
MS-Office 製品からのkintoneデータ活用
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Spark + AI Summit 2020セッションのハイライト(Spark Meetup Tokyo #3 Online発表資料)
Apple sapの提携のその後
Apple sapの提携のその後
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
社会のコードを、書き換えよう~エンジニア起点のNew Normalな働き方~
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
Sparkをノートブックにまとめちゃおう。Zeppelinでね!(Hadoopソースコードリーディング 第19回 発表資料)
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
【20211027_toranoana.deno#2】とりあえずDenoを CloudRunで動かしてみる
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
未踏カンファレンス2012「メルコグループと未踏ソフト」(スポンサーPR枠)<字幕付き>
Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
NW-JAWS 勉強会#2 [LT] あの日したLTの内容を僕らはもう覚えていない
SIerで幸せな技術キャリアを築くために
SIerで幸せな技術キャリアを築くために
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
オープンプロセスで変える調達改革
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
f4samurai会社説明資料.pdf
f4samurai会社説明資料.pdf
元OracleMasterPlatinumがCloudSpanner触ってみた
元OracleMasterPlatinumがCloudSpanner触ってみた
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
Snowflakeって実際どうなの?数多のDBを使い倒した猛者が語る
ストリームデータ処理技術勉強会_イントロセッション
ストリームデータ処理技術勉強会_イントロセッション
インフラCICDの勘所
インフラCICDの勘所
20210529 phpconfokinawa lt_snowflake_v1.0
1.
Snowflakeの威力を見よ! 2021-05-29 PHPCONF OKINAWA
2021 LT ちゅらデータ 菱沼雄太 © 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
2.
AGENDA © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. • 自己紹介 • 1分で分るDWH • 1分で分るSnowflake • 終わりに
3.
自己紹介 名前:菱沼 雄太 ちゅらデータのCTO(2020/4〜) 私の人生のメイン言語はPHP ゲーム会社でちょっとCTOしたり、昔は金融SEやったりの真面目な経歴も ありつつ、基本はなんでも屋です。 本職はインフラエンジニア…のハズ? 最近はデータエンジニアかもしれない? 沖縄歴4年目、最近はDATA CLOUD
SUMMITで喋ったり、SnowVillageで配 信したり、Snowflake系の活動が多いです。 © 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL. 最近マイナビに載った写真 怖い 本物はこっち
4.
1分で理解るDWH(比較表) © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. 分類 高速化技法 データ格納 方針 得意なクエリ 設計パターン DWH RDB OLTP=トランザクション用 (Online Transaction Processing) OLAP=分析用 (Online Analytical Processing) インデックス パーティショニングで分散処理 行指向、行ごとに格納 列指向、列ごとに格納 1行を対象にSelectやUpdate 特定列をGroupbyして集計 第3正規化 スタースキーマ 具体例 MySQL、PostgreSQL Snowflake、BigQuery わ か
5.
1分で理解るDWH(内部動作イメージ) © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. わ か ②Indexをスキャン UPDATE USERS SET age = 11 WHERE id = 1; ①クエリを解析 ③対象行を上書き 1 山田 10=>11 *** *** 2 佐藤 10 *** *** 3 高橋 10 *** *** id name age *** *** RDB DWH SELECT category, avg(age) FROM USERS GROUP BY category; ①クエリを解析 ②対象列を分散スキャン、集計して返却 1 山田 11 A *** 2 佐藤 10 B *** 3 高橋 20 B *** id name age category ***
6.
Snowflake © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.
7.
Snowflakeのアーキテクチャ © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. クラウドサービス 仮想ウェアハウス (EC2) ストレージ (S3)
8.
Snowflakeの特徴 © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. どこまで スケール ストレージ費用 サーバ維持費 PHPでつなげ る? 1レコード取り出 すの苦手なんで しょ? コンピューティングとストレージ分離してる から、ほぼ無限にスケール ストレージ$25/TB月、S3と同じくらい安い 使うときだけ起動するから、作っておくだけ なら維持費がかからないぞ。安い。 マイナーで しょ? 最強 x 安い x 苦手もない x もはやメジャー pdo_snowflakeか、ODBCを使えるから、簡 単につなげる。 実はRDBと同じようなIndexを貼る検索最適化 機能があるので、そんなことなかった アメリカですでにテック系最大金額の上場を 果たしてて、日本法人も最近できた
9.
競合製品とのトレンド比較(=もはや差はない) © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.
10.
デモ © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. レッツゴー!
11.
デモ © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL. と思ったけど時間がねー!!
12.
Snowflakeの威力は… © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.
13.
続きは • https://www.youtube.com/watch?v=StW4ffZZn7w © 2021
Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
14.
Snowflakeの威力は… https://www.youtube.com/watch?v=StW4ffZZn7 w © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.
15.
続きは https://www.youtube.com/watch?v=StW4ffZZn7 w © 2021 Chura
DATA inc. PROPRIETARY & CONFIDENTIAL.
16.
今度勉強会をやります!!! • 福岡のNOB DATAさんとコラボで実施 します〜 •
絶対きてくれよな!!! • https://churadata.connpass.com/event /214074/ © 2021 Chura DATA inc. PROPRIETARY & CONFIDENTIAL.
Notas do Editor
# で、今度勉強会をやります!!! 福岡でデータ分析やっているNOB DATAさんとコラボ勉強会をやります!! リモートでやります〜。よろしくお願いいたします。 ちなみに、去年コロナで全然勉強会できず悔しい1年だったので、今年はリモートでのコラボ勉強会をばんばんやっていきたいなって気持ちです。 よかったらぜひお声をかけてください!! (1分30秒ぐらい)
Baixar agora