Enviar pesquisa
Carregar
Hadoopを業務で使ってみた
•
Transferir como KEY, PDF
•
26 gostaram
•
3,411 visualizações
Tatsuya Sasaki
Seguir
Denunciar
Compartilhar
Denunciar
Compartilhar
1 de 63
Baixar agora
Recomendados
マーケティングのためのHadoop利用
マーケティングのためのHadoop利用
Tatsuya Sasaki
961万人の食卓を支えるデータ解析
961万人の食卓を支えるデータ解析
Tatsuya Sasaki
Streaming API, Spark and Ruby
Streaming API, Spark and Ruby
Manohar Amrutkar
Cloud Friendly Hadoop and Hive
Cloud Friendly Hadoop and Hive
DataWorks Summit
ソーシャルアプリでの Amazon Elastic MapReduce 活用事例
ソーシャルアプリでの Amazon Elastic MapReduce 活用事例
Takahiro Kamatani
Hadoop Israel - HBase Browser in Hue
Hadoop Israel - HBase Browser in Hue
gethue
データ解析技術入門(Hadoop編)
データ解析技術入門(Hadoop編)
Takumi Asai
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析
shuichi iida
Recomendados
マーケティングのためのHadoop利用
マーケティングのためのHadoop利用
Tatsuya Sasaki
961万人の食卓を支えるデータ解析
961万人の食卓を支えるデータ解析
Tatsuya Sasaki
Streaming API, Spark and Ruby
Streaming API, Spark and Ruby
Manohar Amrutkar
Cloud Friendly Hadoop and Hive
Cloud Friendly Hadoop and Hive
DataWorks Summit
ソーシャルアプリでの Amazon Elastic MapReduce 活用事例
ソーシャルアプリでの Amazon Elastic MapReduce 活用事例
Takahiro Kamatani
Hadoop Israel - HBase Browser in Hue
Hadoop Israel - HBase Browser in Hue
gethue
データ解析技術入門(Hadoop編)
データ解析技術入門(Hadoop編)
Takumi Asai
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析
shuichi iida
COOKPADでのHadoop利用
COOKPADでのHadoop利用
Tatsuya Sasaki
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Tatsuya Sasaki
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Tatsuya Sasaki
Hadoop入門とクラウド利用
Hadoop入門とクラウド利用
Naoki Yanai
Hadoop hbase introduction
Hadoop hbase introduction
Jakub Stransky
第17回Cassandra勉強会: MyCassandra
第17回Cassandra勉強会: MyCassandra
Shun Nakamura
Amazon Aurora로 안전하게 migration 하기
Amazon Aurora로 안전하게 migration 하기
Jesang Yoon
Hadoop
Hadoop
Saeed Iqbal
MapReduce Paradigm
MapReduce Paradigm
Dilip Reddy
MapReduce Paradigm
MapReduce Paradigm
Dilip Reddy
OCF.tw's talk about "Introduction to spark"
OCF.tw's talk about "Introduction to spark"
Giivee The
HadoopThe Hadoop Java Software Framework
HadoopThe Hadoop Java Software Framework
ThoughtWorks
Hadoop Conference Japan 2011 Fallに行ってきました
Hadoop Conference Japan 2011 Fallに行ってきました
moai kids
Introduction to Spark - Phoenix Meetup 08-19-2014
Introduction to Spark - Phoenix Meetup 08-19-2014
cdmaxime
Hadoop and its Ecosystem Components in Action
Hadoop and its Ecosystem Components in Action
Andrew Brust
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
cdmaxime
Developers summit cassandraで見るNoSQL
Developers summit cassandraで見るNoSQL
Ryu Kobayashi
Qubole Overview at the Fifth Elephant Conference
Qubole Overview at the Fifth Elephant Conference
Joydeep Sen Sarma
The Fundamentals Guide to HDP and HDInsight
The Fundamentals Guide to HDP and HDInsight
Gert Drapers
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Chris Fregly
からあげエンジニアについて
からあげエンジニアについて
Tatsuya Sasaki
クックパッドでのemr利用事例
クックパッドでのemr利用事例
Tatsuya Sasaki
Mais conteúdo relacionado
Semelhante a Hadoopを業務で使ってみた
COOKPADでのHadoop利用
COOKPADでのHadoop利用
Tatsuya Sasaki
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Tatsuya Sasaki
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Tatsuya Sasaki
Hadoop入門とクラウド利用
Hadoop入門とクラウド利用
Naoki Yanai
Hadoop hbase introduction
Hadoop hbase introduction
Jakub Stransky
第17回Cassandra勉強会: MyCassandra
第17回Cassandra勉強会: MyCassandra
Shun Nakamura
Amazon Aurora로 안전하게 migration 하기
Amazon Aurora로 안전하게 migration 하기
Jesang Yoon
Hadoop
Hadoop
Saeed Iqbal
MapReduce Paradigm
MapReduce Paradigm
Dilip Reddy
MapReduce Paradigm
MapReduce Paradigm
Dilip Reddy
OCF.tw's talk about "Introduction to spark"
OCF.tw's talk about "Introduction to spark"
Giivee The
HadoopThe Hadoop Java Software Framework
HadoopThe Hadoop Java Software Framework
ThoughtWorks
Hadoop Conference Japan 2011 Fallに行ってきました
Hadoop Conference Japan 2011 Fallに行ってきました
moai kids
Introduction to Spark - Phoenix Meetup 08-19-2014
Introduction to Spark - Phoenix Meetup 08-19-2014
cdmaxime
Hadoop and its Ecosystem Components in Action
Hadoop and its Ecosystem Components in Action
Andrew Brust
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
cdmaxime
Developers summit cassandraで見るNoSQL
Developers summit cassandraで見るNoSQL
Ryu Kobayashi
Qubole Overview at the Fifth Elephant Conference
Qubole Overview at the Fifth Elephant Conference
Joydeep Sen Sarma
The Fundamentals Guide to HDP and HDInsight
The Fundamentals Guide to HDP and HDInsight
Gert Drapers
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Chris Fregly
Semelhante a Hadoopを業務で使ってみた
(20)
COOKPADでのHadoop利用
COOKPADでのHadoop利用
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
800万人の"食べたい"をHadoopで分散処理
800万人の"食べたい"をHadoopで分散処理
Hadoop入門とクラウド利用
Hadoop入門とクラウド利用
Hadoop hbase introduction
Hadoop hbase introduction
第17回Cassandra勉強会: MyCassandra
第17回Cassandra勉強会: MyCassandra
Amazon Aurora로 안전하게 migration 하기
Amazon Aurora로 안전하게 migration 하기
Hadoop
Hadoop
MapReduce Paradigm
MapReduce Paradigm
MapReduce Paradigm
MapReduce Paradigm
OCF.tw's talk about "Introduction to spark"
OCF.tw's talk about "Introduction to spark"
HadoopThe Hadoop Java Software Framework
HadoopThe Hadoop Java Software Framework
Hadoop Conference Japan 2011 Fallに行ってきました
Hadoop Conference Japan 2011 Fallに行ってきました
Introduction to Spark - Phoenix Meetup 08-19-2014
Introduction to Spark - Phoenix Meetup 08-19-2014
Hadoop and its Ecosystem Components in Action
Hadoop and its Ecosystem Components in Action
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
Apache Spark - San Diego Big Data Meetup Jan 14th 2015
Developers summit cassandraで見るNoSQL
Developers summit cassandraで見るNoSQL
Qubole Overview at the Fifth Elephant Conference
Qubole Overview at the Fifth Elephant Conference
The Fundamentals Guide to HDP and HDInsight
The Fundamentals Guide to HDP and HDInsight
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Spark After Dark - LA Apache Spark Users Group - Feb 2015
Mais de Tatsuya Sasaki
からあげエンジニアについて
からあげエンジニアについて
Tatsuya Sasaki
クックパッドでのemr利用事例
クックパッドでのemr利用事例
Tatsuya Sasaki
からあげとビーチと私
からあげとビーチと私
Tatsuya Sasaki
メタプログラミングでDSLを書こう
メタプログラミングでDSLを書こう
Tatsuya Sasaki
NoSQLデータベースが登場した背景と特徴
NoSQLデータベースが登場した背景と特徴
Tatsuya Sasaki
Hadoopをemr経由で利用する方法
Hadoopをemr経由で利用する方法
Tatsuya Sasaki
Hadoopを業務で使ってみました
Hadoopを業務で使ってみました
Tatsuya Sasaki
YUI
YUI
Tatsuya Sasaki
Mais de Tatsuya Sasaki
(8)
からあげエンジニアについて
からあげエンジニアについて
クックパッドでのemr利用事例
クックパッドでのemr利用事例
からあげとビーチと私
からあげとビーチと私
メタプログラミングでDSLを書こう
メタプログラミングでDSLを書こう
NoSQLデータベースが登場した背景と特徴
NoSQLデータベースが登場した背景と特徴
Hadoopをemr経由で利用する方法
Hadoopをemr経由で利用する方法
Hadoopを業務で使ってみました
Hadoopを業務で使ってみました
YUI
YUI
Hadoopを業務で使ってみた
1.
Hadoop
2.
http://hadoop.apache.org/
3.
Hadooooo • Google
MapReduce • •
4.
5.
•
PC …
6.
•
PC PC /
7.
8.
PC
9.
10.
11.
Yahoo! Search Assist • •
12.
Hadoop
13.
•
7000 … • Hadoop
14.
15.
816 30
3 1
16.
17.
•
DB • Hadoop SQL
18.
Hive • Hadoop •
SQL(HiveQL) SQL • SQL
19.
Hive •
(each do ... end) • Hive DB, • (HiveQL) • MySQL EXISTS …
20.
Hadoop
21.
Hadoop
22.
1) Map 2) Shuffle
& Sort 3) Reduce
23.
Map
24.
aaa bbb ccc ddd eee
Mapper 2 ※
25.
aaa bbb ccc ddd eee
2 aaa 0 bbb 1 ccc 1 ddd 0 eee
26.
aaa bbb ccc ddd eee
2 aaa 0 bbb key 1 ccc value 1 ddd 0 eee
27.
Shuffle & Sort
28.
key Reducer
29.
Map
2 aaa 0 bbb key 1 ccc value 1 ddd 0 eee
30.
Map 2
aaa 0 bbb 1 ccc Reducer 1 ddd 0 eee
31.
Map key
32.
Map
Reduce Reduce
33.
Map 2
aaa 0 bbb 1 ccc 1 ddd 0 eee Reducer 1 ※
34.
key value 2
aaa 0 bbb 1 ccc 1 ddd 0 eee Reducer 3
35.
2
aaa 0 bbb 1 ccc 1 ddd 0 eee
36.
2
aaa 0 bbb 1 ccc 1 ddd 0 eee
37.
2
aaa 0 bbb 1 ccc 1 ddd 0 eee key Reducer
38.
Hadoop Google MapReduce
39.
Reduce • Reduce •
… • Google MapReduce Reducer
40.
Hadoop Iterater
41.
id:naoya http://d.hatena.ne.jp/naoya/20080513/1210684438
42.
Hadoop
43.
Hadoop • Hadoop Streaming
(Ruby) • EC2 Hadoop • S3 • 50
44.
EC2
S3 Amazon • EC2 ••• ※ • S3 •••
45.
•
DB • Hadoop SQL
46.
47.
1.
(CSV or Marshal) S3 2. EC2 Hadoop 1. S3 3. S3 2. MySQL
48.
DB 1.
(CSV or Marshal) S3 2. EC2 Hadoop 1. S3 3. S3 2. MySQL
49.
Hadoop 1.
(CSV or Marshal) S3 2. EC2 Hadoop 1. S3 3. S3 2. MySQL
50.
DB 1.
(CSV or Marshal) S3 2. EC2 Hadoop 1. S3 3. S3 2. MySQL
51.
52.
MySQL
…orz
53.
54.
1taaa,bbb,ccc
aaa,bbb,ccc 1thoge,fuga,foo hoge,fuga,foo
55.
Mapper, Reducer
56.
• •
Mapper, Reducer •
57.
Hadoop
S3 `hadoop dfs -cat s3://xxx/ input/user_info`
58.
failed to allocate
memory (NoMemoryError)
59.
Mapper
or
60.
61.
7000
→ 30
62.
•
Hadoop • MapReduce MapReduce • Hadoop
Baixar agora