Baixado 17 vezes
![Hadoop - MapReduce
public
void
map(LongWritable
key,
Text
value,
Context
context)
throws
IOException,
InterruptedException
{
String[]
words
=
value.toString().split("
");
for
(String
word
:
words)
{
context.write(new
Text(word),
new
IntWritable(1));
}
}](https://image.slidesharecdn.com/bigdata-150315163329-conversion-gate01/85/Big-Data-Uma-Introducao-20-320.jpg)
Carregado porThiago Rigo
Big Data - Uma Introdução
O documento apresenta uma introdução sobre Big Data, abordando o grande volume de dados criados diariamente, os conceitos-chave de Volume, Variedade e Velocidade, e o ecossistema Hadoop, incluindo ferramentas como HDFS, MapReduce, Pig e Hive.
Big Data - Uma Introdução
- 1.
- 2. Agenda Big Bang dosDados Conceitos Ecosistema Casos de Uso Demo
- 3. Big Bang dosDados
- 4.
- 5.
- 6. “Desde o nascimentoda civilização até 2003 criamos 5 Exabytes de informação, mas agora, essa mesma quantidade de informação é criada a cada 2 dias.” Eric Schmidt, CEO Google, 2010 1 Exabyte = 1.000.000 TB
- 7.
- 8.
- 9. Volume Quantidade muito grandede dados Bancos de dados tradicionais não atendem Servidores high-end custam muito caro
- 10. Variedade Dados de diversasfontes Dados estruturados, semi-estruturados e não estruturados Schemaless
- 11. Velocidade Agilidade no processamentodos dados Processamento de dados em tempo real Rapidez na ingestão dos dados
- 12.
- 14. Hadoop - Historia 2002-04:Nutch 2004-06: GFS, MapReduce 2006-08: Yahoo!, Top-Level
- 15. Hadoop “O Apache Hadoopé um framework que permite processamento distribuído de grandes volumes de dados, sendo desenhado para escalar de um servidor para milhares de máquinas…” http://hadoop.apache.org/
- 16. Hadoop Escalabilidade horizontal Tolerancia afalha Redundância Paralelismo Data locality
- 17.
- 18.
- 19.
- 20. Hadoop - MapReduce public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String[] words = value.toString().split(" "); for (String word : words) { context.write(new Text(word), new IntWritable(1)); } }
- 21. Hadoop - MapReduce public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; for (IntWritable value : values) { sum += value.get(); } context.write(key, new IntWritable(sum)); }
- 23. Pig “Apache Pig éuma plataforma para analisar grandes data sets que é composta por uma linguagem de alto nível para expressar programas de análise de dados e infraestrutura para executar esses programas.” http://pig.apache.org/
- 24. Pig Linguagem de altonível Suporte a UDFs Operadores relacionais (Group, Join, Cross) Modo local e interativo
- 25. Pig A = LOAD‘logs/2014/12‘ AS (f1:int,f2:int,f3:int); DUMP A; (1,2,3) (4,2,1) (4,3,3) B = GROUP A BY f1; DUMP B; (1,{(1,2,3)}) (4,{(4,2,1),(4,3,3)}) X = FOREACH B GENERATE COUNT(A); DUMP X; (1L) (2L)
- 27. Hive “ O ApacheHive é um software de data warehouse que facilita realizar consultas e gerenciar grandes data sets que são armazenados de forma distribuída, provendo um mecanismo para estruturar e consultar esses dados usando uma linguagem parecida com SQL, chamada HiveQL.” http://hive.apache.org/
- 28. Hive Traduz SQL paraMapReduce Estrutura dados como tabelas Suporte a UDFs Não é OLTP
- 29. Hive INSERT OVERWRITE TABLEpv_gender_sum SELECT pv_users.gender, count (DISTINCT pv_users.userid) FROM pv_users GROUP BY pv_users.gender;
- 30.
- 31.
- 32.
- 33. Casos de Uso Análisede logs Engines de recomendação Processos ETL Eleições presidenciais Previsão de horário de pouso
- 34.
- 35. Demo Contar palavras noHadoop
- 36.