SlideShare uma empresa Scribd logo
Big Data Analytics
Guilherme Garcia <guilesgarcia@gmail.com>,
Luiz Guilherme <guilherme@hinkelmann.com.br>
1
Sumário.
1. Introdução
a. O que é big data?
b. O que é Big Data Analytics?
2. Processos de análise de dados
a. Coleta de dados
b. Preparação
c. Descoberta
d. Visualização
3. Principais Ferramentas
a. Panda
b. R
4. Plataformas
5. Conclusão
2
Big data
Conjunto de tecnologias para captura, armazenamento e análise de grandes
volumes de dados.
São ativos de informação de extremo volume, alta velocidade e grande
diversidade que demandam formas inovadoras e econômicas de
processamento para melhores tomadas de decisão e insights.
3
Defining Big Data Via the Three Vs
Fonte: (RUSSOM, 2011)
4
Defining Big Data Via the Three Vs
Volume: temos a imensidão de dados gerados pelos sistemas transacionais,
objetos na Internet das Coisas, como sensores e câmeras, e os gerados nas
mídias sociais via PCs, smartphones e tablets.
Variedade: dados textuais estruturados como não estruturados como fotos,
vídeos, e-mails e tweets.
Velocidade: muitas vezes precisamos responder aos eventos quase que em
tempo real, ou seja, estamos falando de criação e tratamento de dados em
volumes massivos.
5
Aumento de dados
O uso de dados aumentou na última década, já que o mundo entrou em uma
era digital.
O mercado em expansão de telefones celulares e dispositivos inteligentes
com capacidade de comunicação digital aumentou significativamente o uso
de dados
Necessidade de poderosas ferramentas de análise para analisar os dados de
forma significativa
(PEISKER, DALAI, 2015)
6
Big data analytics
Big data analytics de refere-se a ferramentas e metodologias que visam
transformar quantidades maciças de dados brutos em "dados sobre os
dados" - para fins analíticos. (PEISKER, DALAI, 2015)
Big data analytics é onde as técnicas avançadas de análise operam em
grandes dados. (RUSSOM, 2011)
7
Análise de dados
● Extrair conhecimento e informações úteis de dados para tomar melhores
decisões.
8
9
10
Fonte: (Corea, 2016)
Fluxo
Processos de análise de dados
1. Coleta de dados
2. Preparação
3. Descoberta
4. Visualização
11
Coleta de dados
● APIs
● Apps
● Arquivos
● Crawlers
● Sistema de arquivos
12
13
14
● Compreensão do conjuntos de dados
● Verificação de possíveis problemas com os dados
● Formatação de dados
● Mesclagem
O que é feito após a coleta?
15
Preparação
Os dados são preparados para análise
Ferramentas:
Pandas
Numpy
16
Descoberta
● Aprendizado de máquina
● Grafos
Ferramentas:
● Scikit
● NetworkX
17
Scikit
18
NetworkX
19
Visualização
Os dados precisam ser apresentáveis e entendíveis
Ferramentas:
● D3js
● Matplotlib
20
D3js
21
Matploitlib
22
Principais Ferramentas -
● Pandas (python)
● R
23
Pandas
Pandas é uma biblioteca escrita em Python para análise de dados, similar a
linguagem R, Matlab, SAS.
24
Exemplo de Pandas
25
Linguagem R
Software livre para manipulação de informações, elaboração de cálculos e
desenho de gráficos.
Surgiu como alternativa livre a linguagem S
Criada em 1993 por Ross Ihaka e Robert Gentleman
26
Exemplo R
27
Exemplo R
28
Plataformas
● Apache Haddop
● Spark
29
30
31
32
Fonte: (Corea, 2016)
33Fonte: (Corea, 2016)
Fontes
PEISKER, Anu; DALAI, Soumya. Data analytics for rural development. Indian Journal of Science and Technology, v. 8,
n. S4, p. 50-60, 2015.
PYNE, Saumyadipta; RAO, BLS Prakasa; RAO, S. B. Big Data Analytics: Views from Statistical and
Computational Perspectives. In: Big Data Analytics. Springer India, 2016.
COREA, Francesco. Big Data Analytics: A Management Perspective. Springer, 2016.
RUSSOM, Philip et al. Big data analytics. TDWI best practices report, fourth quarter, v. 19, p. 40, 2011.
https://www.dataquest.io/blog/python-vs-r/
34

Mais conteúdo relacionado

Semelhante a Big Data Analytics

Big Data - Conceitos Básicos
Big Data - Conceitos BásicosBig Data - Conceitos Básicos
Big Data - Conceitos Básicos
Christiano Anderson
 
Palestra Big Data SCTI
Palestra Big Data SCTIPalestra Big Data SCTI
Palestra Big Data SCTI
Bruna Pereira
 
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software LivrePalestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Ambiente Livre
 
Palestra Introdução a Big Data
Palestra Introdução a Big DataPalestra Introdução a Big Data
Palestra Introdução a Big Data
Amtera Semantic Systems
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinoware
Marcos Vinicius Fidelis
 
Big Data Latinoware 2014
Big Data Latinoware 2014Big Data Latinoware 2014
Big Data Latinoware 2014
Christiano Anderson
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2
alexculpado
 
BIG DATA
BIG DATABIG DATA
Big data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aí
Allexandre Sampaio
 
Diálogos entre cientistas de dados e cientistas sociais
Diálogos entre cientistas de dados e cientistas sociais Diálogos entre cientistas de dados e cientistas sociais
Diálogos entre cientistas de dados e cientistas sociais
Simposio Internacional Network Science
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big data
Felipe Ferraz
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
pccdias
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dados
Dayane Cristine Leite
 
Pentaho Weka latinoware
Pentaho Weka latinowarePentaho Weka latinoware
Pentaho Weka latinoware
Marcos Vinicius Fidelis
 
Curadoria de dados de pesquisa
Curadoria de dados de pesquisaCuradoria de dados de pesquisa
Curadoria de dados de pesquisa
Ana Carolina Simionato
 
Luis gregorio big data
Luis gregorio   big dataLuis gregorio   big data
Luis gregorio big data
iseltech
 
Data Mining
Data Mining Data Mining
Data Mining
Jaziel Silva
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisões
Marlesson Santana
 
Big Data e suas Vertentes
Big Data e suas VertentesBig Data e suas Vertentes
Big Data e suas Vertentes
Unicamp
 
BIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à PraticaBIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à Pratica
Daniel Checchia
 

Semelhante a Big Data Analytics (20)

Big Data - Conceitos Básicos
Big Data - Conceitos BásicosBig Data - Conceitos Básicos
Big Data - Conceitos Básicos
 
Palestra Big Data SCTI
Palestra Big Data SCTIPalestra Big Data SCTI
Palestra Big Data SCTI
 
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software LivrePalestra: Cientista de Dados – Dominando o Big Data com Software Livre
Palestra: Cientista de Dados – Dominando o Big Data com Software Livre
 
Palestra Introdução a Big Data
Palestra Introdução a Big DataPalestra Introdução a Big Data
Palestra Introdução a Big Data
 
Palestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinoware
 
Big Data Latinoware 2014
Big Data Latinoware 2014Big Data Latinoware 2014
Big Data Latinoware 2014
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2
 
BIG DATA
BIG DATABIG DATA
BIG DATA
 
Big data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aí
 
Diálogos entre cientistas de dados e cientistas sociais
Diálogos entre cientistas de dados e cientistas sociais Diálogos entre cientistas de dados e cientistas sociais
Diálogos entre cientistas de dados e cientistas sociais
 
Futurecom - Big data
Futurecom - Big dataFuturecom - Big data
Futurecom - Big data
 
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslidesharePalestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
Palestra big data_e_mineracao_dedados_5agosto13-versaoslideshare
 
Data Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dadosData Science - A arte de estudar e analisar dados
Data Science - A arte de estudar e analisar dados
 
Pentaho Weka latinoware
Pentaho Weka latinowarePentaho Weka latinoware
Pentaho Weka latinoware
 
Curadoria de dados de pesquisa
Curadoria de dados de pesquisaCuradoria de dados de pesquisa
Curadoria de dados de pesquisa
 
Luis gregorio big data
Luis gregorio   big dataLuis gregorio   big data
Luis gregorio big data
 
Data Mining
Data Mining Data Mining
Data Mining
 
Ciência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisões
 
Big Data e suas Vertentes
Big Data e suas VertentesBig Data e suas Vertentes
Big Data e suas Vertentes
 
BIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à PraticaBIGDATA: Da teoria à Pratica
BIGDATA: Da teoria à Pratica
 

Mais de Guilherme Hinkelmann

Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
Bloco de Controle de atividades pendentes - Moodle Moot BR 2018 Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
Guilherme Hinkelmann
 
Repensando um Ambiente Virtual de Aprendizagem: um relato da reformulação do...
Repensando um Ambiente Virtual de Aprendizagem:  um relato da reformulação do...Repensando um Ambiente Virtual de Aprendizagem:  um relato da reformulação do...
Repensando um Ambiente Virtual de Aprendizagem: um relato da reformulação do...
Guilherme Hinkelmann
 
ACESSIBILIDADE E RESPONSIVIDADE EM VIDEOAULAS: desenvolvimento de uma plata...
ACESSIBILIDADE E  RESPONSIVIDADE EM VIDEOAULAS:  desenvolvimento de uma plata...ACESSIBILIDADE E  RESPONSIVIDADE EM VIDEOAULAS:  desenvolvimento de uma plata...
ACESSIBILIDADE E RESPONSIVIDADE EM VIDEOAULAS: desenvolvimento de uma plata...
Guilherme Hinkelmann
 
Programação Funcional Reativa (FRP)
Programação Funcional Reativa (FRP)Programação Funcional Reativa (FRP)
Programação Funcional Reativa (FRP)
Guilherme Hinkelmann
 
Traits, mixins e classes parciais
Traits, mixins e classes parciaisTraits, mixins e classes parciais
Traits, mixins e classes parciais
Guilherme Hinkelmann
 
Linux para leigos
Linux para leigos Linux para leigos
Linux para leigos
Guilherme Hinkelmann
 

Mais de Guilherme Hinkelmann (6)

Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
Bloco de Controle de atividades pendentes - Moodle Moot BR 2018 Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
Bloco de Controle de atividades pendentes - Moodle Moot BR 2018
 
Repensando um Ambiente Virtual de Aprendizagem: um relato da reformulação do...
Repensando um Ambiente Virtual de Aprendizagem:  um relato da reformulação do...Repensando um Ambiente Virtual de Aprendizagem:  um relato da reformulação do...
Repensando um Ambiente Virtual de Aprendizagem: um relato da reformulação do...
 
ACESSIBILIDADE E RESPONSIVIDADE EM VIDEOAULAS: desenvolvimento de uma plata...
ACESSIBILIDADE E  RESPONSIVIDADE EM VIDEOAULAS:  desenvolvimento de uma plata...ACESSIBILIDADE E  RESPONSIVIDADE EM VIDEOAULAS:  desenvolvimento de uma plata...
ACESSIBILIDADE E RESPONSIVIDADE EM VIDEOAULAS: desenvolvimento de uma plata...
 
Programação Funcional Reativa (FRP)
Programação Funcional Reativa (FRP)Programação Funcional Reativa (FRP)
Programação Funcional Reativa (FRP)
 
Traits, mixins e classes parciais
Traits, mixins e classes parciaisTraits, mixins e classes parciais
Traits, mixins e classes parciais
 
Linux para leigos
Linux para leigos Linux para leigos
Linux para leigos
 

Último

Aula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptxAula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptx
LILIANPRESTESSCUDELE
 
O que é um Ménage a Trois Contemporâneo .pdf
O que é um Ménage a Trois Contemporâneo .pdfO que é um Ménage a Trois Contemporâneo .pdf
O que é um Ménage a Trois Contemporâneo .pdf
Pastor Robson Colaço
 
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdfUFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
Manuais Formação
 
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdfA QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
AurelianoFerreirades2
 
Educação trabalho HQ em sala de aula uma excelente ideia
Educação  trabalho HQ em sala de aula uma excelente  ideiaEducação  trabalho HQ em sala de aula uma excelente  ideia
Educação trabalho HQ em sala de aula uma excelente ideia
joseanesouza36
 
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdfCRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
soaresdesouzaamanda8
 
Famílias Que Contribuíram Para O Crescimento Do Assaré
Famílias Que Contribuíram Para O Crescimento Do AssaréFamílias Que Contribuíram Para O Crescimento Do Assaré
Famílias Que Contribuíram Para O Crescimento Do Assaré
profesfrancleite
 
D20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua PortuguesaD20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua Portuguesa
eaiprofpolly
 
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptxAVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
AntonioVieira539017
 
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdfUFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
Manuais Formação
 
Atividade letra da música - Espalhe Amor, Anavitória.
Atividade letra da música - Espalhe  Amor, Anavitória.Atividade letra da música - Espalhe  Amor, Anavitória.
Atividade letra da música - Espalhe Amor, Anavitória.
Mary Alvarenga
 
Potenciação e Radiciação de Números Racionais
Potenciação e Radiciação de Números RacionaisPotenciação e Radiciação de Números Racionais
Potenciação e Radiciação de Números Racionais
wagnermorais28
 
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptxSlides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
LuizHenriquedeAlmeid6
 
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
YeniferGarcia36
 
Pintura Romana .pptx
Pintura Romana                     .pptxPintura Romana                     .pptx
Pintura Romana .pptx
TomasSousa7
 
05-os-pre-socraticos sociologia-28-slides.pptx
05-os-pre-socraticos sociologia-28-slides.pptx05-os-pre-socraticos sociologia-28-slides.pptx
05-os-pre-socraticos sociologia-28-slides.pptx
ValdineyRodriguesBez1
 
slides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentarslides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentar
JoeteCarvalho
 
cronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdfcronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdf
todorokillmepls
 
karl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vidakarl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vida
KleginaldoPaz2
 
Estrutura Pedagógica - Laboratório de Educação a Distância.ppt
Estrutura Pedagógica - Laboratório de Educação a Distância.pptEstrutura Pedagógica - Laboratório de Educação a Distância.ppt
Estrutura Pedagógica - Laboratório de Educação a Distância.ppt
livrosjovert
 

Último (20)

Aula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptxAula 2 - Revisando o significado de fração - Parte 2.pptx
Aula 2 - Revisando o significado de fração - Parte 2.pptx
 
O que é um Ménage a Trois Contemporâneo .pdf
O que é um Ménage a Trois Contemporâneo .pdfO que é um Ménage a Trois Contemporâneo .pdf
O que é um Ménage a Trois Contemporâneo .pdf
 
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdfUFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
UFCD_3546_Prevenção e primeiros socorros_geriatria.pdf
 
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdfA QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
A QUESTÃO ANTROPOLÓGICA: O QUE SOMOS OU QUEM SOMOS.pdf
 
Educação trabalho HQ em sala de aula uma excelente ideia
Educação  trabalho HQ em sala de aula uma excelente  ideiaEducação  trabalho HQ em sala de aula uma excelente  ideia
Educação trabalho HQ em sala de aula uma excelente ideia
 
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdfCRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
CRONOGRAMA - PSC 2° ETAPA 2024.pptx (1).pdf
 
Famílias Que Contribuíram Para O Crescimento Do Assaré
Famílias Que Contribuíram Para O Crescimento Do AssaréFamílias Que Contribuíram Para O Crescimento Do Assaré
Famílias Que Contribuíram Para O Crescimento Do Assaré
 
D20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua PortuguesaD20 - Descritores SAEB de Língua Portuguesa
D20 - Descritores SAEB de Língua Portuguesa
 
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptxAVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
AVALIAÇÃO DIAGNÓSTICA - 8º ANO 2024.pptx
 
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdfUFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
UFCD_10145_Enquadramento do setor farmacêutico_indice.pdf
 
Atividade letra da música - Espalhe Amor, Anavitória.
Atividade letra da música - Espalhe  Amor, Anavitória.Atividade letra da música - Espalhe  Amor, Anavitória.
Atividade letra da música - Espalhe Amor, Anavitória.
 
Potenciação e Radiciação de Números Racionais
Potenciação e Radiciação de Números RacionaisPotenciação e Radiciação de Números Racionais
Potenciação e Radiciação de Números Racionais
 
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptxSlides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
Slides Lição 11, Central Gospel, Os Mortos Em CRISTO, 2Tr24.pptx
 
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
000. Para rezar o terço - Junho - mês do Sagrado Coração de Jesús.pdf
 
Pintura Romana .pptx
Pintura Romana                     .pptxPintura Romana                     .pptx
Pintura Romana .pptx
 
05-os-pre-socraticos sociologia-28-slides.pptx
05-os-pre-socraticos sociologia-28-slides.pptx05-os-pre-socraticos sociologia-28-slides.pptx
05-os-pre-socraticos sociologia-28-slides.pptx
 
slides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentarslides de Didática 2.pdf para apresentar
slides de Didática 2.pdf para apresentar
 
cronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdfcronograma-enem-2024-planejativo-estudos.pdf
cronograma-enem-2024-planejativo-estudos.pdf
 
karl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vidakarl marx biografia resumida com suas obras e história de vida
karl marx biografia resumida com suas obras e história de vida
 
Estrutura Pedagógica - Laboratório de Educação a Distância.ppt
Estrutura Pedagógica - Laboratório de Educação a Distância.pptEstrutura Pedagógica - Laboratório de Educação a Distância.ppt
Estrutura Pedagógica - Laboratório de Educação a Distância.ppt
 

Big Data Analytics

  • 1. Big Data Analytics Guilherme Garcia <guilesgarcia@gmail.com>, Luiz Guilherme <guilherme@hinkelmann.com.br> 1
  • 2. Sumário. 1. Introdução a. O que é big data? b. O que é Big Data Analytics? 2. Processos de análise de dados a. Coleta de dados b. Preparação c. Descoberta d. Visualização 3. Principais Ferramentas a. Panda b. R 4. Plataformas 5. Conclusão 2
  • 3. Big data Conjunto de tecnologias para captura, armazenamento e análise de grandes volumes de dados. São ativos de informação de extremo volume, alta velocidade e grande diversidade que demandam formas inovadoras e econômicas de processamento para melhores tomadas de decisão e insights. 3
  • 4. Defining Big Data Via the Three Vs Fonte: (RUSSOM, 2011) 4
  • 5. Defining Big Data Via the Three Vs Volume: temos a imensidão de dados gerados pelos sistemas transacionais, objetos na Internet das Coisas, como sensores e câmeras, e os gerados nas mídias sociais via PCs, smartphones e tablets. Variedade: dados textuais estruturados como não estruturados como fotos, vídeos, e-mails e tweets. Velocidade: muitas vezes precisamos responder aos eventos quase que em tempo real, ou seja, estamos falando de criação e tratamento de dados em volumes massivos. 5
  • 6. Aumento de dados O uso de dados aumentou na última década, já que o mundo entrou em uma era digital. O mercado em expansão de telefones celulares e dispositivos inteligentes com capacidade de comunicação digital aumentou significativamente o uso de dados Necessidade de poderosas ferramentas de análise para analisar os dados de forma significativa (PEISKER, DALAI, 2015) 6
  • 7. Big data analytics Big data analytics de refere-se a ferramentas e metodologias que visam transformar quantidades maciças de dados brutos em "dados sobre os dados" - para fins analíticos. (PEISKER, DALAI, 2015) Big data analytics é onde as técnicas avançadas de análise operam em grandes dados. (RUSSOM, 2011) 7
  • 8. Análise de dados ● Extrair conhecimento e informações úteis de dados para tomar melhores decisões. 8
  • 9. 9
  • 11. Processos de análise de dados 1. Coleta de dados 2. Preparação 3. Descoberta 4. Visualização 11
  • 12. Coleta de dados ● APIs ● Apps ● Arquivos ● Crawlers ● Sistema de arquivos 12
  • 13. 13
  • 14. 14
  • 15. ● Compreensão do conjuntos de dados ● Verificação de possíveis problemas com os dados ● Formatação de dados ● Mesclagem O que é feito após a coleta? 15
  • 16. Preparação Os dados são preparados para análise Ferramentas: Pandas Numpy 16
  • 17. Descoberta ● Aprendizado de máquina ● Grafos Ferramentas: ● Scikit ● NetworkX 17
  • 20. Visualização Os dados precisam ser apresentáveis e entendíveis Ferramentas: ● D3js ● Matplotlib 20
  • 23. Principais Ferramentas - ● Pandas (python) ● R 23
  • 24. Pandas Pandas é uma biblioteca escrita em Python para análise de dados, similar a linguagem R, Matlab, SAS. 24
  • 26. Linguagem R Software livre para manipulação de informações, elaboração de cálculos e desenho de gráficos. Surgiu como alternativa livre a linguagem S Criada em 1993 por Ross Ihaka e Robert Gentleman 26
  • 30. 30
  • 31. 31
  • 34. Fontes PEISKER, Anu; DALAI, Soumya. Data analytics for rural development. Indian Journal of Science and Technology, v. 8, n. S4, p. 50-60, 2015. PYNE, Saumyadipta; RAO, BLS Prakasa; RAO, S. B. Big Data Analytics: Views from Statistical and Computational Perspectives. In: Big Data Analytics. Springer India, 2016. COREA, Francesco. Big Data Analytics: A Management Perspective. Springer, 2016. RUSSOM, Philip et al. Big data analytics. TDWI best practices report, fourth quarter, v. 19, p. 40, 2011. https://www.dataquest.io/blog/python-vs-r/ 34