O documento apresenta os conceitos e características de Big Data, destacando que se trata de dados de alto volume, velocidade e variedade que exigem novas formas de processamento e análise para obter insights. É descrito o modelo tradicional de dados e suas limitações, e em seguida o modelo de Big Data que permite obter, transportar, transformar, armazenar, reportar, analisar e gerenciar grandes volumes de dados diversos.

1. BIG DATA
WORKSHOP
humberto@humbertomoura.com.br
Humberto Moura

2. CONCEITOS 2
"Big Data são ativos de informação de alto volume, velocidade e
variedade que exigem formas rentáveis e inovadoras de processamento
de informação para maior insight e tomada de decisão.” (Gartner, 2013).
"Big Data é um termo que descreve dados variáveis, complexos, de
grande volume e de alta velocidade que exigem técnicas e tecnologias
avançadas para permitir a captura, armazenamento, distribuição,
gerenciamento e análise da informação.” (TechAmerica , 2012)

3. TÓPICO 3
BIG DATA
3
Volume,
Velocidade,
Variedade,
Veracidade,
Valor

4. CARACTERÍSTICAS TRADICIONAIS DOS DADOS 4
Números;
Gerado por aplicações (ERP, CRM…);
Banco de Dados bem definidos;
Os atributos dos dados dificilmente mudam;
Estão dentro da empresa;
O armazenamento é centralizado.

5. PROCESSAMENTO TRADICIONAIS DOS DADOS 5
Pequenas distâncias entre origem e uso;
Transferências instantâneas;
Tela para banco de dados;
Banco de dados / processamento / banco de dados
Banco de dados para relatórios;
Validação dos dados na origem;
Dados resumidos e calculados.

6. ARQUITETURA DOS DADOS TRADICIONAL 6
Armazenamento dos dados Centralizados;
3 Camadas (Persistência, Lógica e Apresentação)
Mudanças requerem projetos de ciclo de vida
completos.

7. DESAFIOS DOS DADOS TRADICIONAL 7
Não é possível manipular processamento de texto de forma econômica;
Não é possível manipular dados incompletos e não confiáveis;
Alto custo de armazenamento de texto (Hardware e Software);
Backup e restore consomem muito tempo;
Alto gerenciamento / custo de licenciamento;
Mudanças no banco tomam muito tempo para refazer aplicação.

8. CARACTERÍSTICAS APLICAÇÕES BIG DATA 8
Dados estão na faixa de Tera ou Peta Bytes
Mais do que uma origem dos dados;
Dados de texto ou mídia (áudio, vídeo, imagens…);
Carga de processamento gigantesca;
Processamento de streaming em tempo real;
Análises avançadas;
Custo de manipulação relativamente barato;

9. MODELO BIG DATA 9
OBTER
TRANSPORTAR
TRANSFORMAR
PERSISTIR
REPORTAR
ANALISAR
GERENCIAR

10. MODELO BIG DATA 10
OBTER
Arquivos (texto, cvs, json, xml…)
SGBDR (SQL, Joins, Group By…)
REST
Streaming

11. MODELO BIG DATA 11
Mover /copiar arquivos
SFTP
Apache Sqoop
TRANSPORTAR

12. MODELO BIG DATA 12
Arquivos
SGBD
HDFS
PERSISTIR

13. MODELO BIG DATA 13
Limpar
Filtrar
Padronizar
Enriquecer
Integrar
TRANSFORMAR

14. MODELO BIG DATA 14
Extrair dados da persistência
Autenticação
tempo real
gráficos
REPORTAR

15. MODELO BIG DATA 15
Descritiva: entender o que aconteceu;
Exploratória: Descobrir porque algo aconteceu;
Inferência: a população de uma amostra;
Preditiva: previsão do que vai acontecer;
Causal: O que acontece com uma variável se mudar outra;
Deep: Técnica avançada para grandes dados e múltiplas origens.
ANALISAR Tipos de Análise

16. MODELO BIG DATA 16
ANALISAR

17. INTRODUÇÃO AO TABLEAU 17
http://
download.inep.gov.br//
educacao_basica/
enem/
enem_por_escola/
2015/
Planilhas_Enem_2015_
download.xlsx
Download para prática:
http://www.tableau.com/pt-br/products/desktop

18. OBRIGADO! 18
OBRIGADO!