2. CONCEITOS 2
"Big Data são ativos de informação de alto volume, velocidade e
variedade que exigem formas rentáveis e inovadoras de processamento
de informação para maior insight e tomada de decisão.” (Gartner, 2013).
"Big Data é um termo que descreve dados variáveis, complexos, de
grande volume e de alta velocidade que exigem técnicas e tecnologias
avançadas para permitir a captura, armazenamento, distribuição,
gerenciamento e análise da informação.” (TechAmerica , 2012)
4. CARACTERÍSTICAS TRADICIONAIS DOS DADOS 4
Números;
Gerado por aplicações (ERP, CRM…);
Banco de Dados bem definidos;
Os atributos dos dados dificilmente mudam;
Estão dentro da empresa;
O armazenamento é centralizado.
5. PROCESSAMENTO TRADICIONAIS DOS DADOS 5
Pequenas distâncias entre origem e uso;
Transferências instantâneas;
Tela para banco de dados;
Banco de dados / processamento / banco de dados
Banco de dados para relatórios;
Validação dos dados na origem;
Dados resumidos e calculados.
6. ARQUITETURA DOS DADOS TRADICIONAL 6
Armazenamento dos dados Centralizados;
3 Camadas (Persistência, Lógica e Apresentação)
Mudanças requerem projetos de ciclo de vida
completos.
7. DESAFIOS DOS DADOS TRADICIONAL 7
Não é possível manipular processamento de texto de forma econômica;
Não é possível manipular dados incompletos e não confiáveis;
Alto custo de armazenamento de texto (Hardware e Software);
Backup e restore consomem muito tempo;
Alto gerenciamento / custo de licenciamento;
Mudanças no banco tomam muito tempo para refazer aplicação.
8. CARACTERÍSTICAS APLICAÇÕES BIG DATA 8
Dados estão na faixa de Tera ou Peta Bytes
Mais do que uma origem dos dados;
Dados de texto ou mídia (áudio, vídeo, imagens…);
Carga de processamento gigantesca;
Processamento de streaming em tempo real;
Análises avançadas;
Custo de manipulação relativamente barato;
9. MODELO BIG DATA 9
OBTER
TRANSPORTAR
TRANSFORMAR
PERSISTIR
REPORTAR
ANALISAR
GERENCIAR
10. MODELO BIG DATA 10
OBTER
Arquivos (texto, cvs, json, xml…)
SGBDR (SQL, Joins, Group By…)
REST
Streaming
11. MODELO BIG DATA 11
Mover /copiar arquivos
SFTP
Apache Sqoop
TRANSPORTAR
13. MODELO BIG DATA 13
Limpar
Filtrar
Padronizar
Enriquecer
Integrar
TRANSFORMAR
14. MODELO BIG DATA 14
Extrair dados da persistência
Autenticação
tempo real
gráficos
REPORTAR
15. MODELO BIG DATA 15
Descritiva: entender o que aconteceu;
Exploratória: Descobrir porque algo aconteceu;
Inferência: a população de uma amostra;
Preditiva: previsão do que vai acontecer;
Causal: O que acontece com uma variável se mudar outra;
Deep: Técnica avançada para grandes dados e múltiplas origens.
ANALISAR Tipos de Análise