Mais conteúdo relacionado Semelhante a Adriano Amaral - Novas Tendências (20) Adriano Amaral - Novas Tendências1. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Big, Fast e Opendata
Transformando dados em ouro
MSEE, Adriano Amaral
adriano.amaral@oracle.com
Big Data & Data Science
1
2. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
“Na era da Internet, nós
não podemos confrontar
os desafios do futuro,
fazendo as coisas que
fazíamos a 20 anos
atrás”
Executivo do CaixaBank quando da
implementação do “data pool” e
experiência do usuário laboratório
2
Inspiração
4. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 4
Os alquimistas estão chegando….
6. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 6
Cidadãos
Demanda de novos serviços
Governos e Empresas
Adaptação para atender as
necessidades
Slide, Arturo Muente-Kunigami
@n0wh3r3m4n
7. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 7
http://www.clickestudante.com/resultado-dos-protestos-pelo-brasil.html
8. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. |
As 3 Leis da Economia dos Dados
1. Dados advém da atividade;
2. Dados tendem a gerar mais dados;
3. Dados em plataformas, não isoladamente;
9. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. Oracle Confidential – Internal
Caminho dos dados!
0
20
40
60
80
100
120
140
2011 2012 2013 2014 2015 2016 2017
Milhares
Dados no SGBD
20%+
Dados fora do SGBD
crescendo a taxas
40%+
IDC: Structured Versus Unstructured Data: The Balance of Power Continues to Shift. #247106. Table 1. Page 9
10. Fato: Hadoop mais usado para dados estruturados
10
E mais uma coisinha… pesquisas da TDWI e Gartner
indicam que Data Warehouses maduros, hoje, já
acomodam diversos dados não-estruturados ou semi-
estruturados!
Maior parte das aplicações em Hadoop são
utilizando fontes de repositórios
estruturados;
Muitos dados ditos como “não
estruturados” em uso no Hadoop, na
verdade são estruturados (ex.: web log
analytics e analise de sentimento são
tipicamente impusionados por JSON ou
XML)
11. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Opendata
Revolution
Apenas começando!
11
http://www.economist.com/news/international/21678833-open-data-
revolution-has-not-lived-up-expectations-it-only-
getting?fsrc=scn/tw_ec/out_of_the_box
12. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Proximo www.
Revolução 20 anos!
12
13. Copyright © 2015 Oracle and/or its affiliates. All rights reserved. | 13
dataLab
1.Design
2.Construção
3.Libere
4.Revise
Fonte: Adaptado Modelo Ágil
Dados
Cidadão/Cliente
14. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 14
Inovação Aberta
16. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados em Valor
Como extrair valor dos dados?
16
20. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Mais Valor…
Visão G20
20
21. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Luta contra a
corrupção…
Muito além disso!
21
22. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados da Camara
Proposição de retorno
22
23. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados da Educação
Avaliação, acompanhamento das
escolas públicas!
23
24. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Mexico ICMO
Fraudes na Educação
24
25. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Prescrições
Economia e desvios
25
http://www.economist.com/news/britain/21567980-how-scrutiny-freely-available-data-might-save-nhs-money-
beggar-thy-neighbour
26. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Triagem médica
usando dados da
saúde…
26
27. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Complicações cirúrgicas e monitoramento da qualidade dos serviços hospitalares, a partir dos Dados
27
Monitoramento de Estabelecimentos de Saúde
28. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Governança
Caso Nigéria!
28
29. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Atacado
Mercado de energia renovável!
29
https://piclo.uk
30. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Agua
Dados em Agua
30
32. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Bigdata: Definição…
32
“Big Data é qualquer dado que é caro demais
para gerenciar e extrair valor”
Michael Franklin
Thomas M. Siebel Professor of Computer Science
Director of the Algorithms, Machines and People Lab
University of Berkeley
33. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Dinâmico e
Integral
Estático e
Sistêmico
34. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted
Simplificado e
Sêmantico
Modelagem e
Complexidade
Orientado aos Dados
First Nat Bank
of Philadelphia
Wachovia
Wells Fargo
Crocker NationalFirst
Union
Norwest
Is owned by
Now known as
Now known as
Now known asNow known as
Core
States
Now known as
35. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | 35
MapReduce
No-SQL
Linked Data
Machine Learning
Real-time ingestion
} Maquina de
DadosProcessamento Grafo
36. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 36
Cadeia de Valor dos Dados
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
INTELIGÊNCIA
NECESSIDADE
Informação
Dados
Decisões
Insights
Resultados
37. Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential 37
Compartilhando uma visão…
Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |
Dados
Open Data
Big Data
38. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Company Confidential
Impacto
de Eventos
Reservatório
Dados
Fabrica de
Dados
Repositório de
Informações
Análise e
Insights
Lab. Descoberta
Informação
Ativa
Descobertas
Continuas
Fluxo de Dados
Investigação
Descoberta
Saídas
Descobertas
Eventos &
Dados
38
Dados Conhecidos
Novos Dados
Motor Decisão
Investigação
Gestão
Governança e
Controle dos Casos
Segurança dos
Dados e Casos
Opendata
Inovação
Rapida
39. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal
Descoberta dos Dados, não modelagem
Virando a mesa, e criando inovação!
Aquisição
Aquisição dos dados
baseados em
parâmetros
investigativos pré-
definidos e dinâmicos
Busca
Identificação dos
dados mais
relevantes no
contexto
investigativo e
fácil acesso aos
mesmos
Entendimento
Enquadramento dos
dados baseado em
sua significância e
valor das informações
contidas,
entendimento dos
relacionamentos
Ajustes
Ferramentas para
higienização e
enriquecimento
dos dados de
maneira ágil e
dinamica
Análise
Constatações e
validações de
hipóteses
investigativas e
formulação de
novas hipóteses,
primeiros
resultados
Colaboração
Publicar os casos de
investigação a
revisão de outros
agentes e analistas,
feedback de
procuradores e
jurisprudências
Descoberta
Desvelar
elementos
ocultos e novos
no processo
investigativo
fomentando
novas fontes e
insights
39
Tempo
40. Copyright © 2014, Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal 40
Big data vivo …. O Hadoop Visual e Fácil
Explore
TransformeDescubra
Encontre