@malaquiasricardo
BIG
DATA!
@malaquiasricardo
BIG
DATA
Big Data é uma palavra da moda!
Uma ferramenta que resolve tudo
BIGDATA
Mas afinal,
o que é
`BIG DATA`?
5V´s
Velocidade
Volume
Variedade
Veracidade
Valor Banco de Dados
Nuvem
ExaBytes
Dados não estruturados
Internet of Things (IoT)
VBA
Hadoop
Python
R
Alteryx Método dos
Mínimos Quadrados
Pesquisa Operacional
Kmeans
Vector Support Machine
Radial Basis Function
Cálculo Sentimentos
BIG
DATA
@malaquiasricardo
Ideas,
Small
Tudo
começa com
`BIG Ideas`
A Netflix é um exemplo de problemas práticos
1997-2001 2002-2006 2007-2011 2012-atual
Aluguel
on-line
Expansão
EUA
Transmissão
on-line
Expansão
mundial e
conteúdo
2006-2009: Concurso de US$ 1M para
melhorar em 10% o sistema de indicação
...
Atualmente, existem várias opções de produtos...
~6 milTítulos por país
... e são milhões de combinações!!
+300M190 ~6mil
~50
títulos antes da escolha
Títulos por paísPerfisPaíses
Tudo nasceu de problemas de negócio!
Como aumentar
#DVDs alugados?
Como engajar na
plataforma?
Que séries
produzir?
ou ou
Diferentes perguntas levam a
diferentes abordagens/
?
Exemplo: A clássica venda cruzada
Exemplo: Interpretar radiografias
Exemplo: Contratar jogadores de baseball
Sem uma grande ideia, as ferramentas do
`Big Data` são inúteis
Assim como o médico deve ter foco no
pacientes, nós focamos nas `Big Ideas`
Exame clínico
Exame laboratório
Medicamentos
Cirurgia...
(
Estamos falando de um
discurso a favor das `BIG
Ideas` virem primeiro, e não
contra ferramentas de `Big
Data`!
)
Small DATA,
já é o
suficiente
para boas
soluções
x 120.000.000
mais rápido
Apollo
Guidance
Computer
Iphone 6
O homem foi à Lua com 64KB!!
O projeto foi um desafio para a humanidade
“Escolhemos ir à Lua essa década...
Porque esse objetivo canalizará as
nossas melhores energias e
competências, porque esse é um
desafio que nos motiva, que não
aceitaremos prorrogar e que estamos
focados em vencer”
JF Kennedy
Ex-presidente EUA
Hoje, apesar de mais dados, fazemos menos
90%
of all data
generate during
last 2 years
2,5
Exa Bytes/day =
1B Giga Bytes/Day
Data creation
(Conceptual)
Time1969 2017
Outro exemplo
são as
propagandas do
Instagram
O que é preciso
para selecionar
propaganda?
As minhas fotos?
(++++Bytes)
Quem sigo/
minhas hashtags?
(+Bytes)
#actionfigures
#livros
#batman
#marvel
Ferramentas simples já resolvem problemas!
Ferramentas simples já resolvem problemas!
Excel já trata grande quantidade de dados
1M 16KLinhas Colunas
Foco nas variáveis mais importantes
Exemplo: compra carro, quantas variáveis relevantes?
Idade
Carros
pesquisados
Renda
Cidade
Filhos
# tweets
Nome da
avó
...
(
Dois importantes tipos de problema de `Big Data`
Segmentação Previsibilidade
Previsibilidade não é magia negra!!
Comportamentos
Passados
Regras perecíveis
Eventos do tipo
`Cisne Negro`
Greve Caminhoneiros
(Mai-Jun/18)
Credit Score nos EUA Aumento de ataque
cardíaco na mudança de
horário de verão
)
Não é certo que mais dados melhoram modelo
Cuidado para não se afogar em dados
Exemplo: O clima e a previsão de vendas!
E não é uma limitação de máquina!
Processamento de
máquina
Modelagem Matemática
+
Respire fundo antes de mergulhar nas análises...
...pense nas
GRANDES Ideias
por trás do
trabalho...
... e comece com
Poucos DADOS!
BIG
DATA
@malaquiasricardo
Ideas,
Small

Big Ideas, small Data