Fabiane Bizinella Nardon
@fabianenardon
O Verdadeiro Big Data:
Oportunidades e
Desafios
www.tail.digital
BIG DATA
Todos os seus dados não cabem
em uma só máquina
byFernandoStankuns
Você está falando mais em
Terabytes
do que em Gigabytes
A quantidade de dados que você
processa cresce constantemente. E
deve dobrar no ano que vem.
2,5 Exabytes de dados são
produzidos todos os dias.
Em 1 ano equivale a uma pilha de 873 mil Km de
DVDs
INTERNET
CLOUD COMPUTING
IOT
Processamento Distribuído
INTERNET
CLOUD COMPUTING
IOT
Mais dados foram produzidos nos últimos 2 anos do
que em todo o resto da história humana
A cada minuto, 300 horas de vídeo são enviadas para
o YouTube
Uma única pesquisa do Google usa 1.000
computadores para respondê-la em 0.2 segundos
Varejistas que usarem todo o poder dos dados podem
aumentar sua margem operacional em 60%
Calcula-se que apenas
0.5% dos dados produzidos
são analisados
Fonte: The Data Made Me Do It, MIT, 2013
DATA SCIENCE
DATA SCIENCE
=
BIG DATA
+
ESTATÍSTICA
+
INTELIGÊNCIA ARTIFICIAL
DATA SCIENCE
DATA SCIENCE
PUBLICIDADE DIGITAL
Real Time Bidding
Ad Exchange
DSP DSP DSP
Real Time Bidding
Ad Exchange
DSP DSP DSP
?
DADOS
OU
DATA MARKETPLACES
80% PREPARAÇÃO DOS
DADOS
20% ALGORITMOS
DETECÇÃO DE PADRÕES
MULHERES EM TERAPIA DE REPOSIÇÃO
HORMONAL TÊM MENOS RISCO DE
DOENÇAS CARDÍACAS
MULHERES EM TERAPIA DE REPOSIÇÃO
HORMONAL TÊM MENOS RISCO DE
DOENÇAS CARDÍACAS
MULHERES EM TERAPIA DE REPOSIÇÃO
HORMONAL TINHAM UMA CONDIÇÃO
SÓCIO ECONÔMICA MELHOR E POR ISSO
TINHA MENOS RISCO DE DOENÇAS
CARDÍACAS
E-HARMONY
DATA SCIENCE É RESPONSÁVEL POR
5% DOS CASAMENTOS NOS EUA
MATCHING POR AFINIDADE
PREFERÊNCIA GASTRONÔMICA
25% -1% -24% 20% 13%
9% -5% -27% 7% 0%
-12% -21% -42% 19% -23%
19% 0% -28% 28% 10%
9% -11% -35% 11% 44%
25%
-42%
44%
MATCHING POR AFINIDADE
Diferença de altura
MATCHING POR AFINIDADE
NÍVEL DE ZOOM
Número de divórcios
Fonte: “Marital Satisfaction and Break-ups Differ
across On-line and Off-line Meeting Venues,”
Proceedings of the National Academy of Sciences.
7.67 %
5.96 %
Offline Online
PREDIÇÃO
NETFLIX
75% DA AUDIÊNCIA DO
NETFLIX VEM DO ALGORITMO
DE RECOMENDAÇÃO
LEARNING TO RANK
DEEP LEARNING
HTTPS://QUICKDRAW.WITHGOOGLE.COM
NVIDEA SELF DRIVEN CARS
Fonte: http://cortica.com/
Fonte: http://cortica.com/
Fabiane Bizinella Nardon
@fabianenardon
O Verdadeiro Big Data:
Oportunidades e
Desafios
www.tail.digital

O verdadeiro big data - Fabiane Nardon

Notas do Editor

  • #6 Tail: 1.5 bilhões de novos registros por dia
  • #12 Fonte: http://www.forbes.com/sites/bernardmarr/2015/09/30/big-data-20-mind-boggling-facts-everyone-must-read/#30c7620a6c1d
  • #22 Exemplo: loja de venda de ingressos para shows. Como saber a preferência musical para oferecer o show certo?
  • #30 14 milhões de usuários Coleta todos os sinais
  • #37 - Nada é jogado fora: hora que assitiu, tempo de assistiu do filme, browsing que foi feito, etc. Em 2006 um concurso ofereceu 1 milhão para quem melhorasse o algoritmo em 10% - Um ano depois de lançado o prêmio, um grupo ganhou um prêmio de progresso com os algoritmos que foram efetivamente implementados. Eles aumentavam cerca de 8.9%. No final do concurso, o vencedor foi outro, mas o algoritmo vencedor nunca foi implementado, pois o ganho não era suficiente para justificar o custo de implementação.
  • #39 - House of Cards: número de pessoas que viam filmes do Kevin Spacey e do diretor David Fincher e gostavam da série House of Cards da BBC. Fizeram 6 trailers diferentes e mostravam o trailer de acordo com os gostos de cada pessoa.