Big Data em 1H
conceitos, aplicações e o que vem por aí
Olá!
Allexandre
Sampaio
Graduando em Sistemas de Informação,
pesquisador nas áreas de NoSQL e IoT,
entusiasta de Big Data.
2
3
Big Data???
Do que estamos falando?
1
4
1
5
6
Histórico
◇ NASA, anos 90
◇ Dados complexos
◇ Desafio aos limites computacionais
■ Captura
■ Processamento
■ Análise
■ Armazenamento
7
Definições
“Conjuntos de dados extremamente amplos e que, por
este motivo, necessitam de ferramentas especialmente
preparadas para lidar com grandes volumes, de forma
que toda e qualquer informação nestes meios possa ser
encontrada, analisada e aproveitada em tempo hábil.”
[ALECRIM,2013]
8
Definições
“Transformação na forma como a informação é
captada, processada e disseminada em todos os
níveis da sociedade.”
[AVOYAN,2013]
9
Definições
“Análise de grandes quantidades de dados para a
geração de resultados importantes que, em volumes
menores, dificilmente seriam alcançados.”
[ALECRIM,2013]
10
11
Big Data v.s. BI
◇ Orientação temporal: Big Data em tempo real
◇ Orientação analítica:
■ BI é baseado em fatores pré-estabelecidos.
O quê? Quanto? Quando? Onde?
■ Big Data tem algoritmos preditivos e
prescritivos. Por quê? E se? O que
acontecerá? Como otimizar?
Produção e Tráfego
de Dados
Vários múltiplos de “bytes” que não consigo mensurar
2
12
Emails
Blogs
Redes Sociais
Apps
Gadgets
IoT
Smart Cities
13
14
0 a 2003:
5 exabytes
1 exabyte = 1.000.000.000 GB
1 zettabyte = 1.000.000.000 TB
até 2012:
2.7 zettabytes
até 2015:
8.1 zettabytes
15
16
17
Big Data, por quê?
Qual a utilidade disso tudo?
3
18
Motivação
◇ Como tratar estes dados?
◇ Informação é dinheiro!
◇ 1kg de ferro (R$ 3,81) vs. 1kg de satélite (U$$ 50.000)
◇ Usar informações como ativos empresariais
19
Objetivo
Ter, a partir da análise de dados em massa,
informações valiosas sobre o que se analisa.
20
21
Big Data como
profissão
Quais habilidades preciso ter pra entrar nessa onda?
4
22
Redes
◇ Sem redes, sem dados
◇ Alta velocidade
◇ Alta vazão
23
Bancos de Dados
◇ NoSQL
◇ Padrão BASE
◇ Elasticidade
◇ Disponibilidade
◇ Estruturas não definidas
24
Programação
◇ Tratamento de dados
◇ Aplicações de Business Inteligence
◇ Inteligência Artificial/Machine Learning
◇ Exploração de conexões entre dados
25
Design
◇ Dados com valor para o negócio
◇ Facilidade na visualização de
informações
26
Gestão
◇ Finalidade do Big Data
◇ Informações são bens
◇ Auxílio na tomada de decisão
◇ Valorização da TI como ferramenta de
sucesso
27
Aplicações
Exemplos de como isso tudo funciona hoje em dia.
5
28
Saúde
◇ IBM Watson indica os melhores tratamentos para câncer
◇ MIT, Universidade de Michigan, Escola de Medicina de
Harvard e Hospital Brigham desenvolveram app para
indicar possibilidade de ataques cardíacos
◇ A Merck usa big data para identificar padrões que
ajudam no desenvolvimento de vacinas
29
Varejo
◇ Recursos como “outros compraram” e recomendações
◇ A Danone vem usando tecnologias da IBM para
organizar o fornecimento de seus produtos nos EUA
◇ Macy's reduziu de 27h para 1h o tempo necessário para
rever o preço dos produtos à venda na rede de lojas
◇ Walmart usa dados de sensores, redes sociais e outras
fontes para entender o consumidor e atendê-lo melhor
30
31
Meio Ambiente e
Ciência
◇ Sensores em Birmingham medem índices que ajudam na
previsão do tempo
◇ O MIT convidou moradores de Seattle a etiquetarem o
lixo para estudo de logística
◇ O CERN, laboratório suíço que estuda a origem do
universo e outros temas, conta com 65 mil processadores
que analisam 30 petabytes de dados por ano
32
Política
◇ No Rio de Janeiro, o Centro de Operações reúne dados
recolhidos por câmeras e outros suportes a fim de
mapear a cidade e apontar locais com problemas - que
são repassados a 30 órgãos públicos que podem
solucioná-los
◇ Nas eleições de 2012, Barack Obama recolheu por 18
meses dados sobre seus eleitores na internet, visando
compreender os interesses e preocupações deles
33
Economia
◇ A Mattermark e a Bloomberg usam um mecanismo para
prever quem está mais propenso a abrir uma pequena
empresa num grupo de 1,5 milhão de pessoas que vive
nas proximidades de Nova York
◇ O Bank of America registrou um ganho de produtividade e
economizou cerca 15 milhões de dólares após descobrir
que funcionários que conversavam mais atendiam mais
rapidamente
34
Segurança
◇ Em parceria com a Accenture, uma operadora brasileira
desenvolveu um sistema que usa a localização de
smartphones para inibir fraudes em compras com cartão
◇ Governo USA: análise de redes sociais, redes telefônicas e
redes de transmissão de dados, buscando padrões e
palavras-chave de “interesse”. Mensagens
“interessantes” passam por uma análise mais detalhada
ou análise humana
35
Esporte
◇ A NBA fez um acordo com a SAP e a Stats LLC para
oferecer aos telespectadores estatísticas detalhadas dos
times e jogadores do esporte
◇ A Seleção Alemã usou a Match Insights, que processa as
informações geradas em uma partida ou na preparação
para avaliar situações de jogo e indicar treinamentos
36
Dia a dia
37
◇ Tecnologias diversas trabalhando em conjunto para
criar soluções cognitivas
◇ APIs, Serviços de análise, processamento, machine
learning, predição, interação humano-computador...
38
Smart
World?
Só depende
de nós.
39
Obrigado!
Perguntas?
Troco likes, sigo de volta:
◇ fb.com/allexandresampaio
◇ allexandresss@gmail.com
◇ linkedin.com/in/allexandresampaio
40
Template por SlidesCarnival
Imagens por Google Images

Big data em 1h: conceitos, aplicações e o que vem por aí

  • 1.
    Big Data em1H conceitos, aplicações e o que vem por aí
  • 2.
    Olá! Allexandre Sampaio Graduando em Sistemasde Informação, pesquisador nas áreas de NoSQL e IoT, entusiasta de Big Data. 2
  • 3.
  • 4.
    Big Data??? Do queestamos falando? 1 4
  • 5.
  • 6.
    6 Histórico ◇ NASA, anos90 ◇ Dados complexos ◇ Desafio aos limites computacionais ■ Captura ■ Processamento ■ Análise ■ Armazenamento
  • 7.
    7 Definições “Conjuntos de dadosextremamente amplos e que, por este motivo, necessitam de ferramentas especialmente preparadas para lidar com grandes volumes, de forma que toda e qualquer informação nestes meios possa ser encontrada, analisada e aproveitada em tempo hábil.” [ALECRIM,2013]
  • 8.
    8 Definições “Transformação na formacomo a informação é captada, processada e disseminada em todos os níveis da sociedade.” [AVOYAN,2013]
  • 9.
    9 Definições “Análise de grandesquantidades de dados para a geração de resultados importantes que, em volumes menores, dificilmente seriam alcançados.” [ALECRIM,2013]
  • 10.
  • 11.
    11 Big Data v.s.BI ◇ Orientação temporal: Big Data em tempo real ◇ Orientação analítica: ■ BI é baseado em fatores pré-estabelecidos. O quê? Quanto? Quando? Onde? ■ Big Data tem algoritmos preditivos e prescritivos. Por quê? E se? O que acontecerá? Como otimizar?
  • 12.
    Produção e Tráfego deDados Vários múltiplos de “bytes” que não consigo mensurar 2 12
  • 13.
  • 14.
    14 0 a 2003: 5exabytes 1 exabyte = 1.000.000.000 GB 1 zettabyte = 1.000.000.000 TB até 2012: 2.7 zettabytes até 2015: 8.1 zettabytes
  • 15.
  • 16.
  • 17.
  • 18.
    Big Data, porquê? Qual a utilidade disso tudo? 3 18
  • 19.
    Motivação ◇ Como tratarestes dados? ◇ Informação é dinheiro! ◇ 1kg de ferro (R$ 3,81) vs. 1kg de satélite (U$$ 50.000) ◇ Usar informações como ativos empresariais 19
  • 20.
    Objetivo Ter, a partirda análise de dados em massa, informações valiosas sobre o que se analisa. 20
  • 21.
  • 22.
    Big Data como profissão Quaishabilidades preciso ter pra entrar nessa onda? 4 22
  • 23.
    Redes ◇ Sem redes,sem dados ◇ Alta velocidade ◇ Alta vazão 23
  • 24.
    Bancos de Dados ◇NoSQL ◇ Padrão BASE ◇ Elasticidade ◇ Disponibilidade ◇ Estruturas não definidas 24
  • 25.
    Programação ◇ Tratamento dedados ◇ Aplicações de Business Inteligence ◇ Inteligência Artificial/Machine Learning ◇ Exploração de conexões entre dados 25
  • 26.
    Design ◇ Dados comvalor para o negócio ◇ Facilidade na visualização de informações 26
  • 27.
    Gestão ◇ Finalidade doBig Data ◇ Informações são bens ◇ Auxílio na tomada de decisão ◇ Valorização da TI como ferramenta de sucesso 27
  • 28.
    Aplicações Exemplos de comoisso tudo funciona hoje em dia. 5 28
  • 29.
    Saúde ◇ IBM Watsonindica os melhores tratamentos para câncer ◇ MIT, Universidade de Michigan, Escola de Medicina de Harvard e Hospital Brigham desenvolveram app para indicar possibilidade de ataques cardíacos ◇ A Merck usa big data para identificar padrões que ajudam no desenvolvimento de vacinas 29
  • 30.
    Varejo ◇ Recursos como“outros compraram” e recomendações ◇ A Danone vem usando tecnologias da IBM para organizar o fornecimento de seus produtos nos EUA ◇ Macy's reduziu de 27h para 1h o tempo necessário para rever o preço dos produtos à venda na rede de lojas ◇ Walmart usa dados de sensores, redes sociais e outras fontes para entender o consumidor e atendê-lo melhor 30
  • 31.
  • 32.
    Meio Ambiente e Ciência ◇Sensores em Birmingham medem índices que ajudam na previsão do tempo ◇ O MIT convidou moradores de Seattle a etiquetarem o lixo para estudo de logística ◇ O CERN, laboratório suíço que estuda a origem do universo e outros temas, conta com 65 mil processadores que analisam 30 petabytes de dados por ano 32
  • 33.
    Política ◇ No Riode Janeiro, o Centro de Operações reúne dados recolhidos por câmeras e outros suportes a fim de mapear a cidade e apontar locais com problemas - que são repassados a 30 órgãos públicos que podem solucioná-los ◇ Nas eleições de 2012, Barack Obama recolheu por 18 meses dados sobre seus eleitores na internet, visando compreender os interesses e preocupações deles 33
  • 34.
    Economia ◇ A Mattermarke a Bloomberg usam um mecanismo para prever quem está mais propenso a abrir uma pequena empresa num grupo de 1,5 milhão de pessoas que vive nas proximidades de Nova York ◇ O Bank of America registrou um ganho de produtividade e economizou cerca 15 milhões de dólares após descobrir que funcionários que conversavam mais atendiam mais rapidamente 34
  • 35.
    Segurança ◇ Em parceriacom a Accenture, uma operadora brasileira desenvolveu um sistema que usa a localização de smartphones para inibir fraudes em compras com cartão ◇ Governo USA: análise de redes sociais, redes telefônicas e redes de transmissão de dados, buscando padrões e palavras-chave de “interesse”. Mensagens “interessantes” passam por uma análise mais detalhada ou análise humana 35
  • 36.
    Esporte ◇ A NBAfez um acordo com a SAP e a Stats LLC para oferecer aos telespectadores estatísticas detalhadas dos times e jogadores do esporte ◇ A Seleção Alemã usou a Match Insights, que processa as informações geradas em uma partida ou na preparação para avaliar situações de jogo e indicar treinamentos 36
  • 37.
  • 38.
    ◇ Tecnologias diversastrabalhando em conjunto para criar soluções cognitivas ◇ APIs, Serviços de análise, processamento, machine learning, predição, interação humano-computador... 38
  • 39.
  • 40.
    Obrigado! Perguntas? Troco likes, sigode volta: ◇ fb.com/allexandresampaio ◇ allexandresss@gmail.com ◇ linkedin.com/in/allexandresampaio 40 Template por SlidesCarnival Imagens por Google Images