Mais conteúdo relacionado
Semelhante a UFF Tech 2013 - Case Copa das Confederações - IBM (20)
UFF Tech 2013 - Case Copa das Confederações - IBM
- 3. Objetivo
Copa das Confederações
– Evento teste para Copa do Mundo
– 8 seleções
• 6 campeãs de seus continentes
• 1 campeã da copa do mundo anterior
• 1 anfitriã
• Brasil, Japão, México, Itália, Espanha, Uruguai, Nigéria e Taiti
Analisar em tempo real os tweets relacionado a seleção Brasileira
Twitter 2013:
– 550 milhões de usuários ativos
– 58 milhões de mensagens por dia
Tweets em Português
© 2013 IBM Corporation
- 4. Projeto IBM: Ei!
Análise de sentimento baseada em algoritmos de Machine Learning
Ambiente de processamento em tempo real
Altas taxas de transferência de dados
Alta Disponibilidade e Escalabilidade
Implementação em Cloud
© 2013 IBM Corporation
- 5. A Plataforma de Big Data IBM
Aplicações Analíticas
1 – Unlock Big Data
BI /
Exploração / Aplicações Aplicações Análise Conteúdo
BI /
Relatório Visualização Operacionais de Indústria Preditiva Analítico
Reportin
g
IBM Big Data Platform
Visualização Desenvolvimento Gerenciamento
& Descoberta
de Aplicações
de Sistemas
3 – Simplify your
warehouse
2 – Analyze Raw Data
Aceleradores
Hadoop
System
Stream
Computing
Data
Warehouse
5 – Analyze Streaming
Data
4 – Reduce costs with
Hadoop
Information Integration & Governance
© 2013 IBM Corporation
- 6. InfoSphere Streams
Uma plataforma para análises em tempo real sobre Big Data em movimento
Decisões em Tempo Real
Volume
– Terabytes por segundos
– Petabytes por dia
UTI
Monitorada
Análises
Trading
Variedade
– Todos os tipo de dados
– Todos os tipos de análises
Velocidade
– Conhecimento em microsegundos
Agilidade
– Dinamicamente responsivo
– Rápido desenvolvimento de aplicações
Ambiente
Monitorado
Segurança
cibernética
Milhões de
eventos por
segundo
Governo /
Aplicação da
lei
Smart
Grid
Previsível
churn de
Telco
Latência em
microsegundos
Fontes de dados
Tradicional / Não-tradicional
© 2013 IBM Corporation
- 7. Como funciona o Streams
continuous ingestion
Ingestão e análise de dados continuo
© 2013 IBM Corporation
- 8. Como funciona o Streams
Ingestão e análise de dados continuo
Filter / Sample
Annotate
Transform
Correlate
Classify
Achieve scale:
By partitioning applications into software components
By distributing across stream-connected hardware hosts
© 2013 IBM Corporation
- 9. O que as pessoas estão fazendo com Streams
Mercado de Ações
Telefonia
Processamento de CDR
Análise Social
Prevenção de Churn
Impacto do tempo nos
preços das ações
Análise da dados do
mercado em latências
super baixas
Geomapping
Aplicações da Lei,
Defesa & Segurança Cibernética
Vigilância em tempo real
Transportes
Detecção de segurança cibernética
Gerenciamento
inteligente do Tráfego
Prevenção de Fraude
Detecção de múltiplas fraudes
Smart Grid & Energia
Prevenção de fraudes em tempo real
Controle afinado
e-Science
Unidade de Monitoramento
de Fasor
Previsão do clima espacial
Detecção de eventos momentâneos
Saúde e Ciências da
Vida
Monitoramento de UTI
Neonatal
Sistema de alerta
preventivo de epidemia
Monitoramento remoto
de saúde
Pesquisa atômica de Síncrotron
Outros
Sistemas Naturais
Gerenciamento de incêndios
florestais
Manufacturing
Análise de Texto
Gerenciamentos climáticos
© 2013 IBM Corporation
- 10. Real-Time Social Media Analysis
Classification Phase
Stream
Computing
Learned
DB
Real-time
Text
Classifier
Twitterviz
Words
Filters
Research
Application
Research
Internal
development
.json
(Ogyvly)
Applications
Ogyvly
Classified
DB
10
© 2013 IBM Corporation
- 11. Real-Time Social Media Analysis
HA and DR Solution
Cloud 1 – QA - Canada
Stream
Computing
Real-time
Text
Classifier
Words
Filters
Twitterviz
Research Internal development
Research
Application
Cloud 2 – Prod - German
.json
(Ogyvly)
Stream
Computing
Words
Filters
Real-time
Twitterviz
Text
Classifier
Research Internal development
11
Applications
Ogyvly
Twitterviz
Research
Application
© 2013 IBM Corporation
- 12. Análise de Sentimento
vou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da
seleção brasileira , brasil nao tomava gol de p### de chile não viu
Tokenização
vou
ser
repetitivo
de
novo
,
mas
:
na
minha
epoca
de
Jovem
torcedor
Normalização
da
seleção
brasileira
brasil
nao
tomava
gol
de
p###
de
chile
não
viu
Etiquetador
Morfológico
Lematização
Classificação
Parte: palavrões
Verbos: vou, ser, tomava
Substantivos: epoca, brasil, gol, chile, seleção
Adjetivos: repetitivo, jovem, brasileira, palavrão
vou: ir
ser: ser
tomava: tomar
p###: palavrão
© 2013 IBM Corporation
- 13. Análise de Sentimento
vou ser repetitivo de novo , mas : na minha epoca de jovem torcedor da
seleção brasileira , brasil nao tomava gol de p### de chile não viu
Parte
Positivo
Negativo
Neutro
ir
0.01%
0.05%
0.07%
ser
0.02%
0.02%
0.08%
repetitivo
0.01%
0.07%
0.02%
de novo
0.02%
0.05%
0.03%
mas
0.02%
0.04%
0.08%
epoca
0.01%
0.01%
0.02%
jovem
0.09%
0.04%
0.02%
torcedor
0.07%
0.04%
0.05%
seleção
0.09%
0.08%
0.05%
brasileira
0.08%
0.03%
0.07%
brasil
0.05%
0.07%
0.04%
não
0.04%
0.08%
0.03%
tomar
0.04%
0.06%
0.08%
gol
0.08%
0.04%
0.01%
palavrão
0.01%
0.09%
0.04%
chile
0.02%
0.03%
0.06%
não
0.04%
0.08%
0.03%
ver
0.04%
0.03%
0.07%
PROD
7.43E-64
4.68E-61
9.10E-62
POLARIDADE
0.1%
83.6%
16.3%
Do learned database
© 2013 IBM Corporation