
(c) 2014 UWS -- Não Distribuir 1
Big Data Analytics
Dan S. Reznik
Upper West Soluções
15-Jan-2015

1.Introdução a “big data”
2.Aplicações
3.Aspectos práticos em projetos
4.Cientista de Dados
5.Engajamento do Cliente
(c) 2014 UWS -- Não Distribuir 2
Plano

Big Data
(c) 2014 UWS -- Não Distribuir 3

Big Data
(c) 2013 UWS -- Não Distribuir 4
(milhões de Tb)

Big Data: Projetos Ativos
(c) 2014 UWS -- Não Distribuir 6

Oportunidade por Vertical
(c) 2014 UWS -- Não Distribuir 7
Big Data: valor em potencial
Facilidadedecapturadedados

Business Intelligence
(c) 2014 UWS -- Não Distribuir 8
Dados Insights Ações

BI vs Big Data
(c) 2014 UWS -- Não Distribuir 9

Do DW para o BD
(c) 2014 UWS -- Não Distribuir 10
Multi-structured

Típos de Analítica
(c) 2014 UWS -- Não Distribuir 11

Aumentar Receita
Diminuir Custos
Gerenciar Riscos
Fontes de ROI
(c) 2014 UWS -- Não Distribuir 12
Dificuldades em consolidar dados
Dados errôneos / não preenchidos
Não há informação suficiente
Há informação demais
Recursos humanos
Problemas com BI

Valor a partir da Integração
(c) 2014 UWS -- Não Distribuir 14
VALOR

Rapidez e Valor
(c) 2014 UWS -- Não Distribuir 15

Silos de dados

Centrismo no Cliente

Integração
 Não quero mais trabalho
 Não quero que você tenha meus dados
 Não quero que você veja os furos com meus dados
(c) 2014 UWS -- Não Distribuir 19
Integração: os 3 “nãos”

Aplicações
por Vertical
(c) 2014 UWS -- Não Distribuir 20

 Acompanhamento do clickstream, mídias sociais
(Facebook/Twitter) e tradicionais para:
 Obter visão do comportamento do cliente, preferências,
percepção de produtos.
 Avaliar a resposta a campanhas, promoções, em termos
de engajamento e ROI.
 Identificar “entusiastas da marca” e engajá-los na
divulgação de produtos e promoção de mais vendas
 Oferecer recomendações relevantes e descontos eficazes.
 Otimização de assortment & layout de lojas físicas
Marketing
(Varejo, E-Commerce)
(c) 2014 UWS -- Não Distribuir 21

Coleta de sensores em equipamentos/veículos,
para predizer o momento da manutenção ou
reparo. Reparo antes do tempo desperdiça
dinheiro; reparo tardio acarreta parada custosa.
 Mídias Sociais e Chats: detectar problemas e
reclamações pós-venda para ativar garantia e evitar
má percepção pelos consumidores
Industrial / Manufaturados
(c) 2014 UWS -- Não Distribuir 22
Minerar dados de interação com clientes para
segmentá-los de acordo com nível de risco e pré-
disposição ao consumo de certos produto.
Criação de ofertas personalizadas, relevantes, e
sofisticadas.
Decidir quais sinistros podem ser aprovados
imediatamente e quais necessitam revisão
humana.
Monitorar Caixas Eletrônicos para identificar
anomalias / fraude
Financeiro / Seguros
(c) 2014 UWS -- Não Distribuir 23
Análise de dados clínicos e exames para
identificar pacientes com probabilidade de
readmissão após uma alta. Neste casos o hospital
pode intervir, evitando custos.
Análise de trajetórias de vários
pacientes/doenças/médicos/exames, a fim de
identificar o caminho mais efetivo a ser trilhado
(Golden Path)
Análise de histórico de atendimentos/exames
para identificação de fraude ou ineficiências.
Saúde & Planos
(c) 2014 UWS -- Não Distribuir 24
 Monitoramento e suporte ao SAC: melhoria do
atendimento, identificação e solução rápida
 Redução de Churn: análise do uso, perfil do cliente,
comportamento digital (canais de marketing e
mídias sociais) para entrega de ofertas e descontos,
evitando o “churn” e aumentando receita
 Monitoramento da rede: identificação de problemas
gargalos, planejamento de capacidade, otimização de
investimentos em clientes mais lucrativos.
Operadoras / Telecom
(c) 2014 UWS -- Não Distribuir 25
Disponibilização de dados federais, estaduais,
municipais para promover o desenvolvimento
de aplicativos visando o bem comum.
Unificação de registros do cidadão para
desenvolvimento de políticas públicas e
otimização dos serviços, além da redução de
burocracia
Estruturação de milhões de processos e laudos
de texto em gráficos para gerar economias e
identificar fraude
Governo
(c) 2014 UWS -- Não Distribuir 26
 Como análise de dados pode ser útil para sua
empresa
 Aumento de receita
 Diminuição de custos
 Diminuição de riscos
 Problemas de Preparo de Dados
 Qualidade
 Dispersão / Acesso
 Documentação, Especificação
Exercício
(c) 2014 UWS -- Não Distribuir 27

Exemplos de Projetos
www.upperwestsolucoes.com
(c) 2014 UWS -- Não Distribuir 28
Busca Semântica de Laudos
(c) 2014 UWS -- Não Distribuir 29
Motor de Recomendação
Detecção de Fraude
Integração de Dados do Cidadão
Otimização de Marketing Digital

Mobile
Email
Marketing
Web
Peixe Urbano
Motor de
Recomendação
Ofertas do
Dia
Demografia ComprasClicks

Exemplo de Recomendação
Porcão
Spa 12 sessões
Balanceamento
Álbum de fotos
Sushi
Arvorismo
Búzios
Escova Marroquina
Reordenação
userID: 1234
Compras: 10
* Automotivo: 5
* Estética: 3
* Gastronomia: 2
Balanceamento
Spa 12 sessões
Escova Marroquina
Porcão
Sushi
Álbum de fotos
Arvorismo
Búzios

Mistura de Experts
Expert em
demografia
Expert em
preferencias,
ratings, marcas,
social networks
Expert em
histórico de
compras
S
w2
w1
w3
Ofertas
do dia
Ofertas
ordenadas
por
relevância
Subject
personalizado
Titulo
personalizado
Preview pane
atraente
Ofertas
ordenadas
por relevância

Gazeus Games:
Otimização de Marketing
(c) 2014 UWS -- Não Distribuir 34

(c) 2014 UWS -- Não Distribuir 35
Base Integrada do Cidadão
SEPLAG-MG

(c) 2014 UWS -- Não Distribuir 36
Vinculação de Registros

(c) 2014 UWS -- Não Distribuir 37
Arquitetura do Sistema

(c) 2014 UWS -- Não Distribuir 38
Assalto a Caixas Eletrônicos

(c) 2014 UWS -- Não Distribuir 39
Localização dos Eventos
Logs
Semi-
Estruturado
Estruturado
Banco
Paralelo
Deteccao
Anomalias
alarmes
ATM
ATM
ATM
(c) 2014 UWS -- Não Distribuir 40
Solução

(c) 2014 UWS -- Não Distribuir 41
Detecção de Anomalias

(c) 2014 UWS -- Não Distribuir 42
Busca Semântica em
Laudos de Radiologia
2,5 M de laudos
de radiologia
Indexador GUI
Ontologia

(c) 2014 UWS -- Não Distribuir 43
Ontologia de Termos Médicos
(c) 2014 UWS -- Não Distribuir 44

Aspectos Práticos
em Projetos
(c) 2014 UWS -- Não Distribuir 45

Ecossistema de Dados

Fluxo de Trabalho

(c) 2014 UWS -- Não Distribuir 48
Pirâmide de Maslow
- Qualidade
- Integração
- Governança
• 360 Cust. View
• Anti-Fraud
• Anti Churn
ESTRATÉGIA, ROI+

Maturidade
(c) 2014 UWS -- Não Distribuir 49
Ambiente Heterogêneo
Processos Informais
Dados Caóticos
Ambiente Integrado
Processos controlados
Dados Coerentes
Simplificação
Encurtar tempo de Entrega
Redução de Custos

Barreiras
 Pouca experiência / competitividade a partir de
dados
 Mal qualificadas em profissionais de dados
 Pulverização em Silos
 Qualidade de dados totalmente não gerenciada
 Dados reféns de TI – me tira daqui!
 Problemas políticos
 Fluxo de trabalho não instituído
 Desconhecimento quanto ao processo de maturidade
(c) 2014 UWS -- Não Distribuir 51
Problemas a Serem Combatidos

O Cientista de Dados
(c) 2014 UWS -- Não Distribuir 52

Análise de Dados
 Utilizando dados clinicos e operacionais, oferecer
soluções de
 Saúde da população
 Redesenho de fluxos de trabalho
 Mobilidade do hospital para a residência
 Experiência do Paciente
 Novos modelos de negócio
 Equipamento gerenciado
 Parcerias publico-privadas
 Educação e Treinamento
Oferta de Trabalho
Soluções em Healthcare
(c) 2014 UWS -- Não Distribuir 54
 Data warehousing, modelagem “Star Schema” (data
mart), técnicas de visualização, desenho e
implantação de dashboards (BI);
 SGBDs (Oracle, MS SQL Server, Postgre, etc.),
ferramentas de ETL, SQL, OLAP, arquiteturas de Big
Data (Hadoop);
 Programação orientada a objeto, método ágil, Java,
.NET, JSON, HTML5;
 Experiência em R, SAS, SPSS, Tableau, Qlikview,
Cognos, Microestrategy, Oracle BI;
Qualificações I - Requeridas
(c) 2014 UWS -- Não Distribuir 55
 Proficiência em Matemática, Estatística (Correlações),
Mineração de Dados, Analítica Preditiva (baseada
em probabilidade e correlação); Machine learning,
Algoritmos de Mineração de Dados (Bayesiano,
Clustering, etc.);
 Conhecimento profundo de Health Information
Exchange (HIE), padrões de interoperabilidade
(TISS, openehr, hl7, ihe profiles, DICOM, etc.),
classificação clínica (icd 10, snomed ct, loinc, sigtap,
TUSS, etc.)
Qualificações II -- Desejadas
(c) 2014 UWS -- Não Distribuir 56

Ciência de Dados
(c) 2014 UWS -- Não Distribuir 57

Cientista de Dados
• Gerente de Projetos
• Estatístico
• Especialista no Negócio
• Arquiteto de Dados
• Desenvolvedor de Software

Engajamento do Cliente
(c) 2014 UWS -- Não Distribuir 59

Retenção do Cliente

A jornada do cliente

Retenção tem valor exponencial

4 P’s => SIVA
Produto
Promoção
Preço
Praça
Solução
Informação
Valor
Acesso

Centrar em Produto vs Cliente
(c) 2014 UWS -- Não Distribuir 66

Cliente = Quebra Cabeça

Dados Comportamentais

Dados Psicográficos

Máquina Correlacional

Investimentos vs Vendas
 O que conta na tomada de decisão do cliente?
 A estratégia de marketing corresponde a expectativa
do cliente e/ou as metas do negócio?
 Dados do cliente estão potencializados em todos
departamentos do negócio?
 Quais clientes geram mais lucro? Vendas?
 Quais ações estimulam a compra?
 Quais mensagens ou promoções causam maior
resposta?
 Quais compras futuras posso estimular por cliente?
Algumas Perguntas

360 View: Geradores de Valor
Melhorar
interações
c/ cliente
Dar poder a quem
lida diretamente c/
cliente
Potencializar dados
e conhecimentos já
existentes
Criar interações
relevantes e
lucrativas
Melhorar a
análise de
dados
Viabilizar o uso de
informações de
várias fontes
Criar visão holística
do cliente
Melhorar
self-service
do cliente
Dar poder a clientes
para potencializar
seus dados
Gerar
recomendações e a
“’melhor próxima
ação”
Diminuir custos de
interação enquanto
fideliza-se o cliente

(c) 2014 UWS -- Não Distribuir 76
Obrigado!
Dan S. Reznik
dan@upperwestsolucoes.com

Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados

  • 1.
     (c) 2014 UWS-- Não Distribuir 1 Big Data Analytics Dan S. Reznik Upper West Soluções 15-Jan-2015
  • 2.
     1.Introdução a “bigdata” 2.Aplicações 3.Aspectos práticos em projetos 4.Cientista de Dados 5.Engajamento do Cliente (c) 2014 UWS -- Não Distribuir 2 Plano
  • 3.
     Big Data (c) 2014UWS -- Não Distribuir 3
  • 4.
     Big Data (c) 2013UWS -- Não Distribuir 4
  • 5.
  • 6.
     Big Data: ProjetosAtivos (c) 2014 UWS -- Não Distribuir 6
  • 7.
     Oportunidade por Vertical (c)2014 UWS -- Não Distribuir 7 Big Data: valor em potencial Facilidadedecapturadedados
  • 8.
     Business Intelligence (c) 2014UWS -- Não Distribuir 8 Dados Insights Ações
  • 9.
     BI vs BigData (c) 2014 UWS -- Não Distribuir 9
  • 10.
     Do DW parao BD (c) 2014 UWS -- Não Distribuir 10 Multi-structured
  • 11.
     Típos de Analítica (c)2014 UWS -- Não Distribuir 11
  • 12.
     Aumentar Receita Diminuir Custos GerenciarRiscos Fontes de ROI (c) 2014 UWS -- Não Distribuir 12
  • 13.
    Dificuldades em consolidardados Dados errôneos / não preenchidos Não há informação suficiente Há informação demais Recursos humanos Problemas com BI
  • 14.
     Valor a partirda Integração (c) 2014 UWS -- Não Distribuir 14 VALOR
  • 15.
     Rapidez e Valor (c)2014 UWS -- Não Distribuir 15
  • 16.
  • 17.
  • 18.
  • 19.
     Não queromais trabalho  Não quero que você tenha meus dados  Não quero que você veja os furos com meus dados (c) 2014 UWS -- Não Distribuir 19 Integração: os 3 “nãos”
  • 20.
     Aplicações por Vertical (c) 2014UWS -- Não Distribuir 20
  • 21.
      Acompanhamento doclickstream, mídias sociais (Facebook/Twitter) e tradicionais para:  Obter visão do comportamento do cliente, preferências, percepção de produtos.  Avaliar a resposta a campanhas, promoções, em termos de engajamento e ROI.  Identificar “entusiastas da marca” e engajá-los na divulgação de produtos e promoção de mais vendas  Oferecer recomendações relevantes e descontos eficazes.  Otimização de assortment & layout de lojas físicas Marketing (Varejo, E-Commerce) (c) 2014 UWS -- Não Distribuir 21
  • 22.
     Coleta de sensoresem equipamentos/veículos, para predizer o momento da manutenção ou reparo. Reparo antes do tempo desperdiça dinheiro; reparo tardio acarreta parada custosa.  Mídias Sociais e Chats: detectar problemas e reclamações pós-venda para ativar garantia e evitar má percepção pelos consumidores Industrial / Manufaturados (c) 2014 UWS -- Não Distribuir 22
  • 23.
    Minerar dados deinteração com clientes para segmentá-los de acordo com nível de risco e pré- disposição ao consumo de certos produto. Criação de ofertas personalizadas, relevantes, e sofisticadas. Decidir quais sinistros podem ser aprovados imediatamente e quais necessitam revisão humana. Monitorar Caixas Eletrônicos para identificar anomalias / fraude Financeiro / Seguros (c) 2014 UWS -- Não Distribuir 23
  • 24.
    Análise de dadosclínicos e exames para identificar pacientes com probabilidade de readmissão após uma alta. Neste casos o hospital pode intervir, evitando custos. Análise de trajetórias de vários pacientes/doenças/médicos/exames, a fim de identificar o caminho mais efetivo a ser trilhado (Golden Path) Análise de histórico de atendimentos/exames para identificação de fraude ou ineficiências. Saúde & Planos (c) 2014 UWS -- Não Distribuir 24
  • 25.
     Monitoramento esuporte ao SAC: melhoria do atendimento, identificação e solução rápida  Redução de Churn: análise do uso, perfil do cliente, comportamento digital (canais de marketing e mídias sociais) para entrega de ofertas e descontos, evitando o “churn” e aumentando receita  Monitoramento da rede: identificação de problemas gargalos, planejamento de capacidade, otimização de investimentos em clientes mais lucrativos. Operadoras / Telecom (c) 2014 UWS -- Não Distribuir 25
  • 26.
    Disponibilização de dadosfederais, estaduais, municipais para promover o desenvolvimento de aplicativos visando o bem comum. Unificação de registros do cidadão para desenvolvimento de políticas públicas e otimização dos serviços, além da redução de burocracia Estruturação de milhões de processos e laudos de texto em gráficos para gerar economias e identificar fraude Governo (c) 2014 UWS -- Não Distribuir 26
  • 27.
     Como análisede dados pode ser útil para sua empresa  Aumento de receita  Diminuição de custos  Diminuição de riscos  Problemas de Preparo de Dados  Qualidade  Dispersão / Acesso  Documentação, Especificação Exercício (c) 2014 UWS -- Não Distribuir 27
  • 28.
  • 29.
    Busca Semântica deLaudos (c) 2014 UWS -- Não Distribuir 29 Motor de Recomendação Detecção de Fraude Integração de Dados do Cidadão Otimização de Marketing Digital
  • 30.
  • 31.
     Exemplo de Recomendação Porcão Spa12 sessões Balanceamento Álbum de fotos Sushi Arvorismo Búzios Escova Marroquina Reordenação userID: 1234 Compras: 10 * Automotivo: 5 * Estética: 3 * Gastronomia: 2 Balanceamento Spa 12 sessões Escova Marroquina Porcão Sushi Álbum de fotos Arvorismo Búzios
  • 32.
     Mistura de Experts Expertem demografia Expert em preferencias, ratings, marcas, social networks Expert em histórico de compras S w2 w1 w3 Ofertas do dia Ofertas ordenadas por relevância
  • 33.
  • 34.
     Gazeus Games: Otimização deMarketing (c) 2014 UWS -- Não Distribuir 34
  • 35.
     (c) 2014 UWS-- Não Distribuir 35 Base Integrada do Cidadão SEPLAG-MG
  • 36.
     (c) 2014 UWS-- Não Distribuir 36 Vinculação de Registros
  • 37.
     (c) 2014 UWS-- Não Distribuir 37 Arquitetura do Sistema
  • 38.
     (c) 2014 UWS-- Não Distribuir 38 Assalto a Caixas Eletrônicos
  • 39.
     (c) 2014 UWS-- Não Distribuir 39 Localização dos Eventos
  • 40.
  • 41.
     (c) 2014 UWS-- Não Distribuir 41 Detecção de Anomalias
  • 42.
     (c) 2014 UWS-- Não Distribuir 42 Busca Semântica em Laudos de Radiologia 2,5 M de laudos de radiologia Indexador GUI Ontologia
  • 43.
     (c) 2014 UWS-- Não Distribuir 43 Ontologia de Termos Médicos
  • 44.
    (c) 2014 UWS-- Não Distribuir 44
  • 45.
     Aspectos Práticos em Projetos (c)2014 UWS -- Não Distribuir 45
  • 46.
  • 47.
  • 48.
     (c) 2014 UWS-- Não Distribuir 48 Pirâmide de Maslow - Qualidade - Integração - Governança • 360 Cust. View • Anti-Fraud • Anti Churn ESTRATÉGIA, ROI+
  • 49.
     Maturidade (c) 2014 UWS-- Não Distribuir 49 Ambiente Heterogêneo Processos Informais Dados Caóticos Ambiente Integrado Processos controlados Dados Coerentes Simplificação Encurtar tempo de Entrega Redução de Custos
  • 50.
  • 51.
     Pouca experiência/ competitividade a partir de dados  Mal qualificadas em profissionais de dados  Pulverização em Silos  Qualidade de dados totalmente não gerenciada  Dados reféns de TI – me tira daqui!  Problemas políticos  Fluxo de trabalho não instituído  Desconhecimento quanto ao processo de maturidade (c) 2014 UWS -- Não Distribuir 51 Problemas a Serem Combatidos
  • 52.
     O Cientista deDados (c) 2014 UWS -- Não Distribuir 52
  • 53.
  • 54.
     Utilizando dadosclinicos e operacionais, oferecer soluções de  Saúde da população  Redesenho de fluxos de trabalho  Mobilidade do hospital para a residência  Experiência do Paciente  Novos modelos de negócio  Equipamento gerenciado  Parcerias publico-privadas  Educação e Treinamento Oferta de Trabalho Soluções em Healthcare (c) 2014 UWS -- Não Distribuir 54
  • 55.
     Data warehousing,modelagem “Star Schema” (data mart), técnicas de visualização, desenho e implantação de dashboards (BI);  SGBDs (Oracle, MS SQL Server, Postgre, etc.), ferramentas de ETL, SQL, OLAP, arquiteturas de Big Data (Hadoop);  Programação orientada a objeto, método ágil, Java, .NET, JSON, HTML5;  Experiência em R, SAS, SPSS, Tableau, Qlikview, Cognos, Microestrategy, Oracle BI; Qualificações I - Requeridas (c) 2014 UWS -- Não Distribuir 55
  • 56.
     Proficiência emMatemática, Estatística (Correlações), Mineração de Dados, Analítica Preditiva (baseada em probabilidade e correlação); Machine learning, Algoritmos de Mineração de Dados (Bayesiano, Clustering, etc.);  Conhecimento profundo de Health Information Exchange (HIE), padrões de interoperabilidade (TISS, openehr, hl7, ihe profiles, DICOM, etc.), classificação clínica (icd 10, snomed ct, loinc, sigtap, TUSS, etc.) Qualificações II -- Desejadas (c) 2014 UWS -- Não Distribuir 56
  • 57.
     Ciência de Dados (c)2014 UWS -- Não Distribuir 57
  • 58.
     Cientista de Dados •Gerente de Projetos • Estatístico • Especialista no Negócio • Arquiteto de Dados • Desenvolvedor de Software
  • 59.
     Engajamento do Cliente (c)2014 UWS -- Não Distribuir 59
  • 60.
  • 61.
  • 63.
  • 64.
     4 P’s =>SIVA Produto Promoção Preço Praça Solução Informação Valor Acesso
  • 66.
     Centrar em Produtovs Cliente (c) 2014 UWS -- Não Distribuir 66
  • 67.
  • 68.
  • 69.
  • 70.
  • 71.
  • 73.
     O queconta na tomada de decisão do cliente?  A estratégia de marketing corresponde a expectativa do cliente e/ou as metas do negócio?  Dados do cliente estão potencializados em todos departamentos do negócio?  Quais clientes geram mais lucro? Vendas?  Quais ações estimulam a compra?  Quais mensagens ou promoções causam maior resposta?  Quais compras futuras posso estimular por cliente? Algumas Perguntas
  • 74.
     360 View: Geradoresde Valor Melhorar interações c/ cliente Dar poder a quem lida diretamente c/ cliente Potencializar dados e conhecimentos já existentes Criar interações relevantes e lucrativas Melhorar a análise de dados Viabilizar o uso de informações de várias fontes Criar visão holística do cliente Melhorar self-service do cliente Dar poder a clientes para potencializar seus dados Gerar recomendações e a “’melhor próxima ação” Diminuir custos de interação enquanto fideliza-se o cliente
  • 76.
     (c) 2014 UWS-- Não Distribuir 76 Obrigado! Dan S. Reznik dan@upperwestsolucoes.com