Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados

1.042 visualizações

Publicada em

Contexto das mudanças que criaram o movimento “big data”. Aplicações em vários verticais (Governo, Marketing, Saúde, Telecom, Financeiro, etc.). Aspectos práticos em projetos de big data. Fundamentos: qualidade, integração, governança de dados. Avaliação da maturidade da empresa. Formação de profissionais nesta área.

Publicada em: Tecnologia
  • Seja o primeiro a comentar

Big Data, Analytics, Aplicações, Aspectos Práticos e o Cientista de Dados

  1. 1.  (c) 2014 UWS -- Não Distribuir 1 Big Data Analytics Dan S. Reznik Upper West Soluções 15-Jan-2015
  2. 2.  1.Introdução a “big data” 2.Aplicações 3.Aspectos práticos em projetos 4.Cientista de Dados 5.Engajamento do Cliente (c) 2014 UWS -- Não Distribuir 2 Plano
  3. 3.  Big Data (c) 2014 UWS -- Não Distribuir 3
  4. 4.  Big Data (c) 2013 UWS -- Não Distribuir 4
  5. 5. (milhões de Tb)
  6. 6.  Big Data: Projetos Ativos (c) 2014 UWS -- Não Distribuir 6
  7. 7.  Oportunidade por Vertical (c) 2014 UWS -- Não Distribuir 7 Big Data: valor em potencial Facilidadedecapturadedados
  8. 8.  Business Intelligence (c) 2014 UWS -- Não Distribuir 8 Dados Insights Ações
  9. 9.  BI vs Big Data (c) 2014 UWS -- Não Distribuir 9
  10. 10.  Do DW para o BD (c) 2014 UWS -- Não Distribuir 10 Multi-structured
  11. 11.  Típos de Analítica (c) 2014 UWS -- Não Distribuir 11
  12. 12.  Aumentar Receita Diminuir Custos Gerenciar Riscos Fontes de ROI (c) 2014 UWS -- Não Distribuir 12
  13. 13. Dificuldades em consolidar dados Dados errôneos / não preenchidos Não há informação suficiente Há informação demais Recursos humanos Problemas com BI
  14. 14.  Valor a partir da Integração (c) 2014 UWS -- Não Distribuir 14 VALOR
  15. 15.  Rapidez e Valor (c) 2014 UWS -- Não Distribuir 15
  16. 16.  Silos de dados
  17. 17.  Centrismo no Cliente
  18. 18.  Integração
  19. 19.  Não quero mais trabalho  Não quero que você tenha meus dados  Não quero que você veja os furos com meus dados (c) 2014 UWS -- Não Distribuir 19 Integração: os 3 “nãos”
  20. 20.  Aplicações por Vertical (c) 2014 UWS -- Não Distribuir 20
  21. 21.   Acompanhamento do clickstream, mídias sociais (Facebook/Twitter) e tradicionais para:  Obter visão do comportamento do cliente, preferências, percepção de produtos.  Avaliar a resposta a campanhas, promoções, em termos de engajamento e ROI.  Identificar “entusiastas da marca” e engajá-los na divulgação de produtos e promoção de mais vendas  Oferecer recomendações relevantes e descontos eficazes.  Otimização de assortment & layout de lojas físicas Marketing (Varejo, E-Commerce) (c) 2014 UWS -- Não Distribuir 21
  22. 22.  Coleta de sensores em equipamentos/veículos, para predizer o momento da manutenção ou reparo. Reparo antes do tempo desperdiça dinheiro; reparo tardio acarreta parada custosa.  Mídias Sociais e Chats: detectar problemas e reclamações pós-venda para ativar garantia e evitar má percepção pelos consumidores Industrial / Manufaturados (c) 2014 UWS -- Não Distribuir 22
  23. 23. Minerar dados de interação com clientes para segmentá-los de acordo com nível de risco e pré- disposição ao consumo de certos produto. Criação de ofertas personalizadas, relevantes, e sofisticadas. Decidir quais sinistros podem ser aprovados imediatamente e quais necessitam revisão humana. Monitorar Caixas Eletrônicos para identificar anomalias / fraude Financeiro / Seguros (c) 2014 UWS -- Não Distribuir 23
  24. 24. Análise de dados clínicos e exames para identificar pacientes com probabilidade de readmissão após uma alta. Neste casos o hospital pode intervir, evitando custos. Análise de trajetórias de vários pacientes/doenças/médicos/exames, a fim de identificar o caminho mais efetivo a ser trilhado (Golden Path) Análise de histórico de atendimentos/exames para identificação de fraude ou ineficiências. Saúde & Planos (c) 2014 UWS -- Não Distribuir 24
  25. 25.  Monitoramento e suporte ao SAC: melhoria do atendimento, identificação e solução rápida  Redução de Churn: análise do uso, perfil do cliente, comportamento digital (canais de marketing e mídias sociais) para entrega de ofertas e descontos, evitando o “churn” e aumentando receita  Monitoramento da rede: identificação de problemas gargalos, planejamento de capacidade, otimização de investimentos em clientes mais lucrativos. Operadoras / Telecom (c) 2014 UWS -- Não Distribuir 25
  26. 26. Disponibilização de dados federais, estaduais, municipais para promover o desenvolvimento de aplicativos visando o bem comum. Unificação de registros do cidadão para desenvolvimento de políticas públicas e otimização dos serviços, além da redução de burocracia Estruturação de milhões de processos e laudos de texto em gráficos para gerar economias e identificar fraude Governo (c) 2014 UWS -- Não Distribuir 26
  27. 27.  Como análise de dados pode ser útil para sua empresa  Aumento de receita  Diminuição de custos  Diminuição de riscos  Problemas de Preparo de Dados  Qualidade  Dispersão / Acesso  Documentação, Especificação Exercício (c) 2014 UWS -- Não Distribuir 27
  28. 28.  Exemplos de Projetos www.upperwestsolucoes.com (c) 2014 UWS -- Não Distribuir 28
  29. 29. Busca Semântica de Laudos (c) 2014 UWS -- Não Distribuir 29 Motor de Recomendação Detecção de Fraude Integração de Dados do Cidadão Otimização de Marketing Digital
  30. 30.  Mobile Email Marketing Web Peixe Urbano Motor de Recomendação Ofertas do Dia Demografia ComprasClicks
  31. 31.  Exemplo de Recomendação Porcão Spa 12 sessões Balanceamento Álbum de fotos Sushi Arvorismo Búzios Escova Marroquina Reordenação userID: 1234 Compras: 10 * Automotivo: 5 * Estética: 3 * Gastronomia: 2 Balanceamento Spa 12 sessões Escova Marroquina Porcão Sushi Álbum de fotos Arvorismo Búzios
  32. 32.  Mistura de Experts Expert em demografia Expert em preferencias, ratings, marcas, social networks Expert em histórico de compras S w2 w1 w3 Ofertas do dia Ofertas ordenadas por relevância
  33. 33. Subject personalizado Titulo personalizado Preview pane atraente Ofertas ordenadas por relevância
  34. 34.  Gazeus Games: Otimização de Marketing (c) 2014 UWS -- Não Distribuir 34
  35. 35.  (c) 2014 UWS -- Não Distribuir 35 Base Integrada do Cidadão SEPLAG-MG
  36. 36.  (c) 2014 UWS -- Não Distribuir 36 Vinculação de Registros
  37. 37.  (c) 2014 UWS -- Não Distribuir 37 Arquitetura do Sistema
  38. 38.  (c) 2014 UWS -- Não Distribuir 38 Assalto a Caixas Eletrônicos
  39. 39.  (c) 2014 UWS -- Não Distribuir 39 Localização dos Eventos
  40. 40. Logs Semi- Estruturado Estruturado Banco Paralelo Deteccao Anomalias alarmes ATM ATM ATM (c) 2014 UWS -- Não Distribuir 40 Solução
  41. 41.  (c) 2014 UWS -- Não Distribuir 41 Detecção de Anomalias
  42. 42.  (c) 2014 UWS -- Não Distribuir 42 Busca Semântica em Laudos de Radiologia 2,5 M de laudos de radiologia Indexador GUI Ontologia
  43. 43.  (c) 2014 UWS -- Não Distribuir 43 Ontologia de Termos Médicos
  44. 44. (c) 2014 UWS -- Não Distribuir 44
  45. 45.  Aspectos Práticos em Projetos (c) 2014 UWS -- Não Distribuir 45
  46. 46.  Ecossistema de Dados
  47. 47.  Fluxo de Trabalho
  48. 48.  (c) 2014 UWS -- Não Distribuir 48 Pirâmide de Maslow - Qualidade - Integração - Governança • 360 Cust. View • Anti-Fraud • Anti Churn ESTRATÉGIA, ROI+
  49. 49.  Maturidade (c) 2014 UWS -- Não Distribuir 49 Ambiente Heterogêneo Processos Informais Dados Caóticos Ambiente Integrado Processos controlados Dados Coerentes Simplificação Encurtar tempo de Entrega Redução de Custos
  50. 50.  Barreiras
  51. 51.  Pouca experiência / competitividade a partir de dados  Mal qualificadas em profissionais de dados  Pulverização em Silos  Qualidade de dados totalmente não gerenciada  Dados reféns de TI – me tira daqui!  Problemas políticos  Fluxo de trabalho não instituído  Desconhecimento quanto ao processo de maturidade (c) 2014 UWS -- Não Distribuir 51 Problemas a Serem Combatidos
  52. 52.  O Cientista de Dados (c) 2014 UWS -- Não Distribuir 52
  53. 53.  Análise de Dados
  54. 54.  Utilizando dados clinicos e operacionais, oferecer soluções de  Saúde da população  Redesenho de fluxos de trabalho  Mobilidade do hospital para a residência  Experiência do Paciente  Novos modelos de negócio  Equipamento gerenciado  Parcerias publico-privadas  Educação e Treinamento Oferta de Trabalho Soluções em Healthcare (c) 2014 UWS -- Não Distribuir 54
  55. 55.  Data warehousing, modelagem “Star Schema” (data mart), técnicas de visualização, desenho e implantação de dashboards (BI);  SGBDs (Oracle, MS SQL Server, Postgre, etc.), ferramentas de ETL, SQL, OLAP, arquiteturas de Big Data (Hadoop);  Programação orientada a objeto, método ágil, Java, .NET, JSON, HTML5;  Experiência em R, SAS, SPSS, Tableau, Qlikview, Cognos, Microestrategy, Oracle BI; Qualificações I - Requeridas (c) 2014 UWS -- Não Distribuir 55
  56. 56.  Proficiência em Matemática, Estatística (Correlações), Mineração de Dados, Analítica Preditiva (baseada em probabilidade e correlação); Machine learning, Algoritmos de Mineração de Dados (Bayesiano, Clustering, etc.);  Conhecimento profundo de Health Information Exchange (HIE), padrões de interoperabilidade (TISS, openehr, hl7, ihe profiles, DICOM, etc.), classificação clínica (icd 10, snomed ct, loinc, sigtap, TUSS, etc.) Qualificações II -- Desejadas (c) 2014 UWS -- Não Distribuir 56
  57. 57.  Ciência de Dados (c) 2014 UWS -- Não Distribuir 57
  58. 58.  Cientista de Dados • Gerente de Projetos • Estatístico • Especialista no Negócio • Arquiteto de Dados • Desenvolvedor de Software
  59. 59.  Engajamento do Cliente (c) 2014 UWS -- Não Distribuir 59
  60. 60.  Retenção do Cliente
  61. 61.  A jornada do cliente
  62. 62.  Retenção tem valor exponencial
  63. 63.  4 P’s => SIVA Produto Promoção Preço Praça Solução Informação Valor Acesso
  64. 64.  Centrar em Produto vs Cliente (c) 2014 UWS -- Não Distribuir 66
  65. 65.  Cliente = Quebra Cabeça
  66. 66.  Dados Comportamentais
  67. 67.  Dados Psicográficos
  68. 68.  Máquina Correlacional
  69. 69.  Investimentos vs Vendas
  70. 70.  O que conta na tomada de decisão do cliente?  A estratégia de marketing corresponde a expectativa do cliente e/ou as metas do negócio?  Dados do cliente estão potencializados em todos departamentos do negócio?  Quais clientes geram mais lucro? Vendas?  Quais ações estimulam a compra?  Quais mensagens ou promoções causam maior resposta?  Quais compras futuras posso estimular por cliente? Algumas Perguntas
  71. 71.  360 View: Geradores de Valor Melhorar interações c/ cliente Dar poder a quem lida diretamente c/ cliente Potencializar dados e conhecimentos já existentes Criar interações relevantes e lucrativas Melhorar a análise de dados Viabilizar o uso de informações de várias fontes Criar visão holística do cliente Melhorar self-service do cliente Dar poder a clientes para potencializar seus dados Gerar recomendações e a “’melhor próxima ação” Diminuir custos de interação enquanto fideliza-se o cliente
  72. 72.  (c) 2014 UWS -- Não Distribuir 76 Obrigado! Dan S. Reznik dan@upperwestsolucoes.com

×