SlideShare uma empresa Scribd logo
1 de 39
Descobrindo Conhecimento
em Dados para Auxiliar
a Tomada de Decisões
Rodolfo M. S. Mendes
Administração
• Administrar é alocar recursos
• Toda organização dispõe de recursos limitados
• Toda organização pratica administração
• De maneira consciente ou não
• Em diferentes graus de proficiência
• A competitividade de uma empresa depende da proficiência de sua
administração
Tomada de Decisão
• Alocar recursos é uma tomada de decisão
• “Selecionar o curso de uma ação frente duas ou mais alternativas,
com o intuito de se alcançar um objetivo”
Tomada de Decisão – Exemplos
• Firmar contrato como fornecedor A ou B ?
• Quais ações comprar ? Quais vender ?
• Como distribuir o espaço de gôndola entre as marcas A, B ou C ?
• Quantos programadores alocar para o projeto X ?
• Liberar recursos para o viaduto ou para o hospital ?
• Financiar casa ou carro ?
Como avaliar uma decisão ?
• Uma decisão é boa ou ruim com relação a um objetivo
• Uma boa decisão contribui para atingir o objetivo
• Uma má decisão prejudica o cumprimento do objetivo
Como tomar boas decisões ?
• Conhecer as relações de causa/efeito sobre o objeto da decisão
• Ter a capacidade de realizar previsões
Exemplo
• Objetivo: diminuir a ruptura do produto X (falta do produto na área
de vendas)
• Possíveis causas:
• Aumento da demanda
• Longo intervalo de reposição
• Falta do produto em estoque
• Decisões:
• Treinamento repositores
• Aumentar pedidos
• Trocar fornecedores
BSC - Balanced Scorecards
• Mapear atividades de curto-prazo para objetivos de longo-prazo
• Traduz a visão estratégica nas perspectivas
• Financeira
• Clientes
• Processos Internos
• Aprendizagem e Crescimento
BSC – Balanced Scorecards
• Para cada uma das perspectivas são definidos:
• Objetivos
• Indicadores
• Metas
• Atividades
KPI – Key Performance Indicators
• São as indicadores escolhidos para medir a performance da empresa
• Categorias de KPI:
• Produtividade
• Qualidade
• Financeiros
• Estratégicos
• No nível estratégico são definidos pelo BSC
• Podem ser decompostos em indicadores táticos e operacionais
PDCA
• Sistematização para atingir objetivos
• Plan (Planejar)
• Do (Fazer)
• Check (Verificar)
• Act (Agir)
P – Plan (Planejar)
• Identificação dos resultados indesejáveis
• Averiguação das causas fundamentais
• Análise de dados históricos
• Diagrama de “espinha de peixe”
• Análise de Pareto
• Gráficos e estatísticas
• Elaboração do plano de ação
• Como bloquear/anular as causas fundamentais
D – Do (Fazer)
• Treinamento do pessoal
• Execução do plano de ação
C – Check (Verificar)
• Verificação do resultados
• Análise de dados históricos
• Gráficos e estatísticas
• Verifica-se se o problema foi resolvido
A – Act (Agir)
• Prevenir o reaparecimento do problema
• Padronização da operação
• Comunicação dos padrões e resultados
• Relatórios
• Infográficos
• Storytelling
BI – Business Intelligence
Objetivos do BI
• Fornecer conhecimento para o nível estratégico
• Extrair os KPIs das fontes de dados
• Prover meios para análise exploratória das informações
• Comunicar e disponibilizar resultados
• Fornecer o conhecimento para a tomada de decisão
Descoberta de Conhecimento em Dados
• Transformação dos dados brutos em conhecimento
• Dado: é uma observação da realidade, métrica
• Informação: é o resultado da comparação, combinação e dos dados
• Conhecimento:
Descoberta de Conhecimento em Dados
• 1. Coleta de dados
• 2. Pré-processamento
• 2.1 Limpeza
• 2.2 Integração
• 2.3 Transformação
• 3. Mineração de Dados
• 4. Apresentação
Coleta de Dados
• Envolve a obtenção e o armazenamento dos dados
• Exemplos:
• Sistemas de gestão
• Planilhas
• Navegação de usuários em sites
• Web Crawling
• Sensores Remotos
• Aplicativos Móveis
Pré-processamento
• Preparação dos dados para a etapa de mineração
• Fornece dados de qualidade
• Pode ocupar de 70% - 90% do esforço
Pré-processamento
• Limpeza de dados
• Erros de formatação
• Adequação de tipos de dados
• Tratamento de valores ausentes (missing values)
• Remoção de ruídos
• Identificação de entidades
Pré-processamento
• Integração das fontes de dados
• Criação de data warehouses
• Criação de data lakes
Pré-processamento
• Transformação
• Seleção de atributos
• Discretização
• Categorização
• Redução de dimensionalidade
• Amostragem
• Normalização
• Remoção de Outliers
Mineração de Dados
• Extração de padrões
• Cálculos de métricas e indicadores
• Geração de modelos descritivos
• Geração de modelos preditivos
• Técnicas de estatística e aprendizado de máquina
Mineração de Dados
• Estatística
• Medidas-resumo (média, mediana, desvio-padrão)
• Ordenar dados
• Distribuição em quantis
• Verificar correlações
• Realizar inferências
• Testes de hipótese
• Análise de séries temporais
Mineração de Dados
• Aprendizado supervisionado
• Árvores de decisão
• Redes bayesianas
• Redes neurais
• Support Vector Machines (SVM)
• Regressão Linear
Mineração de Dados
• Aprendizado não-supervisionado
• Agrupamentos (clusters)
• Agrupamentos hierárquicos
• Mineração de itens frequentes e regras de associação
• Detecção de anomalias
Apresentação
• Transmissão do conhecimento para os stakeholders
• Sem uma apresentação adequada, DCD não entrega valor
• Gráficos
• Tabelas Dinâmicas
• Relatórios
• Painéis
• Infográficos
• Aplicativos Móveis
Tecnologias
• Armazenamento
• Integração
• Mineração de Dados
• Visualização
• BI Suites
Armazenamento
• Oracle
• SQL-Server
• Hadoop (HDFS)
• Hbase
• Cassandra
• MongoDB
• Neo4j
Integração (ETL)
• Integration Services
• Talend
• Pentaho Kettle
• PowerCenter
Mineração de Dados
• WEKA
• Spark
• Kmine
• Rapid Miner
• MS Analysis Services
• Excel (por que não ?)
• SAS
Visualização (Self-Service BI)
• Tableau
• Qlik View
• Power BI
• Excel (por que não ?)
BI Suites
• Pentaho
• JasperSoft
• Microsoft SQL Server
• Oracle Business Intelligence
• IBM Cognos
E se nenhuma atender ?
• Java
• C#
• Python
• Ruby
• PHP
• R
Papel do analista de BI
• Compreender os objetivos estratégicos do negócio
• Criar o fluxo de extração de conhecimento
• Selecionar a tecnologia adequada para cada etapa
Conclusão
• Ampla disponibilidade de tecnologias
• Ferramenta não faz milagre
• BI entrega valor à medida que:
• Os processos são compreendidos
• Conhecimento gerado revela relações de causa-efeito
• As decisões são tomadas em alinhamento com os objetivos estratégicos do
negócio

Mais conteúdo relacionado

Semelhante a Descobrindo Conhecimento em Dados para Auxiliar a Tomada de Decisões

201305 IT Simplification Lean caixa-geraldepositos
201305 IT Simplification   Lean caixa-geraldepositos201305 IT Simplification   Lean caixa-geraldepositos
201305 IT Simplification Lean caixa-geraldepositosFrancisco Calzado
 
Ppt webinar - renato avelar
Ppt  webinar - renato avelarPpt  webinar - renato avelar
Ppt webinar - renato avelarRenato Avelar
 
Big Data Analytics -- Projetos e Modelo de Maturidade
Big Data Analytics -- Projetos e Modelo de MaturidadeBig Data Analytics -- Projetos e Modelo de Maturidade
Big Data Analytics -- Projetos e Modelo de MaturidadeDan S. Reznik, PhD
 
Desenvolvimento de Projetos Interativos: Especificação e Implementação
Desenvolvimento de Projetos Interativos: Especificação e ImplementaçãoDesenvolvimento de Projetos Interativos: Especificação e Implementação
Desenvolvimento de Projetos Interativos: Especificação e ImplementaçãoEdyd B. Junges
 
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptxssuser87aa77
 
Dheka - Apresentacao Institucional
Dheka - Apresentacao InstitucionalDheka - Apresentacao Institucional
Dheka - Apresentacao Institucionaldheka
 
Gestão Estratégica da Informação.pdf
Gestão Estratégica da Informação.pdfGestão Estratégica da Informação.pdf
Gestão Estratégica da Informação.pdfjoeljose321235
 
Carreira do profissional de dados
Carreira do profissional de dadosCarreira do profissional de dados
Carreira do profissional de dadosEdvaldo Castro
 
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimento
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimentoCapítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimento
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimentoEverton Souza
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesarthurjosemberg
 
Poc1 apresentacao parcial_henriquechevreux
Poc1 apresentacao parcial_henriquechevreuxPoc1 apresentacao parcial_henriquechevreux
Poc1 apresentacao parcial_henriquechevreuxchevreux
 

Semelhante a Descobrindo Conhecimento em Dados para Auxiliar a Tomada de Decisões (20)

Aula 1
Aula 1Aula 1
Aula 1
 
Business Analytics
Business AnalyticsBusiness Analytics
Business Analytics
 
201305 IT Simplification Lean caixa-geraldepositos
201305 IT Simplification   Lean caixa-geraldepositos201305 IT Simplification   Lean caixa-geraldepositos
201305 IT Simplification Lean caixa-geraldepositos
 
TechDays 2010 DAT202
TechDays 2010 DAT202TechDays 2010 DAT202
TechDays 2010 DAT202
 
Sistemas de Informação 2 - Aula13 - psi cap10 sistemas de infomração gerencia...
Sistemas de Informação 2 - Aula13 - psi cap10 sistemas de infomração gerencia...Sistemas de Informação 2 - Aula13 - psi cap10 sistemas de infomração gerencia...
Sistemas de Informação 2 - Aula13 - psi cap10 sistemas de infomração gerencia...
 
Ppt webinar - renato avelar
Ppt  webinar - renato avelarPpt  webinar - renato avelar
Ppt webinar - renato avelar
 
Big Data Analytics -- Projetos e Modelo de Maturidade
Big Data Analytics -- Projetos e Modelo de MaturidadeBig Data Analytics -- Projetos e Modelo de Maturidade
Big Data Analytics -- Projetos e Modelo de Maturidade
 
WAW-RJ: Apresentação de Ruy Carneiro sobre o GA Premium
WAW-RJ: Apresentação de Ruy Carneiro sobre o GA PremiumWAW-RJ: Apresentação de Ruy Carneiro sobre o GA Premium
WAW-RJ: Apresentação de Ruy Carneiro sobre o GA Premium
 
Desenvolvimento de Projetos Interativos: Especificação e Implementação
Desenvolvimento de Projetos Interativos: Especificação e ImplementaçãoDesenvolvimento de Projetos Interativos: Especificação e Implementação
Desenvolvimento de Projetos Interativos: Especificação e Implementação
 
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx
1a Análise de Dados_Nayam Hanashiro_Apresentação.pptx
 
ILM com PostgreSQL
ILM com PostgreSQLILM com PostgreSQL
ILM com PostgreSQL
 
Dheka - Apresentacao Institucional
Dheka - Apresentacao InstitucionalDheka - Apresentacao Institucional
Dheka - Apresentacao Institucional
 
Gestão Estratégica da Informação.pdf
Gestão Estratégica da Informação.pdfGestão Estratégica da Informação.pdf
Gestão Estratégica da Informação.pdf
 
Carreira do profissional de dados
Carreira do profissional de dadosCarreira do profissional de dados
Carreira do profissional de dados
 
Conceitos DW
Conceitos DWConceitos DW
Conceitos DW
 
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimento
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimentoCapítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimento
Capítulo 10 - Como melhorar a tomada de decisão e a gestão do conhecimento
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_services
 
GUBI: Agile Analytics [pt-br]
GUBI: Agile Analytics [pt-br]GUBI: Agile Analytics [pt-br]
GUBI: Agile Analytics [pt-br]
 
Poc1 apresentacao parcial_henriquechevreux
Poc1 apresentacao parcial_henriquechevreuxPoc1 apresentacao parcial_henriquechevreux
Poc1 apresentacao parcial_henriquechevreux
 
ASI aula3
ASI aula3ASI aula3
ASI aula3
 

Mais de Rodolfo Mendes

Introdução a Data Science com Python
Introdução a Data Science com PythonIntrodução a Data Science com Python
Introdução a Data Science com PythonRodolfo Mendes
 
Introdução à API java.io
Introdução à API java.ioIntrodução à API java.io
Introdução à API java.ioRodolfo Mendes
 
Introdução à API java.io
Introdução à API java.ioIntrodução à API java.io
Introdução à API java.ioRodolfo Mendes
 
Indexando e Ordenando Data Sets
Indexando e Ordenando Data SetsIndexando e Ordenando Data Sets
Indexando e Ordenando Data SetsRodolfo Mendes
 
Entendendo a Arquitetura de Armazenamento, parte 1
Entendendo a Arquitetura de Armazenamento, parte 1Entendendo a Arquitetura de Armazenamento, parte 1
Entendendo a Arquitetura de Armazenamento, parte 1Rodolfo Mendes
 

Mais de Rodolfo Mendes (6)

Introdução a Data Science com Python
Introdução a Data Science com PythonIntrodução a Data Science com Python
Introdução a Data Science com Python
 
Introdução à API java.io
Introdução à API java.ioIntrodução à API java.io
Introdução à API java.io
 
Introdução à API java.io
Introdução à API java.ioIntrodução à API java.io
Introdução à API java.io
 
NoSQL Na Nuvem
NoSQL Na NuvemNoSQL Na Nuvem
NoSQL Na Nuvem
 
Indexando e Ordenando Data Sets
Indexando e Ordenando Data SetsIndexando e Ordenando Data Sets
Indexando e Ordenando Data Sets
 
Entendendo a Arquitetura de Armazenamento, parte 1
Entendendo a Arquitetura de Armazenamento, parte 1Entendendo a Arquitetura de Armazenamento, parte 1
Entendendo a Arquitetura de Armazenamento, parte 1
 

Descobrindo Conhecimento em Dados para Auxiliar a Tomada de Decisões

  • 1. Descobrindo Conhecimento em Dados para Auxiliar a Tomada de Decisões Rodolfo M. S. Mendes
  • 2. Administração • Administrar é alocar recursos • Toda organização dispõe de recursos limitados • Toda organização pratica administração • De maneira consciente ou não • Em diferentes graus de proficiência • A competitividade de uma empresa depende da proficiência de sua administração
  • 3. Tomada de Decisão • Alocar recursos é uma tomada de decisão • “Selecionar o curso de uma ação frente duas ou mais alternativas, com o intuito de se alcançar um objetivo”
  • 4. Tomada de Decisão – Exemplos • Firmar contrato como fornecedor A ou B ? • Quais ações comprar ? Quais vender ? • Como distribuir o espaço de gôndola entre as marcas A, B ou C ? • Quantos programadores alocar para o projeto X ? • Liberar recursos para o viaduto ou para o hospital ? • Financiar casa ou carro ?
  • 5. Como avaliar uma decisão ? • Uma decisão é boa ou ruim com relação a um objetivo • Uma boa decisão contribui para atingir o objetivo • Uma má decisão prejudica o cumprimento do objetivo
  • 6. Como tomar boas decisões ? • Conhecer as relações de causa/efeito sobre o objeto da decisão • Ter a capacidade de realizar previsões
  • 7. Exemplo • Objetivo: diminuir a ruptura do produto X (falta do produto na área de vendas) • Possíveis causas: • Aumento da demanda • Longo intervalo de reposição • Falta do produto em estoque • Decisões: • Treinamento repositores • Aumentar pedidos • Trocar fornecedores
  • 8. BSC - Balanced Scorecards • Mapear atividades de curto-prazo para objetivos de longo-prazo • Traduz a visão estratégica nas perspectivas • Financeira • Clientes • Processos Internos • Aprendizagem e Crescimento
  • 9. BSC – Balanced Scorecards • Para cada uma das perspectivas são definidos: • Objetivos • Indicadores • Metas • Atividades
  • 10. KPI – Key Performance Indicators • São as indicadores escolhidos para medir a performance da empresa • Categorias de KPI: • Produtividade • Qualidade • Financeiros • Estratégicos • No nível estratégico são definidos pelo BSC • Podem ser decompostos em indicadores táticos e operacionais
  • 11.
  • 12. PDCA • Sistematização para atingir objetivos • Plan (Planejar) • Do (Fazer) • Check (Verificar) • Act (Agir)
  • 13. P – Plan (Planejar) • Identificação dos resultados indesejáveis • Averiguação das causas fundamentais • Análise de dados históricos • Diagrama de “espinha de peixe” • Análise de Pareto • Gráficos e estatísticas • Elaboração do plano de ação • Como bloquear/anular as causas fundamentais
  • 14. D – Do (Fazer) • Treinamento do pessoal • Execução do plano de ação
  • 15. C – Check (Verificar) • Verificação do resultados • Análise de dados históricos • Gráficos e estatísticas • Verifica-se se o problema foi resolvido
  • 16. A – Act (Agir) • Prevenir o reaparecimento do problema • Padronização da operação • Comunicação dos padrões e resultados • Relatórios • Infográficos • Storytelling
  • 17. BI – Business Intelligence
  • 18. Objetivos do BI • Fornecer conhecimento para o nível estratégico • Extrair os KPIs das fontes de dados • Prover meios para análise exploratória das informações • Comunicar e disponibilizar resultados • Fornecer o conhecimento para a tomada de decisão
  • 19. Descoberta de Conhecimento em Dados • Transformação dos dados brutos em conhecimento • Dado: é uma observação da realidade, métrica • Informação: é o resultado da comparação, combinação e dos dados • Conhecimento:
  • 20. Descoberta de Conhecimento em Dados • 1. Coleta de dados • 2. Pré-processamento • 2.1 Limpeza • 2.2 Integração • 2.3 Transformação • 3. Mineração de Dados • 4. Apresentação
  • 21. Coleta de Dados • Envolve a obtenção e o armazenamento dos dados • Exemplos: • Sistemas de gestão • Planilhas • Navegação de usuários em sites • Web Crawling • Sensores Remotos • Aplicativos Móveis
  • 22. Pré-processamento • Preparação dos dados para a etapa de mineração • Fornece dados de qualidade • Pode ocupar de 70% - 90% do esforço
  • 23. Pré-processamento • Limpeza de dados • Erros de formatação • Adequação de tipos de dados • Tratamento de valores ausentes (missing values) • Remoção de ruídos • Identificação de entidades
  • 24. Pré-processamento • Integração das fontes de dados • Criação de data warehouses • Criação de data lakes
  • 25. Pré-processamento • Transformação • Seleção de atributos • Discretização • Categorização • Redução de dimensionalidade • Amostragem • Normalização • Remoção de Outliers
  • 26. Mineração de Dados • Extração de padrões • Cálculos de métricas e indicadores • Geração de modelos descritivos • Geração de modelos preditivos • Técnicas de estatística e aprendizado de máquina
  • 27. Mineração de Dados • Estatística • Medidas-resumo (média, mediana, desvio-padrão) • Ordenar dados • Distribuição em quantis • Verificar correlações • Realizar inferências • Testes de hipótese • Análise de séries temporais
  • 28. Mineração de Dados • Aprendizado supervisionado • Árvores de decisão • Redes bayesianas • Redes neurais • Support Vector Machines (SVM) • Regressão Linear
  • 29. Mineração de Dados • Aprendizado não-supervisionado • Agrupamentos (clusters) • Agrupamentos hierárquicos • Mineração de itens frequentes e regras de associação • Detecção de anomalias
  • 30. Apresentação • Transmissão do conhecimento para os stakeholders • Sem uma apresentação adequada, DCD não entrega valor • Gráficos • Tabelas Dinâmicas • Relatórios • Painéis • Infográficos • Aplicativos Móveis
  • 31. Tecnologias • Armazenamento • Integração • Mineração de Dados • Visualização • BI Suites
  • 32. Armazenamento • Oracle • SQL-Server • Hadoop (HDFS) • Hbase • Cassandra • MongoDB • Neo4j
  • 33. Integração (ETL) • Integration Services • Talend • Pentaho Kettle • PowerCenter
  • 34. Mineração de Dados • WEKA • Spark • Kmine • Rapid Miner • MS Analysis Services • Excel (por que não ?) • SAS
  • 35. Visualização (Self-Service BI) • Tableau • Qlik View • Power BI • Excel (por que não ?)
  • 36. BI Suites • Pentaho • JasperSoft • Microsoft SQL Server • Oracle Business Intelligence • IBM Cognos
  • 37. E se nenhuma atender ? • Java • C# • Python • Ruby • PHP • R
  • 38. Papel do analista de BI • Compreender os objetivos estratégicos do negócio • Criar o fluxo de extração de conhecimento • Selecionar a tecnologia adequada para cada etapa
  • 39. Conclusão • Ampla disponibilidade de tecnologias • Ferramenta não faz milagre • BI entrega valor à medida que: • Os processos são compreendidos • Conhecimento gerado revela relações de causa-efeito • As decisões são tomadas em alinhamento com os objetivos estratégicos do negócio

Notas do Editor

  1. Todo elemento é ao mesmo tempo causa e efeito, para cada elemento/objeto devemos conhecer suas causas e seus efeitos.