O documento descreve as etapas e serviços envolvidos no ciclo de vida analítico para realização de projetos, incluindo a definição do problema, identificação e exploração de dados e desenvolvimento analítico. Estas fases visam garantir a compreensão do problema de negócio, disponibilidade e qualidade dos dados necessários e aplicação das técnicas analíticas adequadas.
1. Ciclo de vida analítico
e os serviços para
realização de projetos
Uma leitura livre, em português, do livro The Analytics Lifecicle Toolkit – A practical guide for an effective analytics capability,
Gregory S Nelson, Ed. Wiley, 2018
2. Metodologia
de referência
Ciclo de Vida
Analítico
Uma leitura livre, em português, do livro The Analytics Lifecicle Toolkit – A practical guide for an effective analytics capability, Gregory S Nelson, Ed. Wiley, 2018
3. The Analytics Lifecicle Toolkit – A practical guide for na effective analytics capability, Gregory S Nelson, Ed. Wiley, 2018
Metodologia
de referência
4. Metodologia
Ciclo de Vida
Analítico
O ciclo de vida analítico estabelece as fases e etapas
necessários ao desenvolvimento de projetos analíticos,
que têm características diversas ao desenvolvimento de
software clássico.
A metodologia considera a variação de complexidade
dos projetos analíticos, e estabelece critérios, premissas
e técnicas, que alicerçam o planejamento, o
alinhamento de expectativas e a possibilidade de se
ampliar a assertividade nas estimativas de projeto.
Ainda, nos diferentes tipos de projetos analíticos, as
etapas necessárias podem variar, bem como, a
quantidade de esforço aplicada a cada uma das
etapas.
5. Ciclo de vida analítico
Definição do problema
Trata da fase do Ciclo de vida analítico que busca a compreensão e a
priorização das necessidades de negócios, de forma a garantir que as
soluções potenciais resolvam os problemas levantados, sem criar outros
novos.
Visa contemplar as necessidades de planejamento, da análise de
viabilidade, do levantamento de informações, da especificação dos
casos de negócio e da análise de riscos.
Essa fase é organizada em cinco etapas – Identificação, Análise de
causa raiz, Geração de hipóteses, Design de questionamentos e
Priorização de casos de negócios.
6. Definição do problema
Serviços da etapa de
Identificação
1. Identificação e categorização do problema de negócio
2. Exploração preliminar de dados (qual a ordem de grandeza do problema e
disponibilidade de dados para responde-lo)
3. Definição do problema e seus impactos
4. Justificativa para o desenvolvimento analítico
5. Reformulação do problema para termos analíticos e requisitos técnicos
6. Identificar suposições e proposições correlatas
7. Refinar e propor as declarações finais dos problemas de negócios e analíticos
7. Definição do problema
Serviços da etapa de Análise de
causa raiz
1. Utilização de técnicas de brainstorming e design thinking para identificação
de relações de causa e efeito nos problemas
2. Classificar os requisitos e determinar se há viabilidade de tratá-los
3. Aplicar análise de causa raiz às definições de requisitos
8. Definição do problema
Serviços da etapa de Geração
de hipóteses
1. Construir hipóteses que possam ser testadas e sua aplicabilidade
2. Assinalar pontos não compreendidos
3. Validar resultados esperados e requisitos de informação com os envolvidos das
áreas de negócio (patrocinadores)
4. Conduzir pesquisas na busca de identificar soluções às potenciais fontes de
problemas encontrados
9. Definição do problema
Serviços da etapa de Design de
questionamentos
1. Aplicar critérios FINER* para avaliar quando um problema pode ser respondido
2. Converter as questões em proposições de design de estudo
* O método FINER garante que os pesquisadores determinem quando
os recursos existentes são suficientes para condução do estudo.
10. Definição do problema
Serviços da etapa de Priorização
de casos de negócio
1. Priorizar requisitos baseado no valor para o negócio, custo de produção e
tempo.
2. Validar se o design de solução atende aos requisitos de negócios
3. Definir as capacidades necessárias para produção
4. Identificar e gerir as métricas necessárias para implementação da solução e
critérios de sucesso.
11. Definição do problema
Serviços
Etapa Serviço Complexidade
Identificação e categorização do problema de negócio C
Exploração preliminar de dados (qual a ordem de grandeza do problema e disponibilidade de dados para responde-lo) C
Definição do problema e seus impactos B
Justificativa para o desenvolvimento analítico B
Reformulação do problema para termos analíticos e requisitos técnicos C
Identificar suposições e proposições correlatas B
Refinar e propor as declarações finais dos problemas de negócios e analíticos B
Utilização de técnicas de brainstorming e design thinking para identificação de relações de causa e efeito nos problemas C
Classificar os requisitos e determinar se há viabilidade de tratá-los B
Aplicar análise de causa raiz às definições de requisitos C
Construir hipóteses que possam ser testadas e sua aplicabilidade C
Assinalar pontos não compreendidos A
Validar resultados esperados e requisitos de informação com os envolvidos das áreas de negócio (patrocinadores) C
Conduzir pesquisas na busca de identificar soluções às potenciais fontes de problemas encontrados B
Aplicar critérios FINER (suficiência de recursos) para avaliar quando um problema pode ser respondido C
Converter as questões em proposições de design de estudo B
Priorizar requisitos baseado no valor para o negócio, custo de produção e tempo. C
Validar se o design de solução atende aos requisitos de negócios C
Definir as capacidades necessárias para produção B
Identificar e gerir as métricas necessárias para implementação da solução e critérios de sucesso B
Análise de causa raiz
Geração de hipóteses
Design de
questionamentos
Priorização de casos de
negócio
Definição do Problema
Identificação
12. Ciclo de vida analítico
Identificação e exploração de
dados
Trata da fase do Ciclo de vida analítico que busca formar uma
compreensão da realidade dos dados necessários ao projeto, quais
são disponíveis ou não, qual sua usabilidade, quão bem eles ajudam
a tratar e descrever os problemas levantados, qual seu real valor
para o negócio.
Nessa fase, determinamos qual a diferença entre os dados que
podemos obter, versus aqueles que precisaríamos ter para tratar os
problemas da melhor maneira. Também, buscamos responder qual
nossa capacidade de processar esses dados, seus tipos, como
captura-los e qual sua veracidade. A partir daí, preparamos os dados
para atender aos projetos da melhor forma possível.
13. Serviços da etapa de Identificação e
priorização dos dados
1. Pesquisar os dados que possam ser obtidos para resolução do problema
2. Identificar aqueles dados que podem ser obtidos e aqueles que são
desejáveis, mas, não são necessariamente disponíveis
3. Analisar como os dados identificados são refletidos no negócio, processos
e fluxos operacionais
4. Verificar a proveniência e governança sobre os dados
Identificação e
exploração dos dados
14. Serviços da etapa de Obtenção, ingestão e
preparação dos dados
1. Extrair os dados estruturados de suas fontes
2. Extrair os dados não estruturados
3. Realizar a integração dos dados das diversas fontes
4. Determinar a privacidade e proteção dos dados
5. Data quality – aplicar processos de limpeza e enriquecimento
6. Mapear os dados resultantes com o negócio, processos e fluxos
operacionais
7. Modelar a estrutura de dados de maneira adequada ao tipo de análise
que será realizada
Identificação e
exploração dos dados
15. Serviços da etapa de Perfil dos dados
(profiling)
1. Identificar relações entre os dados
2. Explorar dados de caráter desconhecido
3. Traçar o perfil dos dados
4. Estabelecer e executar um processo estruturado para a descrição das
principais agregações, tendências e características dos dados
5. Realizar análise exploratória, usando análise descritiva, de frequência e
distribuições
6. Investigar dados outlier
7. Determinar hipóteses para tratar o problema
Identificação e
exploração dos dados
16. Serviços da etapa de Exploração dos
dados
1. Utilizar ferramentas de data Discovery para examinar as associações de
dados
2. Criar protótipos de visualização adequados aos tipos de dados e análises
3. Documentar gráficos e visões que ajudem a explicar o contexto e insights
dos dados
Identificação e
exploração dos dados
17. Serviços
Identificação e exploração dos dados
Etapa Serviço Complexidade
Pesquisar os dados que possam ser obtidos para resolução do problema B
Identificar aqueles dados que podem ser obtidos e aqueles que são desejáveis, mas, não são necessariamente disponíveis B
Analisar como os dados identificados são refletidos no negócio, processos e fluxos operacionais C
Verificar a proveniência e governança sobre os dados B
Extrair os dados estruturados de suas fontes B
Extrair os dados não estruturados C
Realizar a integração dos dados das diversas fontes B
Determinar a privacidade e proteção dos dados B
Data quality – aplicar processos de limpeza e enriquecimento B
Mapear os dados resultantes com o negócio, processos e fluxos operacionais B
Modelar a estrutura de dados de maneira adequada ao tipo de análise que será realizada C
Identificar relações entre os dados B
Explorar dados de caráter desconhecido C
Traçar o perfil dos dados B
Estabelecer e executar um processo estruturado para a descrição das principais agregações, tendências e características dos dados B
Realizar análise exploratória, usando análise descritiva, de frequência e distribuições C
Investigar dados outlier B
Determinar hipóteses para tratar o problema B
Utilizar ferramentas de data Discovery para examinar as associações de dados B
Criar protótipos de visualização adequados aos tipos de dados e análises C
Documentar gráficos e visões que ajudem a explicar o contexto e insights dos dados B
Obtenção, ingestão e
preparação dos dados
Identificação e
priorização dos dados
Perfil dos dados
(profiling)
Exploração dos dados
Exploração de dados
18. Ciclo de vida analítico
Desenvolvimento analítico
O objetivo dessa fase é estabelecer um framework que traga
considerações e orientações quanto a aplicação de técnicas analíticas (e
não a discussão de quais técnicas, em constante desenvolvimento), para
que sejam acessíveis e de entendimento normalizado por todo o time
analítico, para aplicação no desenvolvimento, teste e uso dos modelos.
Quando nos referimos a um modelo de desenvolvimento analítico estamos
buscando traduzir um fenômeno natural em uma aproximação
matemática, pelo exame dos dados coletados de forma a estabelecer
padrões, relacionamentos e tendências. Um modelo pode ajudar a
explicar um sistema e explicar seus efeitos em diferentes componentes,
prevendo comportamentos.
19. Serviços da etapa de Realizar
comparações
1. Determinar métodos estatísticos e testá-los na busca de conclusões
2. Aplicar variados modelos e processos e comparar os resultados
3. Comparar características de dados categóricos e numéricos
4. Identificar medidas quantitativas que descrevem as propriedades das
amostras de dados
5. Definir a significância estatística, intervalos de confiança e testes de
hipóteses
6. Diferenciar dados categóricos ou contínuos e as estratégias de testes mais
adequados para realização de inferências sobre esses dados
Desenvolvimento
analítico
20. Serviços da etapa de Medir
associações
1. Utilizar métodos visuais para examinar as relações entre os dados
2. Distinguir variáveis preditoras e variáveis resposta e seus papeis nos testes
de associação
3. Descrever os tipos de testes usados para medir as associações, incluindo
paramétricos e não paramétricos
4. Estabelecer diferenças entre associações e relações de causa e efeito
Desenvolvimento
analítico
21. Serviços da etapa de Realizar análises
preditivas
1. Identificar as classes de modelos preditivos
2. Elencar os tipos e métodos supervisionados e não supervisionados usados
nos modelos
3. Relacionar os problemas com os tipos de métodos de análise (estatísticos,
mineração de dados ou aprendizagem de máquina)
4. Reconhecer modelos comuns que possam ser aplicados (modelos
preditivos, clusterização, redes neurais, machine learning)
Desenvolvimento
analítico
22. Serviços da etapa de Detectar
padrões
1. Classificar os tipos de problemas que podem ser resolvidos com
reconhecimento de padrões
2. Descrever as várias classificações de abordagens
3. Mostrar diferenças entre as seleções e extrações
4. Descrever as diferenças entre classificações e discriminações
Desenvolvimento
analítico
23. Serviços
Desenvolvimento analítico
Etapa Serviço Complexidade
Determinar métodos estatísticos e testá-los na busca de conclusões C
Aplicar variados modelos e processos e comparar os resultados C
Comparar características de dados categóricos e numéricos B
Identificar medidas quantitativas que descrevem as propriedades das amostras de dados C
Definir a significância estatística, intervalos de confiança e testes de hipóteses C
Diferenciar dados categóricos ou contínuos e as estratégias de testes mais adequados para realização de inferências sobre esses dados C
Utilizar métodos visuais para examinar as relações entre os dados B
Distinguir variáveis preditoras e variáveis resposta e seus papeis nos testes de associação C
Descrever os tipos de testes usados para medir as associações, incluindo paramétricos e não paramétricos B
Estabelecer diferenças entre associações e relações de causa e efeito C
Identificar as classes de modelos preditivos C
Elencar os tipos e métodos supervisionados e não supervisionados usados nos modelos C
Relacionar os problemas com os tipos de métodos de análise (estatísticos, mineração de dados ou aprendizagem de máquina) C
Reconhecer modelos comuns que possam ser aplicados (modelos preditivos, clusterização, redes neurais, machine learning) B
Classificar os tipos de problemas que podem ser resolvidos com reconhecimento de padrões C
Descrever as várias classificações de abordagens C
Mostrar diferenças entre as seleções e extrações C
Descrever as diferenças entre classificações e discriminações C
Desenvolvimento Analítico
Realizar comparações
Medir associações
Realizar análises
preditivas
Detectar padrões
24. Ciclo de vida analítico
Operacionalização
Essa fase busca estabelecer os processos que tratam da transição dos
protótipos para a produção, portanto, trata-se da fase de testes e
implementação e, principalmente, da construção da estratégia e dos
mecanismos de apresentação.
Busca o refinamento da solução antes de torná-la pública à
organização. Um produto analítico pode impactar significativamente a
forma como as pessoas trabalham, incluindo a alteração dos seus
processos de negócios. Pode haver resistência natural às mudanças e
impacto na cultura organizacional.
A camada de apresentação estabelece a comunicação e a
interatividade do projeto, sendo o meio de materialização visível do
trabalho. É necessário uma abordagem que viabilize o acesso a todos os
públicos e propicie o nível de informação e interatividade adequados.
25. Serviços da etapa de Avaliação das
soluções
1. Conduzir a interpretação dos resultados analíticos
2. Capacitar e orientar os patrocinadores
3. Realizar a validação dos modelos junto ao negócio
4. Comparar os resultados dos vários modelos em sua aplicação no negócio
5. Explorar explicações alternativas
Operacionalização
26. Serviços da etapa de Implantação
1. Incorporar os resultados analíticos ao fluxo de negócio, de forma a
impactar a operação e as atividades de negócios
2. Documentar o modelo, sua usabilidade e os requisitos sistêmicos para
produção
3. Implantar o modelo em produção
4. Suportar os impactos nas mudanças de processos de negócios e seus
usuários
5. Dar suporte a implementação
6. Avaliar a usabilidade e o impacto nos fluxos operacionais
7. Documentar e comunicar os resultados (incluindo suposições, limitações
e restrições)
Operacionalização
27. Serviços da etapa de Apresentação e
visualização
Comunicar de maneira efetiva às diversas audiências – criar uma estratégia
4x4*, (“o bebedouro”, “a cafeteria”, “a biblioteca”, “o laboratório”)
1. Criar visualizações e dashboards – “o bebedouro”
2. Criar data history telling – “a cafeteria”
3. Criar o ambiente de interatividade – “a biblioteca”
4. Criar o ambiente de experimentação e compartilhamento – “o laboratório”
5. Realizar o trabalho de evangelização a partir dos resultados de negócios
do produto
6. Socializar e compartilhar os resultados
Operacionalização
* 4x4 – a model for knowledge content – Bill Shander
28. Serviços
Operacionalização
Etapa Serviço Complexidade Pontuação
Conduzir a interpretação dos resultados analíticos C 5
Capacitar e orientar os patrocinadores C 5
Realizar a validação dos modelos junto ao negócio B 3
Comparar os resultados dos vários modelos em sua aplicação no negócio C 5
Explorar explicações alternativas C 5
Incorporar os resultados analíticos ao fluxo de negócio, de forma a impactar a operação e as atividades de negócios C 5
Documentar o modelo, sua usabilidade e os requisitos sistêmicos para produção B 3
Implantar o modelo em produção C 5
Suportar os impactos nas mudanças de processos de negócios e seus usuários B 3
Dar suporte a implementação B 3
Avaliar a usabilidade e o impacto nos fluxos operacionais C 5
Documentar e comunicar os resultados (incluindo suposições, limitações e restrições) B 3
Criar visualizações e dashboards – “o bebedouro” C 5
Criar data history telling – “a cafeteria” C 5
Criar o ambiente de interatividade – “a biblioteca” C 5
Criar o ambiente de experimentação e compartilhamento – “o laboratório” C 5
Realizar o trabalho de evangelização a partir dos resultados de negócios do produto B 3
Socializar e compartilhar os resultados B 3
Apresentação e
Visualização
Avaliação das soluções
Implantação
Operacionalização
29. Ciclo de vida analítico
Gestão do ciclo de vida
Produtos Analíticos, incluindo requisições, projetos e produtos, precisam ser
gerenciados de forma adequada aos conceitos da ciência de dados. A gestão
dos produtos analíticos, envolve também sua relação com as pessoas e
processos, que precisam ser acompanhados e orientados a luz das melhores
práticas do ciclo de vida analítico.
Muitas organizações tratam o desenvolvimento de Produtos Analíticos
exatamente como tratam da gestão de projetos de desenvolvimento de
software, mas aqui estamos falando de uma atividade que exige um
tratamento evolutivo, de maior fluidez, e o tripé escopo-custo-tempo é afetado
pela incerteza maior dos projetos analíticos. Portanto, é necessário tratar
algumas peculiaridades na gestão do Produtos Analíticos, foco de interesse
dessa fase do Ciclo de vida analítico.
30. Gestão do ciclo de vida
1. Alinhamento estratégico
2. Desenvolver e dar suporte a colaboração dos produtos
3. Evangelismo analítico, buscando propagar a cultura analítica na organização
4. Analisar e quantificar os impactos e benefícios analíticos ao longo do tempo
Serviços da etapa de Gestão do
valor agregado
31. Gestão do ciclo de vida
1. Priorização analítica
2. Gestão dos projetos analíticos com princípios de Gerenciamento de Projetos
3. Estabelecimento de objetivos e marcos de projetos analíticos
4. Implantação de padrões e procedimentos para o gerenciamento de projetos
analíticos
5. Monitorar e gerenciar custos e recursos
6. Realizar estimativas e cronogramas
Serviços da etapa de Execução
32. Gestão do ciclo de vida
1. Melhoria contínua na governança de dados
2. Estabelecer, documentar e seguir planos de qualidade
3. Seguir processos de testes de qualidade
4. Utilizar validação baseada em riscos
5. Criar grupos (pares) para revisão de código, produtos de dados e de
visualização
6. Recalibrar e manter modelos
Serviços da etapa de Processo de
qualidade
33. Gestão do ciclo de vida
1. Análise de impactos de mudança
2. Atividades de capacitação, treinamento e comunicação
3. Monitorar a Gestão de mudanças
4. Promover processos para gerenciamento de mudanças e avaliação de
impacto das decisões
5. Promover a cultura do compartilhamento e colaboração
Serviços da etapa de Participação
de patrocinadores
34. Gestão do ciclo de vida
1. Gerenciar recursos e avaliar performance
2. Gerenciar um portfolio de projetos e recursos analíticos
3. Gerenciar o desenvolvimento e retenção de talentos
4. Promover orientação para aumento de performance
5. Gerenciamento de conflitos
6. Lições aprendidas
7. Gerar um catálogo de recursos de dados, projetos e produtos analíticos
Serviços da etapa de
Desenvolvimento de capacidade
35. Gestão do ciclo de vida
Serviços
Etapa Serviço Complexidade
Alinhamento estratégico B
Desenvolver e dar suporte a colaboração dos produtos B
Evangelismo analítico, buscando propagar a cultura analítica na organização B
Analisar e quantificar os impactos e benefícios analíticos ao longo do tempo B
Priorização analítica C
Gestão dos projetos analíticos com princípios de Gerenciamento de Projetos B
Estabelecimento de objetivos e marcos de projetos analíticos A
Implantação de padrões e procedimentos para o gerenciamento de projetos analíticos A
Monitorar e gerenciar custos e recursos B
Realizar estimativas e cronogramas B
Melhoria contínua na governança de dados B
Estabelecer, documentar e seguir planos de qualidade A
Seguir processos de testes de qualidade A
Utilizar validação baseada em riscos A
Criar grupos (pares) para revisão de código, produtos de dados e de visualização B
Recalibrar e manter modelos B
Gestão do ciclo de vida
Gestão do valor
agregado
Execução
Processo de qualidade
36. Gestão do ciclo de vida
Serviços
Etapa Serviço Complexidade
Análise de impactos de mudança B
Atividades de capacitação, treinamento e comunicação A
Monitorar a Gestão de mudanças A
Promover processos para gerenciamento de mudanças e avaliação de impacto das decisões B
Promover a cultura do compartilhamento e colaboração B
Gerenciar recursos e avaliar performance B
Gerenciar um portfolio de projetos e recursos analíticos B
Gerenciar o desenvolvimento e retenção de talentos C
Promover orientação para aumento de performance B
Gerenciamento de conflitos B
Lições aprendidas A
Gerar um catálogo de recursos de dados, projetos e produtos analíticos A
Desenvolvimento de
capacidade
Gestão do ciclo de vida
Participação de
patrocinadores