SlideShare uma empresa Scribd logo
1 de 121
Governança de
Dados-Uma
abordagem via
Canvas MGD
1
Carlos Barbieri
Versão01-agosto/2015
• Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975
• Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia
• Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data
Governance
• Consultoria e treinamento no Brasil e Portugal
• Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software,
responsável pelo Programa MPS.BR
– Engenharia de Software-MPS.BR
– Governança e Qualidade de Dados
• Autor de 3 livros na área de Dados, Informações e BI
• Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI
• CDMP-Certified Data Management Professional-DAMA-Data Management
Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS
(1994) (2002) (2011)
Carlos Barbieri Consultores Associados ®
Direitos reservados
carlos.barbieri@gmail.com
Governança de dados
Canvas MGD
• Objetivo:
– Aplicar, usando as técnicas de Canvas, uma
abordagem interativa para o desenvolvimento de
projetos “triggers” de dados, que possibilite a
alavancagem de conceitos de Governança de Dados
nas empresas
– Aplicar os conceitos de 5W2H na abordagem de
Gestão e Governança de dados
– Usa os Canvas de MGD(Melhoria de Gestão de
Dados) e o de P´s da Governança
4
Governança de dados
Canvas MGD
• Abordagem:
– Aplicada em treinamentos abertos e “in-company” com
alcance pleno de resultados
– Envolve a participação de gestores de dados de
negócios/analistas de negócios, administradores de
dados, DBA´s,etc na solução dos problemas associados
a dados e na construção interativa de soluções centradas
em abordagens de Governança e Gestão de dados
– Baseada nas melhores práticas mundiais, centradas em
modelos consolidados como DMM-Data Management
Maturity Model e DMBOK-Dama-Data Management
Association
5
Como implementar
GD na prática
6
Governança de dados
Canvas MGD
• Abordagem:
– Trabalha o envolvimento de equipes na solução de
problemas de dados
– Foca na interação, através de mecanismo de Canvas,
conduzindo a discussão através dos conceitos naturais de
5W2H
– Permite a visualização e a visão de cada componente,
definido sem restrições à priori
– Deve ter a visão de stakeholders de negócios e
representantes de TI, já com foco na possível composição da
estrutura de Governança de dados
– Veja a ilustração a seguir, mostrando as áreas de processos
do DMM, das Categorias Estratégia de dados e Governança
de Dados 7
Barbix-2015® Domani TI
Barbix-2015® Domani TI
v06
M/R/T
Benefícios(Why)
Requisitos(What)
Objetivos(Why/What)
v06
M/R/T
Benefícios(Why)
Requisitos(What)
Objetivos(Why/What)
O que impacta os negócios?
“Dores”, perdas, tipos,
criticidade, prioridade, causas
O que espero realizar para
neutralizar, mitigar os problemas
pela criticidade, prioridade
Dados apoiando negócios
O que espero ganhar com os objetivos
a serem alcançados
Priorização
Venda para alta gerência
How Much/How Many inicial
Principais dados envolvidos
Mestre, Referência,
Transacional,outros
RACI-inicial
Detalhamento dos objetivos
Soluções
Requisitos de Gestão de Dados
Requisitos de Governança de Dados
How much/How many feedback --------------
Áreas envolvidas na solução
Owners de dados, Especialistas negociais
em dados
Processos de dados(DLCM)
RACI e CRUD
Planejamento no tempo
Priorização
Estruturas:
Conselhor de GD
Comitê de GD
Gestores de dados
Escritório de Dados
(implantação)
Refinamento dos
custos
Os P´s da GD
Carlos Barbieri V02
Políticas Processos
Procedimentos Padrões
Pessoas/Papéis Programas/Projetos
DM
Plano-GD Plataformas/
arquiteturas
Performance Palavra-Propaganda
13
Patrocínio
Os P´s da GD
Carlos Barbieri V02
Políticas Processos
Procedimentos Padrões
Pessoas/Papéis Programas/Projetos
DM
Plano-GD Plataformas/
arquiteturas
Performance Palavra-Propaganda
14
Patrocínio Alto nível, (benefícios ou evitar os problemas)
BC, associado aos negócios, Patrocínio BSN
Não deve ser TI pura. FCS: cultura, colaboração,mudança
Regras normativas,
Consensadas, aprovadas;
atualizadas. Temas: DM/GD:
Modelagem, arquitetura, BD,
Segurança, MDM, BI,
Compliance,etc
Templates para criação
Ritual: proposta,
análise, aprovação, promulgação
Regras, normas e especificações
para definir, escrever,desenhar,
documentar e usar dados
Padrões da indústria
Padrões de Metadados (ISO)
Padrões de QD, BI, BD, MDM,etc
Definido e aprovado em ritual
semelhante
Conjunto de atividades, com Input
output, participantes, tools,
recursos, controle vias
Monitoração de performance
(QA,MED)
Aprovado, treinado e internalizado
Ex: Alteração de modelos
Conceituais de dados
Procedimentos: detalhamentos
de parte de processos, repetitivo
Procedimentos dentro de Proc.
MED,GQA,etc
Ex: Coleta de dados para medição
de QD
Gestores de dados de negócios
Gestores de dados por Assunto
Líder de GD
Conselho de GD
CDO
Custodiadores de dados
GD é um programa
Vários projetos: drivers, ações
emergenciais
Pense grande, comece pequeno
“Dont boil the ocean” Plano: detalhamento de
Objetivos, recursos pessoais,
tempo, recursos materiais,
necessidades de treinamento
Parte de Planejamento
Parte de Acompanhamento
Arquitetura: negócios, processos
tecnologia e de dados
Plataforma de tecnologia: BD,
DW/BI,Analytics, Big data,QD,
Metadados: Dicionários/
Repositórios de MD e Glossário
de negóciosPlano de MED(Medições)
Plano de QA
Aplica-se em GD,DM, etc
Fundamental
Plano de Comunicação
Palestras,newsletter,etc
Comunica: Padrões,
Processos,Políticas,
Procedimentos,Regras
5W 2 H
15
Abordagem
Why (O porquê)
16
Problemas de Dados na sua
empresa?
Barbix-2012
17
(Why)-O Porquê
• Começar pelo WHY?-Problemas
• Impactos em Mercado, Clientes, Produtos
• Regulações Aderência à compliance(aspectos regulatórios), Reputação
• Qualidade, Segurança de dados, Privacidade
• Disponibilidade de informação/garantia de fonte confiável
• Problemas de Integração: Arquitetura de dados integrada com Arquitetura
corporativa
• Fontes variadas de dados: ERP,SCM,SFA, PLM, Big Data
• Carência de informações analíticas e para tomada de decisões
• Dados – classificação : M(estre), R(eferenciais), T(ransacionais),etc
• Dados- classificação: Criticidade(3 níveis): alta/média/baixa
• Identifique os principais Metadados
• Identifique (inicialmente) Data Owners e Processos envolvidos
• Ferramentas: Entrevistas, Ferramentas de QD-profiling,etc
18
• Porquê?
• Problemas e riscos de Negócios
• Tipos de problemas(Pessoas,
Cultura, Gerência,
recursos,Processos,etc)
• Impactos em Mercado, Regulação,
Reputação, Perdas,etc
• Associe com potenciais problemas
de dados :
• Problemas de Segurança de Dados
• Problemas de Qualidade de dados
• Problemas de Integração de dados
• Problemas de
redundância/replicação
descontrolada de dados, carência
• Fontes variadas de dados
• Metadados
Why?
• Porquê?
• Quais dados principais estão no
contexto do problema
• Classifique em Dados Mestres,
Referenciais, Transacionais, outros
• Classifique os Dados em 3 níveis de
criticidade pelo potencial de
impacto nos negócios(muito-médio,
menos). Por exemplo, dados que são
exigidos por agências reguladoras
são considerados críticos
• Associe inicialmente Dados com
Unidades organizacionais(Data
Owners),
• Faça uma Matriz RACI inicial
Objetivos-Why/What:
• Como os dados poderão contribuir para a
melhoria(resolução) dos problemas de negócios. Por
exemplo ajudar em :
• Expansão de mercado, Melhoria de atendimento aos
clientes, Melhoria da Reputação da empresa,
diminuição de perdas, Minimização de riscos de
Compliance, de segurança de dados,etc
• Benefícios iniciais
• Melhoria da qualidade das informações;
• Melhoria da integração em sistemas e fontes de
dados;
• Melhoria de produção de informações para
“melhor” tomada de decisões;
• Maior qualidade nos relatórios de Compliance
• Priorize os benefícios para melhor
“vendê-los”
• Seja objetivo e conciso na sua
definição, com ênfase nos ganhos(How
much aproximado)
Objetivos-Benefícios iniciais
Dados
Mestres
(CS,FN,Local,
Emp,etc
Dados
Referenciais
(Códigos,CEP,
CCusto,SKU,
CContabeis
Dados
Transacionais
OC,NF,
PCompra-data
Metadados
código, nome, descrição, nome-negócios, etc
metadados técnicos, negócios, auditoria
DadosExternosDadosInternos
Dados Estruturados
(templates,campos)
Dados Não
Estruturados
(email,som,imagem,foto,posts)
Dados
Condicionais
F(x)
DadosDerivadosDadosPrimários
Dados
Históricos
Contexto de data
Estabilidade/Dados fundamentais(Foundational)
Volatilidade
Retenção/
Imutabilidade/
Informacional-BI
Condição/Regras
Forma
origem
Gênese/
Transformação
definição
Codificação
Padronização
Dados
Temporários
(otimização,
performance,
memória)
Big Data Governance
5V: Volume,Variedade,Velocidade
Veracidade e Valor
Transacional
Foundational
21
Dados e Metadados
What (O quê)
22
What ( O Quê)
• Requisitos de Dados para resolver os problemas de
negócios
• Envolve as soluções previstas para serem aplicadas, tanto
de DM(Gestão de dados), quanto de GD(Governança de
dados)
• Maior controle sobre os dados( documentação, qualidade,
uso, compartilhamento, integração, ciclo de vida,
monitoração)
• Definição de programas/projetos/plano estratégicos de
melhoria dos dados, Projetos de DM/GD
• Missão, Visão , Estratégia
23
Requisitos-What
Soluções de DM(Data
Management) e de GD(Governança
de Dados)
1)Sistema de informações
integrado para as áreas de ......
2)Sistema de Informações
analíticas sobre os dados para .....
3)Novas plataformas, como Big
Data,etc
4)Políticas e procedimentos sobre
sobre ações de ......................
5)Processos, Padrões e Medições
What-Requisitos
Benefícios-detalhe-What:
• Parte vendável para a alta
gerência
• Escritos de forma objetiva,
concisa e direta (Elevator
speech)
• Ganhos tangíveis e intangíveis
• Números e BC(Business Case)
• Outros: apresentações,
newsletter,
• Fatores: cultura da empresa,
forma de comunicação(jargão,
estilo)
• Plano estratégico de dados ou
• Charter de GD(3 pa´ginas)
• Convencimento e venda (How
much, How many)
Soluções para
• Qualidade de Estrutura/Integração
– Arquitetura dos dados, dados críticos para o negócio, MDM
• Qualidade de Documentação
– Metadados e Glossários de negócios
• Qualidade de Conteúdo
– Data Quality
• Qualidade de Segurança
– Segurança lógica e física
• Qualidade de Disponibilidade
– Acesso no momento necessário, Plataformas, sistemas e ferramentas
• Governança de Dados
– Políticas, Padrões, Processos, etc...
25
Referências
de melhores
práticas
26
Novo BOK
Novo nome:
Modelagem e Projeto de dados
Antigo: Desenvolvimento de Dados
Novo nome:
Armazenamento e Operações de dados
Antigo: Gerência de Operações de dados
Dama-Data Management Association
27
DAMA-DMBOK2
DAMA-DMBOK2
Pessoas(Papéis/responsabilidades,Organização e Cultura)
Processos(Atividades, Práticas e Técnicas)
Tecnologia(Ferramentas e Entregáveis) 28
Definição
Objetivos
Processo(Atividades)
Entradas
Saidas
Métricas
Quem fornece
as entradas
Quem processa
as entradas
(Responsável)
Quem consome
as saídas
Quem participa
do processo
(Informa, ou é
Consultado)
29
DAMA-DMBOK2
VISÃO GERAL NOS ANOS 200X
1
2
3
4
5
QUALIDADE
DE
DADOS
OPERAÇÕES
DE
DADOS
ESTRATÉGIA DE
GESTÃO DE DADOS
PLATAFORMA E
ARQUITETURA
1-realizado
2-gerenciado
3-definido
4-medido
5-otimizado
Capacidade
GOVERNANÇA
DE
DADOS
RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALTY
ASSURANCE) DE PROCESSO-
GERÊNCIA DE PROCESSO
DMM-1.0
PROCESSOS DE SUPORTE
Atributos de Processos
ISP-Infrastructure
Support Practices
30
Data Management Maturity Model
O modelo DMM
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management) 31
DMM-CategoriaseÁreasdeProcessos
Where (O onde)
34
Where-Onde
• Escopo, domínio, áreas de negócios
• Contexto onde se fará as melhorias:
• Geográfico / Negocial
• Principais processos de negócios
da área: e seus dados (DMLC-Ciclo de
vida)- From Requirement to Retirement
• Principais sistemas envolvidos com
Matriz RACI, CRUD
• Identificação de Data Owners e
envolvidos em dados(negócios) com
alto conhecimento dos assuntos
• Envolvidos na TI, nos sistemas
relacionados ao tema/assunto
• Início do Who
Where
Cliente
Serviços
MKTFIN
XPTO
Assunto
Escopo
• Propor um escopo e um plano inicial para definir e implementar
GD(aproveitar eventuais projetos trigger/estruturantes de DM)
– Evite “to boil the ocean” ; Use as estruturas e especialistas existentes
• Identificar as unidades de negócios/áreas sujeitas à GD
– Contextos prioritários, dados críticos
– Sempre pense em objetivos de negócios, prioridades e escopo
sensíveis
– Dados x processos, RACI, CRUD
• Desenvolver uma estrutura de equipe para o início dos trabalhos, com
foco inicial nos Owners e envolvidos no tema(SME)-potenciais
gestores(stewards)
• Aprovar escopos, priorizações e restrições
• Sempre pense grande mas aja pequeno, com foco centrado em
negócios e valores agregados ao “business”
– Ciclos iterativos-projetos 36
Escopo
• O escopo de um programa de GD tem que ser analisado considerando:
– Modelo de Negócios
• Centralizado, descentralizado, distribuído em regiões
• Impacto das linhas de negócios com as melhorias GD. Por exemplo:
MDM/Cliente
– Conteúdo dos dados
• Dados estruturados e não estruturados
• Mestres, Transacionais, Informacionais
• Considerações da GD sobre SDLC no caso de dados estruturados ou de BPM
no caso de dados não-estruturados(fluxo de documentos)
– Estrutura prevista para a GD
• Federalização: Divisão em níveis, camadas da empresa, com políticas, regras
e procedimentos variáveis. Tal como uma Federação. Há dados que poderão
ter diferentes graus de GD, dependendo da sua natureza: global, regional ou
local.
– Cultura da Empresa
• Propensão a qualidade, compartilhamento
• Processos de Qualidade
• Conceito de Accountability(responsabilidade maior)
Empresas são
diferentes!!!
Boa Vista serviços,
Johnson&Johnson,
BySat
37
Escopo
• O escopo de um programa de GD tem que ser analisado
considerando:
– Projetos de DM
• Projetos de MDM, BI, Segurança, DNE, ERP,
Qualidade etc
– Áreas especiais podem ficar fora
• P&D-dados experimentais podem ser controlados
sob outra ótica
• Governança de dados é uma inovação!!
– Síntese:
• Definir a área da empresa que será “governada”
– DMM: Associada com Estratégia
38
Escopo da GD
Unidade de Negócios
Dados Dados Dados Dados Dados
GD
Empresa A
Unidade de
Negócios
Unidade de
Negócios
Unidade de
Negócios
Dados Dados Dados Dados Dados Dados
GD GD GD
Empresa B
RegiãoRegiãoRegião
Algo que liga as GD´s: Comitê de Observação, Conselho Supra GD
39
Estruturação-Federalização
Função do Escopo
Local
Local
Regional
Global
Cliente
FornecedorProduto
Dados
ReferenciaisKPI´s
Regras de
compliance
Os dados Mestres, Referenciais, KPI´s e regras de compliance
poderão ter definições variadas nos diferentes níveis organizacionais.
Itens Core
40
DLCM-GERÊNCIA DO
CICLO DE VIDA
DOS DADOS
• Um dos maiores desafios da GD
• Visão do Dado (from Requirement to Retirement)
• Visão dos dados como ativo que circula/movimenta entre
processos diferentes em áreas de negócios diferentes,
processado por sistemas diferentes, habitando “data stores”
diferentes(o mesmo dado conceitual)
– Áreas de negócios usam(podem usar) o mesmo dado
de forma diferente
– Área de marketing pode usar alguns dados do Cliente
diferentes da área de Vendas ou de Entrega(Delivery)
41
DLCM
Dados x Processos
• Onde os dados e processos se cruzam
• Dados e Processos de Negócios envolvidos(Matrizes
CRUD/RACI)
• Ciclo de vida dos dados
• Rastreabilidade e impactos dos em alterações de dados
42
Atuação da GD
no DLCM
• Facilitar os Owners de dados acerca de necessidades de alterações, via um
processo definido
– Gestores de dados de cada área envolvida, discutindo no Comitê de GD
(ou escalando)
• Coordenar requisitos específicos de negócios sobre aquele mesmo dado
– GD´s priorizam e analisam para evitar duplicações de requisitos e a
possibilidade de consolidá-los
• Resolução de conflitos
– Usos diferentes por áreas de negócios diferentes podem gerar conflitos-
Escalonamento para Líder de GD, ou GD por assunto, ou Conselho de
GD
• Gerenciar as definições de dados(metadados) e os seus usos apropriados
– Saber quem usa o dado como, em qual processo
• Controlar as métricas usadas para medir aderência com aquilo que é requerido
pelas políticas e padrões da GD
• Conhecer o DLCM é saber da rastreabilidade, gerenciar os impactos(upstream
e downstream) e prevenir erros em casos de modificações de dados
43
Ciclos de Vida
Dados e Sistemas
The DAMA Guide to Data Management Body of Knowledge-DMBOK-fig 1.2-pag-4
Gestor de dados de negócio
Gestor de dados de projeto
44
(*)Permitir,
Autorizar,
Habilitar
(*)
Atuação da GD
no DLCM
Sistema
de PV
ERP
Ticket
Venda
ETL DW DM
Módulo
Financeiro
Módulo
Fiscal Analytics
(Mining)
Módulo
Archiving
Transacional Informacional-Dimensional
Inferencial
ODS
Proprietário(Owner)
Gestores(Stewards)
Consumidores(consumers)
Custodiadores(TI)
45
Matriz Dados x Processos
Por área de assunto/foco da GD
Descrição Sistemas-TI Área 1 Área 2 Área 3 Área 4
Dados
Mestres
Endereço de Cliente SAP
CRM
Seção w-
José Pinho
Dados
Referenciais
Código de doença Depto X- C
Dados
Transacionais
D-Define
C-Criação dos dados
R-Leitura/Uso
U-Atualização
E-Deleção/Eliminação
Nome do Data ME(*)
Nome do System ME(*)
DCRUE
(*)ME-Especialista no assunto
Who (O quem)
47
Who-Quem
Premissa #1: Cada empresa define a sua
estrutura de GD, de acordo com sua cultura,
engajamento, percepção de “data value”,
estruturas, geografia, etc
Definição da estrutura de Governança e
interação com TI
• Definição dos Data Owners
• Definição dos Gestores de Dados de Negócios
• Definição de Gestores de Dados de TI
• Definição do Comitê tático de Gestores
• Definição do Grupo de Implementação de
GD(DGPO)-Escritório de dados
• Definição do Conselho de GD
• Grupo de Gestores de dados (GGD) por Subject
área
• Ex: GGD de Clientes, com GDN+GDT+outros
interessados
Who-Quem
Visão deliberativa
Visão organizacional
Visão operacional
GD
DM
Pessoas e Papéis
• Envolvimento de Business prioritariamente
• Novos papéis
– Conselho de GD
– Gerência tática: Comitê de Gestores de Dados-DMO, DGPG
– Gestores de Dados de negócios e técnicos (TI)
• Outros tipos: gestores de dados de Projetos (próximo do que o AD
faz), gestores de dados de domínio(próximo do que o AD deveria
fazer-visão mais conceitual), gestores de dados operacionais(próximo
do ABD)
• Novos conceitos:
– Data Custodian (TI); Data Consumers; Data Owners-Tipos de
Gestores(Líder de Gestores, Gestor por assunto(cross-functional), Gestor
de áreas, Gestor de dados por projeto, Gestor de dados de
TI(operacional)-AD, DBA
• Conscientização , Comunicação, Treinamento
49
Matriz RACI-Atividades de GD
Atividades de dados Conselho
de GD
Executivo
GD de
Domínio
(Tático)
GD de
Negócio
(Operacional)
GD-TI Equipe
GD
DGPG
Atividades
da Área de
Negócios
Identificaçãoe
Documentação
Evento de dados solicitado-DGT
assume
I/A R R S/R I/R
Identifica Dados e envolvidos
impactados
I R I S R
Levanta dados e documentação
e descreve soluções
R I S R
Solução
Envolve stakeholders, ouve
sugestões, identifica opções,
escolhe solução
A/I C C S R
Informa envolvidos sobre
solução
I I I S R
Implementação
eControle
Implementa e testa solução C/R C R R
Documenta e comunica solução I C I S/R R
Mede e acompanha a solução I/A C I S R
R-Responsável pelo trabalho
A-Accountable
C-Comunicado
I-Informado
S-Suporte
Estruturas de GD
51
Estrutura da Governança
• Alinhar as funções da GD, com a estrutura organizacional
• Lembre-se que cada empresa poderá ter uma estrutura de GD diferente
e certamente essa estrutura será dinâmica, podendo mudar em alguns
anos
• Aspectos de federação(como as unidades de negócios da empresa estão
dispostas) influi nessa estrutura(empresas centralizadas,
descentralizadas, em países diferentes,etc)
• Use Matriz RACI para definir: Responsabilidade, Accountabilidade,
Consultado Informado )
• GD: 3 camadas: Conselho de GD, Comitê de supervisão, Grupo de
implantação, Gestores de dados , Custodiadores de dados(DA,DBA)
• Obter a aprovação da estrutura apresentada
• Iniciar a socialização, divulgação, comunicação da GD
52
Conselho
GD
Comitê de
GD-DMO
Gestores
Grupo “cross-funcional”, formado por elementos da
alta gerência;
Definir Políticas; Prover/Aprovar estratégias de dados
Buscar apoio financeiro;
Resolver pendências, aspectos de aderência a
normas(compliance);
Atribuir/oficializar ao DMO/GDO as ações de GD;
Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO
Coordenar as atividades de GD(estratégica) e táticas com as operacionais;
Definir os membros do Comitê de GD;
Supervisionar os Data Steward/gestores de dados (Business) e os Data
Custodian da TI/Adm,BD,BI ; Arquitetos corporativos,
Define/submete políticas, padrões, processos, procedimentos de GD para
áreas de negócios;
Pode ter uma liderança(cross-functional) de GD(GD Organizacional)
Implementa e executa as Políticas, Padrões e Procedimentos nos
processos específicos de negócios e aplicações do seu domínio;
Formado por pessoas do Business(B data steward) e da TI(IT
data custodian). Chefiados por Gestores líderes
Estão em áreas funcionais e geográficas diferentes. Pode ser
orientado por sistema, por UO-Unidade Organizacional ou por
Assunto
Tipos: GD de Assunto/Domínio(assunto específico), GD de
Projetos(DLCM)
Modelo de
Governança
v04
Data
Owners
Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc
54
Executivos da Empresa
Grupo
Implantação
GD
Matriz RACI
Equipe GD
• Equipe de implementação da GD-DGPG
• Pode ser equipe part-time, tipo day job
• Supervisiona o desenvolvimento e implementação da GD
• Revisa e documenta as práticas de GD, como, papéis e
responsabilidades,comunicação e plano de sensibilização,e provê o road map
de implementação da GD
• Facilitador na reunião do Conselho provendo informação provendo
informação sobre status, atividades e pendências
• Continuamente prove material para treinamento, conscientização, e mentoria
• Define , recomenda e busca aprovação de métricas(do Conselho)
• Garante que as definições de Políticas, processos, procedimentos e métricas
estão em uso, visando garantir a gerência de risco, qualidade e usabilidade dos
dados
• Gerencia incidentes de dados, como dados faltantes ou incorretos em
relatórios internos e externos
• Audita aspectos de compliance e outras políticas e processos de GD
• Rep da(s) área(s) de negócio(s) envolvidas na prioridade de GD e rep de TI 55
Gestores de Dados de Negócios
• SME-Especialista naquele “assunto” de dados
• Normalmente associado a um domínio (Dados Mestres/Referenciais):
Cliente, Vendedor, Medicamento, Médico, Receita (Farmácia), Carro,
Locação(RentaCar), Endereço(Pais,Estado, Região,Logradouro),etc
• Pessoais: relacionamento, boa escrita, comunicação
• Aspectos sobre os dados: Regras de negócios, “compliances”/
regulações, qualidade(dimensões e métricas), segurança/privacidade,
significado(o quê), inventário(onde)
• Extra: Busca pela excelência
• Variações: alguns dados de certos domínios podem ser “geridos” por
diferentes Gestores. Por exemplo dados de Apólices de seguros,
podem ter gestores na área de “underwriting-garantia/oficialização da
apólice” e outros dados em vendas. Gestor do domínio apólice
responsável pelo domínio apólice, com subdomínios gerenciados por
outros gestores de dados de negócios 56
Gestores de Dados de Negócios
• Relacionamento: com gestores de dados técnicos(TI) e
stakeholders do negócio
– Ex: no ciclo de vida do dados em um sistema de BI: Dado fonte-> ETL-
>Data Store->_ETL->DW->Report-Dashboard
• Relacionamento com o Ownership de dados(área de
negócios que terá a responsabilidade/accountaibilty) sobre
aqueles dados. A definição de ownership é feita
analisando-se a área que será mais impactada por eventuais
mudanças de regras de negócios ou de dados acerca
daquele assunto
• Hierarquia: Gestor de Dados Líder
57
Gestores de Dados Técnicos
• Nova denominação para as funções de TI, já existentes.
Algumas linhas chamam de custodiadores de dados
• São os DBA´s, Arquitetos de dados, analistas de sistemas
responsáveis por Projetos e sistemas específicos, técnicos
em ferramentas de QD, etc
• Entendem como o dado está armazenado, é protegido por
backups, é criado no mundo físico, armazenado etc
• Se relacionam com os Gestores de dados de negócios,
provendo informações e expertises técnicas
• Hierarquia: Ao CIO, ou área da TI
• Atuam com os Gestores de dados de Negócios de forma
harmoniosa e integrada
58
Gestores de Dados
de Projetos
• Forma de presença da GD nos projetos
• SDLC –System Data Lyfe Cycle e DMLC(Data
management Lyfe cycle
• Ele não é o responsável por decisões em nome da GD, mas
para levar e discutir issues(pendências) e questões
• Coordena a lista de questões com outros projetos
• Apresenta as questões para a GD e retorna a decisão ao
projeto
59
Conselho de GD
• Suporte e patrocínio ao Programa de GovD
• Ponto de escalonamento e resolução de pendências
• Direciona a mudança cultural necessária
• Faz as alterações necessárias na organização para uma GovD
efetiva
• Cria e promove a visão para o programa de GovD
• Apoia no funding do programa de GovD
• Equilibra as prioridades de negócio com as necessidades
operacionais
• Aprova as Políticas de GovD
• Acompanha a efetividade e o desempenho do programa de GD
• Provê aconselhamento, direcionamento e feedback ao nível
abaixo-Board(Liderança) de GovD
• Aponta/aprova os membros da liderança de GovD 60
Liderança da GD
• Visão de gerência sob o Conselho de Governança de Dados
• Atua diretamente no Comitê de Gestores de Dados, decidindo ou levando a
decisão para o Conselho de GD
• Sãos os tomadores de decisão agindo sobre o Comitê de Gestores de Dados
• Tem autonomia de “funding” para o programa de Governança de Dados
• Prioriza decisões sobre dados no interesse da organização
• Revisa, avalia e reporta para o Conselho de GovD acerca da efetividade e
desempenho do Comitê de gestores
• Avalia medidas que mostrem o alinhamento da GovD com os objetivos de
negócios
• Revisa e aprova as políticas e objetivos da GovD
• É o accountable pelo uso dos dados, qualidade de dados e priorização de
pendências
• Toma decisões táticas e (algumas estratégicas)
• Define nomes, revisa e aprova as recomendações dos membros do Comitê de
Gestores 61
Comitê de Gestores de dados
• Estrutura vital da GD
• Coordenação dos trabalhos dos Gestores de Dados
• Ponte com a área operacional
• Acompanha os aspectos dos Gestores de dados, relativos a
ownership de dados, usuários e consumidores de dados,
metadados, qualidade de dados, compliance, etc
• Resolve pendências no âmbito dos gestores de
dados(assunto)
• Liderado por coordenadores de GD, ou por um
coordenador(Líder de Gestores de dados)
62
DGPO-Escritório de GD
• Apoia, documenta e publica as atividades do Conselho de
GD, da liderança de GD e do Comitê de Gestores de dados
• Define e documenta as melhores práticas de GD
• Planeja e viabiliza o treinamento sobre GD para a empresa
• Documenta, publica e mantem Políticas, Padrões e
procedimentos de GD
• Recomenda métricas, medidas e processos para
acompanhar o progresso do programa de GD na empresa
• Promove a mensagem de valor da GD na empresa,
incluindo a visão, estratégia, etc
• Sabor de PMO(Programa/Projetos) e SEPG(CMMI)
63
When (O
quando)
64
Quando-When
Colocar as ações principais numa ordem
de prioridade no tempo, com observação
de outros recursos
1)Sistema de informações integrado para
as operações da área de ....
2)Sistema de Informações analíticas sobre
os dados da .....
3)Políticas e procedimentos sobre a
formação/adesão.....
4)Políticas e procedimentos sobre.........
5)Politicas e procedimentos sobre..........
When-Quando
T1 T2 T3 T4 T5
(When)-O Quando
• Planejamento estratégico da empresa alinhado com
• Planejamento estratégico de dados
• Projeto Driver
• Arquitetura de Dados: Cloud, ERP, Big Data, DWBI, GED,
Analytics, Dados em TR
• Visão prospectiva: Começar sem projeto, pensando grande,
fazendo pequenos movimentos de GD
• Visão reativa/corretiva-Projeto “core” ou drivers
• Oportunidades nos projetos de DM planejados
• Projetos triggers(DM): MDM, DW/BI, Segurança, ERP,etc-
visão reativa
• Programa de GD em ciclos de projetos/iterações/entregas
66
How much
How many
( O quanto)
67
Quanto-How much
• Custo do programa de GD(n
projetos)
• Custo de Pessoal(Os Gestores de
dados normalmente são part-time)
nessas ações
• Custo de Ferramentas(Repositório
de Metadados, Glossários, etc)
• Custo de aprendizado(cursos,
coaching,etc)
• Bater com os benefícios(Business
Case)
• Retorno em Qualidade de dados,
integração, segurança, maior
liquidez da informação(+rápida),
redução de riscos
How Much-Quanto
RH(h) Outros(*) Total
Custo/Retorno
• Custo:
– Direto: Pessoas, Treinamento, Consultoria, Ferramental
– Indireto: Custo de mudança da cultura, quebra de
“proprietarismos” de dados, conscientização de dado
como ativo, controles aplicados, melhoria contínua
• Retorno:
– Direto: Mitigação dos custos negativos(riscos de
negócios, riscos regulatórios, reputação)
– Indireto: Pode ser intangível(melhoria do capital
estrutural da empresa), melhor qualidade de dados e
informações, melhoria na tomada de decisões etc
– Difícil mensuração 69
How (O como)
70
P´s: da GD Vide Canvas P:
Definição de Planejamento estratégico de
dados
Definição de Processos de GD e de
DM(BI,MDM,Segurança,Integração,etc) e
Processos de Apoio (*)
Definição de Políticas
Definição de Procedimentos
Definição de Performance-métricas de
desempenho
Definição de Pessoas e Papéis
Definição de Projetos e Planos para
alcance dos objetivos/requisitos de dados
Definição de Plataformas
(*): Apoio: MED, Risco, Processo, QA e
Configuração
How-Como
Elementos de Processo:
• Atividades
• Plano de execução do
processo
• Responsabilidades
• Treinamento
• Monitoração do processo
• Gerência de envolvimento dos
Stakeholders
• Acompanhamento do
Processo
• Processo padrão e Processo
definido
How ( O Como)
Estratégia de Dados
• Uma estratégia inclui, no mínimo:
• Declaração de visão(ideias sobre trajetória para o futuro), com princípios operacionais, objetivos
gerais e específicos, prioridades baseadas em fatores de negócios da empresa como
dependências, valores de negócios definidos, alinhamento com iniciativas estratégicas e o nível
de esforço esperado
• Gaps identificados no estado corrente baseado em uma avaliação de DM
• Escopo: Áreas chaves de negócios(Clientes, Contas), prioridades de DM, como QD por
exemplo e Dados chaves
• Foco nos benefícios de negócios
• O framework de DM selecionado(QD, MDM por exemplo) e como será usado
• Papéis e responsabilidades; lista de envolvidos chaves
• Descrição da abordagem usada para desenvolver o programa de DM
• Extensão e escopo do aspecto de “compliance”
• Medidas e métricas para avaliar o sucesso
• Roadmap de alto nível do plano
– Também contemplar as necessidades para “forçar” a adoção de processos, padrões, procedimentos,
etc e as estruturas para decisão sobre a implementação(GD)
– Conter os recursos necessários para o programa de DM
– A estratégia deve ser móvel e flexível para mudar na medida em que a empresa evolua
– A estratégia de DM mais efetiva é aquela institucionalizada, ou seja visivelmente e ativamente
endossada pela gerência executiva e suportada por políticas organizacionais aprovadas por todos
How ( Como)
Plano Estratégico de Dados
• Plano estratégico de dados:
– Missão ( o que desejamos fazer ao longo da caminhada),Visão(como será
um ponto no tempo adiante)
– Objetivos e prioridades
– Valores/benefícios de negócios a serem alcançados
– Alinhamento com estratégia da empresa
– Nível de esforço planejado
– Escopo do programa
– As áreas de DM a serem tratadas
– Gaps identificados
– Necessidades de governança e escopo
– Descrição da abordagem usada para desenvolver o programa de DM
– Medidas de sucesso e acompanhamento
– Roadmap
73
Gestão e
Governança de
Dados
P´s da GD
74
GD-P´s
• Por quê-Problemas
• Patrocínio
• Políticas
• Padrões
• Papéis/Pessoas (Equipes e Comitês)
• Processo
• Procedimentos(GCO,etc)
• Programas/Projetos/Planos
• Performance(GQA,MED),
• Plataformas/arquiteturas
• Palavras(Comunicação) 75
Patrocínio Políticas Processos Procedimentos
Projeto Programa
Planos
Performance
Plataformas/arquiteturas
Palavras
(Comunicação)
Padrões
Pessoas-Papéis
Governança e Gestão de Dados
76
Os P´s-Gestão e Governança de Dados CBarbieri
Problemas-Por quê Problemas, riscos de reputação, de regulação,
informação deficiente, decisões equivocadas,
carência de dados, áreas sensíveis,etc
Patrocínio Apoio, Business Case,Valor de negócios, objetivos de
negócios, área de negócios da empresa, ROI, custo
negativo, cultura de dados
Políticas/Princípios Regras gerais, aprovadas em alta esfera, consensadas,
atualizadas, divulgadas, revisadas sobre dados,
sentido de negócios, auditadas. Princípios são
definições mais filosóficas(todo dado é um ativo)
Processo Conjunto de passos, atividades contendo entradas,
saídas, atores,/participantes, controles, etc
Procedimentos Detalhamentos específicos de ações em alguns
Processos como GCO-Gerência de Configuração,
por exemplo
Padrões Normas e regras consensadas, aprovadas a serem
observadas, aplicadas , respeitadas e
verificadas(auditadas), normalmente aplicadas a
nomes, modelos,etc 77
Os P´s-Gestão e Governança de Dados CBarbieri
Pessoas/Papéis Envolvidos nas atividades de GD e DM com
responsabilidades diferentes-Matriz RACI-
Área de GD, Área de DM
Programas Conjunto de projetos associados aos
objetivos de dados, visando melhorias nos
aspectos de negócios da empresa
Projetos Ações de DM , envolve MDM, DQ,
Metadados, DWBI, Big Data, Analytics, etc,
objetivando melhoria de dados para
objetivos de negócios
Planos Detalhamento do projeto, com planos com
tempo, recursos, pessoas, treinamentos,
riscos, controles, etc
Performance/Desempenho Medidas e procedimentos para monitorar os
processos de GD e de DM, baseado em
processos de apoio(MED, GQA,VER,VAL)
Plataformas/Arquiteturas Ambiente arquitetural e tecnológico onde
estarão as soluções de GD e DM(BI, ERP,
OLTP,OLAP,Analytics,DNE,Metadados,etc)
Palavras(Comunicação) Abordagem para disseminação formal de
elementos da GD, essencial nos aspectos de
mudança cultural. Treinamento, newsletter,
palestras, Site, Wiki, etc
78
Melhoria de Gestão de Dados
P´s
Governança de Dados
Gestão de Dados
Problemas
Patrocínio
Programa
Projetos
Planos
Pessoas
Papéis
Princípios/Políticas
Padrões
Processos
Procedimentos
Plataformas
Propaganda(Comunicação)
Barbix
©CarlosBarbieri-DomaniTecnologia
® Domani TI
Problemas
80
Problemas
• Não começar GD sem entendê-los
• Geral: Qualidade e controle de Dados
• Reputação de produtos e serviços da empresa
• Tomada de decisão com informações erradas, ações
gerenciais equivocadas
• Dados replicados e sem integração
• Regulações e aderência às normas comprometidas junta à
Agências, com informações sem qualidade e multas
• Visão de algumas árvores, mas não da floresta(de dados)
• Avaliação inicial-Assessment
81
Patrocínio
82
Patrocínio
• Alto nível- Área de Negócios em primeiro lugar em consonância com
TI
• Convencimento pelo custo negativo(problemas ou potenciais
problemas) ou por Business Case
– Data profiling pode ser um início
• ROI(?)-ativo intangível, mas díficil
• FCS: Buscar patrocínio mostrando valores de negócios; Definir
claramente o que vale ser governado(prioridade), selecione parte da
floresta; busque alinhamento com o negócio; não deve ser uma
iniciativa TI “pura”
• Pontos a observar: CCC:
– Cultura (estilo da empresa)
– Colaboração (vontade)
– Capacidade de mudança(recursos)
83
Políticas
84
Princípios/Políticas
• Grandes regras, definidas em consenso, aprovadas,
atualizadas e respeitadas por todos, legislando sobre os
dados
– Princípio: mais filosófico
– Política: mais normativa, pode ser aplicada
• Conflitos resolvidos pelo Conselho de GD
• Em vários domínios/fases do ciclo: criação,
armazenamento, uso, arquivamento, eliminação(disposal)
– Aspectos colaterais como: segurança, propriedade,
distribuição e replicação de dados, documentação de
dados, privacidade, qualidade, etc
• Repositório de princípios e políticas- GD WebSite
85
Princípios
• Dado é um ativo e portanto deverá haver “accountability” sobre ele.
Os dados e conteúdos de todos os tipos são considerados ativos da
mesma forma que os outros tipos como ativos físicos, materiais e
financeiros, exigindo, dessa forma, procedimentos de controle
similares .
• A informação deverá vir de uma fonte autorizada, estar disponível,
ser precisa e sem ambiguidade, passível de ser compartilhada e
catalogada(metadados)
• Soluções de informação manterão estrito alinhamento com os
negócios da empresa respondendo às suas necessidades e às
requisições das áreas envolvidas
• O valor do dado está no seu valor intrínseco de mercado, bem como
na proporção da sua contribuição para os objetivos operacionais e
negociais da empresa
86
Políticas
• Regras mais objetivas, consistentes, aplicáveis para ajustar
comportamentos, reduzir riscos,etc
• Devem servir de elementos de criação de elos e parcerias
• Criar somente aquilo que for necessário
• Ter templates para facilitar sua criação
• Focos:
– Objetivos de Negócios
– Objetivos de Dados
– Objetivos de GD e DM
– Aspectos culturais e estruturais
90
Políticas
• Objetivos de negócios:
– Políticas para reduzir riscos:
• Privacidade, compliance, dados sensíveis,
relacionamentos com clientes, parceiros, fusões, etc
• Objetivos de dados
– Políticas para prevenir o uso inadequado de dados
– Políticas para garantir a captura, armazenamento, proteção,
segurança e privacidade de dados
– Políticas para promover o entendimento do significado e
contexto dos dados
– Políticas para garantir a qualidade e disponibilidade de dados
91
Políticas
• Objetivos de GD e DM
– Políticas para GD
– Políticas (padrões) para Arquitetura de dados...
92
Políticas
Exemplos
• Qualidade:
– Toda a informação e os dados da empresa serão seletivamente gerenciados
e medidos na sua qualidade. A qualidade será consistentemente medida
para garantir que o dado será usado no seu propósito definido
– Haverá partes responsáveis pela integridade geral e qualidade dos dados e
seus conteúdos ao longo da empresa
• Colaboração:
– Dados organizacionais serão compartilhados como um recurso ao longo
da empresa. Os dados deverão ter ownership definido, ou seja uma área de
negócios que será a responsável pela sua definição, metadados e regras de
negócios.
• Gerência de Risco:
– A Governança de Dados analisará os riscos dos dados que exigem
“compliance” garantindo sua aderência com todas as leis federais,
estatutárias, políticas e regulações. Um acompanhamento apropriado e
rigoroso será realizado para verificar essa compatibilidade(aderência)
93
• Segurança:
– Todas as passwords deverão ser trocadas a cada 3 meses, com alteração
completa de seu conteúdo e a proibição do uso das 4 últimas ocorrências
– Todas as passwords deverão conter até 10 caracteres, com obrigatoriedade
de no mínimo 4 dígitos
• Arquitetura de Dados:
– Dados organizacionais serão compartilhados como um recurso ao longo
da empresa. Dado não é um recurso que pode ser possuído com
exclusividade por áreas específicas da empresa, a menos que
devidamente aprovado
– Todos os modelos de dados no nível lógico deverão estar compatíveis com
os modelos conceituais organizacionais e deverão ser aprovados ......
• MDM e dados de Referências:
– Os dados considerados Mestres e de Referências somente poderão ser
modificados pelos Owners ou por exceção, por decisão da GD, via o
Comitê de Gestores de Dados envolvidos nas áreas de assunto pertinentes
94
Políticas
Exemplos
Políticas
Considerações
• Alinhamento com aspectos culturais e estruturais:
– Qual o verdadeiro valor daquilo para a alta gerência?
– Empresa: centralizada ou descentralizada?
– Âmbito da política: local ou global?
– Como serão aplicadas(enforced): Recomendação?
Obrigação?
– Alinhamento com outras políticas corporativas: Risco,
Compliance
95
Padrões
96
Padrões
• Normas e especificações estabelecendo formas de se
definir, escrever, desenhar, documentar e usar dados na
organização
• Padrões de modelos, de nomenclatura de processos e
padrões de dados (nome, endereço, telefone,etc)
• Padrões específicos da indústria(dependendo do negócio)
• Padrões de metadados(ISO 11179, ISO 15836)
• Padrões de qualidade de dados
• Definidos em conjunto e aprovados por todos: Comitê de
Gestores de dados, envolvendo os Gestores de várias áreas,
97
Padrões
• Data Owners/Stewards:
– Dono da função de negócios, responsável pelo
estabelecimento do significado dos dados (definição) e
das regras de negócios(criação, uso e qualidade daquele
dado)
– Responsável pela definição do Metadados e dos dados
Outras áreas podem sugerir alterações, mas a decisão
final é do Data Owner.
– Responsável pela Qualidade daqueles dados
98
Processos
99
Processos
• É o “Como fazer” : constituído de um
conjunto de atividades, com input,output,
participantes(RACI), ferramentas, recursos
humanos, outros recursos, treinamento,
controle, monitoração de
performance(Medidas, QA), etc
• Aprovado, treinado e internalizado no dia a
dia da empresa/área target
100
Processo
Exemplo
• Exemplo:Solicitação de alterações em Modelos Conceituais de dados
– Analista de sistemas(AS) interpreta/analisa os requisitos de dados
– Analista de sistemas(AS) faz o modelo inicial lógico de dados, com inclusão
/alteração de entidade(s) existente(s)
– AS envia modelo ao Gestor de dados de negócios(GDN) para revisão de
padrões e definições de domínios de dados
– GDN revisa o modelo e analisa a coerência com os modelos lógicos existentes
• Uso de Check list de avaliação(Procedimento)
– GDN planeja a sessão de revisão com Comitê de GD, GDTI, AD, outros
envolvidos(integração)
• Avaliam impactos no modelos conceitual de dados
– GDN cria ou modifica os elementos lógicos de dados passíveis de atualização
– Se aprovado, envia ao ABD para a modificação do modelo físico em ambiente
de validação
– ABD aplica check list para aceitação do Modelo(Procedimento)
– ABD realiza a alteração e comunica interessados e envolvidos 101
102
Requisição/
pendência
Valida
NOK
OK
Revisão
Req/pendência
Escala
Delega
Rejeita
Rejeita Não Pesquisa
Req/pendência
Escala
Aprovado/
Rejeitado
Rejeitado
Aprovado
+ info?
Não Toma
Decisão/
Recomend.
Sim
Obter
+ Info
Necessita
Aprovação
Não
sim
Executa
Aprovada?
Não
Notifica
Solicit.
Sim
Notifica
Solicit.
Notifica
Solicit.
Notifica
Solicit.
DMO
Escrit.Dados
Comitêde
Gestoresdados
Conselhode
GD Governança de dados-Resolução de Pendências
Data Stewardship-
An Actionable Guide to Effective Data Management and Data Governance-
David Plotkin
Procedimentos
103
Procedimentos
• Detalhamento de processos ou subprocessos
• Detalhamento mais operacional, mais focado para
um executante
• Procedimentos dentro de processos de Medição,
de Garantia da Qualidade ou de Gerência de
Configuração
– Procedimentos de check-list de pendências do processo
de manutenção de senha(GQA) ou de auditoria
funcional de Baselines(GCO de modelos conceituais de
dados)
104
Procedimentos
Exemplos
• Revisão das Entidades:
– A Entidade está na 3ª forma normal ou é permito ter Entidade desnormalizada(NOSQL)
– Há outra Entidade de natureza semelhante ou uma subtipo semelhante no modelo Corporativo
– Há definições detalhadas da Entidade ou da subentidade(metadados)
– Os nomes propostos estão dentro dos padrões organizacionais
• Revisão de relacionamentos
– A cardinalidade está correta?
– A opcionalidade está correta?
– Os relacionamentos possuem nomes inteligentes em ambas as direções?
– Os nomes fazem sentido para o analista de negócios, usuário final
• Revisão de Atributos:
– Os atributos estão com o nome definido dentro dos padrões organizacionais?
– Os domínios associados foram usados corretamente?
– Há comentário para cada atributo
– Há descrição detalhada para cada atributo
– Há atributos derivados, com regras de derivação definida
• Revisão de Identificadores
– Há para cada Entidade, pelo menos um identificador único?
– O identificador é um chave de negócios ou uma SK
– Há chave de Entidade(tipo chave de negócios) atualizável?
105
Procedimentos
Exemplos
• Revisão Geral:
– O sistema é um OLTP ou OLAP?
– As tabelas e colunas estão mapeadas em Entidades e atributos do modelo corporativo?
– No caso de projetos de DW/BI-DM há os dados equivalentes no ambiente Transacional
• Revisão de Tabelas:
– Há outra Tabela de natureza similar no Modelo Físico de dados
– Há comentário em nível de Tabela, para cada uma
– Há definições detalhadas de cada Tabela?
– Há tabela que requeira “journal” especial, ou “audit trail” para modificações?. Se sim, como será feita(trigger,
API?)
– Há tabela que esteja desnormalizada com um racional explicando os motivos?
– As tabelas estão definidas de acordo com os padrões de nomes e abreviações organizacionais
• Revisão de Colunas:
– Há coluna de auditoria definida?(ex: data/hora da última atualização)
– Há comentários de colunas para cada coluna?
– Há descrição para cada coluna?
– Há colunas derivadas de outras colunas e as respectivas regras/fórmulas de derivação?
– Se uma coluna foi desnormalizada de outra tabela há informações de desnormalização registrada
– Os nomes das colunas estão de acordo com os padrões organizacionais?
– Os domínios foram aplicados corretamente?
106
Procedimentos
Exemplos
• Revisão de Restrições de Integridade
– Todas as tabelas tem restrições de PK?
– Deve haver uma restrição de unicidade secundária definida(além da PK)?
– As chaves estrangeiras foram definidas corretamente ?
– Há restrições de Delete Cascade, Restriction,etc ?
– Há restrições de CHECK em nível de colunas?
A execução apropriada desses procedimentos será verificada
pelas auditorias de QA(Quality Assurance) em sessões
programadas, de GQA(não exige conhecimento técnico) ou por
revisões por pares(VER, com conhecimento técnico). Isso gerará
medidas que mostrarão a performance do processo(MED)
DMM: processos de Suporte 107
O modelo DMM
Estratégia de Data Management(Data Management
Strategy)
Estratégia de Data Management
Comunicações
Função de Data Management
Plano de Negócios (Business Case)
Apoio Financeiro
Governança de Dados(Data Governance) Gerência de Governança
Glossáriio de Negócios
Gerência de Metadados
Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados
Data Profiling
Avaliação de Qualidade de Dados
Limpeza de Dados
Operações de Dados(Data Operations) Definição de Requisitos de Dados
Gerência do Ciclo de vida dos Dados
Gerência de Fornecedores de Dados(Provider Management)
Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach)
Padrões Arquiteturais(ArchitecturalStandards)
Plataformas de Data Management(Data Management Platform)
Integração de Dados (Data Integration)
Dados Históricos(Historical Data) , Arquivamento(Archiving) e
Retenção(Retention)
Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis)
Gerência de Processo(Process Management)
Garantia de Qualidade do Processo(Process Quality Assurance)
Gerência de Risco(Risk Management)
Gerência de Configuração(Configuration Management) 108
Pessoas e Papéis
109
Pessoas-Papéis
• Definição de papéis, responsabilidades e
“accountabilities”
• Conselho de Governança de Dados,
formado por (CxO)
• DMO/DGPG-Controle tático
• Gestores de dados de negócios e técnicos
• Outros: ABD,AD, Arquitetos de integração
• Treinamentos
110
Conselho
GD
Comitê de
GD-DMO
Gestores
Grupo “cross-funcional”, formado por elementos da
alta gerência;
Definir Políticas; Prover/Aprovar estratégias de dados
Buscar apoio financeiro;
Resolver pendências, aspectos de aderência a
normas(compliance);
Atribuir/oficializar ao DMO/GDO as ações de GD;
Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO
Coordenar as atividades de GD(estratégica) e táticas com as operacionais;
Definir os membros do Comitê de GD;
Supervisionar os Data Steward/gestores de dados (Business) e os Data
Custodian da TI/Adm,BD,BI ; Arquitetos corporativos,
Define/submete políticas, padrões, processos, procedimentos de GD para
áreas de negócios;
Pode ter uma liderança(cross-functional) de GD(GD Organizacional)
Implementa e executa as Políticas, Padrões e Procedimentos nos
processos específicos de negócios e aplicações do seu domínio;
Formado por pessoas do Business(B data steward) e da TI(IT
data custodian). Chefiados por Gestores líderes
Estão em áreas funcionais e geográficas diferentes. Pode ser
orientado por sistema, por UO-Unidade Organizacional ou por
Assunto
Tipos: GD de Assunto/Domínio(assunto específico), GD de
Projetos(DLCM)
Modelo de
Governança
v04
Data
Owners
Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc
112
Executivos da Empresa
Grupo
Implantação
GD
Programas-Projetos-Planos
113
Programas-Projetos
• Ações efetivas para se implementar a GD
• Programa de GD com Projetos de DM:
DW/BI, MDM, Segurança, DNE,
Qualidade, SDLC, etc
• Estratégia vencedora: Um Programa
estruturante a longo prazo com um Projeto
“trigger”/estruturante, que permita obtenção
de resultados rápidos e visíveis
114
Planos
• Detalhamento do COMO de GD:
• Tempo (cronograma), custo(pessoal e
outros recursos), ferramentas, riscos
envolvidos, controles a aplicar,
treinamentos e capacitação, integração com
outros planos(DM, como DW-BI,
MDM,etc)
• Planejamento e Acompanhamento
115
Plataformas/arquiteturas
116
Plataformas/Arquiteturas
• Arquiteturas de Dados associada à Arquitetura
Corporativa(Negócios, Processos, Sistemas,
Tecnologia,etc)
– Modelos de dados em vários níveis
• Ambiência de tecnologia: Ferramentas Case, BD, DW/BI,
Analytics, Big Data, Ferramentas de integração de dados,
ferramentas de modelagem, ferramentas de QD(Profiling,
Cleansing, Enriquecimento, Padronização), etc
• Metadados, Dicionários/Repositórios, Glossários de
negócios
117
Performance
118
Performance
• Medidas e procedimentos para monitorar os
processos de GD/DM.
– Processos de apoio-DMM
• MED-Medições nos domínios de Custo, Tempo,
Qualidade, Issues (Reputação, etc), “Compliance”
• Indicadores de GD, DQ,etc
• Processos de GQA e VAL
119
Performance
• Métricas nesses domínios de GD e DQ tendem a demorar para
produzir visibilidade de retorno
• Comece com a visão de medir pontos críticos do business(processos
críticos de negócio)
• Genericamente: reduzir custos, aumentar receita e lucro, melhorar
“time to market” , atentar para aspectos de regulação(penas,
reputação,etc) , qualidade
• Pesquisa/Questionário: Algumas métricas são mais difíceis de serem
medidas diretamente. Assim a pesquisa de usuários dos dados é fonte
importante. Exemplo: Houve melhora no entendimento dos dados?;
Houve melhora na percepção de qualidade dos dados?
• Basicamente 2 tipos: Métricas de resultados de negócios e métricas
operacionais(GD, Integração, QD,etc)
120
Performance
• Métricas de negócios:
– Redução em multas penalizações/advertências devido a documentos
regulatórios não aderentes
– Penalizações/multas/advertências por pendências de privacidade
– Penalizações/multas/advertências por pendências de reputação
– Possível perda em crédito devido a pendências de dados
– Possível aumento do custo operacional devido a problemas de dados
– Redução nos custos de desenvolvimento por integração de sistemas
– Por pesquisa junto aos usuários:
• Melhora do entendimento dos dados
• Percepção de melhor qualidade dos dados
• Melhoria na visão preventiva de erros de dados via data profiling
• Número de reclamações de clientes oriundo de erros de dados(baixa qualidade)
• Esse número tem decrescido?
• Número de problemas de pendências regulatórias medidos e gerenciados(decrescido)
• Houve redução no tempo necessário para limpeza e correção dos dados
• Houve redução em tempo despendido com discussões sobre o significado do dado e como é calculado
121
Indicadores
• Indicadores de Governança
– Percentagem de áreas(assuntos) da empresa sob os domínios da GD
– Contador de acesso aos repositórios de metadados, glossário de negócios e portal
de GD
– Feedback sobre GD-pesquisas sobre áreas governadas pela GD
– Número de participantes em treinamento de GD e DQ
– Uso de elementos padrões de GD: códigos, modelos, padrões, procedimentos,etc-
MED de GQA
– Issues resolvidos pelo Comitê de GD/Issues incidentes
– Issues escaladas para o Conselho de GD/Issues incidentes
– Revisões de desempenho realizadas (nas métricas de GD)
• Indicadores de integração
– Número de usuários e acessos às fontes MDM
– Percentagem de redução de acesso a Bancos de Dados departamentais e planilhas
locais
122
Indicadores
• Indicadores de QD:
– Contador de ocorrências por tipo de erro XX/período
– Percentagem de “accuracy” dos dados em arquivos críticos
– Perdas de pedidos on-line ou de produtos retornados devido à
gerência com erros de informações de catálogos(dados mestres)
– Perda de clientes devido a erros de qualidade de dados
– Resultado de Profiling de dados, mostrando os diversos
indicadores de completude, precisão, integridade, etc
• Indicadores de segurança e privacidade
– Número de incidentes relativos aos aspectos de segurança de
dados(leaks, breaches,etc)
123
FCS
• Medidas/Métrica/indicadores
devem ser definidas em função
de objetivos / diretrizes
estratégicas de negócios
• Nunca medir por medir
124
Palavras(Comunicação)
125
Palavras(Comunicação)
• Comunicação
• Elemento fundamental na implementação
de GD
• Palestras, newsletter, programas de
incentivo, divulgação, jogos, treinamento,
etc
• Comunicação atrelada às promulgações de
políticas, padrões, regras,etc
126
Referências
• Data Management Maturity Model-CMMI Institute-August 2014-
Version 1.0
• Data Management Maturity Model-Introduction-University of Ottawa-
CMMI Institute-December-2014
• Introduction to DMM Concepts-Course-CMMI Institute-Washington
DC-2015
• The DAMA Guide to Data Management Body of Knowledge(Dama-
DMBOK Guide)-First Edition 2009
• Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora
Henderson-September-2012
• OpenDataGovernance-DMBOK2-Chapter4-em revisão
127
Referências
• Business Model Generation-Inovação em Modelos de Negócios-
Alexander Ostewalder-Yves Pigneur-Editora Alta Books-2011
• Canvas-MGD-Melhoria de Gestão de Dados-Carlos Barbieri-
CBCA-Material treinamento (2014-2015)
• A Framework for Information Systems-John Zachman-
(1988,1991)
• Learning 3.0-Alexandre Magno-Happy Melli-Material de
Treinamento-Junilson Souza (Facilitador)-2015
• Project Management Canvas-José Finócchio Jr-Editora Campus-
2013
• Start with Why-Simon Sinek-Editora Portfolio-Penguim Group-
2009
Referências
• Big Data Imperative-Na emerging imperative-Sunil Soares-MC Press-
2012
• Data Stewardship-David Plotlin-Morgan Kaufman-Elsevier-2014
• Data Governance-How to design, deploy and sustain na effective data
Governance Program-John Ladley-Elsevier-2012
129

Mais conteúdo relacionado

Mais procurados

Escritório de Governança de Dados - Conceitos e dicas para implantação
Escritório de Governança de Dados - Conceitos e dicas para implantaçãoEscritório de Governança de Dados - Conceitos e dicas para implantação
Escritório de Governança de Dados - Conceitos e dicas para implantaçãoBergson Lopes Rêgo, PMP
 
Dicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de DadosDicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de DadosBergson Lopes Rêgo, PMP
 
Data Lake Architecture – Modern Strategies & Approaches
Data Lake Architecture – Modern Strategies & ApproachesData Lake Architecture – Modern Strategies & Approaches
Data Lake Architecture – Modern Strategies & ApproachesDATAVERSITY
 
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...DataWorks Summit
 
Master Data Management
Master Data ManagementMaster Data Management
Master Data ManagementMoniqueO Opris
 
Persistência Poliglota, Big Data e NoSQL FISL 15
Persistência Poliglota, Big Data e NoSQL FISL 15Persistência Poliglota, Big Data e NoSQL FISL 15
Persistência Poliglota, Big Data e NoSQL FISL 15Christiano Anderson
 
Databricks: A Tool That Empowers You To Do More With Data
Databricks: A Tool That Empowers You To Do More With DataDatabricks: A Tool That Empowers You To Do More With Data
Databricks: A Tool That Empowers You To Do More With DataDatabricks
 
Big Data / Analytics sem Governança de Dados é apenas uma utopia
Big Data / Analytics sem Governança de Dados é apenas uma utopiaBig Data / Analytics sem Governança de Dados é apenas uma utopia
Big Data / Analytics sem Governança de Dados é apenas uma utopiaBergson Lopes Rêgo, PMP
 
Privacidade By Design no Ciclo de Vida do Produto
Privacidade By Design no Ciclo de Vida do ProdutoPrivacidade By Design no Ciclo de Vida do Produto
Privacidade By Design no Ciclo de Vida do ProdutoDouglas Siviotti
 
LDM Slides: How Data Modeling Fits into an Overall Enterprise Architecture
LDM Slides: How Data Modeling Fits into an Overall Enterprise ArchitectureLDM Slides: How Data Modeling Fits into an Overall Enterprise Architecture
LDM Slides: How Data Modeling Fits into an Overall Enterprise ArchitectureDATAVERSITY
 
Escritório de governança de dados
Escritório de governança de dadosEscritório de governança de dados
Escritório de governança de dadosBLRDATA
 
Isc aula 5 - estrutura e organização da informação
Isc   aula 5 - estrutura e organização da informaçãoIsc   aula 5 - estrutura e organização da informação
Isc aula 5 - estrutura e organização da informaçãoFábio Andrade
 
GOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfGOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfJoseEPininga
 
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...Big Data per le Startup: come creare applicazioni Big Data in modalità Server...
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...Amazon Web Services
 
CDMP SLIDE TRAINER .pptx
CDMP SLIDE TRAINER .pptxCDMP SLIDE TRAINER .pptx
CDMP SLIDE TRAINER .pptxssuser65981b
 
Master Data Management – Aligning Data, Process, and Governance
Master Data Management – Aligning Data, Process, and GovernanceMaster Data Management – Aligning Data, Process, and Governance
Master Data Management – Aligning Data, Process, and GovernanceDATAVERSITY
 
Data Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and RoadmapsData Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and RoadmapsDATAVERSITY
 

Mais procurados (20)

Escritório de Governança de Dados - Conceitos e dicas para implantação
Escritório de Governança de Dados - Conceitos e dicas para implantaçãoEscritório de Governança de Dados - Conceitos e dicas para implantação
Escritório de Governança de Dados - Conceitos e dicas para implantação
 
Dicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de DadosDicas para implantação de um Programa de Governança de Dados
Dicas para implantação de um Programa de Governança de Dados
 
Simplifique o seu BI com a AWS
Simplifique o seu BI com a AWSSimplifique o seu BI com a AWS
Simplifique o seu BI com a AWS
 
Data Lake Architecture – Modern Strategies & Approaches
Data Lake Architecture – Modern Strategies & ApproachesData Lake Architecture – Modern Strategies & Approaches
Data Lake Architecture – Modern Strategies & Approaches
 
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...
Verizon: Finance Data Lake implementation as a Self Service Discovery Big Dat...
 
Master Data Management
Master Data ManagementMaster Data Management
Master Data Management
 
Persistência Poliglota, Big Data e NoSQL FISL 15
Persistência Poliglota, Big Data e NoSQL FISL 15Persistência Poliglota, Big Data e NoSQL FISL 15
Persistência Poliglota, Big Data e NoSQL FISL 15
 
Databricks: A Tool That Empowers You To Do More With Data
Databricks: A Tool That Empowers You To Do More With DataDatabricks: A Tool That Empowers You To Do More With Data
Databricks: A Tool That Empowers You To Do More With Data
 
Big Data / Analytics sem Governança de Dados é apenas uma utopia
Big Data / Analytics sem Governança de Dados é apenas uma utopiaBig Data / Analytics sem Governança de Dados é apenas uma utopia
Big Data / Analytics sem Governança de Dados é apenas uma utopia
 
Privacidade By Design no Ciclo de Vida do Produto
Privacidade By Design no Ciclo de Vida do ProdutoPrivacidade By Design no Ciclo de Vida do Produto
Privacidade By Design no Ciclo de Vida do Produto
 
LDM Slides: How Data Modeling Fits into an Overall Enterprise Architecture
LDM Slides: How Data Modeling Fits into an Overall Enterprise ArchitectureLDM Slides: How Data Modeling Fits into an Overall Enterprise Architecture
LDM Slides: How Data Modeling Fits into an Overall Enterprise Architecture
 
Apostila modelagem de banco de dados
Apostila modelagem de banco de dadosApostila modelagem de banco de dados
Apostila modelagem de banco de dados
 
Escritório de governança de dados
Escritório de governança de dadosEscritório de governança de dados
Escritório de governança de dados
 
Isc aula 5 - estrutura e organização da informação
Isc   aula 5 - estrutura e organização da informaçãoIsc   aula 5 - estrutura e organização da informação
Isc aula 5 - estrutura e organização da informação
 
GOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfGOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdf
 
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...Big Data per le Startup: come creare applicazioni Big Data in modalità Server...
Big Data per le Startup: come creare applicazioni Big Data in modalità Server...
 
Governança cobit
Governança cobitGovernança cobit
Governança cobit
 
CDMP SLIDE TRAINER .pptx
CDMP SLIDE TRAINER .pptxCDMP SLIDE TRAINER .pptx
CDMP SLIDE TRAINER .pptx
 
Master Data Management – Aligning Data, Process, and Governance
Master Data Management – Aligning Data, Process, and GovernanceMaster Data Management – Aligning Data, Process, and Governance
Master Data Management – Aligning Data, Process, and Governance
 
Data Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and RoadmapsData Governance Best Practices, Assessments, and Roadmaps
Data Governance Best Practices, Assessments, and Roadmaps
 

Destaque

Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Carlos Barbieri
 
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Carlos Barbieri
 
Aula 1 visão organizacional
Aula 1   visão organizacionalAula 1   visão organizacional
Aula 1 visão organizacionalKatiana Diniz
 
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02Carlos Barbieri
 
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...EloGroup
 
Build an Information Security Strategy
Build an Information Security StrategyBuild an Information Security Strategy
Build an Information Security StrategyAndrew Byers
 

Destaque (9)

Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
 
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v01
 
Aula 1 visão organizacional
Aula 1   visão organizacionalAula 1   visão organizacional
Aula 1 visão organizacional
 
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02
Bi2 modelagem e qualidade-carlos barbieri-figuras corrigidas v02
 
Gestão de projetos
Gestão de projetosGestão de projetos
Gestão de projetos
 
Seminario seguranca da informacao
Seminario seguranca da informacaoSeminario seguranca da informacao
Seminario seguranca da informacao
 
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...
[BPM Global Trends 2014] Vanice Ferreira (Governo de MG) – Núcleo de Gestão I...
 
Processos organizacionais 02
Processos organizacionais 02Processos organizacionais 02
Processos organizacionais 02
 
Build an Information Security Strategy
Build an Information Security StrategyBuild an Information Security Strategy
Build an Information Security Strategy
 

Semelhante a GD Canvas: Uma abordagem ágil para governança de dados

Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016Bergson Lopes Rêgo, PMP
 
Senior BI - Business Intelligence
Senior BI - Business IntelligenceSenior BI - Business Intelligence
Senior BI - Business IntelligenceSenior Sistemas
 
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...tdc-globalcode
 
Governança de dados - Power Bi Talks 3ª Edição
Governança de dados - Power Bi Talks 3ª EdiçãoGovernança de dados - Power Bi Talks 3ª Edição
Governança de dados - Power Bi Talks 3ª EdiçãoClaudio Bonel
 
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoEdileusa Estéfani Prado
 
Inteligência analítica aplicada a negócios
Inteligência analítica aplicada a negóciosInteligência analítica aplicada a negócios
Inteligência analítica aplicada a negóciosJosias Oliveira
 
SAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDGSAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDGJuly A. M. Rizzo
 
Curso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e FundamentosCurso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e FundamentosMarco Garcia
 
20BI-Artigo_TCC_final
20BI-Artigo_TCC_final20BI-Artigo_TCC_final
20BI-Artigo_TCC_finalJohn Stracci
 
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...tdc-globalcode
 
Métricas - Maratona Digital
Métricas - Maratona DigitalMétricas - Maratona Digital
Métricas - Maratona DigitalMaratona Digital
 
Palestra Business Intelligence
Palestra Business IntelligencePalestra Business Intelligence
Palestra Business IntelligenceMarco Garcia
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesarthurjosemberg
 
Palestra sobre Métricas para Performance
Palestra sobre Métricas para PerformancePalestra sobre Métricas para Performance
Palestra sobre Métricas para PerformanceRicardo T. Dias
 
Estratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisEstratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisHuxley Dias
 

Semelhante a GD Canvas: Uma abordagem ágil para governança de dados (20)

Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016Gestão e Governança de Dados - Evento BI Summit 2016
Gestão e Governança de Dados - Evento BI Summit 2016
 
Apresentação BI Summit 2016
Apresentação BI Summit 2016Apresentação BI Summit 2016
Apresentação BI Summit 2016
 
Senior BI - Business Intelligence
Senior BI - Business IntelligenceSenior BI - Business Intelligence
Senior BI - Business Intelligence
 
Apresentação Bschart
Apresentação BschartApresentação Bschart
Apresentação Bschart
 
Inteligência de Negócios e Software Livre
Inteligência de Negócios e Software LivreInteligência de Negócios e Software Livre
Inteligência de Negócios e Software Livre
 
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
 
Governança de dados - Power Bi Talks 3ª Edição
Governança de dados - Power Bi Talks 3ª EdiçãoGovernança de dados - Power Bi Talks 3ª Edição
Governança de dados - Power Bi Talks 3ª Edição
 
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de RecomendaçãoProjeto final v2 - Módulo Gerencial - Sistema de Recomendação
Projeto final v2 - Módulo Gerencial - Sistema de Recomendação
 
Inteligência analítica aplicada a negócios
Inteligência analítica aplicada a negóciosInteligência analítica aplicada a negócios
Inteligência analítica aplicada a negócios
 
SAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDGSAP Forum Brasil 2017 - Apresentação MDG
SAP Forum Brasil 2017 - Apresentação MDG
 
Business Analytics
Business AnalyticsBusiness Analytics
Business Analytics
 
Curso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e FundamentosCurso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
Curso de Business Intelligence e Data Warehouse - Conceitos e Fundamentos
 
20BI-Artigo_TCC_final
20BI-Artigo_TCC_final20BI-Artigo_TCC_final
20BI-Artigo_TCC_final
 
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
TDC2018SP | Trilha BigData - Big Data Governance - Como estabelecer uma Gover...
 
Métricas - Maratona Digital
Métricas - Maratona DigitalMétricas - Maratona Digital
Métricas - Maratona Digital
 
Palestra Business Intelligence
Palestra Business IntelligencePalestra Business Intelligence
Palestra Business Intelligence
 
realizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_servicesrealizando_limpeza_de_dados_com_data_quality_services
realizando_limpeza_de_dados_com_data_quality_services
 
Adeus BI, Seja Bem Vindo a Era do Analytics?
Adeus BI, Seja Bem Vindo a Era do Analytics?Adeus BI, Seja Bem Vindo a Era do Analytics?
Adeus BI, Seja Bem Vindo a Era do Analytics?
 
Palestra sobre Métricas para Performance
Palestra sobre Métricas para PerformancePalestra sobre Métricas para Performance
Palestra sobre Métricas para Performance
 
Estratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos DigitaisEstratégia de Mensuração para Produtos Digitais
Estratégia de Mensuração para Produtos Digitais
 

Último

AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdf
AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdfAULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdf
AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdfhistonfilho
 
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...9z64mgz4kf
 
Relatório de Gestão 2022-2023 Intra Leste Nordeste
Relatório de Gestão 2022-2023 Intra Leste NordesteRelatório de Gestão 2022-2023 Intra Leste Nordeste
Relatório de Gestão 2022-2023 Intra Leste NordesteDaniloMatos36
 
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS TD (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdfmaanuarruda
 
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdfmaanuarruda
 
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdfmaanuarruda
 

Último (6)

AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdf
AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdfAULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdf
AULA_02_-_SISTEMA_DE_NUMERACAO2023/2.pdf
 
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...
EM-3ª-SERIE-SLIDE-DE-BIOLOGIA-os-principios-das-leis-da-genetica-ou-mendelian...
 
Relatório de Gestão 2022-2023 Intra Leste Nordeste
Relatório de Gestão 2022-2023 Intra Leste NordesteRelatório de Gestão 2022-2023 Intra Leste Nordeste
Relatório de Gestão 2022-2023 Intra Leste Nordeste
 
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS TD (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS TD (1).pdf
 
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS VJ (1).pdf
 
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdfSelling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdf
Selling Story Max Excellence DIS - Q2'24 DIS HIB (1).pdf
 

GD Canvas: Uma abordagem ágil para governança de dados

  • 1. Governança de Dados-Uma abordagem via Canvas MGD 1 Carlos Barbieri Versão01-agosto/2015
  • 2. • Carlos Barbieri, Eng, 1970-MSc-INPE-1974, PG Informática-1975 • Cemig-30 anos na área de Dados(ABD,AD,BI), Gerente da Assessoria de Tecnologia • Professor de Pós-Graduação da FUMEC, PUC-MG nas áreas de BI e Data Governance • Consultoria e treinamento no Brasil e Portugal • Coordenador da área de Qualidade da Fumsoft-Sociedade Mineira de Software, responsável pelo Programa MPS.BR – Engenharia de Software-MPS.BR – Governança e Qualidade de Dados • Autor de 3 livros na área de Dados, Informações e BI • Revisor convidado do Modelo DMM-Data Management Maturity Model-CMMI • CDMP-Certified Data Management Professional-DAMA-Data Management Association- CBIP(TDWI) e CDMP em DM, DW,DD,DOIP,DGS (1994) (2002) (2011)
  • 3. Carlos Barbieri Consultores Associados ® Direitos reservados carlos.barbieri@gmail.com
  • 4. Governança de dados Canvas MGD • Objetivo: – Aplicar, usando as técnicas de Canvas, uma abordagem interativa para o desenvolvimento de projetos “triggers” de dados, que possibilite a alavancagem de conceitos de Governança de Dados nas empresas – Aplicar os conceitos de 5W2H na abordagem de Gestão e Governança de dados – Usa os Canvas de MGD(Melhoria de Gestão de Dados) e o de P´s da Governança 4
  • 5. Governança de dados Canvas MGD • Abordagem: – Aplicada em treinamentos abertos e “in-company” com alcance pleno de resultados – Envolve a participação de gestores de dados de negócios/analistas de negócios, administradores de dados, DBA´s,etc na solução dos problemas associados a dados e na construção interativa de soluções centradas em abordagens de Governança e Gestão de dados – Baseada nas melhores práticas mundiais, centradas em modelos consolidados como DMM-Data Management Maturity Model e DMBOK-Dama-Data Management Association 5
  • 7. Governança de dados Canvas MGD • Abordagem: – Trabalha o envolvimento de equipes na solução de problemas de dados – Foca na interação, através de mecanismo de Canvas, conduzindo a discussão através dos conceitos naturais de 5W2H – Permite a visualização e a visão de cada componente, definido sem restrições à priori – Deve ter a visão de stakeholders de negócios e representantes de TI, já com foco na possível composição da estrutura de Governança de dados – Veja a ilustração a seguir, mostrando as áreas de processos do DMM, das Categorias Estratégia de dados e Governança de Dados 7
  • 11. v06 M/R/T Benefícios(Why) Requisitos(What) Objetivos(Why/What) O que impacta os negócios? “Dores”, perdas, tipos, criticidade, prioridade, causas O que espero realizar para neutralizar, mitigar os problemas pela criticidade, prioridade Dados apoiando negócios O que espero ganhar com os objetivos a serem alcançados Priorização Venda para alta gerência How Much/How Many inicial Principais dados envolvidos Mestre, Referência, Transacional,outros RACI-inicial Detalhamento dos objetivos Soluções Requisitos de Gestão de Dados Requisitos de Governança de Dados How much/How many feedback -------------- Áreas envolvidas na solução Owners de dados, Especialistas negociais em dados Processos de dados(DLCM) RACI e CRUD Planejamento no tempo Priorização Estruturas: Conselhor de GD Comitê de GD Gestores de dados Escritório de Dados (implantação) Refinamento dos custos
  • 12. Os P´s da GD Carlos Barbieri V02 Políticas Processos Procedimentos Padrões Pessoas/Papéis Programas/Projetos DM Plano-GD Plataformas/ arquiteturas Performance Palavra-Propaganda 13 Patrocínio
  • 13. Os P´s da GD Carlos Barbieri V02 Políticas Processos Procedimentos Padrões Pessoas/Papéis Programas/Projetos DM Plano-GD Plataformas/ arquiteturas Performance Palavra-Propaganda 14 Patrocínio Alto nível, (benefícios ou evitar os problemas) BC, associado aos negócios, Patrocínio BSN Não deve ser TI pura. FCS: cultura, colaboração,mudança Regras normativas, Consensadas, aprovadas; atualizadas. Temas: DM/GD: Modelagem, arquitetura, BD, Segurança, MDM, BI, Compliance,etc Templates para criação Ritual: proposta, análise, aprovação, promulgação Regras, normas e especificações para definir, escrever,desenhar, documentar e usar dados Padrões da indústria Padrões de Metadados (ISO) Padrões de QD, BI, BD, MDM,etc Definido e aprovado em ritual semelhante Conjunto de atividades, com Input output, participantes, tools, recursos, controle vias Monitoração de performance (QA,MED) Aprovado, treinado e internalizado Ex: Alteração de modelos Conceituais de dados Procedimentos: detalhamentos de parte de processos, repetitivo Procedimentos dentro de Proc. MED,GQA,etc Ex: Coleta de dados para medição de QD Gestores de dados de negócios Gestores de dados por Assunto Líder de GD Conselho de GD CDO Custodiadores de dados GD é um programa Vários projetos: drivers, ações emergenciais Pense grande, comece pequeno “Dont boil the ocean” Plano: detalhamento de Objetivos, recursos pessoais, tempo, recursos materiais, necessidades de treinamento Parte de Planejamento Parte de Acompanhamento Arquitetura: negócios, processos tecnologia e de dados Plataforma de tecnologia: BD, DW/BI,Analytics, Big data,QD, Metadados: Dicionários/ Repositórios de MD e Glossário de negóciosPlano de MED(Medições) Plano de QA Aplica-se em GD,DM, etc Fundamental Plano de Comunicação Palestras,newsletter,etc Comunica: Padrões, Processos,Políticas, Procedimentos,Regras
  • 16. Problemas de Dados na sua empresa? Barbix-2012 17
  • 17. (Why)-O Porquê • Começar pelo WHY?-Problemas • Impactos em Mercado, Clientes, Produtos • Regulações Aderência à compliance(aspectos regulatórios), Reputação • Qualidade, Segurança de dados, Privacidade • Disponibilidade de informação/garantia de fonte confiável • Problemas de Integração: Arquitetura de dados integrada com Arquitetura corporativa • Fontes variadas de dados: ERP,SCM,SFA, PLM, Big Data • Carência de informações analíticas e para tomada de decisões • Dados – classificação : M(estre), R(eferenciais), T(ransacionais),etc • Dados- classificação: Criticidade(3 níveis): alta/média/baixa • Identifique os principais Metadados • Identifique (inicialmente) Data Owners e Processos envolvidos • Ferramentas: Entrevistas, Ferramentas de QD-profiling,etc 18
  • 18. • Porquê? • Problemas e riscos de Negócios • Tipos de problemas(Pessoas, Cultura, Gerência, recursos,Processos,etc) • Impactos em Mercado, Regulação, Reputação, Perdas,etc • Associe com potenciais problemas de dados : • Problemas de Segurança de Dados • Problemas de Qualidade de dados • Problemas de Integração de dados • Problemas de redundância/replicação descontrolada de dados, carência • Fontes variadas de dados • Metadados Why? • Porquê? • Quais dados principais estão no contexto do problema • Classifique em Dados Mestres, Referenciais, Transacionais, outros • Classifique os Dados em 3 níveis de criticidade pelo potencial de impacto nos negócios(muito-médio, menos). Por exemplo, dados que são exigidos por agências reguladoras são considerados críticos • Associe inicialmente Dados com Unidades organizacionais(Data Owners), • Faça uma Matriz RACI inicial
  • 19. Objetivos-Why/What: • Como os dados poderão contribuir para a melhoria(resolução) dos problemas de negócios. Por exemplo ajudar em : • Expansão de mercado, Melhoria de atendimento aos clientes, Melhoria da Reputação da empresa, diminuição de perdas, Minimização de riscos de Compliance, de segurança de dados,etc • Benefícios iniciais • Melhoria da qualidade das informações; • Melhoria da integração em sistemas e fontes de dados; • Melhoria de produção de informações para “melhor” tomada de decisões; • Maior qualidade nos relatórios de Compliance • Priorize os benefícios para melhor “vendê-los” • Seja objetivo e conciso na sua definição, com ênfase nos ganhos(How much aproximado) Objetivos-Benefícios iniciais
  • 20. Dados Mestres (CS,FN,Local, Emp,etc Dados Referenciais (Códigos,CEP, CCusto,SKU, CContabeis Dados Transacionais OC,NF, PCompra-data Metadados código, nome, descrição, nome-negócios, etc metadados técnicos, negócios, auditoria DadosExternosDadosInternos Dados Estruturados (templates,campos) Dados Não Estruturados (email,som,imagem,foto,posts) Dados Condicionais F(x) DadosDerivadosDadosPrimários Dados Históricos Contexto de data Estabilidade/Dados fundamentais(Foundational) Volatilidade Retenção/ Imutabilidade/ Informacional-BI Condição/Regras Forma origem Gênese/ Transformação definição Codificação Padronização Dados Temporários (otimização, performance, memória) Big Data Governance 5V: Volume,Variedade,Velocidade Veracidade e Valor Transacional Foundational 21 Dados e Metadados
  • 22. What ( O Quê) • Requisitos de Dados para resolver os problemas de negócios • Envolve as soluções previstas para serem aplicadas, tanto de DM(Gestão de dados), quanto de GD(Governança de dados) • Maior controle sobre os dados( documentação, qualidade, uso, compartilhamento, integração, ciclo de vida, monitoração) • Definição de programas/projetos/plano estratégicos de melhoria dos dados, Projetos de DM/GD • Missão, Visão , Estratégia 23
  • 23. Requisitos-What Soluções de DM(Data Management) e de GD(Governança de Dados) 1)Sistema de informações integrado para as áreas de ...... 2)Sistema de Informações analíticas sobre os dados para ..... 3)Novas plataformas, como Big Data,etc 4)Políticas e procedimentos sobre sobre ações de ...................... 5)Processos, Padrões e Medições What-Requisitos Benefícios-detalhe-What: • Parte vendável para a alta gerência • Escritos de forma objetiva, concisa e direta (Elevator speech) • Ganhos tangíveis e intangíveis • Números e BC(Business Case) • Outros: apresentações, newsletter, • Fatores: cultura da empresa, forma de comunicação(jargão, estilo) • Plano estratégico de dados ou • Charter de GD(3 pa´ginas) • Convencimento e venda (How much, How many)
  • 24. Soluções para • Qualidade de Estrutura/Integração – Arquitetura dos dados, dados críticos para o negócio, MDM • Qualidade de Documentação – Metadados e Glossários de negócios • Qualidade de Conteúdo – Data Quality • Qualidade de Segurança – Segurança lógica e física • Qualidade de Disponibilidade – Acesso no momento necessário, Plataformas, sistemas e ferramentas • Governança de Dados – Políticas, Padrões, Processos, etc... 25
  • 26. Novo BOK Novo nome: Modelagem e Projeto de dados Antigo: Desenvolvimento de Dados Novo nome: Armazenamento e Operações de dados Antigo: Gerência de Operações de dados Dama-Data Management Association 27 DAMA-DMBOK2
  • 27. DAMA-DMBOK2 Pessoas(Papéis/responsabilidades,Organização e Cultura) Processos(Atividades, Práticas e Técnicas) Tecnologia(Ferramentas e Entregáveis) 28
  • 28. Definição Objetivos Processo(Atividades) Entradas Saidas Métricas Quem fornece as entradas Quem processa as entradas (Responsável) Quem consome as saídas Quem participa do processo (Informa, ou é Consultado) 29 DAMA-DMBOK2
  • 29. VISÃO GERAL NOS ANOS 200X 1 2 3 4 5 QUALIDADE DE DADOS OPERAÇÕES DE DADOS ESTRATÉGIA DE GESTÃO DE DADOS PLATAFORMA E ARQUITETURA 1-realizado 2-gerenciado 3-definido 4-medido 5-otimizado Capacidade GOVERNANÇA DE DADOS RSKM(RISCOS)-CM(CONFIGURAÇÃO)-MA(MEDIÇÃO E ANÁLISE)-QA(QUALTY ASSURANCE) DE PROCESSO- GERÊNCIA DE PROCESSO DMM-1.0 PROCESSOS DE SUPORTE Atributos de Processos ISP-Infrastructure Support Practices 30 Data Management Maturity Model
  • 30. O modelo DMM Estratégia de Data Management(Data Management Strategy) Estratégia de Data Management Comunicações Função de Data Management Plano de Negócios (Business Case) Apoio Financeiro Governança de Dados(Data Governance) Gerência de Governança Glossáriio de Negócios Gerência de Metadados Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados Data Profiling Avaliação de Qualidade de Dados Limpeza de Dados Operações de Dados(Data Operations) Definição de Requisitos de Dados Gerência do Ciclo de vida dos Dados Gerência de Fornecedores de Dados(Provider Management) Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach) Padrões Arquiteturais(ArchitecturalStandards) Plataformas de Data Management(Data Management Platform) Integração de Dados (Data Integration) Dados Históricos(Historical Data) , Arquivamento(Archiving) e Retenção(Retention) Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis) Gerência de Processo(Process Management) Garantia de Qualidade do Processo(Process Quality Assurance) Gerência de Risco(Risk Management) Gerência de Configuração(Configuration Management) 31 DMM-CategoriaseÁreasdeProcessos
  • 32. Where-Onde • Escopo, domínio, áreas de negócios • Contexto onde se fará as melhorias: • Geográfico / Negocial • Principais processos de negócios da área: e seus dados (DMLC-Ciclo de vida)- From Requirement to Retirement • Principais sistemas envolvidos com Matriz RACI, CRUD • Identificação de Data Owners e envolvidos em dados(negócios) com alto conhecimento dos assuntos • Envolvidos na TI, nos sistemas relacionados ao tema/assunto • Início do Who Where Cliente Serviços MKTFIN XPTO Assunto
  • 33. Escopo • Propor um escopo e um plano inicial para definir e implementar GD(aproveitar eventuais projetos trigger/estruturantes de DM) – Evite “to boil the ocean” ; Use as estruturas e especialistas existentes • Identificar as unidades de negócios/áreas sujeitas à GD – Contextos prioritários, dados críticos – Sempre pense em objetivos de negócios, prioridades e escopo sensíveis – Dados x processos, RACI, CRUD • Desenvolver uma estrutura de equipe para o início dos trabalhos, com foco inicial nos Owners e envolvidos no tema(SME)-potenciais gestores(stewards) • Aprovar escopos, priorizações e restrições • Sempre pense grande mas aja pequeno, com foco centrado em negócios e valores agregados ao “business” – Ciclos iterativos-projetos 36
  • 34. Escopo • O escopo de um programa de GD tem que ser analisado considerando: – Modelo de Negócios • Centralizado, descentralizado, distribuído em regiões • Impacto das linhas de negócios com as melhorias GD. Por exemplo: MDM/Cliente – Conteúdo dos dados • Dados estruturados e não estruturados • Mestres, Transacionais, Informacionais • Considerações da GD sobre SDLC no caso de dados estruturados ou de BPM no caso de dados não-estruturados(fluxo de documentos) – Estrutura prevista para a GD • Federalização: Divisão em níveis, camadas da empresa, com políticas, regras e procedimentos variáveis. Tal como uma Federação. Há dados que poderão ter diferentes graus de GD, dependendo da sua natureza: global, regional ou local. – Cultura da Empresa • Propensão a qualidade, compartilhamento • Processos de Qualidade • Conceito de Accountability(responsabilidade maior) Empresas são diferentes!!! Boa Vista serviços, Johnson&Johnson, BySat 37
  • 35. Escopo • O escopo de um programa de GD tem que ser analisado considerando: – Projetos de DM • Projetos de MDM, BI, Segurança, DNE, ERP, Qualidade etc – Áreas especiais podem ficar fora • P&D-dados experimentais podem ser controlados sob outra ótica • Governança de dados é uma inovação!! – Síntese: • Definir a área da empresa que será “governada” – DMM: Associada com Estratégia 38
  • 36. Escopo da GD Unidade de Negócios Dados Dados Dados Dados Dados GD Empresa A Unidade de Negócios Unidade de Negócios Unidade de Negócios Dados Dados Dados Dados Dados Dados GD GD GD Empresa B RegiãoRegiãoRegião Algo que liga as GD´s: Comitê de Observação, Conselho Supra GD 39
  • 37. Estruturação-Federalização Função do Escopo Local Local Regional Global Cliente FornecedorProduto Dados ReferenciaisKPI´s Regras de compliance Os dados Mestres, Referenciais, KPI´s e regras de compliance poderão ter definições variadas nos diferentes níveis organizacionais. Itens Core 40
  • 38. DLCM-GERÊNCIA DO CICLO DE VIDA DOS DADOS • Um dos maiores desafios da GD • Visão do Dado (from Requirement to Retirement) • Visão dos dados como ativo que circula/movimenta entre processos diferentes em áreas de negócios diferentes, processado por sistemas diferentes, habitando “data stores” diferentes(o mesmo dado conceitual) – Áreas de negócios usam(podem usar) o mesmo dado de forma diferente – Área de marketing pode usar alguns dados do Cliente diferentes da área de Vendas ou de Entrega(Delivery) 41
  • 39. DLCM Dados x Processos • Onde os dados e processos se cruzam • Dados e Processos de Negócios envolvidos(Matrizes CRUD/RACI) • Ciclo de vida dos dados • Rastreabilidade e impactos dos em alterações de dados 42
  • 40. Atuação da GD no DLCM • Facilitar os Owners de dados acerca de necessidades de alterações, via um processo definido – Gestores de dados de cada área envolvida, discutindo no Comitê de GD (ou escalando) • Coordenar requisitos específicos de negócios sobre aquele mesmo dado – GD´s priorizam e analisam para evitar duplicações de requisitos e a possibilidade de consolidá-los • Resolução de conflitos – Usos diferentes por áreas de negócios diferentes podem gerar conflitos- Escalonamento para Líder de GD, ou GD por assunto, ou Conselho de GD • Gerenciar as definições de dados(metadados) e os seus usos apropriados – Saber quem usa o dado como, em qual processo • Controlar as métricas usadas para medir aderência com aquilo que é requerido pelas políticas e padrões da GD • Conhecer o DLCM é saber da rastreabilidade, gerenciar os impactos(upstream e downstream) e prevenir erros em casos de modificações de dados 43
  • 41. Ciclos de Vida Dados e Sistemas The DAMA Guide to Data Management Body of Knowledge-DMBOK-fig 1.2-pag-4 Gestor de dados de negócio Gestor de dados de projeto 44 (*)Permitir, Autorizar, Habilitar (*)
  • 42. Atuação da GD no DLCM Sistema de PV ERP Ticket Venda ETL DW DM Módulo Financeiro Módulo Fiscal Analytics (Mining) Módulo Archiving Transacional Informacional-Dimensional Inferencial ODS Proprietário(Owner) Gestores(Stewards) Consumidores(consumers) Custodiadores(TI) 45
  • 43. Matriz Dados x Processos Por área de assunto/foco da GD Descrição Sistemas-TI Área 1 Área 2 Área 3 Área 4 Dados Mestres Endereço de Cliente SAP CRM Seção w- José Pinho Dados Referenciais Código de doença Depto X- C Dados Transacionais D-Define C-Criação dos dados R-Leitura/Uso U-Atualização E-Deleção/Eliminação Nome do Data ME(*) Nome do System ME(*) DCRUE (*)ME-Especialista no assunto
  • 45. Who-Quem Premissa #1: Cada empresa define a sua estrutura de GD, de acordo com sua cultura, engajamento, percepção de “data value”, estruturas, geografia, etc Definição da estrutura de Governança e interação com TI • Definição dos Data Owners • Definição dos Gestores de Dados de Negócios • Definição de Gestores de Dados de TI • Definição do Comitê tático de Gestores • Definição do Grupo de Implementação de GD(DGPO)-Escritório de dados • Definição do Conselho de GD • Grupo de Gestores de dados (GGD) por Subject área • Ex: GGD de Clientes, com GDN+GDT+outros interessados Who-Quem Visão deliberativa Visão organizacional Visão operacional GD DM
  • 46. Pessoas e Papéis • Envolvimento de Business prioritariamente • Novos papéis – Conselho de GD – Gerência tática: Comitê de Gestores de Dados-DMO, DGPG – Gestores de Dados de negócios e técnicos (TI) • Outros tipos: gestores de dados de Projetos (próximo do que o AD faz), gestores de dados de domínio(próximo do que o AD deveria fazer-visão mais conceitual), gestores de dados operacionais(próximo do ABD) • Novos conceitos: – Data Custodian (TI); Data Consumers; Data Owners-Tipos de Gestores(Líder de Gestores, Gestor por assunto(cross-functional), Gestor de áreas, Gestor de dados por projeto, Gestor de dados de TI(operacional)-AD, DBA • Conscientização , Comunicação, Treinamento 49
  • 47. Matriz RACI-Atividades de GD Atividades de dados Conselho de GD Executivo GD de Domínio (Tático) GD de Negócio (Operacional) GD-TI Equipe GD DGPG Atividades da Área de Negócios Identificaçãoe Documentação Evento de dados solicitado-DGT assume I/A R R S/R I/R Identifica Dados e envolvidos impactados I R I S R Levanta dados e documentação e descreve soluções R I S R Solução Envolve stakeholders, ouve sugestões, identifica opções, escolhe solução A/I C C S R Informa envolvidos sobre solução I I I S R Implementação eControle Implementa e testa solução C/R C R R Documenta e comunica solução I C I S/R R Mede e acompanha a solução I/A C I S R R-Responsável pelo trabalho A-Accountable C-Comunicado I-Informado S-Suporte
  • 49. Estrutura da Governança • Alinhar as funções da GD, com a estrutura organizacional • Lembre-se que cada empresa poderá ter uma estrutura de GD diferente e certamente essa estrutura será dinâmica, podendo mudar em alguns anos • Aspectos de federação(como as unidades de negócios da empresa estão dispostas) influi nessa estrutura(empresas centralizadas, descentralizadas, em países diferentes,etc) • Use Matriz RACI para definir: Responsabilidade, Accountabilidade, Consultado Informado ) • GD: 3 camadas: Conselho de GD, Comitê de supervisão, Grupo de implantação, Gestores de dados , Custodiadores de dados(DA,DBA) • Obter a aprovação da estrutura apresentada • Iniciar a socialização, divulgação, comunicação da GD 52
  • 50. Conselho GD Comitê de GD-DMO Gestores Grupo “cross-funcional”, formado por elementos da alta gerência; Definir Políticas; Prover/Aprovar estratégias de dados Buscar apoio financeiro; Resolver pendências, aspectos de aderência a normas(compliance); Atribuir/oficializar ao DMO/GDO as ações de GD; Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO Coordenar as atividades de GD(estratégica) e táticas com as operacionais; Definir os membros do Comitê de GD; Supervisionar os Data Steward/gestores de dados (Business) e os Data Custodian da TI/Adm,BD,BI ; Arquitetos corporativos, Define/submete políticas, padrões, processos, procedimentos de GD para áreas de negócios; Pode ter uma liderança(cross-functional) de GD(GD Organizacional) Implementa e executa as Políticas, Padrões e Procedimentos nos processos específicos de negócios e aplicações do seu domínio; Formado por pessoas do Business(B data steward) e da TI(IT data custodian). Chefiados por Gestores líderes Estão em áreas funcionais e geográficas diferentes. Pode ser orientado por sistema, por UO-Unidade Organizacional ou por Assunto Tipos: GD de Assunto/Domínio(assunto específico), GD de Projetos(DLCM) Modelo de Governança v04 Data Owners Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc 54 Executivos da Empresa Grupo Implantação GD
  • 51. Matriz RACI Equipe GD • Equipe de implementação da GD-DGPG • Pode ser equipe part-time, tipo day job • Supervisiona o desenvolvimento e implementação da GD • Revisa e documenta as práticas de GD, como, papéis e responsabilidades,comunicação e plano de sensibilização,e provê o road map de implementação da GD • Facilitador na reunião do Conselho provendo informação provendo informação sobre status, atividades e pendências • Continuamente prove material para treinamento, conscientização, e mentoria • Define , recomenda e busca aprovação de métricas(do Conselho) • Garante que as definições de Políticas, processos, procedimentos e métricas estão em uso, visando garantir a gerência de risco, qualidade e usabilidade dos dados • Gerencia incidentes de dados, como dados faltantes ou incorretos em relatórios internos e externos • Audita aspectos de compliance e outras políticas e processos de GD • Rep da(s) área(s) de negócio(s) envolvidas na prioridade de GD e rep de TI 55
  • 52. Gestores de Dados de Negócios • SME-Especialista naquele “assunto” de dados • Normalmente associado a um domínio (Dados Mestres/Referenciais): Cliente, Vendedor, Medicamento, Médico, Receita (Farmácia), Carro, Locação(RentaCar), Endereço(Pais,Estado, Região,Logradouro),etc • Pessoais: relacionamento, boa escrita, comunicação • Aspectos sobre os dados: Regras de negócios, “compliances”/ regulações, qualidade(dimensões e métricas), segurança/privacidade, significado(o quê), inventário(onde) • Extra: Busca pela excelência • Variações: alguns dados de certos domínios podem ser “geridos” por diferentes Gestores. Por exemplo dados de Apólices de seguros, podem ter gestores na área de “underwriting-garantia/oficialização da apólice” e outros dados em vendas. Gestor do domínio apólice responsável pelo domínio apólice, com subdomínios gerenciados por outros gestores de dados de negócios 56
  • 53. Gestores de Dados de Negócios • Relacionamento: com gestores de dados técnicos(TI) e stakeholders do negócio – Ex: no ciclo de vida do dados em um sistema de BI: Dado fonte-> ETL- >Data Store->_ETL->DW->Report-Dashboard • Relacionamento com o Ownership de dados(área de negócios que terá a responsabilidade/accountaibilty) sobre aqueles dados. A definição de ownership é feita analisando-se a área que será mais impactada por eventuais mudanças de regras de negócios ou de dados acerca daquele assunto • Hierarquia: Gestor de Dados Líder 57
  • 54. Gestores de Dados Técnicos • Nova denominação para as funções de TI, já existentes. Algumas linhas chamam de custodiadores de dados • São os DBA´s, Arquitetos de dados, analistas de sistemas responsáveis por Projetos e sistemas específicos, técnicos em ferramentas de QD, etc • Entendem como o dado está armazenado, é protegido por backups, é criado no mundo físico, armazenado etc • Se relacionam com os Gestores de dados de negócios, provendo informações e expertises técnicas • Hierarquia: Ao CIO, ou área da TI • Atuam com os Gestores de dados de Negócios de forma harmoniosa e integrada 58
  • 55. Gestores de Dados de Projetos • Forma de presença da GD nos projetos • SDLC –System Data Lyfe Cycle e DMLC(Data management Lyfe cycle • Ele não é o responsável por decisões em nome da GD, mas para levar e discutir issues(pendências) e questões • Coordena a lista de questões com outros projetos • Apresenta as questões para a GD e retorna a decisão ao projeto 59
  • 56. Conselho de GD • Suporte e patrocínio ao Programa de GovD • Ponto de escalonamento e resolução de pendências • Direciona a mudança cultural necessária • Faz as alterações necessárias na organização para uma GovD efetiva • Cria e promove a visão para o programa de GovD • Apoia no funding do programa de GovD • Equilibra as prioridades de negócio com as necessidades operacionais • Aprova as Políticas de GovD • Acompanha a efetividade e o desempenho do programa de GD • Provê aconselhamento, direcionamento e feedback ao nível abaixo-Board(Liderança) de GovD • Aponta/aprova os membros da liderança de GovD 60
  • 57. Liderança da GD • Visão de gerência sob o Conselho de Governança de Dados • Atua diretamente no Comitê de Gestores de Dados, decidindo ou levando a decisão para o Conselho de GD • Sãos os tomadores de decisão agindo sobre o Comitê de Gestores de Dados • Tem autonomia de “funding” para o programa de Governança de Dados • Prioriza decisões sobre dados no interesse da organização • Revisa, avalia e reporta para o Conselho de GovD acerca da efetividade e desempenho do Comitê de gestores • Avalia medidas que mostrem o alinhamento da GovD com os objetivos de negócios • Revisa e aprova as políticas e objetivos da GovD • É o accountable pelo uso dos dados, qualidade de dados e priorização de pendências • Toma decisões táticas e (algumas estratégicas) • Define nomes, revisa e aprova as recomendações dos membros do Comitê de Gestores 61
  • 58. Comitê de Gestores de dados • Estrutura vital da GD • Coordenação dos trabalhos dos Gestores de Dados • Ponte com a área operacional • Acompanha os aspectos dos Gestores de dados, relativos a ownership de dados, usuários e consumidores de dados, metadados, qualidade de dados, compliance, etc • Resolve pendências no âmbito dos gestores de dados(assunto) • Liderado por coordenadores de GD, ou por um coordenador(Líder de Gestores de dados) 62
  • 59. DGPO-Escritório de GD • Apoia, documenta e publica as atividades do Conselho de GD, da liderança de GD e do Comitê de Gestores de dados • Define e documenta as melhores práticas de GD • Planeja e viabiliza o treinamento sobre GD para a empresa • Documenta, publica e mantem Políticas, Padrões e procedimentos de GD • Recomenda métricas, medidas e processos para acompanhar o progresso do programa de GD na empresa • Promove a mensagem de valor da GD na empresa, incluindo a visão, estratégia, etc • Sabor de PMO(Programa/Projetos) e SEPG(CMMI) 63
  • 61. Quando-When Colocar as ações principais numa ordem de prioridade no tempo, com observação de outros recursos 1)Sistema de informações integrado para as operações da área de .... 2)Sistema de Informações analíticas sobre os dados da ..... 3)Políticas e procedimentos sobre a formação/adesão..... 4)Políticas e procedimentos sobre......... 5)Politicas e procedimentos sobre.......... When-Quando T1 T2 T3 T4 T5
  • 62. (When)-O Quando • Planejamento estratégico da empresa alinhado com • Planejamento estratégico de dados • Projeto Driver • Arquitetura de Dados: Cloud, ERP, Big Data, DWBI, GED, Analytics, Dados em TR • Visão prospectiva: Começar sem projeto, pensando grande, fazendo pequenos movimentos de GD • Visão reativa/corretiva-Projeto “core” ou drivers • Oportunidades nos projetos de DM planejados • Projetos triggers(DM): MDM, DW/BI, Segurança, ERP,etc- visão reativa • Programa de GD em ciclos de projetos/iterações/entregas 66
  • 63. How much How many ( O quanto) 67
  • 64. Quanto-How much • Custo do programa de GD(n projetos) • Custo de Pessoal(Os Gestores de dados normalmente são part-time) nessas ações • Custo de Ferramentas(Repositório de Metadados, Glossários, etc) • Custo de aprendizado(cursos, coaching,etc) • Bater com os benefícios(Business Case) • Retorno em Qualidade de dados, integração, segurança, maior liquidez da informação(+rápida), redução de riscos How Much-Quanto RH(h) Outros(*) Total
  • 65. Custo/Retorno • Custo: – Direto: Pessoas, Treinamento, Consultoria, Ferramental – Indireto: Custo de mudança da cultura, quebra de “proprietarismos” de dados, conscientização de dado como ativo, controles aplicados, melhoria contínua • Retorno: – Direto: Mitigação dos custos negativos(riscos de negócios, riscos regulatórios, reputação) – Indireto: Pode ser intangível(melhoria do capital estrutural da empresa), melhor qualidade de dados e informações, melhoria na tomada de decisões etc – Difícil mensuração 69
  • 67. P´s: da GD Vide Canvas P: Definição de Planejamento estratégico de dados Definição de Processos de GD e de DM(BI,MDM,Segurança,Integração,etc) e Processos de Apoio (*) Definição de Políticas Definição de Procedimentos Definição de Performance-métricas de desempenho Definição de Pessoas e Papéis Definição de Projetos e Planos para alcance dos objetivos/requisitos de dados Definição de Plataformas (*): Apoio: MED, Risco, Processo, QA e Configuração How-Como Elementos de Processo: • Atividades • Plano de execução do processo • Responsabilidades • Treinamento • Monitoração do processo • Gerência de envolvimento dos Stakeholders • Acompanhamento do Processo • Processo padrão e Processo definido
  • 68. How ( O Como) Estratégia de Dados • Uma estratégia inclui, no mínimo: • Declaração de visão(ideias sobre trajetória para o futuro), com princípios operacionais, objetivos gerais e específicos, prioridades baseadas em fatores de negócios da empresa como dependências, valores de negócios definidos, alinhamento com iniciativas estratégicas e o nível de esforço esperado • Gaps identificados no estado corrente baseado em uma avaliação de DM • Escopo: Áreas chaves de negócios(Clientes, Contas), prioridades de DM, como QD por exemplo e Dados chaves • Foco nos benefícios de negócios • O framework de DM selecionado(QD, MDM por exemplo) e como será usado • Papéis e responsabilidades; lista de envolvidos chaves • Descrição da abordagem usada para desenvolver o programa de DM • Extensão e escopo do aspecto de “compliance” • Medidas e métricas para avaliar o sucesso • Roadmap de alto nível do plano – Também contemplar as necessidades para “forçar” a adoção de processos, padrões, procedimentos, etc e as estruturas para decisão sobre a implementação(GD) – Conter os recursos necessários para o programa de DM – A estratégia deve ser móvel e flexível para mudar na medida em que a empresa evolua – A estratégia de DM mais efetiva é aquela institucionalizada, ou seja visivelmente e ativamente endossada pela gerência executiva e suportada por políticas organizacionais aprovadas por todos
  • 69. How ( Como) Plano Estratégico de Dados • Plano estratégico de dados: – Missão ( o que desejamos fazer ao longo da caminhada),Visão(como será um ponto no tempo adiante) – Objetivos e prioridades – Valores/benefícios de negócios a serem alcançados – Alinhamento com estratégia da empresa – Nível de esforço planejado – Escopo do programa – As áreas de DM a serem tratadas – Gaps identificados – Necessidades de governança e escopo – Descrição da abordagem usada para desenvolver o programa de DM – Medidas de sucesso e acompanhamento – Roadmap 73
  • 71. GD-P´s • Por quê-Problemas • Patrocínio • Políticas • Padrões • Papéis/Pessoas (Equipes e Comitês) • Processo • Procedimentos(GCO,etc) • Programas/Projetos/Planos • Performance(GQA,MED), • Plataformas/arquiteturas • Palavras(Comunicação) 75
  • 72. Patrocínio Políticas Processos Procedimentos Projeto Programa Planos Performance Plataformas/arquiteturas Palavras (Comunicação) Padrões Pessoas-Papéis Governança e Gestão de Dados 76
  • 73. Os P´s-Gestão e Governança de Dados CBarbieri Problemas-Por quê Problemas, riscos de reputação, de regulação, informação deficiente, decisões equivocadas, carência de dados, áreas sensíveis,etc Patrocínio Apoio, Business Case,Valor de negócios, objetivos de negócios, área de negócios da empresa, ROI, custo negativo, cultura de dados Políticas/Princípios Regras gerais, aprovadas em alta esfera, consensadas, atualizadas, divulgadas, revisadas sobre dados, sentido de negócios, auditadas. Princípios são definições mais filosóficas(todo dado é um ativo) Processo Conjunto de passos, atividades contendo entradas, saídas, atores,/participantes, controles, etc Procedimentos Detalhamentos específicos de ações em alguns Processos como GCO-Gerência de Configuração, por exemplo Padrões Normas e regras consensadas, aprovadas a serem observadas, aplicadas , respeitadas e verificadas(auditadas), normalmente aplicadas a nomes, modelos,etc 77
  • 74. Os P´s-Gestão e Governança de Dados CBarbieri Pessoas/Papéis Envolvidos nas atividades de GD e DM com responsabilidades diferentes-Matriz RACI- Área de GD, Área de DM Programas Conjunto de projetos associados aos objetivos de dados, visando melhorias nos aspectos de negócios da empresa Projetos Ações de DM , envolve MDM, DQ, Metadados, DWBI, Big Data, Analytics, etc, objetivando melhoria de dados para objetivos de negócios Planos Detalhamento do projeto, com planos com tempo, recursos, pessoas, treinamentos, riscos, controles, etc Performance/Desempenho Medidas e procedimentos para monitorar os processos de GD e de DM, baseado em processos de apoio(MED, GQA,VER,VAL) Plataformas/Arquiteturas Ambiente arquitetural e tecnológico onde estarão as soluções de GD e DM(BI, ERP, OLTP,OLAP,Analytics,DNE,Metadados,etc) Palavras(Comunicação) Abordagem para disseminação formal de elementos da GD, essencial nos aspectos de mudança cultural. Treinamento, newsletter, palestras, Site, Wiki, etc 78
  • 75. Melhoria de Gestão de Dados P´s Governança de Dados Gestão de Dados Problemas Patrocínio Programa Projetos Planos Pessoas Papéis Princípios/Políticas Padrões Processos Procedimentos Plataformas Propaganda(Comunicação) Barbix ©CarlosBarbieri-DomaniTecnologia ® Domani TI
  • 77. Problemas • Não começar GD sem entendê-los • Geral: Qualidade e controle de Dados • Reputação de produtos e serviços da empresa • Tomada de decisão com informações erradas, ações gerenciais equivocadas • Dados replicados e sem integração • Regulações e aderência às normas comprometidas junta à Agências, com informações sem qualidade e multas • Visão de algumas árvores, mas não da floresta(de dados) • Avaliação inicial-Assessment 81
  • 79. Patrocínio • Alto nível- Área de Negócios em primeiro lugar em consonância com TI • Convencimento pelo custo negativo(problemas ou potenciais problemas) ou por Business Case – Data profiling pode ser um início • ROI(?)-ativo intangível, mas díficil • FCS: Buscar patrocínio mostrando valores de negócios; Definir claramente o que vale ser governado(prioridade), selecione parte da floresta; busque alinhamento com o negócio; não deve ser uma iniciativa TI “pura” • Pontos a observar: CCC: – Cultura (estilo da empresa) – Colaboração (vontade) – Capacidade de mudança(recursos) 83
  • 81. Princípios/Políticas • Grandes regras, definidas em consenso, aprovadas, atualizadas e respeitadas por todos, legislando sobre os dados – Princípio: mais filosófico – Política: mais normativa, pode ser aplicada • Conflitos resolvidos pelo Conselho de GD • Em vários domínios/fases do ciclo: criação, armazenamento, uso, arquivamento, eliminação(disposal) – Aspectos colaterais como: segurança, propriedade, distribuição e replicação de dados, documentação de dados, privacidade, qualidade, etc • Repositório de princípios e políticas- GD WebSite 85
  • 82. Princípios • Dado é um ativo e portanto deverá haver “accountability” sobre ele. Os dados e conteúdos de todos os tipos são considerados ativos da mesma forma que os outros tipos como ativos físicos, materiais e financeiros, exigindo, dessa forma, procedimentos de controle similares . • A informação deverá vir de uma fonte autorizada, estar disponível, ser precisa e sem ambiguidade, passível de ser compartilhada e catalogada(metadados) • Soluções de informação manterão estrito alinhamento com os negócios da empresa respondendo às suas necessidades e às requisições das áreas envolvidas • O valor do dado está no seu valor intrínseco de mercado, bem como na proporção da sua contribuição para os objetivos operacionais e negociais da empresa 86
  • 83. Políticas • Regras mais objetivas, consistentes, aplicáveis para ajustar comportamentos, reduzir riscos,etc • Devem servir de elementos de criação de elos e parcerias • Criar somente aquilo que for necessário • Ter templates para facilitar sua criação • Focos: – Objetivos de Negócios – Objetivos de Dados – Objetivos de GD e DM – Aspectos culturais e estruturais 90
  • 84. Políticas • Objetivos de negócios: – Políticas para reduzir riscos: • Privacidade, compliance, dados sensíveis, relacionamentos com clientes, parceiros, fusões, etc • Objetivos de dados – Políticas para prevenir o uso inadequado de dados – Políticas para garantir a captura, armazenamento, proteção, segurança e privacidade de dados – Políticas para promover o entendimento do significado e contexto dos dados – Políticas para garantir a qualidade e disponibilidade de dados 91
  • 85. Políticas • Objetivos de GD e DM – Políticas para GD – Políticas (padrões) para Arquitetura de dados... 92
  • 86. Políticas Exemplos • Qualidade: – Toda a informação e os dados da empresa serão seletivamente gerenciados e medidos na sua qualidade. A qualidade será consistentemente medida para garantir que o dado será usado no seu propósito definido – Haverá partes responsáveis pela integridade geral e qualidade dos dados e seus conteúdos ao longo da empresa • Colaboração: – Dados organizacionais serão compartilhados como um recurso ao longo da empresa. Os dados deverão ter ownership definido, ou seja uma área de negócios que será a responsável pela sua definição, metadados e regras de negócios. • Gerência de Risco: – A Governança de Dados analisará os riscos dos dados que exigem “compliance” garantindo sua aderência com todas as leis federais, estatutárias, políticas e regulações. Um acompanhamento apropriado e rigoroso será realizado para verificar essa compatibilidade(aderência) 93
  • 87. • Segurança: – Todas as passwords deverão ser trocadas a cada 3 meses, com alteração completa de seu conteúdo e a proibição do uso das 4 últimas ocorrências – Todas as passwords deverão conter até 10 caracteres, com obrigatoriedade de no mínimo 4 dígitos • Arquitetura de Dados: – Dados organizacionais serão compartilhados como um recurso ao longo da empresa. Dado não é um recurso que pode ser possuído com exclusividade por áreas específicas da empresa, a menos que devidamente aprovado – Todos os modelos de dados no nível lógico deverão estar compatíveis com os modelos conceituais organizacionais e deverão ser aprovados ...... • MDM e dados de Referências: – Os dados considerados Mestres e de Referências somente poderão ser modificados pelos Owners ou por exceção, por decisão da GD, via o Comitê de Gestores de Dados envolvidos nas áreas de assunto pertinentes 94 Políticas Exemplos
  • 88. Políticas Considerações • Alinhamento com aspectos culturais e estruturais: – Qual o verdadeiro valor daquilo para a alta gerência? – Empresa: centralizada ou descentralizada? – Âmbito da política: local ou global? – Como serão aplicadas(enforced): Recomendação? Obrigação? – Alinhamento com outras políticas corporativas: Risco, Compliance 95
  • 90. Padrões • Normas e especificações estabelecendo formas de se definir, escrever, desenhar, documentar e usar dados na organização • Padrões de modelos, de nomenclatura de processos e padrões de dados (nome, endereço, telefone,etc) • Padrões específicos da indústria(dependendo do negócio) • Padrões de metadados(ISO 11179, ISO 15836) • Padrões de qualidade de dados • Definidos em conjunto e aprovados por todos: Comitê de Gestores de dados, envolvendo os Gestores de várias áreas, 97
  • 91. Padrões • Data Owners/Stewards: – Dono da função de negócios, responsável pelo estabelecimento do significado dos dados (definição) e das regras de negócios(criação, uso e qualidade daquele dado) – Responsável pela definição do Metadados e dos dados Outras áreas podem sugerir alterações, mas a decisão final é do Data Owner. – Responsável pela Qualidade daqueles dados 98
  • 93. Processos • É o “Como fazer” : constituído de um conjunto de atividades, com input,output, participantes(RACI), ferramentas, recursos humanos, outros recursos, treinamento, controle, monitoração de performance(Medidas, QA), etc • Aprovado, treinado e internalizado no dia a dia da empresa/área target 100
  • 94. Processo Exemplo • Exemplo:Solicitação de alterações em Modelos Conceituais de dados – Analista de sistemas(AS) interpreta/analisa os requisitos de dados – Analista de sistemas(AS) faz o modelo inicial lógico de dados, com inclusão /alteração de entidade(s) existente(s) – AS envia modelo ao Gestor de dados de negócios(GDN) para revisão de padrões e definições de domínios de dados – GDN revisa o modelo e analisa a coerência com os modelos lógicos existentes • Uso de Check list de avaliação(Procedimento) – GDN planeja a sessão de revisão com Comitê de GD, GDTI, AD, outros envolvidos(integração) • Avaliam impactos no modelos conceitual de dados – GDN cria ou modifica os elementos lógicos de dados passíveis de atualização – Se aprovado, envia ao ABD para a modificação do modelo físico em ambiente de validação – ABD aplica check list para aceitação do Modelo(Procedimento) – ABD realiza a alteração e comunica interessados e envolvidos 101
  • 95. 102 Requisição/ pendência Valida NOK OK Revisão Req/pendência Escala Delega Rejeita Rejeita Não Pesquisa Req/pendência Escala Aprovado/ Rejeitado Rejeitado Aprovado + info? Não Toma Decisão/ Recomend. Sim Obter + Info Necessita Aprovação Não sim Executa Aprovada? Não Notifica Solicit. Sim Notifica Solicit. Notifica Solicit. Notifica Solicit. DMO Escrit.Dados Comitêde Gestoresdados Conselhode GD Governança de dados-Resolução de Pendências Data Stewardship- An Actionable Guide to Effective Data Management and Data Governance- David Plotkin
  • 97. Procedimentos • Detalhamento de processos ou subprocessos • Detalhamento mais operacional, mais focado para um executante • Procedimentos dentro de processos de Medição, de Garantia da Qualidade ou de Gerência de Configuração – Procedimentos de check-list de pendências do processo de manutenção de senha(GQA) ou de auditoria funcional de Baselines(GCO de modelos conceituais de dados) 104
  • 98. Procedimentos Exemplos • Revisão das Entidades: – A Entidade está na 3ª forma normal ou é permito ter Entidade desnormalizada(NOSQL) – Há outra Entidade de natureza semelhante ou uma subtipo semelhante no modelo Corporativo – Há definições detalhadas da Entidade ou da subentidade(metadados) – Os nomes propostos estão dentro dos padrões organizacionais • Revisão de relacionamentos – A cardinalidade está correta? – A opcionalidade está correta? – Os relacionamentos possuem nomes inteligentes em ambas as direções? – Os nomes fazem sentido para o analista de negócios, usuário final • Revisão de Atributos: – Os atributos estão com o nome definido dentro dos padrões organizacionais? – Os domínios associados foram usados corretamente? – Há comentário para cada atributo – Há descrição detalhada para cada atributo – Há atributos derivados, com regras de derivação definida • Revisão de Identificadores – Há para cada Entidade, pelo menos um identificador único? – O identificador é um chave de negócios ou uma SK – Há chave de Entidade(tipo chave de negócios) atualizável? 105
  • 99. Procedimentos Exemplos • Revisão Geral: – O sistema é um OLTP ou OLAP? – As tabelas e colunas estão mapeadas em Entidades e atributos do modelo corporativo? – No caso de projetos de DW/BI-DM há os dados equivalentes no ambiente Transacional • Revisão de Tabelas: – Há outra Tabela de natureza similar no Modelo Físico de dados – Há comentário em nível de Tabela, para cada uma – Há definições detalhadas de cada Tabela? – Há tabela que requeira “journal” especial, ou “audit trail” para modificações?. Se sim, como será feita(trigger, API?) – Há tabela que esteja desnormalizada com um racional explicando os motivos? – As tabelas estão definidas de acordo com os padrões de nomes e abreviações organizacionais • Revisão de Colunas: – Há coluna de auditoria definida?(ex: data/hora da última atualização) – Há comentários de colunas para cada coluna? – Há descrição para cada coluna? – Há colunas derivadas de outras colunas e as respectivas regras/fórmulas de derivação? – Se uma coluna foi desnormalizada de outra tabela há informações de desnormalização registrada – Os nomes das colunas estão de acordo com os padrões organizacionais? – Os domínios foram aplicados corretamente? 106
  • 100. Procedimentos Exemplos • Revisão de Restrições de Integridade – Todas as tabelas tem restrições de PK? – Deve haver uma restrição de unicidade secundária definida(além da PK)? – As chaves estrangeiras foram definidas corretamente ? – Há restrições de Delete Cascade, Restriction,etc ? – Há restrições de CHECK em nível de colunas? A execução apropriada desses procedimentos será verificada pelas auditorias de QA(Quality Assurance) em sessões programadas, de GQA(não exige conhecimento técnico) ou por revisões por pares(VER, com conhecimento técnico). Isso gerará medidas que mostrarão a performance do processo(MED) DMM: processos de Suporte 107
  • 101. O modelo DMM Estratégia de Data Management(Data Management Strategy) Estratégia de Data Management Comunicações Função de Data Management Plano de Negócios (Business Case) Apoio Financeiro Governança de Dados(Data Governance) Gerência de Governança Glossáriio de Negócios Gerência de Metadados Qualidade de Dados(Data Quality) Estratégia de Qualidade de Dados Data Profiling Avaliação de Qualidade de Dados Limpeza de Dados Operações de Dados(Data Operations) Definição de Requisitos de Dados Gerência do Ciclo de vida dos Dados Gerência de Fornecedores de Dados(Provider Management) Plataforma & Arquitetura(Platform & Architecture) Abordagem Arquitetural(Architectural Approach) Padrões Arquiteturais(ArchitecturalStandards) Plataformas de Data Management(Data Management Platform) Integração de Dados (Data Integration) Dados Históricos(Historical Data) , Arquivamento(Archiving) e Retenção(Retention) Processos de Suporte(Supporting Processes) Medições & Análise(Measurement and Analysis) Gerência de Processo(Process Management) Garantia de Qualidade do Processo(Process Quality Assurance) Gerência de Risco(Risk Management) Gerência de Configuração(Configuration Management) 108
  • 103. Pessoas-Papéis • Definição de papéis, responsabilidades e “accountabilities” • Conselho de Governança de Dados, formado por (CxO) • DMO/DGPG-Controle tático • Gestores de dados de negócios e técnicos • Outros: ABD,AD, Arquitetos de integração • Treinamentos 110
  • 104. Conselho GD Comitê de GD-DMO Gestores Grupo “cross-funcional”, formado por elementos da alta gerência; Definir Políticas; Prover/Aprovar estratégias de dados Buscar apoio financeiro; Resolver pendências, aspectos de aderência a normas(compliance); Atribuir/oficializar ao DMO/GDO as ações de GD; Formado por Data Owners e TI ; chefiado pelo DS Lider  DGPO Coordenar as atividades de GD(estratégica) e táticas com as operacionais; Definir os membros do Comitê de GD; Supervisionar os Data Steward/gestores de dados (Business) e os Data Custodian da TI/Adm,BD,BI ; Arquitetos corporativos, Define/submete políticas, padrões, processos, procedimentos de GD para áreas de negócios; Pode ter uma liderança(cross-functional) de GD(GD Organizacional) Implementa e executa as Políticas, Padrões e Procedimentos nos processos específicos de negócios e aplicações do seu domínio; Formado por pessoas do Business(B data steward) e da TI(IT data custodian). Chefiados por Gestores líderes Estão em áreas funcionais e geográficas diferentes. Pode ser orientado por sistema, por UO-Unidade Organizacional ou por Assunto Tipos: GD de Assunto/Domínio(assunto específico), GD de Projetos(DLCM) Modelo de Governança v04 Data Owners Áreas/Assuntos: Cliente, Produtos, Financeira, Marketing,Entrega,etc 112 Executivos da Empresa Grupo Implantação GD
  • 106. Programas-Projetos • Ações efetivas para se implementar a GD • Programa de GD com Projetos de DM: DW/BI, MDM, Segurança, DNE, Qualidade, SDLC, etc • Estratégia vencedora: Um Programa estruturante a longo prazo com um Projeto “trigger”/estruturante, que permita obtenção de resultados rápidos e visíveis 114
  • 107. Planos • Detalhamento do COMO de GD: • Tempo (cronograma), custo(pessoal e outros recursos), ferramentas, riscos envolvidos, controles a aplicar, treinamentos e capacitação, integração com outros planos(DM, como DW-BI, MDM,etc) • Planejamento e Acompanhamento 115
  • 109. Plataformas/Arquiteturas • Arquiteturas de Dados associada à Arquitetura Corporativa(Negócios, Processos, Sistemas, Tecnologia,etc) – Modelos de dados em vários níveis • Ambiência de tecnologia: Ferramentas Case, BD, DW/BI, Analytics, Big Data, Ferramentas de integração de dados, ferramentas de modelagem, ferramentas de QD(Profiling, Cleansing, Enriquecimento, Padronização), etc • Metadados, Dicionários/Repositórios, Glossários de negócios 117
  • 111. Performance • Medidas e procedimentos para monitorar os processos de GD/DM. – Processos de apoio-DMM • MED-Medições nos domínios de Custo, Tempo, Qualidade, Issues (Reputação, etc), “Compliance” • Indicadores de GD, DQ,etc • Processos de GQA e VAL 119
  • 112. Performance • Métricas nesses domínios de GD e DQ tendem a demorar para produzir visibilidade de retorno • Comece com a visão de medir pontos críticos do business(processos críticos de negócio) • Genericamente: reduzir custos, aumentar receita e lucro, melhorar “time to market” , atentar para aspectos de regulação(penas, reputação,etc) , qualidade • Pesquisa/Questionário: Algumas métricas são mais difíceis de serem medidas diretamente. Assim a pesquisa de usuários dos dados é fonte importante. Exemplo: Houve melhora no entendimento dos dados?; Houve melhora na percepção de qualidade dos dados? • Basicamente 2 tipos: Métricas de resultados de negócios e métricas operacionais(GD, Integração, QD,etc) 120
  • 113. Performance • Métricas de negócios: – Redução em multas penalizações/advertências devido a documentos regulatórios não aderentes – Penalizações/multas/advertências por pendências de privacidade – Penalizações/multas/advertências por pendências de reputação – Possível perda em crédito devido a pendências de dados – Possível aumento do custo operacional devido a problemas de dados – Redução nos custos de desenvolvimento por integração de sistemas – Por pesquisa junto aos usuários: • Melhora do entendimento dos dados • Percepção de melhor qualidade dos dados • Melhoria na visão preventiva de erros de dados via data profiling • Número de reclamações de clientes oriundo de erros de dados(baixa qualidade) • Esse número tem decrescido? • Número de problemas de pendências regulatórias medidos e gerenciados(decrescido) • Houve redução no tempo necessário para limpeza e correção dos dados • Houve redução em tempo despendido com discussões sobre o significado do dado e como é calculado 121
  • 114. Indicadores • Indicadores de Governança – Percentagem de áreas(assuntos) da empresa sob os domínios da GD – Contador de acesso aos repositórios de metadados, glossário de negócios e portal de GD – Feedback sobre GD-pesquisas sobre áreas governadas pela GD – Número de participantes em treinamento de GD e DQ – Uso de elementos padrões de GD: códigos, modelos, padrões, procedimentos,etc- MED de GQA – Issues resolvidos pelo Comitê de GD/Issues incidentes – Issues escaladas para o Conselho de GD/Issues incidentes – Revisões de desempenho realizadas (nas métricas de GD) • Indicadores de integração – Número de usuários e acessos às fontes MDM – Percentagem de redução de acesso a Bancos de Dados departamentais e planilhas locais 122
  • 115. Indicadores • Indicadores de QD: – Contador de ocorrências por tipo de erro XX/período – Percentagem de “accuracy” dos dados em arquivos críticos – Perdas de pedidos on-line ou de produtos retornados devido à gerência com erros de informações de catálogos(dados mestres) – Perda de clientes devido a erros de qualidade de dados – Resultado de Profiling de dados, mostrando os diversos indicadores de completude, precisão, integridade, etc • Indicadores de segurança e privacidade – Número de incidentes relativos aos aspectos de segurança de dados(leaks, breaches,etc) 123
  • 116. FCS • Medidas/Métrica/indicadores devem ser definidas em função de objetivos / diretrizes estratégicas de negócios • Nunca medir por medir 124
  • 118. Palavras(Comunicação) • Comunicação • Elemento fundamental na implementação de GD • Palestras, newsletter, programas de incentivo, divulgação, jogos, treinamento, etc • Comunicação atrelada às promulgações de políticas, padrões, regras,etc 126
  • 119. Referências • Data Management Maturity Model-CMMI Institute-August 2014- Version 1.0 • Data Management Maturity Model-Introduction-University of Ottawa- CMMI Institute-December-2014 • Introduction to DMM Concepts-Course-CMMI Institute-Washington DC-2015 • The DAMA Guide to Data Management Body of Knowledge(Dama- DMBOK Guide)-First Edition 2009 • Dama-DMBOK2-Framework-Patricia Cupoli; Susan Earley; Debora Henderson-September-2012 • OpenDataGovernance-DMBOK2-Chapter4-em revisão 127
  • 120. Referências • Business Model Generation-Inovação em Modelos de Negócios- Alexander Ostewalder-Yves Pigneur-Editora Alta Books-2011 • Canvas-MGD-Melhoria de Gestão de Dados-Carlos Barbieri- CBCA-Material treinamento (2014-2015) • A Framework for Information Systems-John Zachman- (1988,1991) • Learning 3.0-Alexandre Magno-Happy Melli-Material de Treinamento-Junilson Souza (Facilitador)-2015 • Project Management Canvas-José Finócchio Jr-Editora Campus- 2013 • Start with Why-Simon Sinek-Editora Portfolio-Penguim Group- 2009
  • 121. Referências • Big Data Imperative-Na emerging imperative-Sunil Soares-MC Press- 2012 • Data Stewardship-David Plotlin-Morgan Kaufman-Elsevier-2014 • Data Governance-How to design, deploy and sustain na effective data Governance Program-John Ladley-Elsevier-2012 129