2. 2
Sobre Esta Apresentação
—
Tema: Iniciativas pioneiras em Data Quality, conduzidas pelo
Escritório de Governança de Dados do SERPRO
Agenda:
1. Conceitos Básicos
2. Data Quality e Governo Federal
3. Ciclos de Data Quality
4. Resultados e Lições
4. 4
Data Quality Management
—
Planejamento, implementação e
controle de atividades que
aplicam técnicas de gestão de
qualidade aos dados, para
garantir que estejam adequados
ao consumo e atendam às
necessidades dos consumidores
de dados.
Fonte: DAMA-DMBoK v2
5. 5
1. Desenvolver uma abordagem governada para ajustar os dados à sua
finalidade, com base nos requisitos dos consumidores de dados
2. Definir padrões, requisitos e especificações para os controles de
qualidade de dados como parte do ciclo de vida dos dados
3. Definir e implementar processos para medir, monitorar e reportar os
níveis de qualidade dos dados
4. Identificar e sustentar oportunidades para melhorar a qualidade dos
dados, por meio de melhorias de processos e de sistemas
Objetivos - Data Quality Management
—
Fonte: DAMA-DMBoK (Data Management Body of Knowledge)
6. 6
Dimensões
de Data Quality
—
Critérios de Qualidade de Dados
As dimensões de Data Quality, ou
Critérios de Qualidade, fornecem
um vocabulário a ser usado nas
medições do nível de qualidade
dos dados.
7. 7
Dimensões de Data Quality
—
Critérios de Qualidade de Dados
• Completude
• Conformidade
• Consistência
• Acurácia
• Unicidade
• Veto
• Representação
• Medida Estatística
8. 8
Dimensões de Data Quality
—
COMPLETUDE – Dados obrigatórios preenchidos
É reprovado no critério de completude um
campo de preenchimento obrigatório que
esteja com conteúdo vazio:
• Data de nascimento do servidor público
• Número de CPF do servidor público
• Data de óbito do instituidor de pensão
• Imóveis da União com CEP vazio
9. 9
Dimensões de Data Quality
—
CONFORMIDADE, CONSISTÊNCIA, ACURÁCIA – Dados Válidos
É reprovado nos critérios de validade um
campo cujo conteúdo, embora preenchido,
não esteja de acordo com o que se espera:
• E-mail com formato indevido
• Pensionista sem Instituidor
• CEP inexistente na tabela dos Correios
• Nome ou sexo diferentes na RFB
10. 10
Dimensões de Data Quality
—
UNICIDADE – Dados Únicos ou Restritos
É reprovado no critério de unicidade um
campo cujo conteúdo, preenchido e válido,
se repete indevidamente para vários
indivíduos:
• RG do servidor (dados da identidade)
• Número do título eleitoral
• Endereço do servidor
11. 11
Qualificação de Dados do Governo
—
Quantidade de Diagnósticos por Dimensão
31%
7%
35%
12%
10%
5%
Completude
Conformidade
Consistência
Unicidade
Acurácia
<Outras>
12. 12
Data Quality e Governo
—
Bases de Dados dos Sistemas Estruturantes
SITUAÇÃO DOS DADOS E DOS METADADOS
• Bases muito antigas, algumas da década de 1980
• Bases sem mecanismos de integridade referencial
• Dificuldade para integrar dados entre os cadastros
• Diversidade dos órgãos responsáveis pela atualização das bases
• Cliente com visibilidade restrita dos seus dados
• Ingestão em Lago de Dados com precariedade de metadados
13. 13
Data Quality e Governo
—
Bases de Dados dos Sistemas Estruturantes
MOTIVAÇÃO DE MELHORIA
• Necessidade de integração de dados
• Aprimoramento do processo decisório
• Desejo de implantar uma cultura orientada a dados
• Questionamentos legais (TCU)
• Custos públicos indevidos
• Acesso aos dados de governo pelo cidadão (LAI)
14. 14
Data Quality e Governo
—
Movimento de Qualificação Cadastral
INICIATIVAS EM ANDAMENTO
• ME/SGP – Secretaria de Gestão e Desempenho de Pessoal
• ME/SPU – Secretaria de Coordenação e Governança do Patrimônio
da União
• INCRA – Instituto Nacional de Colonização e Reforma Agrária
15. 15
Data Quality e Governo
—
MISSÃO
Melhorar continuamente a
qualidade dos dados dos
sistemas estruturantes do
Executivo Federal, usados como
fonte de dados para vários outros
sistemas e para divulgação
pública das políticas de governo.
16. 16
Ciclos de Data Quality
—
1. Identificar e detalhar os problemas de dados
2. Localizar as origens e projetar os diagnósticos
3. Implementar perfis e diagnósticos
4. Analisar resultados
5. Implementar medidas saneadoras
6. Executar periodicamente
17. 17
Resultados Obtidos
—
• Relacionamento com cliente colaborativo e cordial durante todo o
projeto
• Crescimento de ambas as partes com relação ao domínio dos dados
e das ferramentas
• Aprimoramento das soluções visando facilitar a sua manutenção e a
automatização do ciclo de qualificação de dados
• Definição de processos e padrões de qualificação de dados para
posterior descentralização e fomento de novas iniciativas de Data
Quality no Serpro
18. 18
Resultados Esperados
—
• Contribuir para que o gestor público tenha informações precisas para
tomada de decisão
• Apoiar a redução dos gastos públicos com a adoção de medidas
saneadoras
• Aprofundar a parceria com os órgãos públicos responsáveis pelos
sistemas estruturantes, nas questões relacionadas à qualidade de
dados
• Realizar o primeiro passo no sentido de fazer girar a roda
permanente da Qualidade de Dados nas bases de dados do governo,
iniciando a construção de um legado de Data Quality para as
gerações futuras
19. 19
Lições Aprendidas
—
• Montar uma cadeia de dimensões,
começando pela COMPLETUDE e assim
evitar dupla contagem de problemas
• Envolver e comprometer técnicos do
sistema de origem, para conseguir
acompanhar o dinamismo das bases de
dados
• Buscar “Data Quality by Design”, para
que as bases já surjam com alto nível
de qualidade e com monitoramento de
qualidade construído a priori
20. 20
Lições Aprendidas
—
• Importância de uma equipe
entrosada e comprometida
• Importância de haver cordialidade
e transparência no
relacionamento com o cliente
• Esmero no controle de qualidade,
com investigação constante dos
dados de origem e dos resultados
obtidos
Um produto de Qualidade de
Dados precisa ter qualidade!