SlideShare uma empresa Scribd logo
1 de 21
Baixar para ler offline
Data Quality
para Governo
25 de Março de 2021
2
Sobre Esta Apresentação
—
Tema: Iniciativas pioneiras em Data Quality, conduzidas pelo
Escritório de Governança de Dados do SERPRO
Agenda:
1. Conceitos Básicos
2. Data Quality e Governo Federal
3. Ciclos de Data Quality
4. Resultados e Lições
3
Data Management
—
A “mandala” da DAMA, comunidade global para gerenciamento de dados
4
Data Quality Management
—
Planejamento, implementação e
controle de atividades que
aplicam técnicas de gestão de
qualidade aos dados, para
garantir que estejam adequados
ao consumo e atendam às
necessidades dos consumidores
de dados.
Fonte: DAMA-DMBoK v2
5
1. Desenvolver uma abordagem governada para ajustar os dados à sua
finalidade, com base nos requisitos dos consumidores de dados
2. Definir padrões, requisitos e especificações para os controles de
qualidade de dados como parte do ciclo de vida dos dados
3. Definir e implementar processos para medir, monitorar e reportar os
níveis de qualidade dos dados
4. Identificar e sustentar oportunidades para melhorar a qualidade dos
dados, por meio de melhorias de processos e de sistemas
Objetivos - Data Quality Management
—
Fonte: DAMA-DMBoK (Data Management Body of Knowledge)
6
Dimensões
de Data Quality
—
Critérios de Qualidade de Dados
As dimensões de Data Quality, ou
Critérios de Qualidade, fornecem
um vocabulário a ser usado nas
medições do nível de qualidade
dos dados.
7
Dimensões de Data Quality
—
Critérios de Qualidade de Dados
• Completude
• Conformidade
• Consistência
• Acurácia
• Unicidade
• Veto
• Representação
• Medida Estatística
8
Dimensões de Data Quality
—
COMPLETUDE – Dados obrigatórios preenchidos
É reprovado no critério de completude um
campo de preenchimento obrigatório que
esteja com conteúdo vazio:
• Data de nascimento do servidor público
• Número de CPF do servidor público
• Data de óbito do instituidor de pensão
• Imóveis da União com CEP vazio
9
Dimensões de Data Quality
—
CONFORMIDADE, CONSISTÊNCIA, ACURÁCIA – Dados Válidos
É reprovado nos critérios de validade um
campo cujo conteúdo, embora preenchido,
não esteja de acordo com o que se espera:
• E-mail com formato indevido
• Pensionista sem Instituidor
• CEP inexistente na tabela dos Correios
• Nome ou sexo diferentes na RFB
10
Dimensões de Data Quality
—
UNICIDADE – Dados Únicos ou Restritos
É reprovado no critério de unicidade um
campo cujo conteúdo, preenchido e válido,
se repete indevidamente para vários
indivíduos:
• RG do servidor (dados da identidade)
• Número do título eleitoral
• Endereço do servidor
11
Qualificação de Dados do Governo
—
Quantidade de Diagnósticos por Dimensão
31%
7%
35%
12%
10%
5%
Completude
Conformidade
Consistência
Unicidade
Acurácia
<Outras>
12
Data Quality e Governo
—
Bases de Dados dos Sistemas Estruturantes
SITUAÇÃO DOS DADOS E DOS METADADOS
• Bases muito antigas, algumas da década de 1980
• Bases sem mecanismos de integridade referencial
• Dificuldade para integrar dados entre os cadastros
• Diversidade dos órgãos responsáveis pela atualização das bases
• Cliente com visibilidade restrita dos seus dados
• Ingestão em Lago de Dados com precariedade de metadados
13
Data Quality e Governo
—
Bases de Dados dos Sistemas Estruturantes
MOTIVAÇÃO DE MELHORIA
• Necessidade de integração de dados
• Aprimoramento do processo decisório
• Desejo de implantar uma cultura orientada a dados
• Questionamentos legais (TCU)
• Custos públicos indevidos
• Acesso aos dados de governo pelo cidadão (LAI)
14
Data Quality e Governo
—
Movimento de Qualificação Cadastral
INICIATIVAS EM ANDAMENTO
• ME/SGP – Secretaria de Gestão e Desempenho de Pessoal
• ME/SPU – Secretaria de Coordenação e Governança do Patrimônio
da União
• INCRA – Instituto Nacional de Colonização e Reforma Agrária
15
Data Quality e Governo
—
MISSÃO
Melhorar continuamente a
qualidade dos dados dos
sistemas estruturantes do
Executivo Federal, usados como
fonte de dados para vários outros
sistemas e para divulgação
pública das políticas de governo.
16
Ciclos de Data Quality
—
1. Identificar e detalhar os problemas de dados
2. Localizar as origens e projetar os diagnósticos
3. Implementar perfis e diagnósticos
4. Analisar resultados
5. Implementar medidas saneadoras
6. Executar periodicamente
17
Resultados Obtidos
—
• Relacionamento com cliente colaborativo e cordial durante todo o
projeto
• Crescimento de ambas as partes com relação ao domínio dos dados
e das ferramentas
• Aprimoramento das soluções visando facilitar a sua manutenção e a
automatização do ciclo de qualificação de dados
• Definição de processos e padrões de qualificação de dados para
posterior descentralização e fomento de novas iniciativas de Data
Quality no Serpro
18
Resultados Esperados
—
• Contribuir para que o gestor público tenha informações precisas para
tomada de decisão
• Apoiar a redução dos gastos públicos com a adoção de medidas
saneadoras
• Aprofundar a parceria com os órgãos públicos responsáveis pelos
sistemas estruturantes, nas questões relacionadas à qualidade de
dados
• Realizar o primeiro passo no sentido de fazer girar a roda
permanente da Qualidade de Dados nas bases de dados do governo,
iniciando a construção de um legado de Data Quality para as
gerações futuras
19
Lições Aprendidas
—
• Montar uma cadeia de dimensões,
começando pela COMPLETUDE e assim
evitar dupla contagem de problemas
• Envolver e comprometer técnicos do
sistema de origem, para conseguir
acompanhar o dinamismo das bases de
dados
• Buscar “Data Quality by Design”, para
que as bases já surjam com alto nível
de qualidade e com monitoramento de
qualidade construído a priori
20
Lições Aprendidas
—
• Importância de uma equipe
entrosada e comprometida
• Importância de haver cordialidade
e transparência no
relacionamento com o cliente
• Esmero no controle de qualidade,
com investigação constante dos
dados de origem e dos resultados
obtidos
Um produto de Qualidade de
Dados precisa ter qualidade!
Obrigada
Rosângela Nóbrega
Superintendência de Soluções
Analíticas e Inteligência Artificial
Escritório de Governança de Dados

Mais conteúdo relacionado

Semelhante a DQGoverno

Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Universidade Federal Fluminense
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Universidade Federal Fluminense
 
Indicadores da qualidade e produtividade para a construção civil
Indicadores da qualidade e produtividade para a construção civilIndicadores da qualidade e produtividade para a construção civil
Indicadores da qualidade e produtividade para a construção civilUniversidade Federal Fluminense
 
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...tdc-globalcode
 
Qualidade Dados vs Dados Qualidade Gilberto Pereira
Qualidade Dados vs Dados Qualidade Gilberto PereiraQualidade Dados vs Dados Qualidade Gilberto Pereira
Qualidade Dados vs Dados Qualidade Gilberto PereiraP&P - Pessoas e Processos
 
A utilização de datawarehouse em uma rede de concessionários de veículos como...
A utilização de datawarehouse em uma rede de concessionários de veículos como...A utilização de datawarehouse em uma rede de concessionários de veículos como...
A utilização de datawarehouse em uma rede de concessionários de veículos como...James Wright
 
O Modelo de Decisão para Profissionais de Administração de Dados
O Modelo de Decisão para Profissionais de Administração de DadosO Modelo de Decisão para Profissionais de Administração de Dados
O Modelo de Decisão para Profissionais de Administração de DadosCentus Consultoria
 
Qualidade de dados - data quality & GDPR
Qualidade de dados - data quality & GDPRQualidade de dados - data quality & GDPR
Qualidade de dados - data quality & GDPRFernando Rui Campos
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosBoas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosCentro Web
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosBoas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosCentro Web
 
GOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfGOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfJoseEPininga
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios Centro Web
 
Gerencia de Decisões
Gerencia de DecisõesGerencia de Decisões
Gerencia de Decisõesmarviowesley
 
Comparativo de ferramentas tecnológicas para o compartilhamento de dados
Comparativo de ferramentas tecnológicas para o compartilhamento de dadosComparativo de ferramentas tecnológicas para o compartilhamento de dados
Comparativo de ferramentas tecnológicas para o compartilhamento de dadosLeandro Ciuffo
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Universidade Federal Fluminense
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Universidade Federal Fluminense
 
Webinar: Como obter valor comercial com Big Data
Webinar: Como obter valor comercial com Big DataWebinar: Como obter valor comercial com Big Data
Webinar: Como obter valor comercial com Big DataAmazon Web Services LATAM
 
1º seminário teórico 20fev
1º seminário teórico 20fev1º seminário teórico 20fev
1º seminário teórico 20fevGlauco Soto
 

Semelhante a DQGoverno (20)

Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
 
Indicadores da qualidade e produtividade para a construção civil
Indicadores da qualidade e produtividade para a construção civilIndicadores da qualidade e produtividade para a construção civil
Indicadores da qualidade e produtividade para a construção civil
 
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
TDC2018SP | Trilha Arq Dados - A importância da Governança de dados, MDM e Qu...
 
Qualidade Dados vs Dados Qualidade Gilberto Pereira
Qualidade Dados vs Dados Qualidade Gilberto PereiraQualidade Dados vs Dados Qualidade Gilberto Pereira
Qualidade Dados vs Dados Qualidade Gilberto Pereira
 
A utilização de datawarehouse em uma rede de concessionários de veículos como...
A utilização de datawarehouse em uma rede de concessionários de veículos como...A utilização de datawarehouse em uma rede de concessionários de veículos como...
A utilização de datawarehouse em uma rede de concessionários de veículos como...
 
Sistemas de Informação - Aula05 - cap5 bd e business intelligence
Sistemas de Informação - Aula05 - cap5 bd e business intelligenceSistemas de Informação - Aula05 - cap5 bd e business intelligence
Sistemas de Informação - Aula05 - cap5 bd e business intelligence
 
O Modelo de Decisão para Profissionais de Administração de Dados
O Modelo de Decisão para Profissionais de Administração de DadosO Modelo de Decisão para Profissionais de Administração de Dados
O Modelo de Decisão para Profissionais de Administração de Dados
 
Qualidade de dados - data quality & GDPR
Qualidade de dados - data quality & GDPRQualidade de dados - data quality & GDPR
Qualidade de dados - data quality & GDPR
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosBoas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e BenefíciosBoas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios
 
GOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdfGOVERNANCA DE DADOS.pdf
GOVERNANCA DE DADOS.pdf
 
Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios Boas Práticas para Dados na Web: Desafios e Benefícios
Boas Práticas para Dados na Web: Desafios e Benefícios
 
Gerencia de Decisões
Gerencia de DecisõesGerencia de Decisões
Gerencia de Decisões
 
Comparativo de ferramentas tecnológicas para o compartilhamento de dados
Comparativo de ferramentas tecnológicas para o compartilhamento de dadosComparativo de ferramentas tecnológicas para o compartilhamento de dados
Comparativo de ferramentas tecnológicas para o compartilhamento de dados
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
 
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...Proposta de um sistema de indicadores da qualidade e produtividade para a con...
Proposta de um sistema de indicadores da qualidade e produtividade para a con...
 
Webinar: Como obter valor comercial com Big Data
Webinar: Como obter valor comercial com Big DataWebinar: Como obter valor comercial com Big Data
Webinar: Como obter valor comercial com Big Data
 
fileBIB2016530194716 (1).pdf
fileBIB2016530194716 (1).pdffileBIB2016530194716 (1).pdf
fileBIB2016530194716 (1).pdf
 
1º seminário teórico 20fev
1º seminário teórico 20fev1º seminário teórico 20fev
1º seminário teórico 20fev
 

DQGoverno

  • 1. Data Quality para Governo 25 de Março de 2021
  • 2. 2 Sobre Esta Apresentação — Tema: Iniciativas pioneiras em Data Quality, conduzidas pelo Escritório de Governança de Dados do SERPRO Agenda: 1. Conceitos Básicos 2. Data Quality e Governo Federal 3. Ciclos de Data Quality 4. Resultados e Lições
  • 3. 3 Data Management — A “mandala” da DAMA, comunidade global para gerenciamento de dados
  • 4. 4 Data Quality Management — Planejamento, implementação e controle de atividades que aplicam técnicas de gestão de qualidade aos dados, para garantir que estejam adequados ao consumo e atendam às necessidades dos consumidores de dados. Fonte: DAMA-DMBoK v2
  • 5. 5 1. Desenvolver uma abordagem governada para ajustar os dados à sua finalidade, com base nos requisitos dos consumidores de dados 2. Definir padrões, requisitos e especificações para os controles de qualidade de dados como parte do ciclo de vida dos dados 3. Definir e implementar processos para medir, monitorar e reportar os níveis de qualidade dos dados 4. Identificar e sustentar oportunidades para melhorar a qualidade dos dados, por meio de melhorias de processos e de sistemas Objetivos - Data Quality Management — Fonte: DAMA-DMBoK (Data Management Body of Knowledge)
  • 6. 6 Dimensões de Data Quality — Critérios de Qualidade de Dados As dimensões de Data Quality, ou Critérios de Qualidade, fornecem um vocabulário a ser usado nas medições do nível de qualidade dos dados.
  • 7. 7 Dimensões de Data Quality — Critérios de Qualidade de Dados • Completude • Conformidade • Consistência • Acurácia • Unicidade • Veto • Representação • Medida Estatística
  • 8. 8 Dimensões de Data Quality — COMPLETUDE – Dados obrigatórios preenchidos É reprovado no critério de completude um campo de preenchimento obrigatório que esteja com conteúdo vazio: • Data de nascimento do servidor público • Número de CPF do servidor público • Data de óbito do instituidor de pensão • Imóveis da União com CEP vazio
  • 9. 9 Dimensões de Data Quality — CONFORMIDADE, CONSISTÊNCIA, ACURÁCIA – Dados Válidos É reprovado nos critérios de validade um campo cujo conteúdo, embora preenchido, não esteja de acordo com o que se espera: • E-mail com formato indevido • Pensionista sem Instituidor • CEP inexistente na tabela dos Correios • Nome ou sexo diferentes na RFB
  • 10. 10 Dimensões de Data Quality — UNICIDADE – Dados Únicos ou Restritos É reprovado no critério de unicidade um campo cujo conteúdo, preenchido e válido, se repete indevidamente para vários indivíduos: • RG do servidor (dados da identidade) • Número do título eleitoral • Endereço do servidor
  • 11. 11 Qualificação de Dados do Governo — Quantidade de Diagnósticos por Dimensão 31% 7% 35% 12% 10% 5% Completude Conformidade Consistência Unicidade Acurácia <Outras>
  • 12. 12 Data Quality e Governo — Bases de Dados dos Sistemas Estruturantes SITUAÇÃO DOS DADOS E DOS METADADOS • Bases muito antigas, algumas da década de 1980 • Bases sem mecanismos de integridade referencial • Dificuldade para integrar dados entre os cadastros • Diversidade dos órgãos responsáveis pela atualização das bases • Cliente com visibilidade restrita dos seus dados • Ingestão em Lago de Dados com precariedade de metadados
  • 13. 13 Data Quality e Governo — Bases de Dados dos Sistemas Estruturantes MOTIVAÇÃO DE MELHORIA • Necessidade de integração de dados • Aprimoramento do processo decisório • Desejo de implantar uma cultura orientada a dados • Questionamentos legais (TCU) • Custos públicos indevidos • Acesso aos dados de governo pelo cidadão (LAI)
  • 14. 14 Data Quality e Governo — Movimento de Qualificação Cadastral INICIATIVAS EM ANDAMENTO • ME/SGP – Secretaria de Gestão e Desempenho de Pessoal • ME/SPU – Secretaria de Coordenação e Governança do Patrimônio da União • INCRA – Instituto Nacional de Colonização e Reforma Agrária
  • 15. 15 Data Quality e Governo — MISSÃO Melhorar continuamente a qualidade dos dados dos sistemas estruturantes do Executivo Federal, usados como fonte de dados para vários outros sistemas e para divulgação pública das políticas de governo.
  • 16. 16 Ciclos de Data Quality — 1. Identificar e detalhar os problemas de dados 2. Localizar as origens e projetar os diagnósticos 3. Implementar perfis e diagnósticos 4. Analisar resultados 5. Implementar medidas saneadoras 6. Executar periodicamente
  • 17. 17 Resultados Obtidos — • Relacionamento com cliente colaborativo e cordial durante todo o projeto • Crescimento de ambas as partes com relação ao domínio dos dados e das ferramentas • Aprimoramento das soluções visando facilitar a sua manutenção e a automatização do ciclo de qualificação de dados • Definição de processos e padrões de qualificação de dados para posterior descentralização e fomento de novas iniciativas de Data Quality no Serpro
  • 18. 18 Resultados Esperados — • Contribuir para que o gestor público tenha informações precisas para tomada de decisão • Apoiar a redução dos gastos públicos com a adoção de medidas saneadoras • Aprofundar a parceria com os órgãos públicos responsáveis pelos sistemas estruturantes, nas questões relacionadas à qualidade de dados • Realizar o primeiro passo no sentido de fazer girar a roda permanente da Qualidade de Dados nas bases de dados do governo, iniciando a construção de um legado de Data Quality para as gerações futuras
  • 19. 19 Lições Aprendidas — • Montar uma cadeia de dimensões, começando pela COMPLETUDE e assim evitar dupla contagem de problemas • Envolver e comprometer técnicos do sistema de origem, para conseguir acompanhar o dinamismo das bases de dados • Buscar “Data Quality by Design”, para que as bases já surjam com alto nível de qualidade e com monitoramento de qualidade construído a priori
  • 20. 20 Lições Aprendidas — • Importância de uma equipe entrosada e comprometida • Importância de haver cordialidade e transparência no relacionamento com o cliente • Esmero no controle de qualidade, com investigação constante dos dados de origem e dos resultados obtidos Um produto de Qualidade de Dados precisa ter qualidade!
  • 21. Obrigada Rosângela Nóbrega Superintendência de Soluções Analíticas e Inteligência Artificial Escritório de Governança de Dados