Palestra ministrada pela Patrícia Maia no 2o Seminário sobre Análise de Dados na Administração Pública @ http://www.brasildigital.gov.br/ Resumo: O trabalho consistiu na aplicação de técnicas de mineração de textos para identificação dos principais assuntos abordados nas auditorias dos últimos cinco anos. Foram utilizadas duas abordagens: a abordagem supervisionada aplicando classificação de textos com o algoritmo Random Forest e a abordagem não supervisionada através da técnica de modelagem de tópicos Latent Dirichlet Allocation (LDA). O projeto piloto foi validado com as constatações de TI e está agora sendo estendido a constatações relacionadas a outros temas. O objetivo é permitir catalogar o histórico de constatações emitidas e categorizar automaticamente novos registros. Com isso, os servidores poderão recuperar situações semelhantes para aplicação em novos trabalhos ou, ainda, tratar problemas recorrentes de forma estruturante. Além disso a mesma lógica pode ser usada para gerar conhecimento a partir de outros tipos de texto: pedidos com base na Lei de Acesso à Informações, manifestações do e-OUV, processos analisados pela CRG, notícias de interesse do órgão, etc. Palestrante: Patrícia Maia - Ministério da Transparência, Fiscalização e Controle Currículo: Possui mestrado em Computação Aplicada pela Universidade de Brasília (UNB), especialização em Modelagem de Processos e Engenharia de Requisitos pela Universidade Federal do Rio Grande do SUL (UFRGS) e graduação em Tecnologia da Informação. Tem experiência profissional nas áreas de mineração de textos, ETL, banco de dados e controle governamental. Trabalha atualmente no Ministério da Transparência, Fiscalização e Controle (MTFC), exercendo suas atividades na Diretoria de Pesquisas e Informações Estratégicas.

1. Categorização de achados em auditorias de TI com
modelos supervisionados e não supervisionados

2. Desafio
Descobrir os assuntos mais recorrentes em auditorias
Abordagens:
Classificação - supervisionada
Modelagem de Tópicos – não supervisionada
Dados:
Textos de constatações
Auditorias de TI
R Studio

3. Entendimento dos dados
1) Identificação da origem
dos dados
2) Identificação do formato
Pré-Processamento
Remoção de Acentuação
Criação do Corpus
Tratamento do Texto
Tokenização
Definição do Escopo Nova Modelagem
Validação do Modelo Final
Primeira Modelagem
Validação do Modelo e Ajustes
de Parâmetros
Implantação
Metodologia de Modelagem de Tópicos

4. Abordagem Supervisionda - LDA

5. Distribuição dentro do Tópico

6. Primeiros Testes:
50 tópicos
Todas as palavras
Todos os dados
Testes por estados
Resultados:
Tópicos com muita proximidade, sobrepostos, palavras desnecessárias.
LDA – Modelagem de Tópicos

7. • Ajuste de parâmetros em conjunto em conjunto com especialistas:
Exclusão das palavras desnecessárias.
Validação das quantidades de tópicos
• Tópicos: 15,10,7,6,5,4
• Melhor resultado: 5 tópicos
Novos Testes

8. Melhor Resultado LDA: 5 Tópicos

12. Aprendizagem Supervisionada
• Classificação manual de 300 constatações
• Random Forest
• Acurácia: 73%

13. Aprendizagem Supervisionada
Classe de Constatação Quantidade de registros na amostra
Planejamento e Gestão de TI 104
Contratos em geral 72
Política de Pessoal 42
Política de Segurança da Informação 41
Desenvolvimento e Manutenção de Software 31
Não especificado 26
Controles Internos 10
Contrato de mão-de-obra 9
Total 335

14. LDA (não supervisionada) X Classificação
(supervisionada)

15. Conclusões
• Parceria com Especialistas
• Modelo não supervisionado – LDA
• Aplicado em novos contextos:
Recursos Externos
Saúde
Bolsa Família

16. Categorização de achados em auditorias de TI com
modelos supervisionados e não supervisionados