Baixado 15 vezes
Carregado porRommel Carvalho
Proposta de Modelo de Classificação de Riscos de Contratos Públicos
O documento propõe três modelos para avaliar o risco de contratos públicos: 1) um modelo de aprendizagem supervisionada para classificar o risco de fornecedores com base em variáveis como doações políticas e histórico de punições; 2) um segundo modelo para classificar o risco de contratos com base em aspectos como competitividade e complexidade; 3) um modelo multicritério para selecionar casos de auditoria com base no risco do contrato, risco da empresa, e questões logísticas.
Proposta de Modelo de Classificação de Riscos de Contratos Públicos
- 1. Scoring de Riscode Contratos Públicos: Aprendizagem supervisionada + Multicritério
- 2.
- 3. Contextualização Podemos antecipar situaçõescomo essa? Existem características que podem diferenciar empresas boas de ruins? Exemplo: Quantidade de atividades cadastradas No geral: média de atividades por empresa Com negócios com o governo: Com punições suspensivas: 1,99 6,10 11,61
- 4. Propostas 1. Usar técnicasde Machine Learning para classificar empresas e contratos. 2. Criar modelo de decisão para auditoria, incluindo variáveis logísticas. Risco do contratoRisco da empresa Questões Logísticas • Unidade já está no plano de auditoria? • É Capital? • Existe equipe apropriada? MCDA
- 5. Abordagem Metodológica Modelo deaprendizagem supervisionada para os 2 primeiros modelos Processo básico de aprendizagem de máquina supervisionada. Trade off viés x variância
- 6. Abordagem Metodológica Escolha devaráveis preditoras com base em teorias econômicas Qtde de lances Qtde de participantes Tipo de produto Qualidade da Especificação Frequência do item comprado Idade das empresas Frequência de participação dos licitantes Porte das empresas Histórico de Punições SISPP ou SISRP Idade no SICAF Economia de Custos de Transação Teoria dos Leilões Teoria dos Jogos Complexidade do objeto
- 7. Modelo 1: Riscodo Fornecedor 1ª Fase: Identificação das dimensões de risco • Qtde média de lances por compra • Percentual de sucesso • Políticos • Doações de campanha • Alertas CGU • CNEP/CEPIM/SIASG • Qtde de Funcionários • Ocupação do sócio • Faturamento / funcionário Capacidade Operacional Histórico Punitivo CompetiçãoVínculos
- 8. Modelo 1: Riscodo Fornecedor 2ª Fase: Montagem da base de dados A)1446 empresas, sendo: a. 723 do grupo de “Alto Risco”, e b. 723 do grupo de “Baixo Risco” (Undersampling) B)49 variáveis preditoras C)1 variável dependente (LABEL) Critérios para qualificação como de “Alto Risco”: • Ter tido contrato vigente em 2015 ou 2016. • Ter sido punido nesses anos com uma das seguintes penalidades: • Suspensão temporária de licitar (previsto na Lei nº 8666/93); • Impedimento de licitar e contratar (previsto na Lei nº 10520/02); • Declaração de inidoneidade (previsto na Lei nº 8666/93). 2011 2013 2014 2015 20162012
- 9. Modelo 1: Riscodo Fornecedor 2ª Fase: Montagem da base de dados Test (30%) Learning (70%) D) Separação em treino e teste Cross Validation
- 10. Modelo 1: Riscodo Fornecedor 3ª Fase: Identificação das variáveis mais importantes com algoritmo Stepwise Selecionadas 29 variáveis Quantidade de atividades Valor doado em eleições Alertas da CGU Salário dos sócios Quantidade de funcionários Idade da empresa
- 11. Modelo 1: Riscodo Fornecedor 4ª Fase: Tunning Algoritmo: GLMnet (Regressão Logística) Parâmetros de finais de penalização: = 0 = 1
- 12. Modelo 1: Riscodo Fornecedor 5ª Fase: Criação do modelo final utilizando a base de treino completa Resultados: Matriz de Confusão 6ª Fase: Aplicação do modelo na base de teste Valor doado em eleições Alertas da CGU Quantidade de funcionários Idade da empresa Quantidade de atividades Salário dos sócios Resultados: Interpretação
- 13. Modelo 2: Riscodo Contrato 1ª Fase: Identificação das dimensões de risco • Qtde de funcionários • Porte da empresa • Complexidade do objeto • Qualidade na especificação • Qtde de participantes • Qtde de lances • Alertas da CGU Irregularida des na Licitação Competitivi dade do processo Empresa Aspectos gerais da licitação tf-idf
- 14. Modelo 2: Riscodo Contrato 5ª Fase: Criação do modelo final utilizando a base de treino completa Resultados: Matriz de Confusão 6ª Fase: Aplicação do modelo na base de teste Resultados: Interpretação Quantidade de atividades da empresa Contrato é de serviço Desconto obtido Lances por participante Quantidade de sócios da empresa Complexidade
- 15. Risco do processo Riscoda empresa Questões Logísticas Modelo 3: Seleção de casos para auditoria + + = Score de Auditoria • Unidade já está no plano de auditoria? • É Capital? • Existe equipe apropriada? • E o valor?
- 16. Modelo 3: Seleçãode casos para auditoria Decisão Multicritério Analytic Hierarchy Process (AHP) Matriz de comparação dos pares de critérios
- 17. Modelo 3: Seleçãode casos para auditoria Critérios para avaliação final dos contratos • Risco inerente do fornecedor • Risco do contrato • Unidade auditada fica na Capital? • Unidade auditada já no Plano Anual de Auditoria? • Ação governamental já está priorizada? • Há necessidade/disponibilidade de equipe especializada • Valor
- 18. Modelo 3: Seleçãode casos para auditoria Simulação: aplicando o AHP para contratos com alto risco • Contrato que tinha o maior risco caiu para 45º. Por que? • Baixo valor • Unidade fora do plano de auditoria • Contrato que era o 20º em risco subiu para primeiro. Por que? • Capital • Unidade já ia ser auditada • Valor alto
- 19. Conclusões Como atuar preventivamente? Aplicaçãoimediata: modelo de risco para compras de TI Criação de repositório compartilhado de indicadores / códigos
- 20.