13949

1. RELATÓRIO DEAVALIAÇÃO
SubsecretariadeAssuntosAdministrativos-MinistériodaEducação
Exercício 2019
28 de agosto de 2019

2. Controladoria-Geral da União - CGU
Secretaria Federal de Controle Interno
RELATÓRIO DE AVALIAÇÃO
Órgão: MINISTERIO DA EDUCACAO
Unidade Examinada: Subsecretaria de Assuntos Administrativos -
Ministério daEducação
Município/UF: Brasília/DistritoFederal
Ordem de Serviço:201902424

3. Missão
Promover o aperfeiçoamento e a transparência da Gestão Pública, a
prevenção e o combate à corrupção, com participação social, por meio da
avaliaçãoecontroledaspolíticaspúblicasedaqualidadedogasto.
Auditoria InternaGovernamental
Atividade independente e objetiva de avaliação e de consultoria,
desenhada para adicionar valor e melhorar as operações de uma
organização; deve buscar auxiliar as organizações públicas a realizarem
seus objetivos, a partir da aplicação de uma abordagem sistemática e
disciplinada para avaliar e melhorar a eficácia dos processos de governança,
de gerenciamento de riscos e de controles internos.

4. QUAL FOIO
TRABALHO
REALIZADO PELA
CGU?
POR QUE A CGU REALIZOU
ESSE TRABALHO?
O presente trabalho foi realizado
em atendimento à notificação por e-
mail (push) encaminhada pela
ferramenta ALICE (Análise de
Licitações e Editais), de uso interno
da Controladoria-Geral da União
(CGU), apontando riscos na
contratação.
Auditoria Preventiva do Pregão
nº 11/2019, cujo objeto é a
contratação de serviços técnicos especiali
zados de desenvolvimento, manutenção
e sustentação de soluções de softwares e
conduzido pelo Ministério da Educação,
com valor estimado em R$ 48.097.700,00
QUAIS AS CONCLUSÕES
ALCANÇADAS PELA CGU?
A análise concluiu pela existência
das seguintes falhas: Prazo exíguo para
emissão do Termo de Recebimento
Definitivo; Medição dos serviços de
sustentação baseia-se em mera
estimativa do tamanho em PF dos
sistemas legados; Alteração de
métrica (UST para PF) sem
razoabilidade econômica; Rol de
serviços a serem executados sob
demanda não exaustivo.
QUAIS AS RECOMENDAÇÕES
QUE DEVERÃO SER
ADOTADAS?
Foram realizadas as seguintes Ampliar
o prazo limite para emissão do termo
de recebimento definitivo; Estabelecer
regras e critérios claros e objetivos
para inclusão de sistemas das
ordens de serviço mensais;
Demonstrar a viabilidade econômica
da contratação, usando inclusive o
histórico da volumetria dos contratos
anteriores; Realizar a contagem real
dos sistemas existentes no MEC;
Detalhar com maior nível de
granularidade o catálogo de
serviços desustentação.

5. SUMÁRIO
SUMÁRIO 4
INTRODUÇÃO 5
RESULTADOS DOS EXAMES 6
1. PrazoexíguoparaemissãodoTermodeRecebimentoDefinitivo 6
2. Mediçãodosserviçosdesustentaçãobaseia-seemmeraestimativadotamanhoemPF
dos sistemas legados 6
3. Alteração de métrica (UST para PF) sem razoabilidade econômica 8
4. Roldeserviçosaseremexecutadossobdemandasnãoexaustivo 10
RECOMENDAÇÕES 11
CONCLUSÃO 11
ANEXOS 12
1–MANIFESTAÇÃODAUNIDADEEXAMINADAEANÁLISEDAEQUIPEDEAUDITORIA 12

6. 5
INTRODUÇÃO
Trata-sedeanálisepreventiva realizada sobreosautos doProcessoAdministrativon°
23000.015136/2019-38, relativo ao Pregão nº 11/2019, que tem como objeto a
contratação de serviços técnicos especializados de desenvolvimento, manutenção e
sustentação de soluções de software conduzido pelo Ministério da Educação, com
valor estimado em R$ 48.097.700,00.
O aviso de licitação foi publicado no dia 07/08/2019, sendo que esta Coordenação-
Geral de Auditoria de Tecnologia da Informação (CGATI) foi notificada por e-mail
(push)encaminhadopelaferramentaALICE,deusointernodaControladoria-Geralda
União (CGU).
O Ministério da Educação foi instado por meio do Ofício nº
16571/2019/CGATI/DG/SFC/CGU, 09/08/2019, a apresentar cópia digitalizada do
processo em tela, a qual foi encaminhada à CGU no dia 09/08/2019, por meio do SEI
– Sistema Eletrônico de Informações.
A análise preventiva teve como escopo a identificação de achados preliminares e
identificação de riscos relacionados à contratação, consistindo na verificação dos
documentos contidos no processo enviado frente à legislação vigente que trata das
aquisições de bens e serviços de tecnologia da informação, com destaque para a
Instrução Normativa SGD/ME Nº 01/2019 (IN 01) e sobre as normas gerais de
licitações e contratos.
Os parágrafos seguintes apresentam um relato dos achados preliminares detectados
pela equipe da CGU, bem como dos riscos relacionados à contratação em questão.

7. 6
RESULTADOS DOSEXAMES
1. Prazo exíguo para emissão do Termo de Recebimento
Definitivo
Deacordocomoitem5.1.3.2doTermodeReferência(TR),afirma-sequeotermode
recebimento provisório (TRP) será emitido 2 dias após o recebimento dos relatórios de
serviços. Já o termo de recebimento definitivo (TRD) seria emitido apenas 5 dias após a
emissão do TRP, segundo o infográfico extraído do próprio TR:
Figura1-TermodeReferência-PE11/2019-MEC
Nessas condições, mesmo considerando a necessidade da manutençãode um fluxo de
caixa saudável ao contrato, faz-se necessário analisar a possibilidade de atrasos na
emissãode tais instrumentos,principalmente doTRD, uma vez que este,de acordo com
a legislação vigente, detem uma maior complexidade e somente deve ser emitido após
os devidos testes paraverificação deque os serviços prestados oubens fornecidos
atendem aos requisitos estabelecidos e aos critérios de aceitação estabelecidos em
contrato. Tal situação é agravada pelo método de desenvolvimento ágil definido pelo
Ministério da Educação, pois tal método somente permitirá a “contagem detalhada” da
quantidade de pontos de função de determinada funcionalidade ou sistema após sua
construção e consequenteentrega.
Ademais,cumpreressaltarqueaLei8.666/93(Art.73§3o)facultaàadministraçãoo
prazo de até 90 dias para emissão de tal documento.
Risco relacionado: Não cumprimento dos prazos estabelecidos em contrato por parte
da contratante e/ou indisponibilidade de tempo suficiente para verificação de
adequação entre o produto entregue e suas especificações.
2. Medição dos serviços de sustentação baseia-se em mera
estimativa do tamanho em PF dos sistemas legados
Osserviços desustentação serãoprestados apartirde2modelosdeordem deserviço
distintos previstos no edital, a saber:
 Ordem de serviço de sustentação mensal; e
 Ordem de serviço de sustentação sob demanda.

8. 7
No primeiro caso, o MEC abrirá ordens de serviço mensais para que a contratada
mantenha as soluções constantes no quadro 07 do Estudo Técnico Preliminar da
Contratação (ETPC) onde para cada sistema há uma determinada quantidade de pontos
de função que, a princípio, representaria o tamanho funcional de cada um dos
sistemas. Segue a relação dos sistemas legados do MEC que serão mantidos pelo
pretenso contrato:
No próprio ETPC, item 2.3.2, afirma-se que se trata de uma estimativa, ou seja, não há
certeza em relação ao tamanho funcional dos sistemas. Considerando que o modelo
de remuneração da ordem de serviço de sustentação mensal se baseia exatamente na
quantidade de pontos de função sustentados, pode-se inferir, assumindo o valor inicial
estimadoparaoreferidoitem(R$16,90),queacadamêsoMECpagaráovalorfixo
aproximado de R$ 1.350.000,00 (um milhão, trezentos e cinquenta mil reais) com base
em uma mera estimativa. E destes, R$ 845.000.000 (oitocentos e quarenta e cinco mil
reais) – 62,6% - serão destinados apenas ao SIMEC.
Além disso, em reunião preliminar com a equipe de planejamento da contratação,
restou esclarecido que nem todos os sistemas constantes dessa relação irão constar
nas ordens de serviço de sustentação mensal, ou seja, cada ordem de serviço mensal
irá se referir a uma parte desses sistemas e não todos aqueles constantes do quadro
anterior.OcorrequeoTRnãoespecificaclaramentequaisasregras ecritériosque
serão adotados na confecção dessas ordens de serviço, mês a mês, ou seja,quais
sistemas comporão cada OS mensal, podendo onerar mais ainda a contratação,
conforme será demonstrado no achado a seguir.
Risco relacionado: Risco de danos ao erário, decorrente de pagamento por serviços
não prestadosefetivamente.

9. 8
3. Alteração de métrica (UST para PF) sem razoabilidade
econômica
Aofinalde12mesesdecontrato,oMECterápagoaproximadamenteR$16.200.000,00
em ordens de serviço de sustentação mensais e ao final de 5 anos (prazo máximo da
contratação), o valor poderá chegar a mais de R$ 81.000.000,00 (oitenta e um milhões
de reais).
A comparação de tais valores, com os valores de UST – Unidade de Serviço Técnico
praticadospelopróprio órgãoemcontratosanteriores,inclusiveosaindavigentes,
demonstram a possível majoração no custo total da sustentação de sistemas da
unidade examinada, conforme análise que segue.
De acordo com o quadro 6 do ETPC, a média anual de consumo de UST considerando
os últimos 03 anos foi de 88.989,76 unidades de serviços técnicos, conforme
reproduzido a seguir:
Em relação aos valores praticados, o quadro 10 do ETPC demostra um valor médio de
R$ 104,91 por unidade de serviço técnico.
ConsiderandoamédiaanualdeconsumodeUSTeamédiaapuradadovalordetal
unidade, é possível afirmar que nos últimos 03 anos o MEC pagou, em média,
R$ 9.336.000,00 por ano por todos os serviços de sustentação prestados ao órgão. Tal
valor representa um custo médio mensal aproximado de R$ 778.000,00. Conforme
tabela a seguir:

10. 9
Sendo assim, com base no histórico da contratação anterior, estima-se que a
substituição do modelo de contratação de UST para PFS (pontos de função
sustentados) oneraráoMinistério da Educaçãoem, aproximadamente,R$ 574.000,00
mensais em relação ao modelo anterior, sem que haja justificativa técnica plausível
(ex.: entrada em produção de novos sistemas). Ao final de 12 meses de contrato, tal
valor poderá chegar a mais de R$ 6,8mi e ao final de 5 anos, mais de R$ 34,3mi
poderãodesidogastosamais,conformedemonstradonoquadroaseguir:
Cumpre ressaltar ainda que o novo modelo proposto pelo MEC contempla dois tipos
de Ordens de Serviço (OS) para sustentação de software. Toda a análise apresentada
até aqui considerou apenas a OS mensais de sustentação. Considerando que ainda
existirão OS sob demanda e que os valores e consumo de UST (modelo anterior)
utilizados para esta análise já contemplava tais serviços, há o risco de que o potencial
prejuízo se torne ainda maior.
Emrelaçãoaesseponto,énecessárioaindainformarque,noitem3.2doETPC,háuma
análise das alternativas para o serviço de sustentação de sistemas, porém os valores
associados não foram levados em consideração pelo MEC.
Ademais,faz-senecessárioressaltaraindaaboapráticadeseexigiraplanilhadecusto
e formação preço dos licitantes. A IN-SEGES/MP 5/2017, de 26/5/2017, que dispõe
sobre as regras e diretrizes do procedimento de contratação de serviços sob o regime
de execução indireta no âmbito da APF direta, autárquica e fundacional, define a
planilha de custos e formação de preços como um documento a ser utilizado para
detalhar os componentes de custo que incidem na formação do preço dos serviços,
podendoser adequadopela Administraçãoem funçãodas peculiaridades dos serviços
a que se destina, no caso de serviços continuados.
No contexto desta análise, a importância de tal instrumento recai sobre a necessidade
daAdministraçãodeentenderaformaçãodepreçosechegar aomais próximo possível
de um preço justo e razoável, com o objetivo de impedir que sejam pagos valores
abusivos ou injustificadamenteelevados.
Hádeseconsiderarainda,queaplanilhadecustoeformaçãodepreçopermiteuma
análise mais rápida e tempestiva da coerência entre a proposta da licitante e os perfis
profissionaisexigidospelo ÓrgãonoTermo de Referência,apartirde uma comparação
simples entre o que está registrado no documento e o que é praticado no mercado
para cada um dos perfis. A exigência de perfis específicos de profissionais sinaliza a
preocupação da administração com a garantia da qualidade dos serviços que serão

11. 10
prestados,sendoentão,oregistro naplanilha,uma dasprimeirasgarantias dequetais
perfis serão alocados no contrato.
Além disso, mantendo-se o histórico das planilhas de custo e formação de preço, será
possível, no futuro, estimar com mais assertividade os valores dos serviços a serem
contratados. Tal técnica já vem sendo utilizada em algumas contratações que usam
métricassemelhanteàUST,comoéocasodoPE67/2018realizadopeloBancoCentral
do Brasil (BCB) e do PE 23/2018 realizado pela Empresa Brasileira deTurismo
(EMBRATUR).
Risco associado: Risco de danos ao erário em virtude de contratação potencialmente
antieconômica.
4. Rol de serviços a serem executados sob demandas não
exaustivo
Nocaso dasOS de serviços de sustentaçãosobdemanda,no item 4.2, foram elencados
alguns tipos de serviço conforme tabela a seguir:
De acordo com informação constantena própriatabela, essa listanãoé exaustiva,o que
pressupõe a adoção de parâmetros que, embora não especificados nessa relação,
poderão ser aplicados como critérios para aferir e mensurar os serviços. Nessas
condições, a subjetividade atribuída à mensuração dos serviços prestados pode levar a
discussões ao longo da execução do contrato quanto ao enquadramento dos serviços a
seremsolicitados,dadosos interessesconflitantesdaspartesenvolvidas.
Risco associado: Verificação e medição dos serviços sem aderência ao modelo de gestão
contratualdefinidonotermodeeditaletermodereferência.Pagamentoporserviços
medidos com base em critério subjetivo, atentando contra o princípio da vinculação do
instrumento convocatório.

12. 11
RECOMENDAÇÕES
1 –Ampliaroprazolimiteparaemissãodotermoderecebimentodefinitivo,deforma
a garantir a avaliação objetiva e criteriosa dos serviços prestados.
Achado n° 1
2 –Estabelecerregrasecritériosclaroseobjetivosparainclusãodesistemasdasordens
de serviço mensais relacionadas à sustentação.
Achados n° 2 e n° 3
3 – Demonstrar a viabilidade econômica da contratação, usando inclusive o histórico da
volumetria dos contratos anteriores (consumo de UST e valores pagos), atentando para
aanálisecríticadasanomaliasverificadasnasériehistórica,comvistasaobteruma
volumetria para os serviços de sustentação, em termos de pontos de função
sustentados, mais condizente com as reais necessidades do órgão.
Achados n° 2 e n° 3
4 –Realizar, demaneira célere, a contagemrealdos sistemas existentes noMECe
manter tais informações atualizadas visando ajustar corretamente as Ordens de Serviços
mensais e minimizar riscos em contratações similares futuras.
Achados n° 2 e n° 3
5 – Detalhar com maior nível de granularidade o catálogo de serviços de sustentação a
ser utilizado nas ordens de serviços sob demanda.
Achado nº 4
CONCLUSÃO
A atuação preventiva tem como benefício a possibilidade de identificar riscos
relacionados à gestão pública, especialmente nas compras e contratações, com a
finalidade de subsidiar os gestores com achados preliminares que permitam a atuação
tempestiva da Administração Pública para evitar prejuízos, financeiros ou não, que
estejam na iminência de se concretizarem.
A análise preventiva do Pregão nº 11/2019 permitiu identificar falhas na fase interna da
licitação, decorrentes principalmente da etapa de planejamento da contratação,
notadamentenoqueconcerneàsubjetividadedomodelodemensuraçãoeaferiçãodos

13. 12
serviçosprestadospelaempresa asercontratadapeloMEC. Otrabalhobuscou apontar
nãoapenasasfalhas,comotambémosriscosenvolvidos,tendoemvistaprincipalmente
a possibilidade de evitá-los mediante ajustes no Termo de Referência, a partir das
recomendações exaradas, antes da sessão pública do certame.
ANEXOS
A Unidade teve conhecimento dos achados e recomendações elencados neste Relatório,
por meio do Relatório Preliminar nº 201902424, apresentado em reunião realizada
14/08/2019 e apresentou manifestação por meio do Nota Técnica N°
13/2019/CRTI/DTI/DTI, de 22 de agosto de 2019, encaminhada pelo Ofício N°
27/2019/CGU/AECI/GM/GM-MEC.
1 – MANIFESTAÇÃO DA UNIDADE EXAMINADA EANÁLISE DA EQUIPE DE
AUDITORIA
A Diretoria de Tecnologia da Informação do Ministério da Educação, apresentou, por
meiodo Ofício Nota Técnica n°13/2019/CRTI/DTI/DTI,as seguintes considerações:
“2. SUMÁRIO EXECUTIVO
Trata-se da análise dos aspectos eminentemente técnicos do Parecer Preliminar de
Auditoria da Controladoria-Geral da União concernente ao Processo n°
23000.015136/2019-38, que trata da "contratação de serviços técnicos especializados
em desenvolvimento, manutenção e sustentação de softwares - de acordo com as
especificações, as métricas e os padrões de desempenho e de qualidade estabelecidos
peloMinistériodaEducaçãonoTermo deReferênciaeemseusanexos,limitadoao
quantitativo máximo estimado, sem garantia de consumo mínimo e com pagamento em
função de resultados".
3. ANÁLISE
3.1. Do prazo exíguo para emissão do Termo de Recebimento Definitivo.
Destaca o relatório que os prazos listados no item 5.1.3.2 do Termo de Referência são
exíguos para a emissão do Termo de Recebimento Definitivo, dado o modelo de serviço
e a complexidade do objeto. Tal achado foi relacionado ao risco de "não cumprimento
dos prazos estabelecidos em contrato por parte da contratante e/ou indisponibilidade
detempo suficiente paraverificação de adequação entre o produtoentregue esuas
especificações".
Esta equipe técnica considera que, embora os prazos listados no item 5.1.3.2 na versão
analisadadoTermodeReferênciasejammerasreferências(conformedenotadonanota
de rodapé), o quesito merece revisão. Dessa forma, retificamos os prazos de modo a

14. 13
torná-los mais factíveis e, dando nova redação ao trecho, adicionamos referência
expressa de que "os prazos listados acima são meramente exemplificativos. podendo
variar de acordo com a complexidade do objeto e com definições legais e normativas
vigentes".
Esse aprimoramento atende à Recomendação 1 do relatório, que sugere "ampliar do
prazo limite para emissão do termo de recebimento definitivo, de forma a garantir a
avaliação objetiva e criteriosa dos serviços prestados".
3.2. Possibilidade de pagamento por serviços não prestados efetivamente
Destaca o relatório que, no escopo do ITEM 2, há risco "de dano ao erário, fruto de
pagamento por serviços não prestados efetivamente" dada a sistemática e a volumetria
das ordens de serviço de sustentação (mensal ou sob demanda). Esta equipe técnica
afirma que não haverá abertura automática de ordens de serviço mensais para todos os
sistemas,equeaárearequisitanteprocederágestãodabaselinedesustentaçãovisando
a realizar a abertura de ordens de serviço de acordo com a efetiva necessidade. Quanto
ao SIMEC esclarecemos que a solução é composta por módulos e que nas Ordens de
Serviço constarão os módulos específicos a serem atendidos ao invés da solução como
um todo - como fora interpretado pela auditoria preliminar.
Ainda,visandoadirimireventuaisdúvidasquantoaessescritériosdeaberturadeordens
de serviços e administração da baseline de sustentação, aprimoramos o texto do Termo
de Referência. Dessa forma, fizemos constar no item 4.1 do Anexo B que "O
CONTRATANTE abrirá, a seu critério, ORDENS DE SERVIÇOS DE SUSTENTAÇÃO MENSAL
para o serviço de sustentação de soluções de software – constando a relação dos
sistemas a serem sustentados e seu respectivo tamanho funcional. Nessa relação
poderão ser incluídos, a critério do CONTRATANTE, soluções completas e/ou módulos de
soluções". Quanto à gestão da baseline de sustentação, fizemos constar no Anexo B o
item4.1.1quetratados"critériosdeadministraçãodabaselinedesustentação".
Esse aprimoramento atende à Recomendação 2 do relatório, que sugere "estabelecer
critérios claros e objetivos para inclusão de sistemas das ordens de serviçomensais
relacionadas à sustentação".
3.3. Contratação possivelmenteantieconômica
Destaca o relatório que há potencial "risco de dano ao erário em virtude de contratação
potencialmente antieconômica" em virtude do que consideram haver elevação dos
gastos com o serviço de sustentação em relação ao modelo atual".
Esta equipe técnica considera que os cálculos elaborados preliminarmente pela Auditoria
nãoestãoadequadosequeaconclusãoaquelevamnãocondizàrealidadedonovo
modelo de contratação. Primeiro, observamos que UST e PFS são métricas distintas e

15. 14
que não é tecnicamente viável realizar a comparação direta entre elas como critério de
avaliação de economicidade. Assim, visando a eliminar essa interpretação, adicionamos
ao Estudo Técnico Preliminar o item 4.1.2.4 que trata da avaliação do custo total
estimado comparando o modelo UST (dos contratos atuais) com o modelo PFS (da
contratação em questão), em que demonstramos a elevada vantajosidade econômica
do novo modelo com base tanto na comparação de cenário estimado quanto em cenário
real, da seguinteforma:
Nesse cálculo, visando a avaliar a estimativa do custo efetivo do serviço de sustentação
de sistemas a partir da adoção do modelo PFS em comparação com o modelo UST
(contratos atuais) consideramos o quantitativo real de demandas caso atualmente
estivéssemos utilizando a métrica PFS. A baseline de sustentação foi obtida através da
seguintecorrelação:seabaselinetotaldetodosossistemaséde80.000PFemque
50.00 PF correspondem ao SIMEC (Eixo 3), conforme QUADRO 7, logo os Eixos 1 e 2
abrangem uma baseline de 30.000 PF. Assim, considerando a média de gastos dos
contratos atuais com serviços de sustentação sob demanda em métrica UST nos anos
2016-2018,omodelode sustentaçãofull-time (todos os sistemas sustentados durante o
ano inteiro) desse mesmo conjunto no modelo PFS haveria uma ECONOMIA estimada
em R$1.188.090,80.
Para ampliar nossa análise, vamos considerar o consumo REAL de serviços no ano de
2018 (nossa referência temporalcompleta mais recente) para os contratos dos mesmos
eixos (1 e 2), pressupondo que não tenha havido alteração do tamanho funcional dos
sistemas:

16. 15
Nesse cenário acima a economia REAL com o modelo PFS seria de R$579.734.42.
Portanto, em ambos os casos (média dos últimos 3 anos e consumo real do ano 2018),
os cálculos demonstram inequívoca vantajosidade econômica do modelo PFS sobre o
modelo UST atualmente adotado nos contratos atuais do MEC. Cabe ressaltar que o
valor unitário de R$16,90 é a referência estimada para o valor do PFS baseada em
pesquisa de preços de mercado,sendo que em uma eventual futura licitação o valor real
pode ser menor que o estimado - ampliando ainda mais a vantajosidade econômica do
modelo. Por fim, destacamos que, para além da vantajosidade econômica, os modelos
de serviço (UST X PFS) são conceitualmente distintos - havendo enorme vantajosidade
técnicadosegundosobreoprimeiro.Quantoàquestãoda"planilhadeformaçãode
preços", corroboramos o entendimento firmado no âmbito da Consultoria Jurídica deste
Ministério de que a referida planilha deve serutilizada especificamente no caso das
contratações de alocação de mão de obra - o que, evidentemente, não é o caso da
pretensão contratual em questão. Porém, visando a aprimorar as possibilidades de
avaliação da exequibilidade dos preços, adicionamos ao “item 7.3.4 do Termo de
Referência, que trata dos "critérios de aceitabilidade dos preços unitários e globais",
trecho tratando da forma de avaliação dos preços propostos:
"Não serão aceitos preços irrisórios e/ou inexequíveis,
cabendo à Administração a faculdade de promover
verificações, através de pedido de esclarecimentos,
apresentação de documentações complementares ou por
meiode diligênciasnecessárias, naforma do§3? art.43 da
Lei nº 8.666/93.
São exemplos de documentações complementares que
poderão ser solicitadas da licitante, provisoriamente
classificada em primeiro lugar, para comprovar a
exequibilidade dos preços ofertados:

17. 16
a) Contrato ou contratos medidos, preferencialmente por
ponto de função, e regidos por níveis de serviço,
acompanhados de notas fiscais e declaração do tomador
de serviço que comprovem a execução satisfatória de
serviços similares aos previstos, com preço compatível ao
ofertado pelo licitante;
b) Memória de cálculo, registros ou evidências que
comprovem a viabilidade do valor ofertado do ponto de
função, baseando-se, primariamente, nos parâmetros de
esforço para a produção do ponto de função, salários,
incidência de custos indiretos, tributos e lucro.
Antes de ter sua proposta desclassificada por
inexequibilidade, à LICITANTE será franqueada
oportunidade de defesa, nos termos e condições exigidos
pelo instrumentoconvocatório."
Esse aprimoramento e o novo detalhamento estimativo das demandas incorporado ao
item 4.1.1doAnexoBdo Termo deReferênciaatendem àRecomendação3dorelatório,
onde se solicita "demonstrar a viabilidade econômica da contratação, usando inclusive
o histórico da volumetria dos contratos anteriores (consumo de UST e valores pagos),
atentando para a análise crítica das anomalias verificadas na série histórica, com vistas
aobter uma volumetria paraosserviços de sustentação, em termos de pontos de função
sustentados, mais condizente com as reais necessidades do órgão".
Quanto à Recomendação 4 do relatório, que sugere "realizar, o quanto antes, a
contagem real dos sistemas existentes no MEC e manter tais informações atualizadas
visando ajustar corretamente as Ordens de Serviços mensais e minimizar riscos em
contratações similares futuras", esclarecemos que o dimensionamento da maioria das
soluçõesjáébaseadoemcontagensreaisequetodasassoluçõesqueserãoincluídasna
listadesustentaçãoterãosuascontagens devidamentevalidadas pelaárearequisitante
antes da sua inclusão nas ordens de serviço de sustentação.
3.4. Rol de serviços a serem executados sob demandas não exaustivo.
Fazendoreferênciaaoquadroconstantenoitem4.2doAnexoBdoTermodeReferência,
aAuditoriaconsiderouque"tallistanãoéexaustiva,oquepermiteinferirquealistase
apresenta de maneira bastante resumida. Tal situação que pode levar a discussões ao
longo da execução do contrato quanto ao enquadramento dos serviços a serem
solicitados, dados os interesses conflitantes das partes envolvidas" havendo risco de

18. 17
"verificaçãoemediçãodosserviçossemaderênciaaomodelodegestãocontratual
definido no termo de edital e termo de referência".
Visando a aprimorar a compreensão desse quesito, a área requisitante incorporou
detalhamento mais específico das demandas e dos produtos desse serviço em nova
versão da Metodologia de Desenvolvimento de Sistemas do MEC (MDS-MEC) -
documento vinculado à contratação e disponível em sua versão atualizada no link
http://ramec.mec.gov.br/dti-diretoria-de-tecnologia-dainformacao/contratacao-
fabrica-de-software - detalhando com "maior nível de granularidade o catálogo de
serviços de sustentação a ser utilizado nas ordens de serviços sob demanda", dentre
outrosaprimoramentos,conforme constanaRecomendação5dorelatório.
4. CONCLUSÃO
Portanto, considerando satisfeitos os pontos elencados no Relatório Preliminar de
Auditoria, esta equipe técnica informa que promoveu todos os ajustes considerados
adequados nos documentos da contratação em questão e submete a presente NOTA
TÉCNICA à avaliaçãosuperior.
ANÁLISE DO CONTROLE INTERNO
Recomendação 1:
AUnidadeconcordoucomosapontamentoserealizouosajustesnecessários.
Recomendação 2:
Emsuaresposta,aUnidadeafirma,queaequipetécnicaafirmaquenãohaveráabertura
automática de ordens de serviço mensal para todos os sistemas e que a área
requisitanteprocederáagestãodabaselinedesustentaçãovisandoarealizaraabertura
deordensdeserviçodeacordocomaefetivanecessidade. Emquepeseafépública
dos servidores que compõem a equipe técnica e a área requisitante da Unidade, faz-se
necessário que os critérios de gestão da baseline de sustentação estejam documentados
e, se possível, aprovados pelo Comitê de TIC do órgão. Tal ação visa dar perenidade ao
tratamento dispensado à sustentação de sistemas no MEC mesmo com mudanças na
equipe técnica daUnidade.
Importa complementar ainda que a recomendação nº 2 se refere ao achado nº 2, que é
a possibilidade de pagamento por serviços não prestados efetivamente face à possível
contratação de Pontos de Função Sustentados – PFS com base em meras estimativas
dos tamanhos funcionais dos sistemas e ao achado nº 3, contratação possivelmente
antieconômicacasohajaainclusãodesistemasdemasiadamentegrandes(quantidade

19. 18
de pontos de função) na ordem de serviço mensal de sustentação. Sendo assim, é
necessário que os critérios para inclusão/exclusão dos sistemas e/ou seus respectivos
módulos nas ordens de serviços mensais levem em consideração a razoável certeza do
tamanho funcional destes (recomendação nº 4) e também o estudo que garantirá a
viabilidadeeconômicadeutilizaçãodePFSnaOSmensalparadeterminadosistema,em
detrimento da utilização de ordem de serviço sob demanda. Tal ação minimizará
também o risco aventado no achado nº 3.
Esta controladoria entende que na resposta a tal recomendação, a unidade garante que
nãohaverápagamentoporserviçosnãoprestadosefetivamentepois, afirmouquetodas
as soluções que serão incluídas na lista de sustentação terão suas contagens
devidamente “validadas” pela área requisitante antes da sua inclusão nas ordens de
serviço de sustentação.
Recomendação 3:
Quanto à possível antieconomicidade do modelo a ser adotado, a unidade afirma que a
análise realizada por esta Controladoria não foi adequada e que não condiz à realidade
do novo modelo de contratação. Neste sentido, é necessário esclarecer que a análise
foi realizada tão somente utilizando dados constantes no Estudo Técnico Preliminar da
Contratação–ETPC. Oobjetivofoiavaliaravantajosidadedacontrataçãoconsiderando
omodelo dePontosde FunçãoSustentado –PFSfrenteaosnúmerosapresentadosnos
quadros 6 e 10 do ETPC original,onde não constava qualquer avaliação econômica que
comparasse as possíveis soluções.
A unidade afirma ainda que não seria possível a comparação entre Unidade de Serviço
Técnico - UST e Pontos de Função Sustentado – PFS, pois estas são métricas distintas de
maneiraquenãoseria tecnicamenteviávelrealizaracomparaçãodiretaentreelas como
critério de avaliação de economicidade. Neste sentido é mister esclarecer que apesar
de distintas, ambas são métricas passíveis de serem utilizadas na sustentação de
sistemas, restando ao gestor a responsabilidade de optar por uma destas, ou qualquer
outra que, além de não contrariar as normas vigentes, se mostre técnica e
economicamenteviável, vantajosa, oportunae conveniente para alicitante
Sobre os novos cálculos apresentados pela nota técnica n° 13/2019/CRTI/DTI/DTI esta
Controladoria entende que, com o objetivo de demonstrar inequivocamente a
economicidade da contratação em relação às demais possibilidades existentes, a
Unidade se limitaa usar números que permitemobter talconclusão. A nova análise
somenteé aceitávelse, esomente se, houver limitação daquantidadedepontosde
função a serem incluídos na OS mensal. Por outro lado, tal limite será definido pelo valor
do PFS que será obtido após a realização do certame. A análise apresentada na nota
técnicasupracitadaexcluitodososmódulosdoSIMEC,cujotamanhofuncionaltotalestá

20. 19
estimadoem50.000pontosdefunção. Ouseja,olimite,paraqueavantajosidadeda
contratação seja inequivocamente estabelecida em R$1.188.090,80/ano (valor
estabelecidopelo novo estudorealizado pela Unidade),seria de 30.000PFS nas ordens
de serviço mensais. Caso sejam inseridos os 80.000 pontos, o valor do PFS deverá ser,
aproximadamente, de R$ 6,34 para manutenção do mesmo valor inequívoco de
vantajosidade, ou de R$ 7,57 para que os modelos de contratação se igualem em
valores.
Em outra análise, a unidade utiliza o ano de 2018 como referência. Ano em que
aparentemente não houve sustentação para o SIMEC a partir dos contratos
mencionados na análise. Já o ano de 2017 parece ter sido completamente atípico em
relação à quantidade USTs utilizadas para sustentação de sistemas.
É possível perceber um incremento considerável no consumo de UST no ano de 2017
em todos osgrupos analisados enãosónogrupo3, ondeoSIMEC estariaincluído. Faz-
se necessário identificar e analisar os fatores que levaram às diferenças de quantidades
deUSTconsumidasnos03períodosanalisados. Claramentenãohouveum"padrão"de
comportamento na sustentação de sistemas do MEC no período considerado, sendo,
portanto, inconclusiva a utilização pura e simples da média de consumo. Inclusive, ao
seisolarosgrupos,pode-seperceberdiferenças anômalasentresos anospesquisados.
No grupo 1, por exemplo, em 2017 houve um incremento de mais de 94,3% no volume
deUSTs consumidas, chegando ao totalde 64.750 unidades. Já no anoseguinte (2018)
houvereduçãode28,4%noreferidoconsumo. Jánogrupo2,oconsumoem2017foi
124% superior em relação ao no anterior (2016), somando 25.050 unidades. Este
mesmogrupo,apósopicoalcançadoem2017,consumiuototalde12.110em2018
(menos de 50% em relação ao período anterior). A variação discrepante apresentada
não permite nenhuma possibilidade de extrapolação sem a identificação e

21. 20
Diferença
entendimento dos fatores que a provocaram, bem como a percepção dos gestores em
relação à possibilidade de continuidade ou não de tais fatores.
Aoseisolaroanode2017,conclui-seque,mesmonesteano“atípico”,ovalorgastoem
UST não supera o valor estimado da contratação atual.
Vol. UST - 2017 Valor UST Total
GRUPO 1 64.750 R$ 117,46 R$ 7.605.535,00
GRUPO 2 25.050 R$ 100,34 R$ 2.513.517,00
GRUPO 3 59.184 R$ 96,92 R$ 5.736.141,39
Custo Real em 2017 R$ 15.855.193,39
Qtd de PFS
(incluindo SIMEC)
ValorPFS
(Estimado)
Total
GRUPO 1
80.011 R$ 16,90GRUPO 2
GRUPO 3
Custo Anual Estimado (1º ano de contrato) R$ 16.226.230,80
Anteo exposto,resta ratificado que a análiseutilizando a média de anos anteriores, bem
como a análise utilizando ano 2018 realizadas pela unidade e, em ambos os casos, a
exclusão dos pontos de função relacionados ao SIMEC para a nova contratação, não
garantem, por si só, a economicidade da contratação frente a outros modelos. Tal
garantia virá,de acordo com a própria unidade, com a gestão do baseline a ser realizado
pela área requisitante da solução que deverá, dentre outros critérios, estabelecer um
“ponto ideal” para o balanceamento, a ser realizado a cada mês, entre a quantidade de
pontos de função a serem sustentados a partir da ordem de serviço mensal e a
quantidade que deverá ser objeto de ordens de sustentação sob demanda, conforme
já exposto nesteitem.
Não obstante, a unidade realizou cálculos baseando-se em uma estimativa de 30.000
pontos de funçãoa serem atendidos pelas ordens de serviços mensais. Dessa maneira,
a exigência contida no termo de referência de “execução de atividades de sustentação
desoluçõesdesoftwareemambientesdealtadisponibilidadebaseadasematendimento
a níveis de serviço e compreendendo tamanho funcional total (baseline) não inferior a
20.000 (vinte mil) PONTOS DE FUNÇÃO” torna-se desnecessária e pode restringir a
competitividade desnecessariamente.
Recomendação 4:
R$ 371.037,41

22. 21
Aunidadeinformouquesomentesistemasoumóduloscomtamanhofuncionalvalidado
pela área requisitante serãoincluídos nas ordens de serviçomensais de sustentação.
Recomendação 5:
Aunidadeinformouquevinculouàcontrataçãoocatálogodetalhadodeserviçosde
sustentação a ser utilizado nas ordens de serviços sob demanda.