O documento apresenta a metodologia CERTICS, que fornece um processo de certificação para software resultante de desenvolvimento e inovação tecnológica no Brasil. A metodologia é baseada em 16 Resultados Esperados organizados em quatro áreas de competência e avalia software por meio de evidências que demonstram o atendimento desses resultados. O modelo de referência e método de avaliação da CERTICS utilizam abordagens top-down e bottom-up respectivamente para identificar e avaliar evidências do desenvolvimento tecnológico de software.

1. Apresentador: Clenio F. Salviano (Equipe CERTICS)
RIOINFO – Rio de Janeiro, RJ – 17 de Setembro de 2013

2. Unidade de pesquisa do MCTI
Localizado em Campinas, SP
Atuação: Microeletrônica, Software e Aplicações
Composição da comunidade:
150 servidores e 200-400 colaboradores
Modelo bem sucedido
Órgão federal: estabilidade institucional e
garantia de alinhamento com políticas
públicas e com o marco regulatório
OSCIP: matriz de
competências mais
dinâmica e flexível
CTI Renato Archer
2

3. Processo de certificação que identifica software resultante de
desenvolvimento e inovação tecnológica realizados no Brasil.
Identifica e credencia software para preferência em compras públicas e
outros instrumentos que vierem a ser criados.
Seu principal objetivo é alavancar a autonomia tecnológica, a capacidade
inovativa e a geração de negócios baseados em conhecimento, que são
os princípios do desenvolvimento nacional sustentável.
Estabelece 16 Resultados Esperados que formam um conjunto mínimo
para a caracterização de desenvolvimento e inovação tecnológica
realizados no País e exige a demonstração da obtenção desses resultados.
3

4.  Competência sobre Arquitetura
 Competência sobre Requisitos
 Fases e Disciplinas Compatíveis com o Software
 Papéis e Pessoas Identificados
 Dados Técnicos Relevantes Documentados
 Competência para Suporte e Evolução do Software
 Utilizar Resultados de Pesquisa e Desenvolvimento Tecnológico
 Apropriar Tecnologias Relevantes Utilizadas no Software
 Introduzir Inovações Tecnológicas
 Ter Autonomia nas Tecnologias Relevantes do Software
 Monitorar o Mercado
 Antecipar e Atender às Necessidades dos Clientes
 Evoluir o Negócio Relacionado ao software
 Contratar, Treinar e Incentivar Profissionais Qualificados
 Disseminar o Conhecimento Relacionado ao Software
 Realizar Ações de Melhorias nos Processos
Resumo: 16 Resultados Esperados,
identificados pelos rótulos:
4

5. Como Entender, Interpretar e Avaliar
os 16 Resultados Esperados?
 Contexto (Política Pública)
 Estrutura (Modelo de Referência)
 Como avaliar (Método de Avaliação)
 Detalhamento (Orientações e Indicadores)
 Disseminação (Cursos, Palestras e CERTICSys)
 Avaliador Líder (Capacitação e Postura)
 Sustentabilidade (Ecossistema)
5

6. Contexto e Requisitos da CERTICS
Eficaz, Robusta, Inclusiva, Ágil e Acessível
Software resultante de
desenvolvimento e inovação
tecnológica realizados no País.
Política Pública
TI Maior
Margem de Preferência em Compras Públicas
Desenvolvimento
do País
Autonomia Tecnológica
Capacidade Inovativa
Negócios baseados em
conhecimento
Avalia
Processo
(Práticas)
Certifica
Software
Competência
s
Tecnológicas
e
Correlatas
6

7. METODOLOGIA CERTICS
Avaliação é baseada em evidências que demonstram o grau de atendimento
de cada um dos 16 Resultados Esperados
que estão organizados em quatro áreas de competências
1. DESENVOLVIMENTO TECNOLÓGICO
2. GESTÃO TECNOLÓGICA 3. GESTÃO DE NEGÓCIOS
4. MELHORIA CONTÍNUA
Avaliação baseada em Evidências
7

8. Processos de Avaliação e Certificação
Exploração Contratação Preparação Visita Validação Conclusão
Software CERTICSys
Método de Avaliação da CERTICS:
Certificação
Fases e Natureza dos Dados
8

9. CTI
Comitê Normativo da
Metodologia de Avaliação
Grupo de
Apoio Técnico FACTI Unidade de
Avaliação
REDE DE ENTIDADES
CREDENCIADAS
COMITÊ
RECURSAL
ProMove
QualityFocus
Software Process
SWQuality
CITS
Fumsoft
Fundação CPqD
Fundação Vanzolini
RIOSOFT
Softex Recife
SOFTSUL
ASR
Estratégia
Incremental
14 entidades em processo de contratação:
9

10. POSITIVAÇÃO DA CERTICS
JUNHO JULHO AGOSTO SETEMBRO
Lançamento Início dos Treinamentos
Metodologia no DOU Treinamento Avaliadores Líderes
Portaria MCTI Seleção da Rede
Chamada Pública para Rede
Anúncio dos Treinamentos Contratação da Rede
Acesso à Fase de Exploração
Início da certificação: 19/09
10

11. Apresentador: Clenio F. Salviano (Equipe CERTICS)
RIOINFO – Rio de Janeiro, RJ – 17 de Setembro de 2013
11
www.certics.cti.gov.br

12. SLIDES EXTRA

13. AGENDA
13
1. HISTÓRICO
2. CONSULTA PÚBLICA, PESQUISA MPEs
3. METODOLOGIA
4. CAMINHO PARA CERTICS
5. ESTRUTURA DE CERTIFICAÇÃO

14. HISTÓRICO DA CERTICS

15. DEMANDA GERAL
DESENVOLVIMENTO E
INOVAÇÃO TECNOLÓGICA
NO BRASIL
Lei 12.349/
Decreto 7546
Lei 8248
Decretos 5906 e 7174

16. CONSTRUÇÃO
DA CERTICS
Mapeamento Cenários
Web
Conferences
Aplicações-piloto
Reuniões com
especialistas
Consulta
Pública
Estudo do entorno jurídico Cenários da demanda e
modelo de negócios
Arcabouço jurídico-
institucional
< Julho 2011 > < 2012 > < 2013 >
Pesquisa
com MPEs
Desenho
Desenvolvimento
Finalização/Implementação

17. LANÇAMENTO DA CERTICS
CTI Renato Archer, Campinas
18 de junho de 2013

18. BENCHMARKING INTERNACIONAL

19. Foram identificados casos de países que fazem diferenciação de software para concessão de margem
de preferência nas compras públicas como instrumento de política a partir dos seguintes critérios:
PREFERÊNCIA POR EMPRESAS NACIONAIS:
Buy American Act, Small Business Act, Balance of Payments Act:
Componentes e insumos produzidos no País; preferência para PMEs
Lei de Compras Governamentais:
Sede da empresa no País, PI chinesa, 50% do custo de desenv. no País
Programa de Fortalecimento Econômico dos Negros:
Controle acionário e emprego de funcionários negros
PREFERÊNCIA POR SOFTWARES QUE
TENHAM CERTIFICAÇÃO DE QUALIDADE
Good Software e Software Process
Certificação de qualidade
CERTICS é um caso inédito
 distinção de software resultante de
desenvolvimento e inovação tecnológica
realizados no País pela verificação das
competências geradas.

20. CONSULTA PÚBLICA

21. PANORAMA DA CONSULTA PÚBLICA
• Período: 20.ago.2012 a 12.dez.2012 - 333 manifestações
• Principais manifestações:
• Manifestações nos canais consulta pública e atendimento
• Manifestações nas audiências públicas
• Documento FNTI
• Documento Brasscom
• Transnacionais: Ericsson, IBM, HP, Qualcomm e CISCO
• Manifestações Internacionais:
• Digital Europe – Digital Technology Industry
• Conselho Empresarial Brasil-Estados Unidos
• Japan Eletronics anda Information Technology Industries Association – JEITA
• BSA - The Software Alliance

22. TEMA
CANAL
TOTAL DE
COMENTÁRIOSCONSULTA
PÚBLICA
ATENDIMENTO
CONSULTA PÚBLICA
(dúvidas gerais, prazos, etc)
33 28 61
CERTIFICAÇÃO
(processo, documentos, etc)
42 65 107
AVALIAÇÃO
(perfil avaliadores e entidades)
5 12 17
USO DA CERTIFICAÇÃO
(objetivos, uso por
compradores, etc)
3 5 8
METODOLOGIA
(contribuições para metod.)
117 4 121
COMENTÁRIOS GERAIS
(elogios, interesse em certificar, etc)
10 9 19
TOTAL 210 123 333

23. TIPO DE ORGANIZAÇÃO No
Associações e outras entidades 13
Empresas de consultoria 5
Empresas de Tecnologia
(capital nacional)
9
Empresas de Tecnologia
(capital estrangeiro)
57
ICTs 5
Órgão Público 8
Pessoa Física 26
TOTAL 123

24. MITOS E FATOS SOBRE A CERTICS
MITO FATO
1. Vai criar reserva de mercado, diminuir
competitividade e gerar atraso
Transnacionais podem ser certificadas.
Competências para o desenvolvimento
nacional
2. Não é viável para MPEs Pesquisa com MPEs – 75% consegue
atender
Custo diferenciado por porte
3. Vai desestimular P&D global no Brasil Foco é criação de competências no Brasil –
agregação de valor local
Existência de outros mecanismos para
incentivo específico à P&D no Brasil
4. Não funciona para Software Livre SL já tem preferência de compras IN04
Modelo permite certificação de SL

25. MITOS E FATOS SOBRE A CERTICS
MITO FATO
5. Vai ter impacto muito pequeno Não há estatísticas precisas de compras
públicas e participação de empresas
nacionais
Grande potencial de uso da CERTICS em
varios incentivos e fomento
6. Não vai ter capilaridade Entidades credenciadas - rede
7. Metodologia complexa, pesada e
subjetiva
16 resultados esperados – 3 a 4 semanas
para avaliação
Norma ISO/IEC 15504 – Metodologia
8. Portaria 950 seria suficiente,
desnecessário competências correlatas
Comprovação de inovação no País
Volume de produtos Sw >>> Hw

26. 26
PESQUISA COM MPEs

27. DISTRIBUIÇÃO
DA AMOSTRA
(N=49)
4 empresas
5 empresas
5 empresas
8 empresas
10 empresas
14 empresas
1 empresa
2 empresas
REGIÃO TOTAL POR
REGIÃO
Norte 1
Nordeste 10
Centro-Oeste 4
Sudeste 19
Sul 15

28. PORTE DAS EMPRESAS
MICRO 35
PEQUENA 14

29. RESULTADOS
• Empresas, em média, atendem a 75% dos requisitos exigidos
pela Metodologia CERTICS;
• Mais de 75% das empresas avaliaram que a linguagem e/ou
terminologia utilizada na Metodologia CERTICS é adequada
para definição/entendimento;
• Cerca de 65% das empresas julgaram que o grau de
dificuldade para apresentar evidências aos requisitos exigidos
pela Metodologia CERTICS é baixo ou médio.

30. MELHORIAS NA METODOLOGIA
Consulta Pública e Pesquisa MPEs -> Melhorias na Metodologia
• Redução do número de resultados de 24 para 16:
• Eliminação de uma área de competência
• Simplificação
• Maior clareza
• Melhorias na redação dos resultados – comunicação:
• Falhas de entendimento
• Explicitação ou detalhamento de conceitos importantes que
estavam implícitos

31. 31
VERSÃO FINAL DA METODOLOGIA

32. DIRETRIZES
• A avaliação é do software, não da empresa, e é baseada na análise dos
processos utilizados no desenvolvimento do software;
• A metodologia é baseada na Norma ABNT NBR ISO/IEC 15504 para avaliação
de processo e na experiência do CTI e de seus parceiros;
• Um novo conceito (“software resultante de desenvolvimento e inovação
tecnológica realizados no País”) demanda um novo modelo de referência e
um novo método para avaliação;
• A metodologia apresenta um conjunto mínimo de resultados esperados para
a caracterização de desenvolvimento e inovação tecnológica realizados no
País e exige a demonstração da obtenção desses resultados;
• Nenhuma forma específica de estruturação, operação e documentação são
exigidas da Organização Solicitante.

33. Construção do Modelo de Referência
Evidências do
desenvolvimento e inovação tecnológica do Software
Modelo de
Referência:
Estrutura
lógica,
top-down,
orientada
pelo conceito
fundamental
Conceito Fundamental
Conceitos Operacionais
Áreas de Competência
Pergunta-chave
Resultados Esperados
Definição
Orientações e Indicadores
Orientações e Exemplos de tipos
de evidências

34. Realização de uma Avaliação
Método de
Avaliação:
Engenharia de
processamento
de informações,
bottom-up,
baseada em
evidências
Evidências do
desenvolvimento e inovação tecnológica do Software
Conceito Fundamental
Conceitos Operacionais
Áreas de Competência
Pergunta-chave
Resultados Esperados
Definição
Orientações e Indicadores
Orientações e Exemplos de tipos
de evidências

35. Metodologia
Método de
Avaliação:
Engenharia de
processamento
de informações,
bottom-up,
baseada em
evidências
Evidências do
desenvolvimento e inovação tecnológica do Software
Modelo de
Referência:
Estrutura
lógica,
top-down,
orientada
pelo conceito
fundamental
Conceito Fundamental
Conceitos Operacionais
Áreas de Competência
Pergunta-chave
Resultados Esperados
Definição
Orientações e Indicadores
Orientações e Exemplos de tipos
de evidências

36. METODOLOGIA CERTICS
Avaliação é baseada em evidências que demonstram o grau de atendimento
de resultados esperados em quatro áreas de competências
1. DESENVOLVIMENTO TECNOLÓGICO
2. GESTÃO TECNOLÓGICA 3. GESTÃO DE NEGÓCIOS
4. MELHORIA CONTÍNUA
Avaliação baseada em Evidências

37. METODOLOGIA CERTICS
Avaliação baseada em Evidências
A avaliação é realizada com
a análise de evidências que
indicam o grau de atendimento
de cada resultado esperado.
O grau de atendimento é expresso
em uma escala de quatro valores:
Não atendido,
Parcialmente atendido,
Largamente atendido, e
Completamente atendido,
sendo que será certificado o
software o que obtiver
“Largamente” ou
“Completamente atendido” em
todos os resultados esperados.
DESENVOLVIMENTO TECNOLÓGICO (DES)
DES.1. Competência sobre Arquitetura
DES.2. Competência sobre Requisitos
DES.3. Fases e Disciplinas Compatíveis com o Software
DES.4. Papéis e Pessoas Identificados
DES.5. Dados Técnicos Relevantes Documentados
DES.6. Competência para Suporte e Evolução do Software
GESTÃO DE TECNOLOGIA (TEC)
TEC.1. Utilizar Resultados de Pesquisa e Desenvolvimento Tecnológico
TEC.2. Apropriar Tecnologias Relevantes Utilizadas no Software
TEC.3. Introduzir Inovações Tecnológicas
TEC.4. Ter Autonomia nas Tecnologias Relevantes do Software
GESTÃO DE NEGÓCIOS (GNE)
GNE.1. Monitorar o Mercado
GNE.2. Antecipar e Atender às Necessidades dos Clientes
GNE.3. Evoluir o Negócio Relacionado ao software
MELHORIA CONTÍNUA (MEC)
MEC.1. Contratar, Treinar e Incentivar Profissionais Qualificados
MEC.2. Disseminar o Conhecimento Relacionado ao Software
MEC.3. Realizar Ações de Melhorias nos Processos

38. MÉTODO DE AVALIAÇÃO
Exploração Contratação Preparação Visita Validação Conclusão
Certificação
Software de apoio para avaliação/certificação e monitoramento dos resultados

39. Diferenças: Aspecto e Objeto
Maturidade de Processo: Melhores práticas da Engenharia de Software
do processo de uma Unidade Organizacional
CERTICS: Software resultante de desenvolvimento tecnológico e inovação no pais
relacionadas ao desenvolvimento de um Software
(*) Maturidade de Processo é utilizado para designar as “metodologias” representadas pelos modelos
CMM, CMMI, Modelos exemplo da 15504, MPS.BR, Automotive SPICE, MOPROSOFT, etc...
Semelhanças: Foco da Avaliação e Referência da Metodologia
• Foco no processo
• Modelo e Método de Avaliação baseados nos requisitos e estrutura
da Norma NBR ISO/IEC 15504 (SPICE) para Avaliação de Processo
Semelhanças e Diferenças:
CERTICS e Maturidade de Processo

40. Semelhanças e Diferenças:
CERTICS e Maturidade de Processo
Diferença: Amostragem
Maturidade de Processo: Projetos de uma Unidade Organizacional
CERTICS: Ações relacionadas a um Software
Diferença: Níveis de Maturidade
Maturidade de Processo: de nível 1 a nível 5 de capacidade/maturidade
CERTICS: Apenas nível 1 de capacidade/maturidade
Semelhança/Diferença: Grau de Novidade
Maturidade: Novo nos anos 1980-90 (CMM/15504), Estabilizado depois
CERTICS: Novo

41. 41
CAMINHO PARA A CERTICS

42. OPERAÇÃO CERTICS
FACTI/CTI Empresa
EMPRESA CADASTRA SOFTWARE PARA AVALIAÇÃO
EMPRESA ENTRA NO SITE CERTICS E EXPLORA A VIABILIDADE DE
SE CERTIFICAR (SIMULAÇÃO)

43. OPERAÇÃO CERTICS
FACTI/CTI Empresa
EMPRESA INDICA ENTIDADE CREDENCIADA CERTICS PARA
REALIZAR AVALIAÇÃO
ENTIDADE
CREDENCIADA

44. OPERAÇÃO CERTICS
FACTI/CTI Empresa
FACTI ATIVA ENTIDADE PARA INÍCIO DA AVALIAÇÃO
ENTIDADE
CREDENCIADA
AVALIADORES INICIAM TRABALHO DE AVALIAÇÃO
(PREPARAÇÃO, VISITA E RELATÓRIO)

45. OPERAÇÃO CERTICS
FACTI/CTI Empresa
AVALIADORES ENVIAM RELATÓRIO DE AVALIAÇÃO PARA FACTI
ENTIDADE
CREDENCIADA
RELATÓRIO É VALIDADO E APROVADO POR FACTI E CTI

46. OPERAÇÃO CERTICS
FACTI/CTI Empresa
LAUDO É ENVIADO PARA SEPIN E EMPRESA
SE LAUDO É POSITIVO, EMPRESA CADASTRA SOLICITAÇÃO
DO CERTIFICADO E SEPIN EMITE CERTIFICADO
SEPIN

47. OBSERVAÇÕES
I. Todas as etapas de avaliação e emissão dos certificados são
automatizados por um sistema dedicado para este fim
(CERTICSys)
II. Os avaliadores são monitorados por este sistema
III. Se a empresa não concordar com o laudo emitido pode
acionar o comitê recursal da certificação. Neste caso, pode
ser feito um novo processo de avaliação, dependendo do
argumento apresentado.
IV. Denúncias de fraude também podem ser feitas no comitê
recursal

48. ENTIDADES CREDENCIADAS
CRITÉRIOS DE SELEÇÃO
I. Histórico da Organização em avaliação – No de avaliações
realizadas nos últimos 5 anos, credenciamento em
metodologias de avaliação, etc
II. Indicação de potenciais avaliadores de software – pelo
menos um avaliador líder, CVs dos potenciais avaliadores
III. Indicação de um gestor para as avaliações – profissional
CLT da organização
IV. Plano de ação para oferta de avaliações – capacidade de
executar as avaliações, capacidade de escalar, estratégia de
divulgação da CERTICS para a rede de contatos

49. RELACIONAMENTO COM ENTIDADES
I. Entidade cuida da logística da avaliação – alocação do avaliador,
acompanhamento da elaboração do relatório de avaliação
II. Entidade recebe aproximadamente 40% do valor da avaliação e paga os
avaliadores. Despesas de transporte correm por conta da empresa com
produto a ser avaliado
III. Valores:
• Micro – até R$ 5 mil
• Pequena – R$ 10 mil
• Média – R$ 15 mil
• Grande – R$ 45 mil

50. 50
ESTRUTURA DE GOVERNANÇA

51. CTI
Comitê Normativo da
Metodologia de Avaliação
CNMA
Grupo de
Apoio Técnico FACTI Unidade de
Avaliação
REDE DE ENTIDADES
CREDENCIADAS
COMITÊ
RECURSAL

52. COMITÊ NORMATIVO
DA METODOLOGIA DE
AVALIAÇÃO CNMA
Ministério da
Ciência, Tecnologia
e Inovação
Ministério do
Desenvolvimento,
Indústria e Comércio
Ministério do
Planejamento,
Orçamento e Gestão
Ministério das
Comunicações

53. POSITIVAÇÃO DA CERTICS
Portaria MCTI
Decreto
Casa Civil
Portaria
MCTI/MDIC

54. POSITIVAÇÃO DA CERTICS
JUNHO
LANÇAMENTO
JULHO AGO/SET
• Metodologia no DOU
• Rel.Consulta Pública
• Portaria MCTI
• Chamada pública
credenciadas
• Anúncio treinamento
• Treinamento Geral
• Seleção credenciadas
• Exploração no Site CERTICS
Treinamento específico
• Entidades
• Avaliadores líderes
Contratação de entidades
• 19/9: Início da certificação

55. www.certics.cti.gov.br