Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS

Instrumentos de Monitoramento e
Pesquisas de Avaliação para
aprimoramento de programas sociais:
a experiência da SAGI/MDS

Porto Alegre, 5 de novembro de 2011

Paulo Jannuzzi
SAGI/MDS
SAGI - Secretaria de Avaliação e Gestão da Informação

Evidências da Importância crescentes do M&A

• Maior regularidade na promoção de eventos na área, como o
IV Seminário de Avaliação e Qualidade do Gasto Público
• Temas de M&A presentes nos jornais – impressos e mídia
televisiva
• Oferta de cursos na área
• Criação de programas de pós-graduação com abordagem
mais multidisciplinar
• Fortalecimento de redes de pesquisadores, profissionais e
demandantes – Rede Brasileira de Monitoramento e
Avaliação
• Aumento da produção acadêmica e profissional em M&A


Interesse crescente em Sistemas de M&A no Brasil

• A institucionalização das atividades de monitoramento e
avaliação (M&A) da ação governamental vem ganhando força
no Brasil.

• Indicadores de Monitoramento e Pesquisas de Avaliação vem
sendo empregados com maior regularidade por diversas
instituições públicas para acompanhar os desdobramentos
das atividades planejadas e implementadas, de modo a
auxiliar a gestão e garantir níveis crescentes de eficiência e
efetividade do gasto público.


www.mds.gov.br/sagi -> pesquisador -> publicações


Produção mais ampla de Estatísticas para M&A

• No âmbito do IBGE
– Sistema Integrado de Pesquisas Domiciliares
– Reformulação do Sistema de Pesquisas Econômicas
– Comitê de Estatísticas Sociais
– Levantamentos sobre infraestutura administativa – MUNIC e ESTADIC
– Incorporação da sociedade, governo e academia no plan. Censo 2010

• No âmbito subnacional
– Renovação da agenda de pesquisa e estudos dos institutos estaduais e
municipais de planejamento e estatísticas
– Interesse por maior intercâmbio técnico entre as instituições
– Fortalecimento da ANIPES


Organização e Produção mais sistemática de Registros
de Programas e Cadastros Públicos para M&A
• No âmbito dos Ministérios
– INEP/MEC: novo EducaCenso, Prova Brasil
– DataSus: organização e disponibilização das informações produzidas
na rede de saúde, em nível municipal, estadual e federal
– Senasp/MJ: organização das estatísticas e informações sobre
segurança pública, em conjunto com o Forum Brasileiro de Segurança
Pública
– Infologo/MPrev: estatísticas da Previdência Social (benefícios,
acidentes de trabalho etc) e CNIS
– MTE : RAIS, CAGED, informações sobre IMO e Qualificação
– MDS: Senarc – Cadastro Único de Programas Sociais e SAGI –
Indicadores de Programas e Pesquisas de Avaliação


Institucionalização dos Sistemas de M&A e maior
disponibilização de informação para M&A
• Respondem às demandas por maior transparência e
efetividade do gasto público pela sociedade, seja pelo
fortalecimento das instituições democráticas, seja pela
pressão da arrecadação tributária
• Respondem à profissionalização crescente da Administração
Pública, nas três esferas
• Respondem à introdução de sistemáticas mais sofisticadas de
planejamento e controle na gestão das Políticas Públicas
• Respondem às demandas decorrentes da estruturação de um
conjunto mais amplo de Políticas Sociais, instituídas como
direitos na Constituição de 1988


Ampliação do Gasto Público em Políticas Sociais


Ampliação do escopo e escala das Políticas Sociais


Evolução do gasto social e ampliação do escopo
e escala dos programas socias: o caso do MDS

45
40 38,9

35 32,6
28,6
BILHÕES R$

30
24,3
25 22,6
20 18,3
14,3
15 11,4
10
5
0
2003 2004 2005 2006 2007 2008 2009 2010


MINISTÉRIO DO DESENVOLVIMENTO SOCIAL E COMBATE À FOME

Segurança Alimentar e
Transferência de Renda Assistência Social
Nutricional

Banco de alimentos Programa Bolsa Família CRAS [Programa de Atenção
Integral às Famílias]
Carteira Indígena Condicionalidades Projovem Adolescente
Cisternas Ações complementares Benefício de Prestação
Continuada - BPC
Consad Cadastro Único
BPC na Escola
Cozinha Comunitária Benefícios eventuais
Distribuição de Alimentos SESEP Serviço socioassistenciais
– crianças de 0 a 6 anos
Educação Alimentar e
Nutricional Erradicação da pobreza Serviço socioassistenciais
extrema – Pessoas idosas e
PAA Pessoas com deficiência
Restaurante Popular PETI
SAGI
Agricultura Urbana CREAS

Monitoramento, Avaliação, SENTINELA [Serviço de
Gestão da Informação e Proteção Social a Crianças e
CONJUR AECI ASPAR AI Capacitação de atores Adolescentes Vítimas de
sociais Violência, Abuso e Exploração
Sexual e suas famílias]
GABINETE DA MINSTRA
Serviço de Proteção Social aos
SPO adolescentes em
cumprimento de medidas
SECRETARIA EXECUTIVA sócio educativas
SAA
SAGI - Secretaria de Avaliação e Gestão da Informação Carteira do Idoso

Monitoramento e Avaliação da Ação Governamental está
presente em várias instâncias


Monitoramento e Avaliação no MDS


Missão da SAGI

Produzir informações sistematizadas com o propósito de
• melhorar a gestão,
• avaliar e monitorar a efetividade das políticas de
desenvolvimento social e combate à fome,

por meio da realização de estudos
• sobre a demanda social,
• a implementação de programas e
• o impacto das políticas desenvolvidas,

da publicação de documentos de referência sobre a situação
social
no Brasil e

da capacitação de atores sociais


RH SAGI segundo última formação
Administração/Gestão Empresarial 4
Agronomia 2
Biblioteconomia 1
Ciência da Computação/Processamento de dados/Adm.de… 17
Ciências Sociais e Políticas / Antropologia 19
Comunicação Social 3
Demografia 5
Desenho Industrial 1
Equipe M&A:
Direito 2
Economia 2
•Diversidade de formação
Engenharia 2 •Experiência na gestão e
Estatística/Matemática 4 operação de programas
Farmacologia / Saúde pública 2 •Capacidade de
Geografia/Geoprocessamento 4 comunicação
História 4 •Espírito de inovação
Letras 1 •Conjunto de consultores
Pedagogia/Educação 6
especializados
Psicologia 3
Secretariado Executivo 1
Serviço Social 4
0 2 4 6 8 10 12 14 16 18 20
SAGI - Secretaria de Avaliação e Gestão da Informação Qtde de pessoas

• Ferramentas de Gestão de Informação
• Indicadores e Painéis de Monitoramento de
Programas
• Pesquisas de Avaliação de Desenho,
Implementação e Impactos de Programas
• Estratégias de disseminação do conhecimento
produzido


Projetos concluídos
Projetos concluídos, por ano, por secretaria finalística

ANO
Secretaria Total
2004 2005 2006 2007 2008 2009 2010

SENARC 1 1 6 1 1 1 1 12

SAIP 0 0 0 1 1 1 0 3

SNAS 0 4 6 2 1 4 7 24

SESAN 0 3 11 4 3 3 3 27

GERAL 0 2 2 3 2 5 2 16

Total por ano 1 10 25 11 8 14 13 82


Em que pesem os avanços na institucionalização dos Sistemas
de M&A,´o contexto brasileiro ainda é desafiador

• Cultura de monitoramento e avaliação de programas é
incipiente, assim como seu principal elemento
estruturador (Sistema de Proteção Social vem sendo
construído desde a Constituição de 1988)
• Formação em Avaliação de Políticas e Programas ainda é
incipiente, fortemente disciplinar, distante da realidade
operacional enfrentada pelo agente público
• Maioria dos programas sociais tem 10 a 20 anos, com
potencial de avaliabilidade muito distintos
• Resistência dos gestores à avaliação (natureza humana !)


Em que pesem os avanços na institucionalização dos Sistemas
de M&A,´o contexto brasileiro ainda é desafiador

• Projetos de avaliação são confundidos com projetos de
pesquisa de natureza acadêmica
• Múltiplas demandas de informação do gestor não permitem
fazer recortes no objeto de estudo de modo a potencializar o
“desenho metodológico”
• Tempo da decisão e recursos monetários disponíveis são fatores
críticos para uso da pesquisa
• Contexto de intervenção de um programa é muito mais
complexo (conflito de interesses, dificuldade de cooperação
etc)
• Múltiplos sujeitos e agentes envolvidos
• Produtos dos programas podem ser muito distintos: benefício
monetário, isenção tributária ou serviços


È preciso, pois, ter um conjunto de diretrizes e
estratégias para conseguir avançar na produção de
informação e conhecimentos em M&A
1. Clareza do foco dos esforços em M&A
2. Clareza da abrangência e objeto
3. Clareza sobre a avaliabilidade do programa
4. Formalização das etapas de especificação do instrumento de
monitoramento e avaliação
5. Ajustamento dos instrumentos de M&A ao estágio de
maturidade e necessidade do programa
6. Ajustamento da técnica à complexidade do programa
7. Complementaridade entre instrumentos monitoramento,
pesquisas de avaliação e estudos avaliativos


Clareza da Finalidade de Sistemas de M&A

• Podem ser orientados mais ao
– aprimoramento interno de programas,
– gestão e decisão orçamentária ou
– prestação de contas da ação governamental ao
parlamento ou à sociedade.

• Assumem características diferentes, dependendo de onde
estão sediados
– Ministério da Fazenda,
– Ministério do Planejamento,
– Ministérios setoriais,
– Assessoria da Presidência,
– Órgão de Controle Externo
– Parlamento ou Sociedade

Clareza da Abrangência e Objeto
• Podem abarcar a
– integralidade das ações de governo,
– algumas áreas setoriais ou
– um conjunto seletivo de projetos prioritários.

• A abrangência conceitual e programática dos sistemas de
M&A pode ser
– mais macro- quando se referem a Políticas ou Estratégias
de Governo
– meso – quando voltados ao acompanhamento gerencial e
analítico de programas e/ou organizações
– micro-ambiental- quando a ênfase avaliativa recai sobre
indivíduos, processos ou produtos muito específicos.


Estudo da avaliabilidade do Programa: primeiro passo

1. Analisar a avaliabilidade do programa
2. Definir o foco da avaliação
3. Definir estratégia metodológica
4. Coletar as informações
5. Organizar as informações
6. Analisar as informações
7. Apresentar as informações


Avaliabilidade do programa (Worthen et al 2004)

• Verificação preliminar
– O programa já engrenou ou tem problemas de gestão
– Não é o caso de visitas e auditorias
– Há sistemas ou registros informatizados acerca dos procedimentos
– Já existe um conjunto mínimo de indicadores de monitoramento

• Existem elementos para orientar a demanda de avaliação
– “Esclarecer o modelo ou a teoria do programa”
– “Examinar o programa na implementação para determinar se corresponde
ao modelo e se tem condições de alcançar suas metas e objetivos”
– “Explorar diferentes abordagens da avaliação para determinar o grau em
que satisfazem as necessidades de informação dos interessados e se sua
implementação é praticável”.
– “Definir as prioridades da avaliação e com os usos que se pretende fazer
em estudo”


Formalização das etapas: da demanda à pesquisa de avaliação

1. Discussão 2. Termo de Referência 3. Contratação
SAGI/UC SAGI/UC SAGI/SAA e/ou Órgão de Cooperação
•Definição da avaliação a ser realizada •Elaboração do TOR pela SAGI Internacional
•Relevância do estudo proposto •Revisão do TOR pela UC •Aprovação do TOR
•Identificação de parceiros interinstitucionais •Elaboração de edital
relevantes •Avaliação de propostas técnicas e comerciais
•Contratação da instituição executora (IE)

4. Interlocução para operacionalização do 5. Acompanhamento 6. Resultados Finais
estudo
SAGI/UC/IE SAGI/IE SAGI/UC/IE
•Definição de questões relevantes para o •Desenvolvimento dos instrumentos de •Recomendações da avaliação (IE)
estudo pesquisa •Discussões com gestores e parceiros
•Disponibilização dos dados necessários para •Envolvimento no treinamento de equipes interinstitucionais
a realização da pesquisa •Acompanhamento in loco do trabalho de •Retroalimentação dos programas
campo
•Análise, discussão e aprovação de
relatórios parciais e do relatório final
7. Divulgação dos Resultados 8. Publicações 9. Disponibilização dos microdados
SAGI/UC/IE SAGI SAGI
•Apresentação dos resultados finais ao MDS •Cadernos de estudos •Disponibilização ao CIS dos microdados
•Coletivas de imprensa (ou seminários ou •Relatórios de pesquisa desidentificados e documentação pertinente
outros formatos) abertos ao público externo •Livros
•Multimeios
SAGI = Secretaria de Avaliação e Gestão da Informação / SAA=Secretaria de Assuntos Administrativos /UC = Unidade Cliente / IE= Instituição Executora / CIS = Consórcio
de Informações Sociais Avaliação e Gestão da Informação
SAGI - Secretaria de

Avaliação ajustada à maturidade e necessidades do
Programa em seu “ciclo de vida”
Avaliação ex-ante
de demandas

Avaliação de
desenhos de
implementação

Avaliação custo-
efetividade
Avaliação de
Avaliação de processos
resultados e
impactos


Avaliação deve ser ajustada à complexidade do
programa, não o contrário

• Não existe “padrão ouro” de técnicas avaliativas

• Um bom pesquisador ou avaliador deve saber que técnicas
são mais adequadas frente à complexidade do programa, às
perguntas que se requer responder e às condições de
exequibilidade do projeto (tempo, recursos, equipe,
cooperação etc).

• Eclestismo metodológico responsável: abordagens
quantitativas e qualitativas não são mutuamente excludentes
em um projeto de pesquisa ou avaliação. São
complementares, compatíveis e conectáveis.


Ecletismo Metodológico e rigor técnico: Triangulação de
técnicas e sujeitos

Painel longitudinal com
desenho quase-experimental
Pesquisas Beneficiários X
amostrais Não Beneficiários

Indicadores
Levantamentos e e Painéis
ferramentas web
Abordagens qualitativas:
entrevistas, grupos focais,
avaliação participativa


Avaliação de Impacto do Bolsa Família 2 (desenho quase
experimental)
No Nordeste, crianças em domicílios beneficiários
do Bolsa Família, são mais propensas a freqüentar a Escola

Frequencia escolar atual, por idade – Meninos, Frequencia escolar atual, por idade –
região Nordeste, 2009 Meninas, região Nordeste, 2009
1
1

0,95 0,95

0,9 0,9

0,85 0,85
Não-beneficiário:
BF Non-recipients: NE, Não-beneficiário:
BF Non-recipients: NE,
0,8 Males masculino
NE, 0,8 Females feminino
NE,
BF Recipients: NE, NE,
Beneficiário: BF Recipients: NE, NE,
Beneficiário:
0,75 Males 0,75 Females
masculino feminino

0,7 0,7

0,65 0,65

0,6
0,6
6 7 8 9 10 11 12 13 14 15 16 17
6 7 8 9 10 11 12 13 14 15 16 17

30

Pesquisa Quantitativa de Avaliação do Programa
de Erradicação do Trabalho Infantil (PETI)

Articulação do PETI com o CRAS e CREAS:
– De acordo com os gestores, a principal forma para identificação de
crianças para o PETI é a busca de crianças em situação de trabalho
(53,6%). Os encaminhamentos feitos pelos CRAS também são realizados
com frequência (20,2%).
– Em 26,8% dos municípios as famílias de crianças e adolescentes
beneficiários do PETI são acompanhadas pelos CRAS.
– A maioria das atividades oferecidas às famílias é realizada no próprio
núcleo do PETI (85,7%) ou no CRAS (78,6%).
– O Bolsa Família é o Programa mais articulado com o PETI, segundo os
gestores entrevistados (97,3%). Logo após encontramos o CRAS
(89,3%) e o ProJovem Adolescente (72,3%).


Estudo qualitativo de Avaliação do Programa de
Erradicação do Trabalho Infantil (PETI)
Principais resultados
• As crianças e adolescentes disseram que o fato delas estarem
trabalhando foi o motivo principal de terem entrado no PETI.
• As crianças e adolescentes também afirmam que “a vida melhorou”
depois do PETI, especialmente porque:
“a vida melhorou
“conviviam depois de entrar
com as piores “o dinheiro do no PETI porque
situações de PETI auxiliou na brincam muito e
violência e convivência aprendem a ter
maus tratos” familiar” respeito com os
outros.”

Eu acho que o mais importante é
a erradicação do trabalho
infantil, que já diz tudo, as
O PETI ajudou minhas crianças...
crianças que estão aqui elas saem meus filhos saírem da rua, sem
do trabalho, e muitas aqui contar assim, que ajuda
trabalhavam em casas de farinha, financeiramente, que o governo dá
na roça, com os pais, e aqui não, pra gente, já me auxilia muito na
tem uma ajuda financeira e eles alimentação deles e assim, tira eles
vêm, se divertem, aprendem e da rua, e financeiramente me ajuda
saem do trabalho na alimentação...
Relato de monitor do PETI Relato de mãe de criança
beneficiária do PETI


Complementaridade de Sistemas de
Monitoramento e Pesquisas de Avaliação

Monitoramento e avaliação são processos analíticos
organicamente articulados, que se complementam no
tempo, com o propósito de subsidiar o gestor público
de informações mais sintéticas e tempestivas sobre a
operação do programa –resumidas em painéis ou
sistemas de indicadores de monitoramento – e
informações mais analíticas sobre o funcionamento
desse, levantadas nas pesquisas de avaliação.


Monitoramento e Avaliação de Programas

M&A de programas compõe-se de atividades de

Monitoramento de programas Avaliação de Programas
por meio de dados por meio de pesquisas
por meio de indicadores ex-ante (diagnóstico)
por meio de Painéis gerenciais desenho dos programas
por meio de Painéis analíticos processo
resultados e impactos
custo-efetividade
Recurso: base de dados e Recurso: técnicas de
aplicativos pesquisa social

Aprimoramento da Gestão do Programa


Construção do Painel de Indicadores do Plano Brasil
Sem Miséria


Premissas na especificação de indicadores

O MONIB pressupõe um exercício de identificação de
indicadores-chave para construção de painéis, segundo
diferentes lógicas de organização:
- encadeamento das ações e programas
- área temática ou programática
- nível estratégico-tático da ação

Os indicadores-chave devem ser selecionados segundo
critérios de relevância e pertinência à ação monitorada,
periodicidade de atualização, especificidade e
sensibilidade das medidas, evitando redundância e
ambiguidade nas informações apresentadas.


Aplicativos Informacionais
www.mds.gov.br/sagi


Tab Social


Pesquisas SAGI


Bibliografia de referência
•JANNUZZI,P.M. Avaliação de programas sociais no Brasil:
repensando práticas e metodologias das pesquisas avaliativas.
Planejamento e políticas públicas. Brasilia, n.36, p. 252-
275,2011.(www.ipea.gov.br)

•VAISTMAN,J.; PAES SOUSA,R. Avaliação de programas e
profssionalização da gestão pública. Brasilia, Revista
Brasileira de Monitoramento e Avaliação, n.1,p.20-37, 2011.

•ROSSI,P.H. et al. Evaluation: a systematic approach.
Thousand Oaks: Sage, 2004.

•WORTHERN, B.R. et al. Avaliação de programas:
concepções e práticas. São Paulo: EdUsp;Ed. Gente, 2004.


Obrigad@!

Paulo Jannuzzi
Secretário de Avaliação e Gestão da Informação
Ministério do Desenvolvimento Social e Combate à Fome
(+ 5561 3433-1501 )

SAGI –-Secretariat de Evaluationeand Information Management
SAGI Secretaria of Avaliação Gestão da Informação

Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS

Mais conteúdo relacionado

Semelhante a Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS

Mais de Fundação de Economia e Estatística

Instrumentos de Monitoramento e Pesquisas de Avaliação para aprimoramento de programas sociais: a experiência da SAGI/MDS Porto Alegre, 5 de novembro de 2011 Paulo Jannuzzi SAGI/MDS