Avaliação de políticas públicas

AVALIAÇÃO DE POLÍTICAS PÚBLICAS

Isaura Belloni

A avaliação de política pública é um dos instrumentos de
aperfeiçoamento da gestão do Estado que visam ao desenvolvimento de
ações eficientes e eficazes em face das necessidades da população. A
escassez de literatura teórica e sobre experiências avaliativas recomenda
criteriosa discussão conceitual e metodológica com vistas à construção de
instrumentos úteis e substantivos para a consolidação da área. Nesta parte
do trabalho estão apresentados pontos de reflexão acerca de diferentes
concepções de avaliação, com ênfase na avaliação educacional,
institucional e de políticas públicas.

1 Concepção de avaliação

Avaliar é uma ação corriqueira e espontânea realizada por qualquer
indivíduo acerca de qualquer atividade humana; é, assim, um instrumento
fundamental para conhecer, compreender, aperfeiçoar e orientar as ações de
indivíduos ou grupos. É uma forma de olhar o passado e o presente sempre
com vistas ao futuro. Faz parte dos instrumentos de sobrevivência de qualquer
indivíduo ou grupo, resultado de uma necessidade natural ou instintiva de
sobreviver, evitando riscos e buscando prazer e realizações. A este processo –
natural, instintivo, assistemático – pode-se denominar de avaliação informal.
Tal atitude e procedimento avaliativo podem ser adequados e suficientes
para as necessidades e usos individuais. É, no entanto, inadequado e
insuficiente quando se trata de instituições ou de ações (programas ou
políticas) de grande vulto ou de impacto social. Nesses casos, faz-se
necessário um processo avaliativo com características distintas e com
possibilidades de compreender todas as dimensões e implicações da atividade,
fatos ou coisa avaliada. Este processo pode ser denominado de avaliação
formal ou sistemática1.

1
Aguilar e Ander-Egg (1994:18) fazem a mesma distinção entre a avaliação informal e avaliação
sistemática, ainda que adotem significado ligeiramente distinto.

Nesta perspectiva, entende-se avaliação como um processo sistemático
de análise de uma atividade, fatos ou coisas que permite compreender, de
forma contextualizada, todas as suas dimensões e implicações, com vistas a
estimular seu aperfeiçoamento.
Portanto, o conceito de avaliação, aqui adotado, refere-se à análise de
processos e de produtos ou resultados de uma atividade, fatos ou coisas. Está
construído, tendo como objeto de avaliação, primordialmente, instituições ou
políticas. Nesse caso, contempla a atividade a ser avaliada de um modo global,
a saber: os processos de formulação e desenvolvimento, as ações
implementadas ou fatos ocorridos, assim como os resultados alcançados,
histórica e socialmente contextualizados. Não se trata, desse modo, apenas do
exame comparativo entre o proposto e o alcançado. Esta metodologia, que
aprecia o grau de consecução de objetivos e metas predefinidos, é considerada
insuficiente, pois não possibilita a contextualização da atividade ou fato, seja de
sua formulação e implementação, seja de suas consequências e implicações. A
comparação entre objetivos e resultados é apenas uma parte do processo
avaliativo e não oferece os elementos necessários para o sistemático
aperfeiçoamento da atividade, instituição ou política pública avaliada.

2 Algumas concepções de avaliação

Ainda que não seja objetivo deste trabalho fazer ampla discussão sobre o
assunto em pauta, uma primeira distinção a ser feita é aquela entre avaliação
educacional – que se refere à avaliação de aprendizagem ou de desempenho
escolar ou profissional, bem como à avaliação de currículos – e avaliação
institucional - que se destina à avaliação de políticas, de planos ou projetos e
de instituições.
A avaliação educacional concentra-se na avaliação de situações de
aprendizagem, isto é, quando um indivíduo ou grupo são submetidos a
processos ou situações com vistas à aquisição de novo conhecimento,
habilidade ou atitude; refere-se, assim, à análise de desempenho de indivíduos
ou grupos, seja após uma situação de aprendizagem ou, regularmente, no

exercício de uma atividade, em geral, profissional. É, também, avaliação
educacional aquela que se destina à análise de currículos ou programas de
ensino, seja de um curso (ex.: engenharia ou pedagogia), seja de um nível de
ensino (ex.: ensino fundamental), seja de uma modalidade (ex.: magistério de
nível médio), seja de curso de formação profissional de curta duração (ex.:
panificação).
A avaliação institucional tem como objeto instituições ou políticas públicas 2,
em especial, as políticas setoriais. Refere-se, também, à avaliação de
instituições prestadoras de serviços públicos, como educação, saúde, dentre
outras. Considera que a avaliação de planos e projetos deve ser inserida no
âmbito da política da qual fazem parte dentro de um contexto de política global.
A avaliação de políticas implementadas por instituições não governamentais -
principalmente as não lucrativas de caráter associativo – assemelha-se à
avaliação de políticas públicas3.

2.1 Avaliação educacional

Revisando a literatura das décadas de 60 a 80 acerca de avaliação de
currículos, Saul4 destaca a existência de quatro modelos principais, os quais,
de certo modo, expressam as tendências na área: avaliação para a tomada de
decisão (Stuflebeam), avaliação de mérito (Scriven), avaliação iluminativa
(Parlet & Hamilton) e avaliação responsiva (Stake). Na literatura brasileira de
avaliação educacional, a autora destaca publicações do final dos anos 70 5, em
especial o aparecimento da revista Educação e Avaliação. A área da avaliação
educacional tem-se desenvolvido de forma ampla e sistemática, com grande
contribuição para a melhoria do processo de ensino e de aprendizagem e da

2
Não se examinam, aqui, as características de avaliação de instituições empresariais, mesmo tratando-se
de empresas públicas ou mistas. Considera-se que o caráter lucrativo do empreendimento altera
profundamente a ideia de missão institucional e, portanto, a concepção de avaliação; nesse caso, é
possível que a adoção de metodologias voltadas para a aferição de eficiência e eficácia, como controle de
qualidade total ou outras, seja mais apropriada.
3
Belloni (1997d).
4
Saul (1988:35-39).
5
Entre outros autores da área deve-se destacar as publicações de Marli André, Joel Martins, Mere
Abramowicz, Maria Amélia Goldemberg, Sigmar Malvesi, Ramon Moreira Garcia e Clariza P. de Souza.

organização curricular6 nos sistemas formais de ensino e também na educação
não formal, como pode ser o caso da educação profissional.
Saul define sua proposta de avaliação emancipatória

como um processo de descrição, análise e crítica de uma
dada realidade, visando transformá-la. Destina-se à avaliação
de programas educacionais ou sociais. Ela está situada numa
vertente político-pedagógica cujo interesse primordial é
emancipador, ou seja, libertador, visando provocar a crítica, de
modo a libertar o sujeito de condicionamentos deterministas. O
compromisso principal desta avaliação é o de fazer com que
as pessoas direta ou indiretamente envolvidas em uma ação
educacional escrevam a sua “própria história” e gerem as suas
próprias alternativas de ação7.

A autora define três momentos do processo avaliativo: descrição da realidade;
a crítica da realidade e a criação coletiva; e determina que, entre outras
condições e habilidades, o avaliador, preferencialmente, deve fazer parte
integrante da equipe de planejamento e desenvolvimento do programa 8. Neste
sentido, a avaliação emancipatória parece definir-se como uma estratégia de
autoavaliação. A emancipação, dimensão política de seu objetivo, é relevante e
pertinente também à avaliação institucional. No entanto, a exigência
metodológica de participação do avaliador na equipe de planejamento e
desenvolvimento do projeto avaliado reduz sua aplicabilidade a projetos ou
políticas de grande porte. Tal procedimento pode levar à indesejada fusão de
papéis entre formulação e avaliação, com implicações múltiplas no sentido da
dessignificação dos procedimentos avaliativos. A necessidade de autonomia do
processo avaliativo, bem como a relevância da combinação de avaliação
externa e autoavaliação, serão examinados nas próximas seções.
Jussara Hoffmann9, por sua vez, trata a avaliação como uma das
mediações pela qual se encorajaria a reorganização do saber. Ação,
movimento, provocação, na tentativa de reciprocidade intelectual entre os
elementos da ação educativa. Professor e aluno buscando coordenar seus
pontos de vista, trocando ideias, reorganizando-as. Nessa perspectiva, o erro é
construtivo, ou seja, a verificação de respostas certas ou erradas encaminha-se

6
Destacam-se, entre outros, os estudos desenvolvidos por Menga Lüdke e Ilma Passos.
7
Saul (1988:61).
8
Idem, p. 63.
9
Hoffmann (1991:67).

num sentido investigativo e reflexivo do professor sobre as manifestações dos
alunos. As soluções buscadas pelo aluno para as alternativas propostas pelo
professor são produzidas de acordo com a lógica das vivências do educando. A
compreensão da avaliação como estratégia de solução de problemas e
aperfeiçoamento das ações é elemento comum entre avaliação educacional e
avaliação de políticas e de instituições.

2.2 Avaliação institucional e de política pública

Esta modalidade de avaliação ainda carece de maior aprofundamento
teórico e metodológico. Uma breve análise da literatura e da prática na área
indica fluidez conceitual e metodológica, grande dose de amadorismo e
empiricismo, assim como frequente escassez de critérios e de clareza acerca
da relevância e utilidade dos resultados.
Cohen e Franco apontam a necessidade de elevar o grau de
racionalidade das políticas e, a partir daí, consideram que:

A avaliação de projetos sociais tem um papel central neste
processo de racionalização e é um elemento básico do
planejamento. Não é possível que estes sejam eficazes se não
forem avaliados os resultados de sua aplicação. Por isso, dispor
de avaliações ex-post de projetos em cursos ou já realizados é
fundamental para melhorar os modelos. Desse modo, a
avaliação ex-ante permite escolher a melhor opção dos
programas e projetos nos quais se concretizam as políticas10.

Aguilar & Ander-Egg propõem a seguinte definição de avaliação:

A avaliação é uma forma de pesquisa social aplicada,
sistemática, planejada e dirigida; destina-se a identificar, obter e
proporcionar de maneira válida e confiável dados e informações
suficientes e relevantes para apoiar um juízo sobre o mérito e o
valor dos diferentes componentes de um programa (tanto na
fase de diagnóstico, programação e execução) ou de um
conjunto de atividades específicas que se realizam, foram
realizadas ou se realizarão, com o propósito de produzir efeitos
e resultados concretos; comprovando a extensão e o grau em

10
Cohen & Franco (1993:16).

que se deram estas conquistas, de tal forma que sirva de base
ou para uma tomada de decisões racional e inteligente entre
cursos de ação, ou para solucionar problemas e promover o
conhecimento e a compreensão dos fatores associados ao êxito
ou fracasso de seus resultados11.

Certamente, parte das proposições voltadas para a avaliação
educacional, anteriormente apontadas, são adequadas às características e
necessidades da avaliação institucional e de políticas públicas. Considerando
os modelos brevemente referidos, pode-se estabelecer algumas aproximações
entre avaliação institucional e a educacional. A avaliação institucional deve
buscar uma compreensão da realidade (avaliação iluminativa de Parlet &
Hamilton); deve estar voltada para o processo decisório (avaliação voltada para
a tomada de decisão de Stuflebean); deve responder a questionamentos
(avaliação responsiva de Stake); pode possibilitar a identificação de mérito ou
valor (avaliação de mérito de Scriven). Sem dúvida, beneficia-se das principais
proposições da avaliação participativa, em especial seus objetivos e ênfase na
participação dos sujeitos integrantes da instituição ou política a ser avaliada.

Belloni, quando da proposta de avaliação institucional da Universidade
de Brasília, em 1998 ressaltava;

(...) dois objetivos, considerados como básicos, a serem
alcançados por uma avaliação institucional. Em primeiro lugar
ela deve promover uma autoconsciência da instituição. A
avaliação adquire importância na medida em que permite aos
indivíduos envolvidos conhecerem as limitações com as quais
trabalham, bem como sugere um marco de identificação com os
ideais buscados na construção da Universidade e sociedade
utópicas.

Ao garantir as informações necessárias para tomada de decisão
por parte daqueles a quem esta competência foi delegada em
todos os níveis, a avaliação realiza o seu segundo objetivo.
(...) Politicamente, assumir a avaliação implica na decisão da
instituição de tomar para si a capacidade de intervir no processo
de produção acadêmica, bem como proporcionar espaços à
participação responsável e consciente, tendo em vista o
aperfeiçoamento cada vez maior das atividades exercidas pela
Universidade12.

11
Aguilar & Ander-Egg (1994:31-32).
12
Belloni, I. e outros (1988a:12-13).

Na mesma direção, é dada ênfase aos aspectos qualitativos e ao
compromisso político da avaliação:

A avaliação do desempenho de instituições educativas de nível
superior tem como finalidade a constante melhoria da qualidade
e da relevância, científica e política, das atividades
desenvolvidas13.

Na avaliação realizada da política de formação sindical, de uma entidade
de trabalhadores brasileiros, ficou explicitado o caráter global e sistemático da
avaliação, assim como seu objetivo voltado para o aperfeiçoamento da
atividade:

Há sempre o momento em que toda obra humana necessita ser
colocada em situação crítica, como condição mesmo de sua
continuidade. (...) A avaliação deve abranger não apenas as
atividades, mas também a própria estratégia, sem contudo
perder de vista que o foco da avaliação (...) é sua lógica
interna14.

2.3 A multiplicidade da avaliação

A partir destas breves explanações, é oportuno destacar que as
concepções de avaliação podem ser agrupadas em diferentes conjuntos,
considerando óticas ou critérios distintos: (1) de acordo com a concepção de
avaliação adotadas e os objetivos visados; (2) segundo o momento em que se
realiza, contemplando elementos históricos condicionantes do objeto (atividade,
fato ou coisa) avaliado; (3) quanto ao tipo ou procedência dos sujeitos
envolvidos, no processo avaliativo, enquanto sujeitos políticos. Esta distinção
analítica ajuda a compreender as diferentes ênfases adotadas e a explicitar os

13
Belloni (1989:64).
14
Belloni (1997d:25).

limites e abrangência envolvidos, seja nas concepções apresentadas na
literatura, seja nos processos avaliativos efetivamente implementados.
Do ponto de vista da concepção de avaliação, pode-se considerar os
seguintes tipos principais: (1) avaliação como comparação entre uma situação
ou realidade dada e um modelo ou perspectiva definida previamente; (2)
avaliação como comparação entre proposto e realizado, isto é, comprovação
do atendimento de objetivos e metas; (3) avaliação como processo metódico de
aferição de eficiência e eficácia; (4) a avaliação como instrumento de
identificação de acertos e dificuldades com vistas ao aperfeiçoamento.
Quanto ao momento em que se realiza o processo avaliativo, a avaliação
pode ser15: (1) diagnóstica, quando realizada antes da ação, isto é, antes da
definição (tomada de decisão) ou da implementação de uma ação ou política, e
pode ter como objetivos tanto a identificação de prioridades e metas, quanto
estabelecer parâmetros de comparação para avaliação a posteriori; (2)
processual, quando desenvolvida durante o processo de implementação da
ação avaliada, muitas vezes confundindo-se com o processo de
acompanhamento e controle; (3) global, quando se realiza ao final da
implementação ou execução e tem como objeto tanto o processo de
formulação e implementação, como os resultados e implicações da atividade
ou política avaliada.
Considerando os sujeitos do processo avaliativo, que são sempre sujeitos
politicamente situados no mundo, a avaliação pode ser: (1) interna ou
autoavaliação, quando o processo é conduzido por sujeitos diretamente
participantes das ações avaliadas; (2) externa, quando conduzida por sujeitos
externos e independentes da formulação, implementação ou dos resultados da
ação avaliada; (3) mista, quando envolve estes dois grupos de sujeitos; (4)
participativa, que é um tipo de autoavaliação apropriada a processos
participativos nos quais a população-alvo participa tanto da formulação quanto
da implementação da ação avaliada16.
Observa-se, ainda, que algumas definições de avaliação são
operacionais, voltadas para descrição do processo avaliativo, enquanto outras
são finalísticas, pois centradas nas finalidades da avaliação. Em geral, a

15
Aguilar & Ander-Egg (1994:60-61); Cohen & Franco (1993:108-109); e Freitas & Silveira (1997:23).
16
Cohen & Franco (1993:114).

maioria das concepções congrega elementos de ambas; outras são
efetivamente conceituais ou filosóficas, pois conseguem explicitar o significado
mais amplo da ação avaliativa, não se detendo na especificação de objetivos
ou do processo de implementação da avaliação, fundamentando-se na reflexão
ou questionamento radical do objeto, da especificidade e dos próprios sujeitos
da avaliação, na perspectiva da pesquisa de nexos desconhecidos e do aporte
de conhecimentos novos, que contribuam para a explicitação da atividade, do
fato ou da coisa submetida à avaliação.

Referência

BELLONI. Isaura; MAGALHÃES, Heitor de; SOUSA, Luzia Costa de.
Metodologia de avaliação em políticas: uma experiência em educação
profissional. 3. ed. São Paulo: Cortez, 2003, p. 14-25. Coleção Questões da
Nossa Época. v. 75.

Avaliação de políticas públicas

Mais conteúdo relacionado

Mais procurados

Semelhante a Avaliação de políticas públicas

Mais de Sérgio Araújo

Avaliação de políticas públicas