A administração pública gerencial

391 visualizações

Publicada em

0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
391
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
6
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

A administração pública gerencial

  1. 1. 2972 ARTIGO ARTICLE Tendência do campo de avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil: 1980-2004 Trends in graduate courses on the evaluation of public food and nutrition programs in Brazil, 1980-2004 Flávia Conceição dos Santos Henrique 1 Pedro Israel Cabral Lira 2 Sandra Maria Chaves dos Santos 3 Sonia Lucia Lucena Sousa de Andrade 2 Abstract Introdução 1 Centro de Ciências de In recent years, public policy evaluation in Bra- A avaliação de políticas públicas no Brasil vem, no Saúde, Universidade Federal do Rocôncavo Baiano, Santo zil has become a strategic tool for improving the decorrer das últimas décadas, sobretudo a partir Antônio de Jesus, Brasil performance of public action, capable of con- da década de 90, subsidiária de um movimento 2 Faculdade de Nutrição, tributing effectively to social welfare. Despite this de âmbito internacional provocado por mudan- Universidade Federal de Pernambuco, Recife, Brasil. recognition, evaluative practice has still not been ças crescentes na sociedade, emergindo como 3 Escola de Nutrição, incorporated into the programs’ “life cycle”, espe- ferramenta estratégica privilegiada para uma Universidade Federal da cially in the social area. Programs that lack sig- gestão de qualidade, indutora de melhor perfor- Bahia, Salvador, Brasil. nificant evaluative practice include those related mance das intervenções públicas, capazes estas Correspondência to food and nutrition. This article thus aimed to de contribuírem efetivamente para o bem-estar F. C. S. Henrique characterize the field of evaluation of public food social. Ganhou também relevância tendo em vis- Centro de Ciências da Saúde, Universidade Federal do and nutrition interventions in graduate studies ta a possibilidade de responder por demandas Recôncavo Baiano. programs in Brazil. The study focused primarily públicas crescentes, por transparência nos atos Travessa do Areal 231, 1 o andar, Santo Antônio on theses and dissertations from 1980 to 2004, de governos e por maior responsabilização do de Jesus, BA converging on the functioning of interventions setor público diante da sociedade 1,2. 44573-160, Brasil with a predominance of documental research No contexto latino-americano, de aumento flavia_csh@yahoo.com.br and case studies. Analytically, the principal the- de necessidades sociais e escassez de recursos, a matic categories in these theses and dissertations demanda por avaliações de intervenções públi- have shifted from a more biological focus to the cas, assim como a própria formulação de novas socio-political dimension. políticas de corte redistributivo, passa a ser uma questão estratégica a partir dos anos 80. Marcam Nutrition Programmes; Public Policies; Health esse período uma profunda crise econômica e Postgraduate Programs suas conseqüências lógicas como o aumento do desemprego e empobrecimento de parte signi- ficativa da população. Essa realidade solicitava maior racionalidade do processo decisório, a fim tanto de potencializar as ações em desenvolvi- mento quanto de minimizar (ao máximo) esco- lhas trágicas 2,3. Estudo sobre a evolução das condições e das políticas sociais no Brasil na década de 90 Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  2. 2. INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2973 intervenções públicas de alimentação e nutriçãodivulgado pelo Ministério do Planejamento, Or- em programas de pós-graduação no Brasil nasçamento e Gestão e Instituto de Pesquisa Econô- últimas décadas.mica Aplicada (IPEA) 4 em 2001 revela que a in- Importante dizer que não interessou, nesteversão de recursos financeiros na área, medidos momento, focar os resultados das avaliações. As-em porcentagem do PIB, atingiu um total de 14% sim não se trata de uma sistematização dos resul-em 1999. Sem pretender colocar em discussão a tados das avaliações, mas sim de um estudo so-adequação desses recursos em termos de pos- bre os métodos, os procedimentos e as análises.sibilidade de enfrentamento real das demandas Entende-se que a realização de uma sistema-sociais, seria imprudente não reconhecer, em um tização como a proposta nesse estudo, ao am-contexto de demandas crescentes, a preocupa- pliar a compreensão da área, pode contribuirção ético-social com o uso eficiente dos recursos para uma reflexão e, sendo o caso, para um re-investidos. direcionamento da prática avaliativa das inter- Em detrimento do papel central imputado ao venções na área de alimentação e nutrição. Podeprocesso avaliativo nos últimos anos, na prática ser útil ainda para o repensar das estratégias deainda é incipiente a experiência brasileira com aperfeiçoamento dos instrumentos de análiseavaliação de políticas e programas públicos da utilizados.esfera estatal, sobretudo de forma sistemática eorganizada, distanciando-se da sua capacidadede integrar os processos de tomada de decisão, Percurso metodológicode planejamento e de fomentar o redireciona-mento de intervenções em desenvolvimento 5. Para caracterização do campo da avaliação deRessente-se a administração pública da ausência intervenções públicas de alimentação e nutriçãode uma “cultura de avaliação”, sobretudo aquela em programas de pós-graduação no Brasil ele-apoiada em um modelo teórico-metodológico geu-se como objeto central de análise a produçãocoletivamente reconhecido 1,6. bibliográfica, especificamente teses e disserta- Não bastasse isso revela-se ainda a forma ções, defendidas no âmbito de pós-graduações,desigual como as diferentes políticas públicas a partir da década de 80.– sobretudo as sociais – são avaliadas 7. Dentre A opção por esse tipo específico de produ-os programas sociais que se ressentem de uma ção acadêmica justificou-se a partir do reconhe-prática avaliativa significativa, estão aqueles da cimento de que, sendo a universidade o espaçoárea de alimentação e nutrição 8. Com uma histó- privilegiado de produção de conhecimento cien-ria de desenvolvimento descontinuada, já se vão tífico, as pós-graduações stricto sensu expressamcerca de setenta anos sem que tais intervenções a tendência dominante desta produção e servemintegrem de forma sistemática o processo ava- como sinalizadores da relevância da temática emliativo ao seu ciclo de vida. É possível inferir que períodos específicos.no Brasil, o longo período de implementação de Considera-se que este recorte metodológicoprogramas de alimentação e nutrição não tem não cobre a totalidade da produção bibliográficasido acompanhado na mesma proporção de ava- brasileira neste campo e, do mesmo modo, nãoliações retroalimentadoras 8,9,10. responde – de todo – sobre o que tem sido feito Soma-se a essa insuficiência do processo ava- em avaliação de intervenções em alimentação eliativo e ao desafio de incrementá-lo, a necessi- nutrição; entretanto, acredita-se que conseguedade de aprimorar os critérios e metodologias abarcar parcela representativa de avaliações re-utilizadas, uma vez que as políticas sociais e as alizadas neste campo, considerando que as pós-de alimentação e nutrição aí inseridas vieram, a graduações no Brasil desempenham um papelpartir da década passada, incorporando novos estratégico na formação da agenda de pesquisa.princípios e mecanismos operacionais que aca- O recorte temporal foi definido tendo embam por configurar um novo desenho de gestão perspectiva o objetivo de caracterizar a tendên-e, no dizer de Reis 11, modelaram a maneira como cia das avaliações ao longo de determinado pe-vemos as relações do Estado nacional com o mer- ríodo. Para este fim considerou-se pertinente ocado e a sociedade. A descentralização das ações, período delimitado pelo fato de no Brasil a práti-a implementação do controle social, dentre ou- ca avaliativa ser de desenvolvimento recente. En-tros, para além de figurarem como princípios quanto campo temático, a avaliação de políticasque otimizariam e qualificariam a ação pública12,13,14, por si só, implicam mudanças culturais públicas emerge no Brasil a partir da década de 80. Também, por ser esse o período em que se in-na gestão pública. tensifica no Brasil o desenvolvimento de progra- Isto posto, o objetivo desse artigo foi caracte- mas sociais. Ao longo das décadas de 90 e 2000 asrizar, do ponto de vista conceitual, teórico-me- políticas sociais (e as de alimentação e nutriçãotodológico e analítico, o campo da avaliação de Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  3. 3. 2974 Henrique FCS et al. aí inseridas) passaram a incorporar novos princí- de análise; categoria analítica; temporalidade da pios e mecanismos operacionais. avaliação; delineamento do estudo; abordagem O rastreamento dos trabalhos acadêmicos metodológica; conceito de avaliação; e informa- ocorreu em três momentos. Inicialmente foi fei- ção produzida. to a partir de pesquisa bibliográfica ao banco de teses da Coordenação de Aperfeiçoamento de Recorte programático Pessoal de Nível Superior (CAPES), da Fundação Oswaldo Cruz (FIOCRUZ) e à base de dados do Tomando como referência a classificação de Centro Latino-Americano e do Caribe de Infor- Draibe 15, reporta-se ao objeto a ser avaliado mação em Ciências da Saúde (BIREME). podendo ser uma política, projeto ou programa. Por se tratarem de intervenções que remetem Para fins de classificação utilizou-se da própria à área de saúde e terem como escopo a melho- denominação dada pelos autores dos trabalhos. ria das condições de saúde e nutrição, em um segundo momento comunicações eletrônicas Unidade de análise foram enviadas às pós-graduações em nutrição, saúde pública e saúde coletiva, buscando confir- Considera o programa ou política que foi objeto mar e complementar os achados. de estudo de cada um dos trabalhos. No terceiro momento foram explorados os banco de teses disponibilizados ao público por Vínculo institucional algumas instituições em suas páginas eletrôni- cas. Refere-se à instituição, mais precisamente à Uni- Foram incluídos todos os trabalhos defendi- versidade, onde está situada a pós-graduação na dos a partir da década de 80, que versassem sobre qual os trabalhos foram desenvolvidos. políticas e/ou programas de alimentação e nutri- ção e que contemplassem como objeto central a Unidade acadêmica avaliação de uma intervenção pública de âmbito nacional. Identifica a Escola ou Faculdade de cada uma das Como estratégia de busca dos trabalhos, fo- Universidades, onde está situada a pós-gradua- ram utilizados os seguintes descritores: políticas ção, na qual os trabalhos foram desenvolvidos. de alimentação e nutrição; avaliação de políti- cas e/ou programas de alimentação e nutrição; Período de realização avaliação; avaliação de políticas e/ou programas; nutrição; políticas públicas. Vale reconhecer que Classifica os trabalhos quanto à década, 80, 90 ou na identificação dos trabalhos podem ter ocor- 2000, em que o trabalho foi defendido. rido perdas em virtude de “contingências de in- dexação”. Finalidade da avaliação Para assegurar a padronização e objetivida- de durante a análise, foi elaborado um plano de Refere-se ao propósito da avaliação. Toma como análise instrumental, o qual considerou (em ca- referência a classificação de Weiss 17. Assim dis- da trabalho), a estratégia de avaliação adotada. tinguem-se: (1) avaliação para o processo decisó- Para Draibe 15 a estratégia de avaliação abarca rio: avaliações que pretendem detectar obstácu- as escolhas realizadas quanto aos objetivos, foco, los e propor medidas de correção e alteração de natureza e tipo de avaliação as quais implicam programas, visando à melhoria da qualidade do tanto no “plano privilegiado” de investigação do seu processo de implementação e do desempe- objeto, como também nas opções metodológicas nho da política; (2) avaliação para o aprendizado realizadas. organizacional ou produção do conhecimento: Desta forma, uma vez construído o plano de são aquelas que buscam disseminar lições de análise, foi conduzida a análise propriamente di- aprendizagem para melhorar as práticas admi- ta, pautada em um universo de 16 trabalhos. As nistrativas e, sobretudo, a qualidade das políticas categorias que constituem o plano foram esta- públicas. belecidas utilizando-se das classificações mais comumente informadas na literatura 5,7,15,16,17 Foco de análise baseada em critérios que orientam escolhas con- ceituais e metodológicas dos estudos de avalia- Tipologia clássica de avaliação. Representa ção. Assim as categorias analíticas privilegiadas o ponto para onde converge a análise. Assim foram: recorte programático; unidade de análise; considerou-se: (1) avaliação de processo ou de vínculo institucional; unidade acadêmica; perí- funcionamento: tem como foco o desenho, as odo de realização; finalidade da avaliação; foco características organizacionais e de desenvolvi- Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  4. 4. INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2975mento dos programas. Seu objetivo é fundamen- post-facto: guarda pontos de semelhanças com atalmente o de detectar os fatores que, ao longo da pesquisa experimental, mas difere no que se re-implementação, facilitam ou impedem que um fere ao controle das variáveis independentes; (5)dado programa atinja seus resultados da melhor estudo de caso: caracterizado pelo estudo pro-maneira possível 15. (2) Avaliação de resultados: fundo e exaustivo de um objeto buscando umtem como foco as etapas posteriores à imple- conhecimento mais aprofundado.mentação e busca analisar a proporção das me-tas realizadas e de cumprimento do planejado ou Abordagem metodológicaos índices de cobertura da população-alvo. ParaDraibe 15 esse tipo avaliação, mais que buscar sa- Refere-se aos procedimentos sistemáticos utili-ber o quanto foi alcançado em relação ao plane- zados nos trabalhos para a descrição-explicaçãojado, busca saber com que qualidade os objetivos do problema 19 podendo ser: (1) quantitativo:foram alcançados. Em decorrência de o termo caracterizado pelo uso da quantificação tantoaludir a coisas diversas, a autora considera três para coleta quanto para análise dos dados, o quetipos de resultados: (1) resultados (no sentido es- se verifica pelo uso de técnicas estruturadas detrito), outcomes ou desempenho: são os produtos coleta de dados e pelo emprego de estatísticasprevistos nas metas do programa, obtidos ao fi- desde as mais simples às mais sofisticadas paranal da sua operacionalização; (2) impactos: cor- análise do material; (2) qualitativo: ao contráriorespondem às alterações ou mudanças efetivas do anterior, não utiliza a estatística como instru-na realidade sobre a qual o programa intervém mental básico do processo de análise. Lança mãoe por ele são provocadas, referem-se aos efeitos de técnicas de observação e entrevistas e exploralíquidos do programa sobre a população-alvo; a análise de conteúdo.(3) efeitos: referem-se a mudanças, esperadas ounão, no contexto social e institucional em que o Conceito de avaliaçãoprograma foi realizado; (4) avaliação agregada:quando processos e resultados são avaliados em Entendidos aqui como operações mentais queconjunto. refletem certo ponto de vista a respeito da reali- dade 20. Considerou-se a explicitação ou não deCategoria analítica um conceito de avaliação.Considera o conceito central de interesse a partir Informação produzidado qual a análise foi organizada. Refere-se à forma como os dados foram traba-Temporalidade da avaliação lhados na(s) seção(ões) resultados e discussão, e apresentados na conclusão. Assim foi esta-Relacionada com o momento de realização da belecida uma distinção dos trabalhos em: (1)avaliação. Distinguem-se: (1) avaliação ex ante: descritiva: dados trabalhados e apresentados,precede ao início do programa, ocorrendo em destacadamente na forma de descrição das ca-geral durante as fases de sua preparação e for- racterísticas do objeto, com algum grau de re-mulação, também referida como avaliação-diag- lação entre variáveis, processos ou fatores; (2)nóstico; (2) avaliação ex post: é feita ao mesmo descritiva-analítica: além da descrição, ocorretempo ou após a realização do programa. uma preocupação com a identificação de fato- res que incidem sobre o objeto, favorecendo ouDelineamento do estudo obstando sua realização; (3) descritiva-proposi- tiva: engloba o processo de descrição, mas tam-Considerado, sobretudo, a partir do procedimen- bém apresenta propostas ou recomendações; (4)to adotado para a coleta de dados 18 podendo ser: descritiva-analítica-propositiva: envolve as três(1) pesquisa bibliográfica: quando os dados deri- ações – descreve, analisa e recomenda.vam de material já elaborado, oriundos de fontes Vale dizer que a categorização empreendidabibliográficas como livros, artigos científicos; (2) não pretendeu classificar os estudos numa escalapesquisa documental: muito semelhante à an- de valor, mas sim apontar a articulação necessá-terior, difere-se pela natureza das fontes; mais ria entre objetos e tipologias e assim revelar asespecificamente utilizam material que ainda não alternativas conceituais, metodológicas e analíti-recebeu tratamento analítico como portarias, cas privilegiadas nos estudos. Entende-se que asrelatórios técnicos etc. (3) pesquisa experimen- tipologias são tentativas de simplificações da re-tal: caracterizado pela seleção de variáveis, com alidade com o intuito de facilitar a compreensãouma forma definida de controle e de observa- de processos complexos. Da mesma forma reco-ção do efeito produzido por estas; (4) pesquisa ex nhece-se que processos classificatórios guardam Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  5. 5. 2976 Henrique FCS et al. em si algum grau de abstração, nem sempre pró- públicas de alimentação e nutrição, o campo da ximos do real. saúde apresenta-se como o lócus privilegiado de produção do conhecimento, sobretudo a área de saúde pública. Resultados e discussão Esses achados apontam para uma relação estreita com o desenho das intervenções, as Recorte programático e unidade de quais historicamente associam os programas de análise dos estudos de avaliação alimentação e nutrição com ações de melhoria das condições de saúde e nutrição com ênfase Considerado como uma das primeiras decisões no combate à desnutrição (materna, infantil, do a serem tomadas pelo avaliador, o recorte pro- trabalhador). gramático refere-se ao objeto a ser avaliado, po- No que diz respeito ao período de realização dendo ser uma política, projeto ou programa. Do – defesa do trabalho – encontrou-se uma con- total de trabalhos analisados (16) observou-se centração significativamente maior nos anos que 2 (12,5%) tiveram como objeto de investi- 2000 com 10 estudos (62,5%), seguida de 4 (25%) gação uma política pública estatal, enquanto 14 trabalhos desenvolvidos nos anos 90, e 2 (12,5%) (87,5%) se debruçaram sobre o estudo de pro- nos anos 80. gramas específicos. A distribuição dos trabalhos Tal distribuição guarda uma estreita relação segundo a unidade de análise mostrou que os com a trajetória de desenvolvimento e de reco- programas de suplementação alimentar e de ali- nhecimento do papel estratégico da pesquisa de mentação do trabalhador foram os mais avalia- avaliação de políticas e programas no Brasil. Re- dos no período em estudo. conhece-se que, no Brasil, a pesquisa de avalia- A predominância substantiva de avaliações ção de políticas, embora comece a se desenvolver de programas já era esperada, uma vez que a a partir da década de 80, só a partir da década de avaliação de política é de difícil exeqüibilidade 90 adquire fôlego, com o seu reconhecimento en- em decorrência da sua complexidade e conse- quanto instrumento de aprimoramento das polí- qüentes demandas operacionais que vão desde ticas públicas, para a gestão mais eficiente e como recursos intelectuais até materiais e de tempo. apoio para a reforma do aparelho do Estado 2. Associadas a esse fato somam-se exigências das pós-graduações, as quais implicam sobremanei- Finalidade da avaliação, foco de análise, ra no escopo das investigações, como o prazo categoria analítica e temporalidade para conclusão e ausência de uma política de fi- da avaliação nanciamento capaz de subsidiar produções mais abrangentes. A distribuição dos trabalhos segundo a finalida- de da pesquisa avaliativa revela que 75% reali- Vínculo institucional, unidade acadêmica, zaram avaliações que tinham como propósito período de realização o aprendizado organizacional e 25% o processo decisório. No primeiro caso destacaram-se, res- Quanto ao vínculo institucional, aparecem ape- pectivamente, aqueles relacionados com a com- nas quatro instituições: Universidade Federal da preensão de modos de intervenção social e os Bahia (UFBA) com 6 trabalhos, representando que se interessaram pelo fornecimento de ele- 37,5%, Universidade de São Paulo (USP), soman- mentos para reflexão sobre a prática, subsidian- do 5 (31,2%); FIOCRUZ com 3 (18,8%) e Univer- do escolhas por parte daqueles que planejam as sidade do Estado do Rio de Janeiro (UERJ), apre- intervenções. Pode-se dizer que quanto à fina- sentando 2 (12,5%) trabalhos. lidade, as avaliações tiveram propósitos muito Em relação às unidades acadêmicas, em ca- mais teóricos, próximos da pesquisa pura, que da uma das quatro instituições, observou-se que operacionais. na UFBA, a Escola de Nutrição (ENUFBA), des- De acordo com o foco de análise, conside- taca-se na produção de avaliações seguida do rada a tipologia clássica da avaliação, os traba- Instituto de Saúde Coletiva (ISC) e da Escola de lhos estavam distribuídos em: 56,2% avaliações Administração. Na USP prevaleceu a Faculdade de processo, 37,5% avaliações de resultado e de Saúde Pública; na FIOCRUZ a totalidade ori- 6,3% avaliações agregadas. Buscando responder ginou-se na Escola Nacional de Saúde Pública a uma possível tendência temporal do foco de Sergio Arouca (ENSP) e na UERJ no Instituto de análise desses estudos, fez-se uma correlação Medicina Social (IMS). entre esta categoria analítica e o ano de defesa Distribuindo-se os trabalhos segundo a área da tese/dissertação. de concentração depreende-se que, em se tra- Esta associação permitiu reconhecer que tando de pesquisa avaliativa sobre intervenções 88,9% das avaliações de processo foram realiza- Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  6. 6. INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2977das nos anos 2000. Quanto à avaliação de resul- plementação 22 que permitissem explicar as ra-tados, observou-se que se concentraram entre as zões do sucesso ou fracasso das mesmas.décadas de 80 e 90, com percentuais de 33,3% e Uma outra variável explicativa que poderia50% respectivamente; apenas 16,7% foram reali- ser agregada a essa análise relaciona-se com ozadas nos anos 2000. Tal reconhecimento revela próprio desenvolvimento das Ciências Sociais,uma mudança temporal no foco de análise das enquanto campo de conhecimento e a incorpo-avaliações. Entre as décadas de 80 e 90 o inte- ração de seu corpo de conhecimento às pós-gra-resse das avaliações de políticas e programas de duações na área de saúde, como já visto, lócusalimentação e nutrição recaía sobre os resultados privilegiado de desenvolvimento dos estudosesperados, especificamente o impacto utilizan- de avaliação na área de políticas públicas de ali-do o critério de efetividade. Já em períodos mais mentação e nutrição. Tal incorporação conduziurecentes (anos 2000), os estudos têm se interes- a uma maior complexidade do processo analí-sado mais pelo funcionamento e mecanismos tico. Entendidas inicialmente como políticas deespecíficos que propiciam atingir os resultados melhoria das condições de saúde, via combate(esperados ou não). à desnutrição, o arsenal das Ciências Sociais aí Essa mudança pode ser creditada a duas incorporado permitiu novos olhares à imagemordens de fatores, até certa medida correlacio- da política pública, dando margem à inclusão denados: o primeiro está relacionado com as mu- uma série de outras variáveis interessantes alémdanças pelas quais passaram (ou vêm passando) das biológicas, até então privilegiadas.as políticas de corte social e, nesse contexto, as No que concerne aos conceitos centrais quepolíticas de alimentação e nutrição, nos planos interessaram aos trabalhos de avaliação, consi-internacional e nacional, as quais em conse- derados a partir das categorias analíticas eleitasqüência exigiram a inclusão de novos focos ao pelos avaliadores, observou-se que estes estive-processo avaliativo; o segundo, seguindo na es- ram voltados para a efetividade (25%), descen-teira da mudança no desenho das políticas públi- tralização (18,8%), participação (18,8%), evolu-cas, vincula-se ao processo de amadurecimento ção (histórica e normativa) (12,5%), eficiência,da prática da avaliação. adequação e implementação, cada um deles com No Brasil intensifica-se, a partir da década de 6,2%. Também aqui foi realizada uma associação80, o desenvolvimento de programas sociais bus- entre esses dados e o período de realização doscando melhorar as condições de vida de parcela trabalhos. Assim, observou-se que metade dossignificativa da população empobrecida. Junto trabalhos que avaliaram efetividade (que remeteao desenvolvimento desses programas crescia a aos resultados) esteve mais presente na décadapreocupação com a implementação de avalia- de 80. Categorias como adequação, eficiência eções que fossem capazes de auferir os resulta- evolução histórica estiveram presentes na dé-dos dos mesmos. Nesse contexto, a preocupação cada de 90 e, nos anos 2000, apresentaram-se,voltou-se, fundamentalmente, para os resultados sobretudo os conceitos de descentralização edos programas, ignorando a “realidade de opera- participação social.ção” dos mesmos. Esses dados permitem dizer que a delimita- Seguindo um padrão de desenvolvimento se- ção da categoria analítica central nos estudos demelhante ao verificado no âmbito internacional, avaliação de políticas e programas de alimenta-a prática da avaliação, nesse primeiro momento, ção e nutrição tem acompanhado as mudançasvisou objetivos essencialmente somativos, cen- ocorridas nos programas sociais que se iniciaramtrados nos resultados líquidos dos programas 21, nos anos 80, e que foram sendo implementadasapoiando-se em um modelo de avaliação que se a partir dos anos 90, as quais encontram-se asso-convencionou chamar de “caixa-preta”, já que ciadas à incorporação de princípios inovadoresentende a intervenção como impermeável aos como descentralização, participação e controlefatores que incidem sobre ela, quando desenvol- social em direção ao uso mais transparente dosvida em um determinado meio social. recursos e a focalização nos mais pobres 13. Entretanto, a partir de resultados negativos Considerando que categorias analíticas guar-quanto à performance dessas intervenções, dá- dam um grau de abstração e generalização 20, ose início a um processo de mudança no perfil po- interesse foi remetido para as categorias utiliza-lítico, institucional e econômico-financeiro 2 das das para apreensão empírica das várias realida-políticas sociais, que se intensificaram a partir des avaliadas, associando-as com a dimensãodos anos 90, levando a alterações significativas analisada e sua variação no tempo. Assim, obser-do seu desenho. Tais mudanças demandaram vou-se que na década de 80 prevaleceu a catego-processos mais complexos de avaliação, incluin- ria incremento ponderal, dimensão biológica; nado um maior interesse pelo funcionamento das década de 90 o aporte nutricional, também umaintervenções, sobretudo pelas estratégias de im- dimensão biológica; nos primeiros anos da dé- Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  7. 7. 2978 Henrique FCS et al. cada de 2000 a categoria implementação, a qual de processo a incorporarem a pesquisa qualita- associa-se com dimensões sócio-políticas. tiva, superando as limitações que apresentam a Quanto à temporalidade das pesquisas de utilização apenas de indicadores numéricos. avaliação, objeto desse trabalho, observou-se Em relação a esta categoria vale destacar, so- que na sua totalidade foram avaliações do tipo bretudo, o caráter híbrido dos estudos. Obser- ex post. Destas, 75% foram realizadas ao longo da va-se que em 40% dos trabalhos categorizados implementação da intervenção, enquanto que como qualitativos, houve utilização do aporte 20% foram desenvolvidas em etapas posteriores quantitativo. à implementação. O incremento da abordagem qualitativa pa- rece também estar associado à própria história Delineamento do estudo, abordagem de desenvolvimento do conceito de avaliação metodológica, conceito de avaliaçào e 23,24, que parte de uma primeira geração enfo- informação produzida cando verbos como medir e mensurar, os quais impõem a quantificação, em direção a uma ter- No que se refere ao delineamento dos estudos a ceira geração, em que a palavra-chave é julga- análise revelou haver uma preponderância rela- mento de valor. tiva da pesquisa documental, com percentual de A inclusão da abordagem quantitativa nes- 50%, seguida dos estudos de caso com 25% e da ses estudos – qualitativos – ocorreu por meio das pesquisa experimental com 18,8% e, por último, técnicas de análise de dados utilizadas. A utili- a pesquisa ex post-facto, com 6,2%. zação híbrida das abordagens é considerada por A freqüência maior da pesquisa documental Novaes 22 resultado da natureza complexa das pode ser imputada a fatores relacionados com a políticas públicas que solicitam abordagens “re- natureza acadêmica dos trabalhos. Como já re- lativamente abertas”. gistrado os estudos aqui analisados foram desen- Com referência à categoria conceito de ava- volvidos no âmbito de cursos de pós-graduação, liação utilizado, também interessou a esse estudo especificamente stricto sensu, sob os quais reca- verificar em que medida as pesquisas de avalia- em exigências. Exigências, sobretudo quanto ao ção realizadas assumiam um conceito específico tempo e quanto à carência de fontes de financia- de avaliação. Isso como forma de promover uma mento, que podem limitar a realização de estu- aproximação com a compreensão subjacente à dos empíricos. Vale dizer que tais questões, mais prática avaliativa. Nesse aspecto, é possível dizer que produzidas, são impostas às pós-graduações que, em sua maioria, os trabalhos avaliados não que precisam se moldar às determinações de um tomaram para si um conceito de avaliação ou, de sistema avaliativo. outra forma, não assumiram de maneira declara- Ainda em relação à pesquisa documental, da uma determinada definição comprometendo registra-se que quase todos os avaliadores des- assim a análise aqui pretendida. tacam dificuldades no processo de obtenção de Entre aqueles que expressamente assumiram documentos institucionais. Em nosso meio tais um conceito (apenas 25%) pode-se dizer que não dificuldades parecem estar relacionadas com a houve coincidências quanto ao entendimento do pouca valorização da informação, enquanto ins- significado do termo. Este variou entre a com- trumento de gestão e, de outro lado, parece refle- preensão de apreciação crítica como subsídio ao tir a incipiente publicização e transparência de processo racional de tomada de decisões à aná- documentos institucionais, ainda mais quando lise da efetiva apropriação de benefícios de uma estes serão utilizados para subsidiar avaliações intervenção e ainda como medida de objetivos de políticas públicas, cujos resultados, em al- finais alcançados. guma medida, irão repercutir sobre a ação dos Considerando as quatro gerações da histó- governos, mais precisamente sobre a adminis- ria de desenvolvimento da avaliação identifica- tração pública 6,13 e, ainda, sobre a competição das por Guba & Lincoln 25 é possível dizer que eleitoral 14. no primeiro caso a compreensão de avaliação No que se refere à abordagem metodológi- subjacente aos trabalhos enquadrava-se no que ca, foram encontrados percentuais de 37,5% e esses autores denominaram de terceira geração 62,5% de utilização das abordagens quantitativa baseada no julgamento do mérito e valor de uma e qualitativa, respectivamente. Pode-se dizer que ação, nesse caso as intervenções de alimentação a utilização substantivamente maior da aborda- e nutrição. No segundo e terceiro casos os estu- gem qualitativa encontra-se intimamente rela- dos ajustam-se na primeira geração baseada na cionada com o foco de análise privilegiado pela medida dos efeitos da intervenção. maioria dos trabalhos analisados – o processo. Considera-se que a tarefa de julgar o mérito Autores como Weiss 17, Silva 21 e Novaes 22 regis- e o valor de uma ação, característica distintiva da tram uma tendência mais recente das avaliações avaliação, solicita o desenvolvimento de etapas Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  8. 8. INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2979prévias, como subsídio a apreensão da realidade ções sobre essa produção foram solicitadas acomo a identificação, caracterização e descrição. todas as pós-graduações, com maior referênciaEntretanto, estas etapas, por si só, não cumprem para a área: nutrição, saúde pública e saúde cole-a função avaliativa. tiva. Ao final da pesquisa, tal como inicialmente Por fim, interessou ao estudo categorizar os suposto, estes espaços foram confirmados comotrabalhos quanto ao tipo de informação produzi- privilegiados na produção de avaliações de po-da como subsídio à inferência sobre o potencial líticas e programas públicos de alimentação ede contribuir com o processo de planejamento nutrição.da ação pública, com a oportuna tomada de de- Em relação às limitações, reportamo-nos aocisões e com a geração de lições de aprendiza- fato de o estudo ter voltado o olhar para teses egem. dissertações. Tendo optado nesse primeiro mo- Chamou atenção a incipiência na geração de mento por esta fatia da produção bibliográfica,informações mais analíticas. Os estudos se es- perdeu-se a oportunidade de analisar o estado detruturaram em torno da descrição que remete campo da avaliação de intervenções públicas depara uma insuficiente reflexão sobre os fatores alimentação e nutrição, embora o material ana-que recaem sobre os resultados e funcionamento lisado seja bastante representativo desse estadodas intervenções. da arte. Aponta, para um segundo momento, a Esses achados parecem, para a realidade es- necessidade de incluir a totalidade da produçãotudada, colocar em cheque a suposta superação bibliográfica, sobretudo artigos científicos publi-dos modelos de avaliação chamados de “caixa- cados em periódicos até mesmo para efeitos depreta”, que até então ignoravam os fatores que in- comparação, já que os periódicos agregam resul-cidiam sobre a intervenção, uma vez que apenas tados de investigações produzidas não só no es-descrever as características do objeto não con- paço da academia, mas também produzidos emtribui, substancialmente, para processos decisó- nível de serviços por atores institucionais envol-rios e limita a capacidade de acumular lições de vidos com a implementação das intervenções.aprendizagem. Isto posto, pode-se dizer que, em linhas ge- rais, as avaliações de intervenções públicas de alimentação e nutrição aderem aos critérios deConclusão classificação apresentados pela literatura sobre avaliação de políticas públicas e, do ponto de vis-O modelo de análise adotado buscou lançar um ta conceitual, analítico e metodológico, seguemfoco de luz sobre as pesquisas de avaliação que na esteira dos desenhos apresentados na litera-vêm sendo produzidas no âmbito acadêmico, co- tura científica sobre o tema. Assim, ganham nomo forma de revelar suas inclinações analíticas e que diz respeito à “elegância dos modelos expli-metodológicas e, assim, contribuir para a reflexão cativos” e perdem na “simplicidade analítica”.das mesmas no que têm de limitações e produzir Em relação à tendência analítica privilegiada,audiência no que apresentam de relevante. as análises têm convergido para o processo de Antes de passar às considerações de alguns funcionamento, ou seja, têm como foco o dese-dos achados, é necessário registrar algumas difi- nho, as características organizacionais e de de-culdades operacionais e limitações enfrentadas senvolvimento dos programas com avaliações dono desenvolvimento desse trabalho. tipo ex post realizadas durante a realização das A primeira refere-se à identificação do ma- intervenções.terial empírico. O banco de teses da CAPES, que Já no que se refere aos aspectos teórico-me-a princípio considerava-se a base de dados pri- todológicos, os dados permitem dizer que as ava-vilegiada para obtenção das informações sobre liações têm privilegiado técnicas e instrumentosos trabalhos produzidos no período, revelou-se de coleta e análise de dados característicos dapouco atualizado para os fins almejados, assim abordagem qualitativa. Entretanto, pode-se dizercomo outras bases de dados como a da BIREME. que não se trata de uma abordagem pura, já queAlém da pouca atualização dessas bases, uma junto com esta tem-se utilizado o aporte quan-outra questão apresentou-se desta vez relacio- titativo, sobretudo como subsídio ao processonada com contingências de busca. Tendo lança- analítico. Observou-se ainda um predomínio dado mão de vários descritores relacionados com pesquisa do tipo documental e dos estudos dea temática, para cada um deles novos trabalhos caso, quando da utilização de dados primários.eram indicados e outros deixavam de aparecer Quanto ao conceito de avaliação utilizado foideixando a dúvida se, de fato, todos os trabalhos possível verificar que este não está explicitamen-foram identificados. te declarado, sendo raras as exceções. Para dirimir dúvidas e complementar o pro- No que se refere ao volume produzido, essecesso de rastreamento dos trabalhos, informa- estudo reforça a insuficiência quantitativa que Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  9. 9. 2980 Henrique FCS et al. há muito vem sendo denunciada por autores Importante dizer que, em que pese o ganho que têm se debruçado sobre essa análise. Decer- que se verificou na avaliação de intervenções to que não se dispõe de um padrão de referên- públicas de alimentação e nutrição, com a utili- cia que sirva de parâmetro para se chegar a essa zação de novas variáveis, não se pode dizer que afirmação, entretanto podemos fazer do longo houve um salto qualitativo nas avaliações, uma período de implementação das intervenções na vez que a incorporação da dimensão sócio-polí- área, da centralidade que adquire na agenda so- tica se deu em detrimento da avaliação dos resul- cial brasileira, do volume do gasto social na área tados líquidos, o que para a área representou um e, sobretudo, da persistência de uma problemáti- certo desprezo às variáveis biológicas. ca alimentar e nutricional como proxys para essa Por fim, revelou-se necessário, na análise dos conclusão. dados, uma baixa percepção dos programas na Ainda em relação aos resultados desse estudo dimensão de uma ação pública. Os trabalhos foi possível observar que as categorias temáticas analisados tendem a focalizar as avaliações em privilegiadas nesses trabalhos vêm sendo modi- micro-processos e poucos são os que se volta- ficadas migrando de um padrão mais próximo ram para macro-processos remetendo a avalia- à dimensão biológica para outro, situado numa ção para a esfera de uma política pública. Assim, dimensão sócio-política, revelando serem avalia- perdem uma capacidade importante, que seria ções do seu tempo. a de fomentar o desenvolvimento de melhores instrumentos e formas da ação pública. Resumo Colaboradores A avaliação de políticas públicas no Brasil vem, nas F. C. S. Henrique participou de todas as etapas da pes- últimas décadas, emergindo como ferramenta estraté- quisa sendo responsável pela redação final do artigo. gica para melhoria da performance da ação pública, P I. C. Lira orientou o delineamento do estudo tendo . capaz esta de contribuir efetivamente para o bem-es- participado da análise dos dados e realizado a revisão tar social. Em que pese esse reconhecimento, essa prá- crítica do artigo. S. M. C. Santos orientou o delineamen- tica não tem sido incorporada ao “ciclo de vida” de to da pesquisa, participou da discussão dos resultados e programas, sobretudo aqueles da área social. Dentre análise dos dados, contribuiu na redação final do artigo as ações que se ressentem de uma prática avaliativa e também realizou a análise crítica da versão final. S. M. significativa, estão aquelas da área de alimentação e L. S. Andrade contribuiu no delineamento da pesquisa. nutrição. Diante destas questões, esse artigo teve co- mo objetivo caracterizar o campo da avaliação de intervenções públicas de alimentação e nutrição em Agradecimentos programas de pós-graduação no Brasil. Utilizou-se como objeto central de análise a produção bibliográfi- Ao Conselho Nacional de Desenvolvimento Científico e ca, especificamente teses e dissertações, defendidas no Tecnológico (CNPq) pela concessão da bolsa que con- período de 1980 a 2004. No que se refere aos achados tribuiu para a realização da pesquisa que gerou como desse estudo foi possível observar que a produção tem produto esse artigo. convergido para o processo de funcionamento das in- tervenções com predomínio da pesquisa documental e estudos de caso. Do ponto de vista analítico as catego- rias temáticas privilegiadas nos trabalhos vêm sendo modificadas migrando de padrão mais próximo à di- mensão biológica para outro, situado numa dimensão sócio-política. Programas de Nutrição; Políticas Públicas; Programas de Pós-Graduação em Saúde Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007
  10. 10. INTERVENÇÕES PÚBLICAS DE ALIMENTAÇÃO E NUTRIÇÃO 2981Referências1. Garcia RC. Subsídios para organizar avaliação da 13. Santos SMC. Fome de cidadania: o Comunidade ação governamental. Planej Polít Públicas 2001; Solidária e a participação em programas de nutri- (23):7-70. ção em municípios baianos [Tese de Doutorado].2. Silva PL, Costa NR. Avaliação de programas pú- Salvador: Escola de Administração, Universidade blicos: reflexões sobre a experiência brasileira. Federal da Bahia; 2001. Relatório técnico. Brasília: Instituto de Pesquisa 14. Arretche M. Dossiê agenda de pesquisas em políti- Econômica Aplicada/Banco Interamericano de cas públicas. Rev Bras Ciênc Soc 2003; 18:7-10. Desenvolvimento; 2002. 15. Draibe SM. Avaliação de implementação: esboço3. Santos WG. A trágica condição da política social. de uma metodologia de trabalho em políticas pú- In: Abranches SH, Santos WG, Coimbra AA, orga- blicas. In: Barreira MCR, Carvalho, MCB, organiza- nizadores. Política social e combate à pobreza. Rio dores. Tendências e perspectivas na avaliação de de Janeiro: Jorge Zahar Editor; 1998. p. 33-63. políticas e programas sociais. São Paulo: Instituto4. Ministério do Planejamento, Orçamento e Gestão/ de Estudos Especiais, Pontifícia Universidade Ca- Instituto de Pesquisa Econômica Aplicada. Evolu- tólica de São Paulo; 2001. p. 13-41. ção recente das condições e das políticas sociais 16. Amparan JPG. La evaluación de políticas públicas: no Brasil. Brasília: Instituto de Pesquisa Econômi- enfoques teóricos y realidades en nueve países de- ca Aplicada; 2001. sarrollados. Gestión y Política Pública 1995; 4:47-5. Cohen E, Franco R. Avaliação de projetos sociais. 115. Petrópolis: Editora Vozes; 1993. 17. Weiss CH. How can theory-based evaluation make6. Souza C. Estado de campo da pesquisa em polí- greater headway? Eval Rev 1997; 21:501-24. ticas públicas no Brasil. Rev Bras Ciênc Soc 2003; 18. Gil AC. Métodos e técnicas de pesquisa social. São 18:15-20. Paulo: Editora Atlas; 1999.7. Figueiredo MF, Figueiredo AMC. Avaliação política 19. Richardson RJ, Peres JAS, Wanderley JCV, Correia e avaliações de políticas: um quadro de referên- LM, Peres MHM. Métodos quantitativos e qualita- cia teórica. Brasília: Instituto de Desenvolvimento tivos. In: Richardson RJ, organizador. Pesquisa so- Econômico do Planalto; 1986. cial: métodos e técnicas. 3a Ed. São Paulo: Editora8. Santos SMC, Santos LMP Avaliação de políticas de . Atlas; 1999. p. 70-89. alimentação e nutrição no estado da Bahia. Salva- 20. Minayo MCS. O desafio do conhecimento. São dor: Núcleo de Nutrição e Políticas Públicas, Esco- Paulo: Editora Hucitec/Rio de Janeiro: ABRASCO; la de Nutrição, Universidade Federal da Bahia/Fi- 1998. nanciadoras de Estudos e Projetos; 2003. 21. Núcleo de Estudos de Políticas Públicas, Universi-9. Musgrove P Por una mejor alimentación. Washing- . dade Estadual de Campinas. Modelo de avaliação ton DC: Organización Panamericana de la Salud; de programas sociais prioritários. Campinas: Uni- 1997. (Cuaderno técnico, 25). versidade Estadual de Campinas; 1999.10. Veloso IS. Impacto do programa de alimentação 22. Novaes HMD. Avaliação de programas, serviços do trabalhador sobre o estado nutricional de tra- e tecnologias em saúde. Rev Saúde Pública 2000; balhadores de indústria [Dissertação de Mestra- 34:547-59. do]. Salvador: Instituto de Saúde Coletiva, Univer- 23. Contandriopoulos AP, Champagne F, Denis JL, sidade Federal da Bahia; 2000. Pineault R. A avaliação na área da saúde: conceitos11. Reis EP Reflexões leigas para a formulação de uma . e métodos. In: Hartz ZMA, organizadora. Avaliação agenda de pesquisa em políticas públicas. Rev Bras em saúde: dos modelos conceituais à prática na Ciênc Soc 2003; 18:11-4. análise da implantação de programas. Rio de Ja-12. Guimarães MCL. Descentralização da saúde: in- neiro: Editora Fiocruz; 1997. p. 29-48. teresses e conflitos decisórios – o processo de de- 24. Pastana CF. Práticas de avaliação na gestão des- cisão nas instâncias colegiadas estaduais, Bahia, centralizada de saúde: a experiência de Vitória da 1993-1998 [Tese de Doutorado]. Salvador: Escola Conquista – 1998-2001 [Dissertação de Mestrado]. de Administração, Universidade Federal da Bahia; Salvador: Escola de Administração, Universidade 2000. Federal da Bahia; 2002. 25. Guba E, Lincoln Y. Fourth generation evaluation. Newbury Park: Sage Publications; 1989. Recebido em 03/Abr/2006 Versão final reapresentada em 22/Jan/2007 Aprovado em 19/Abr/2007 Cad. Saúde Pública, Rio de Janeiro, 23(12):2972-2981, dez, 2007

×