Avaliação de Políticas Sociais
Repensando os problemas socias e os métodos para combatê-los


                             LUIGI CENATTI GIANNI
9 milhões de crianças com menos de 5
        anos morrem por ano...




... O equivalente ao terremoto no Haiti a
               cada 8 dias.
1. A ajuda financeira pode acabar com a pobreza?




                                    Vs.

       Fonte: "Can the West Save Africa?," Journal of Economic Literature, American
       Economic Association
2. Como imunizar pessoas?
3. Como acabar com a malária?
4. Como manter as crianças na escola?
1. A ajuda financeira pode acabar com a pobreza?
                      2. Como imunizar pessoas?
                 3. Como acabar com a malária?
          4. Como manter as crianças na escola?
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Quebrando o problema...


               Pobreza
     Educação          Saúde   Renda

   Básica   Superior
Quebrando o problema...



   Educação Básica
   Ausência
                Ausência    Qualidade
      de
                de Alunos   do Ensino
  Professores
Quebrando o problema...


      Ausência de Alunos
Entendendo o problema...


FORMULANDO HIPÓTESES PARA           FORMULANDO HIPÓTESES PARA
A CAUSA DO PROBLEMA                 AS SOLUÇÕES DO PROBLEMA


1. Renda familiar baixa: crianças   1. Bolsas pagas às famílias se
   precisam trabalhar.                 crianças forem à escola.
2. Pais não entendem os ganhos      2. Informar os pais dos ganhos
   da educação.                        da educação.
3. Crianças passando fome.          3. Financiar refeições na escola.
4. ...                              4. ...
Escolhendo indicadores...


   PORCENTAGEM DE CRIANÇAS   MÉDIA (E DESVIO PADRÃO) DAS
     COM PRESENÇA MÍNIMA                NOTAS




        40%                         5,93
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Experimentos Randômicos




                          GRUPO DE CONTROLE

                          GRUPO DE TESTE
Experimentos Randômicos

                             Política social é
% de crianças com presença   aplicada
mínima

      80

      60
                                                 Impacto da política

      40




                                                      Tempo
Por quê randomizar?




                      Impacto da política
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Estruturando o experimento...

• Qual a unidade de randomização?
     • Coleta de dados
     • Problemas de Crossover e Spillover

• Qual o método de randomização?
     • Loteria básica
     • Phase-In, Two-Stage Randomization...

• Qual o tamanho da amostra?

• A estrutura de avaliação é justa?
Quando não utilizar o método

• Ao avaliar políticas macroeconômicas
• Quando é anti-ético negar à população
  acesso ao tratamento

• Se o experimento difere de suas condições
  normais
• Se o experimento é caro

• Se a amostra é muito pequena
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Implicações na gestão pública

• Validade interna e externa
• Custo-benefício                                 Anos de estudo por
                                                  US$ 100,00




           Política 1   Política 2   Política 3
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Mantendo as crianças na escola...


FORMULANDO HIPÓTESES PARA    FORMULANDO HIPÓTESES PARA
A CAUSA DO PROBLEMA          AS SOLUÇÕES DO PROBLEMA

1. Trabalho infantil         1. Compra de uniformes
2. Barreiras culturais       2. Bolsas para famílias de crianças
                                que compareciam na escola
3. Condições de saúde
                             3. Informar pais
4. Qualidade do ensino
                             4. Bolsas de mérito para mulheres
                             5. Desparasitação (Deworming)
                             6. Refeições na escola
                             7. Compra de livros
                             8. Investimento em professores
Mantendo as crianças na escola...


   Compra de uniformes
                                        Bolsas de mérito p/ mulheres


           Bolsas para famílias

                                             Desparasitação


                  Refeições na escola

                                                Compra de livros
 Investimento em professores

                                        Informar pais
Mantendo as crianças na escola...
Mantendo as crianças na escola...
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Imunização
• Pais precisavam caminhar até os postos de
  saúde, e constantemente os encontravam
  fechados.

• Pais não tinham motivação para voltar.

• Pais se preocupavam com saúde dos filhos.
Imunização




             Grupo de Controle
             Intervenções
             Intervenções com
             incentivos
Imunização




         Controle   Interv.   Interv. c/
                              Incentivos
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Combate à malária...
Distribuindo mosquiteiros (bed nets):
• Se as pessoas precisarem pagar pelos mosquiteiros,
  elas vão comprá-los?
• Se as pessoas os ganharem de graça, elas vão
  utilizá-los?
• Mosquiteiros de graça diminuem a chance das
  pessoas adquirirem mais no futuro?
Combate à malária...
 Se as pessoas precisarem pagar pelos mosquiteiros,
 elas vão comprá-los?
Combate à malária...
 Se as pessoas os ganharem de graça, elas vão
 utilizá-los?
Combate à malária...
 Mosquiteiros de graça diminuem a chance das
 pessoas adquirirem mais no futuro?
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Corrupção no Brasil...
• Não existem informações disponíveis facilmente
  sobre casos de corrupção
• Transparência é essencial para a democracia
• 676 municípios foram auditados. Em 376, os
  resultados foram publicados em jornais e rádios.
• Para cada violação adicional, a chance de um
  candidato ser reeleito diminuia em 20%
AGENDA
    TEORIA
•   Quebrando o problema
•   Entendendo o problema
•   Escolhendo indicadores
•   Experimentos Randômicos
•   Por quê randomizar?
•   Estruturando o experimento
•   Quando não utilizar o método
•   Implicações na gestão pública

    PRÁTICA
•   Mantendo as crianças na escola
•   Imunização
•   Combate à malária
•   Corrupção no Brasil

    CONCLUSÕES
Conclusões


             “... She has broken out of the ivory
             tower to do something economists
             rarely do: gather real data to see
             what really works in.”

                       The 2011 Time 100 Most
                             Influtential People
Conclusões
Relembrando o método:
1. Quebrar o problema em diversas partes;
2. Formular hipóteses para as causas;
3. Formular hipóteses para as soluções;
4. Escolher indicadores, e colher dados da situação atual;
5. Estruturar o experimento randômico;
6. Discutir validade externa do experimento;
7. Calcular custo-benefício.
Conclusões
Avaliação de Políticas Sociais
Repensando os problemas socias e os métodos para combatê-los


                             LUIGI CENATTI GIANNI

                   lcg@neo.ufsc.br

                   www.neo.ufsc.br

                   /neoempresarial

Avaliação de Políticas Sociais

  • 1.
    Avaliação de PolíticasSociais Repensando os problemas socias e os métodos para combatê-los LUIGI CENATTI GIANNI
  • 3.
    9 milhões decrianças com menos de 5 anos morrem por ano... ... O equivalente ao terremoto no Haiti a cada 8 dias.
  • 4.
    1. A ajudafinanceira pode acabar com a pobreza? Vs. Fonte: "Can the West Save Africa?," Journal of Economic Literature, American Economic Association
  • 5.
  • 6.
    3. Como acabarcom a malária?
  • 7.
    4. Como manteras crianças na escola?
  • 8.
    1. A ajudafinanceira pode acabar com a pobreza? 2. Como imunizar pessoas? 3. Como acabar com a malária? 4. Como manter as crianças na escola?
  • 9.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 10.
    Quebrando o problema... Pobreza Educação Saúde Renda Básica Superior
  • 11.
    Quebrando o problema... Educação Básica Ausência Ausência Qualidade de de Alunos do Ensino Professores
  • 12.
    Quebrando o problema... Ausência de Alunos
  • 13.
    Entendendo o problema... FORMULANDOHIPÓTESES PARA FORMULANDO HIPÓTESES PARA A CAUSA DO PROBLEMA AS SOLUÇÕES DO PROBLEMA 1. Renda familiar baixa: crianças 1. Bolsas pagas às famílias se precisam trabalhar. crianças forem à escola. 2. Pais não entendem os ganhos 2. Informar os pais dos ganhos da educação. da educação. 3. Crianças passando fome. 3. Financiar refeições na escola. 4. ... 4. ...
  • 14.
    Escolhendo indicadores... PORCENTAGEM DE CRIANÇAS MÉDIA (E DESVIO PADRÃO) DAS COM PRESENÇA MÍNIMA NOTAS 40% 5,93
  • 15.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 16.
    Experimentos Randômicos GRUPO DE CONTROLE GRUPO DE TESTE
  • 17.
    Experimentos Randômicos Política social é % de crianças com presença aplicada mínima 80 60 Impacto da política 40 Tempo
  • 18.
    Por quê randomizar? Impacto da política
  • 19.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 20.
    Estruturando o experimento... •Qual a unidade de randomização? • Coleta de dados • Problemas de Crossover e Spillover • Qual o método de randomização? • Loteria básica • Phase-In, Two-Stage Randomization... • Qual o tamanho da amostra? • A estrutura de avaliação é justa?
  • 21.
    Quando não utilizaro método • Ao avaliar políticas macroeconômicas • Quando é anti-ético negar à população acesso ao tratamento • Se o experimento difere de suas condições normais • Se o experimento é caro • Se a amostra é muito pequena
  • 22.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 23.
    Implicações na gestãopública • Validade interna e externa • Custo-benefício Anos de estudo por US$ 100,00 Política 1 Política 2 Política 3
  • 24.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 25.
    Mantendo as criançasna escola... FORMULANDO HIPÓTESES PARA FORMULANDO HIPÓTESES PARA A CAUSA DO PROBLEMA AS SOLUÇÕES DO PROBLEMA 1. Trabalho infantil 1. Compra de uniformes 2. Barreiras culturais 2. Bolsas para famílias de crianças que compareciam na escola 3. Condições de saúde 3. Informar pais 4. Qualidade do ensino 4. Bolsas de mérito para mulheres 5. Desparasitação (Deworming) 6. Refeições na escola 7. Compra de livros 8. Investimento em professores
  • 26.
    Mantendo as criançasna escola... Compra de uniformes Bolsas de mérito p/ mulheres Bolsas para famílias Desparasitação Refeições na escola Compra de livros Investimento em professores Informar pais
  • 27.
  • 28.
  • 29.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 30.
    Imunização • Pais precisavamcaminhar até os postos de saúde, e constantemente os encontravam fechados. • Pais não tinham motivação para voltar. • Pais se preocupavam com saúde dos filhos.
  • 31.
    Imunização Grupo de Controle Intervenções Intervenções com incentivos
  • 32.
    Imunização Controle Interv. Interv. c/ Incentivos
  • 33.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 34.
    Combate à malária... Distribuindomosquiteiros (bed nets): • Se as pessoas precisarem pagar pelos mosquiteiros, elas vão comprá-los? • Se as pessoas os ganharem de graça, elas vão utilizá-los? • Mosquiteiros de graça diminuem a chance das pessoas adquirirem mais no futuro?
  • 35.
    Combate à malária... Se as pessoas precisarem pagar pelos mosquiteiros, elas vão comprá-los?
  • 36.
    Combate à malária... Se as pessoas os ganharem de graça, elas vão utilizá-los?
  • 37.
    Combate à malária... Mosquiteiros de graça diminuem a chance das pessoas adquirirem mais no futuro?
  • 38.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 39.
    Corrupção no Brasil... •Não existem informações disponíveis facilmente sobre casos de corrupção • Transparência é essencial para a democracia • 676 municípios foram auditados. Em 376, os resultados foram publicados em jornais e rádios. • Para cada violação adicional, a chance de um candidato ser reeleito diminuia em 20%
  • 40.
    AGENDA TEORIA • Quebrando o problema • Entendendo o problema • Escolhendo indicadores • Experimentos Randômicos • Por quê randomizar? • Estruturando o experimento • Quando não utilizar o método • Implicações na gestão pública PRÁTICA • Mantendo as crianças na escola • Imunização • Combate à malária • Corrupção no Brasil CONCLUSÕES
  • 41.
    Conclusões “... She has broken out of the ivory tower to do something economists rarely do: gather real data to see what really works in.” The 2011 Time 100 Most Influtential People
  • 42.
    Conclusões Relembrando o método: 1.Quebrar o problema em diversas partes; 2. Formular hipóteses para as causas; 3. Formular hipóteses para as soluções; 4. Escolher indicadores, e colher dados da situação atual; 5. Estruturar o experimento randômico; 6. Discutir validade externa do experimento; 7. Calcular custo-benefício.
  • 43.
  • 44.
    Avaliação de PolíticasSociais Repensando os problemas socias e os métodos para combatê-los LUIGI CENATTI GIANNI lcg@neo.ufsc.br www.neo.ufsc.br /neoempresarial

Notas do Editor

  • #11 Enxergar a pobreza como diversos problemas pequenos.
  • #14 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #17 Indústria farmacêutica.
  • #19 Gráfico do Kirk.
  • #21 http://www.povertyactionlab.org/methodology/how/how-design-evaluation
  • #22 http://www.povertyactionlab.org/methodology/when/when-randomization-not-appropriate
  • #24 http://www.povertyactionlab.org/methodology/how/how-draw-policy-implicationshttp://www.povertyactionlab.org/methodology/what-evaluation/cost-benefit/effectiveness/comparison-analyses
  • #26 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #27 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #28 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #29 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #31 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #32 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #33 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #35 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #36 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #37 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #38 Isso, mesmo que inconscientemente, é feito hoje. O problema é que partir daqui as pessoas usam suas “intuições” para prever qual política dará certo. A questão não é determinar qual a causa do problema, mas sim qual política traz resultados.
  • #40 http://www.povertyactionlab.org/evaluation/politicians-publicly-released-audits-corruption-and-electoral-outcomes-brazil
  • #42 Conclusões:Falar de esther dufloPremio macarthur q ela ganhou, lista de espera para o premio nobelJameel poverty action lab, mithttp://www.time.com/time/specials/packages/article/0,28804,2066367_2066369_2066106,00.htmlhttp://www.telegraph.co.uk/culture/books/authorinterviews/8681481/Esther-Duflo-Can-this-woman-change-the-world.html
  • #44 Todos nós conhecemos os problemas do Brasil. Buracos na Educação, políticos corruptos... Mas não podemos nos conformar, muito menos desistir. Precisamos quebrar o problema, e resolver um de cada vez. A corrupção é uma barreira gigantesca, mas se formos criativos podemos dribá-la. Avançaremos um passo de cada vez, mas tendo certeza que estamos dando passos na direção certa. E daqui a 30 anos, olharemos para trás e saberemos que fizemos a coisa certa. Mais que isso... Tenho certeza que teremos um mundo melhor e mais justo. Obrigado pela atenção, espero que tenham aprendido alguma coisa.