SlideShare uma empresa Scribd logo
1 de 86
Baixar para ler offline
A fronteira do tema Avaliação:
desafios e perspectivas futuras
        João Pedro Azevedo
          Banco Mundial


            II Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto
                                    Porto Alegre, 28 e 29 de Setembro de 2009.
Ciclo de Gestão de Políticas Públicas

Teoria                   Desenho




         Monitoramento
                                    Orçamento
          e Avaliação




                         Execução
Ciclo de Gestão de Políticas Públicas

Prática


                                 Monitoramento
Desenho   Orçamento   Execução
                                  e Avaliação
Algumas razões para a quebra do ciclo!
•   Modelos causais frequentemente implicitos
•   Dificuldades na execução
•   Ciclo políticos
•   Incompatibilidade entre os diferentes
    “tempos” deste processo
    – Politico, Técnico (programa), Técnico (avaliação), e
      Financeiro
É importante reconhecer avanços...
• Gestores públicos e sociedade civil com foco crescente
  em resultados
   – Movimento Brasil Competitivo; disseminação de
     ferramentas de gestão modernas (i.e. escritorio de
     projetos; balanced score cards; avaliações de impacto)
• Existência de instituições tecnicamente capazes
   – IBGE, IPEA, Fundações Estaduais, Universidades, TCU
• Construção de foruns nacionais para troca de
  experiência sobre o tema
   – Rede Brasileira de Monitoramento e Avaliação; Movimento
     Todos pela Educação; Forum de Segurança; eventos
     como este!
..., alguns limites
• Não existe um único caminho para se
  construir um robusto sistema de avaliação e
  monitoramento
  – A experiência internacional ajuda (i.e.
    Mexico, Colombia, Chile, India), contudo este
    processos são fruto de uma confluência de atores
    e interesses próprios que podem e devem ser
    respeitados.
... e oportunidades.
• Heterogeneidade entre setores e regiões

• Programas de ajuste fiscal

• Construção de Estratégias de Desenvolvimento

• Eleição de programas prioritários

• Crises economicas
Alguns desafios
• O que perguntar?

• Como responder?

• Quando responder?

• Como utilizar?
Formatando as perguntas...
                             Mobilização

• Existe um continuo de        Recursos

  perguntas relevantes       Efficiência

                               Servicos

• Para ser estratégico e      Eficiência
  poder priorizar é            Impacto
  importante mapear as
                            Participantes
  possibilidades.

                           Resultados
... Identificando as ferramentas...
•   Marco lógico                        • Análise de Desviante Positivo
•   Avaliação ex-antes                  • Benchmarking
•   Dinamica de sistema                 • Modelos de Equilibrio Geral
•   Métodos Qualitativos                  Computável
    – Grupos focais                     • Avaliações nutricionais
    – Entrevistas estruturados          • Avaliações de proficiência
• Métodos Quantitativos                   educacional
    –   Desenhos experimentais          • Ferramentas de BI
    –   Desenhos não-experimentais      • Outros...
    –   Implementação
    –   Análise de disposição a pagar
    –   Análises de custo-benefício
    –   Análises de custo-efetividade
..., viabilizando o plano de trabalho
• Dados
  – Registros administrativos
  – Dados secundários
  – Coleta primária de dados
• Instituições
  – Demandantes de informação
  – Geradores de informação
• Prazos
..., utilizando os resultados.
•   Relevância
•   Representatividade
•   Viabilidade
•   Precisão
Estudos de caso
• Colombia

• México

• República Dominicana

• Minas Gerais
Objetivo
• Identificar as perguntas, métodos, e gargá-los
  enfrentados em algumas experiências Latino
  Americanas.

• Criar um documento único
Desafios
• Uso de modelos causais explicitos
• Maior uso de avaliações ex-antes durante a fase de
  planejamento do governo
• Reconhecimento da importância da triangulação de
  métodos
• Maior uso dos dados existentes
• Melhoria da qualidade dos dados existentes
• Geração de pesquisas domicíliares mais apropriadas
  para avaliar programas
• Desenhos aleatórios de programas alternativos
• Avaliações dos determinantes de impacto
Perspectiva futura

• Geração e sistematização do conhecimento
  como um bem público

• Política de ESTADO
Obrigado!
jazevedo@worldbank.org
Primeiro: Será que as metas são factíveis?
• Benchmark comparando paises
• Benchmark comparando estados dentro de um pais
• Benchmark comparando municípios ou unidades decisórias
  (escola, hospitais, pontos de saúde) dentro de um estado


• Pode-se analisar as distribuições não condicionada dos desempenhos
• ….ou as condicionadas nas características iniciais.
• Nossa contribuição. Ao invés de estimarmos a medida de desempenho e
  condicionada as caracteristica iniciais na média (MQO), podemos estimar
  estas relações em todos os pontos da distribuição utilizado a técnica de
  regressões quantílicas.




                                                                  Ferramentas
Benchmarking

 International


   National


 Subnational

                 Ferramentas
Benchmarking: Internacional, Nacional e
                 Local
• Brasil esta em uma posição relativa baixa na nas
  comparação internacionais de leitura, ciências e
  matemática (PISA)
• Minas Gerais esta em uma posição alta da
  distribuição de performance dentro do Brasil, e
  apresenta um ritmo de crescimento relativametne
  alto
• Observa-se uma variação considerável entre o
  crescimento das notas dentro do Estado de Minas
  Gerais.

                                               Ferramentas
Referencia
• Metas devem ser ambiciosas porem realistas

• As tendências históricas são um ponto de
  partida importante




                                         Ferramentas
• Os eixos representam indicadores (H; CV; CVP)
  ou unidades de análise (RISPs)

• Três performances:
  – Desempenho histórico (2000-2007)
  – Desempenho recente (2004-2007)
  – Meta 2007-2009


                                          Ferramentas
Exemplo 1




            Ferramentas
Exemplo 2




            Ferramentas
Exemplo 3




            Ferramentas
Exemplo 4




            Ferramentas
SEGURANÇA PÚBLICA


                    Ferramentas
Casos a serem explorados
            (com Gráfico de Radar)
                  sugestão
• Homicídio
  – Unaí vs Barbacena
     • Nível semelhante (<70)
     • Variação histórica e recente proxima (< -2)
     • Porque metas tão diferentes?
  – Pato de Minas e Divinópolis
     • Performance recente muito pior do que a
       histórica, qual a estratégia para reverter o quadro?
  – Belo Horizonte e Contagem
     • Caso de sucesso (o que foi feito)?

                                                        Ferramentas
Ferramentas
Casos a serem explorados
            (com Gráfico de Radar)
                   sugestão
• Crimes Violentos contra o Patrimônio
  – Montes Claros e Uberaba
     • Porque as metas são tão maiores do que o seu
       desempenho relativo histórico e recente?
  – BH, Contagem, Teofilo Otoni, e Vespasiano
     • Porque as metas são tão menores do que seu
       desempenho relativo recente?
  – Unaí e Divinópolis
     • Porque a posição relativa das metas superior ao
       desempenho recente?

                                                         Ferramentas
Ferramentas
Comparando RISPs
• Barbacena
  – Metas um pouco superiores ao desepenho
    relativo recente
• Divinópolis
  – Metas muito superiores ao desempenho relativo
    recente
• Belo Horizonte
  – Em alguns indicadores metas muito superiores em
    outros muito abaixo

                                             Ferramentas
Ferramentas
Ferramentas
Ferramentas
EDUCAÇÃO


           Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Uma vez que acreditamos que as metas
                são viáveis….
•   Qual será a estratégia para alcançar as metas?
•   Quanto vai custar?
•   Quanto tempo vai demorar para alcançar as metas?
•   Qual a previsão para monitorar e avaliar o progresso
    e qual será o processo caso o sistema de
    monitoramento indicar que mudanças são
    necessárias?

• Tanto as áreas de finanças/planejamento quanto os
  ministérios setoriais tem interesse em responder
  estas perguntas

                                                  Ferramentas
Uma marco lógico é um instrumento que pode facilitar a
   comunicação entre a área de finanças/planejamento e os
                          setores




Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm   Ferramentas
Marco Logico, cont. -
• Em 80% dos casos, é possível que isto seja tudo que
  se necessita
• Em outros casos, pode não ser suficiente
   – Quando tempos processos de retroalimentação no sistema
     (A – B – C, mas C afeta A)
   – Quando temos uma elemento dinamico no problema,
   – Quando programas múltiplos contribuem para um mesmo
     objetivo estratégico
   – Quando temos que entender as diferenças de
     desempenho entre implementações distintas


                                                    Ferramentas
Dinamica de Sistemas
• A Dinamica de Sistemas é uma metodologia para estudar e gerenciar
  sistemas complexos de retroalimentação, que podem ser encontrados em
  sistemas empresariais ou sociais
• A metodologia:
   – Identifica um problema,
   – Desenvolve uma hipotese dinamica que explica a causa do problema,
   – Constroi um modelo de simulação do comportamento do sistema,
   – Verifica a capacidade do modelo de reproduzir tendências que se
       observam na realidade,
   – Identifica politicas alternativa que podem solucionar o problema y se
       testa o potencial que cada alterantiva possui para solucionar o
       problema, e
   – Identifica indicadores que o modelo deveria acompanhar através de
       um sistema de monitoramento e avaliação.
• Existem aplicações em diversos setores e principalmente no setor privado
  (GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas)


                                                                  Ferramentas
Exemplo do Control de Malaria
         na Bolivia




                           Ferramentas
Nosso modelo metal esta implicito no processo
A melhoria da estrategia e implementação requer a abertura da “caixa
                                preta”


 Para…
 1. Descrever precisamente o que esta
    acontecendo e o que deve acontecer?                  Estratégia
 2. Determinar rigorasametne as causas               Aplicando o método para
    subjacentes?
 3. Simular o que deve ser feito para melhorar           desenvolver uma
    a situação?                                      visão, estratégia, e metas
 4. Conquistar adeptos para implementar as
    mudanças
 5. Desenvolver um sistema de monitramento
    capaz de alertar as necessidades de
    mudança




                                                        Paradigmas &
                                 Avaliação                                        Implementação
                            Sensibilizar condições     Modelos Mentais            Desenvolvendo táticas
                            Correntes em relação          Conjunto de hipóteses         e ações
                            as metas estabelecidas        sobre como o mundo
                                                            funciona e o que
                                                              é importante



                                                            Impacts

                                                                                                          Ferramentas
Documento Único
• Marco Lógico
• População em risco
• Parâmetros           Fonte:
                           Literatura
  – Efetividade            M&E
                           Orçamento
  – Eficiência             Projeto
  – Custo                  Metas


• Metas

                                        Ferramentas
Por que pensamos que estas duas ferramentas podem
  melhorar a qualidade das discussões e negociações

• Menos risco para se ter metas irrealistas
• O processo de escolha de metas passa a ser baseado em
  evidências empíricas
• Com um marco lógico, ou quando se justifica, com um modelo
  de dinamica de sistema, pode-se contruir um “documento
  único” que representa o entendimento entre os atores sobre o
  plano que se alcançar a meta
• Ao invés de controlar um grande número de
  indicadores, pode-se simplificar o processo ao pactuar através
  de uma plano crível, que pode ser revisto periodicamente, no
  qual as decisões finais poderão ser tomadas quando as ações
  não apresentam o efeito esperado.


                                                         Ferramentas
Análise de Desviantes Positivos
• Quando a tecnologia não é conhecida, muitas
  vezes pode-se explorar a heterogeneidade de
  performance do próprio sistema para gerar
  hipóteses.
• Exemplos:
  – Nutrição no Vietman
  – Saúde
  – Educação

                                        Ferramentas
Como gerar conhecimento de maneira
                       sistematica?
                                             Avaliação


                Tecnologia
                conhecida                     Ações



                                                                    Resultado
Objetivo

                                             Avaliação

                             Usamos dados
              Tecnologia          para
             desconhecida                                Escala
                               identificar     Ações
                               hipoteses



                                                                  Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas
Alguns resultados interessantes a respeito dos
mecanismos de feedback criados pelas SEE/MG...

– Segundo os diretores as escolas de melhor
  performance sabem que estão indo bem (q24a e
  q24b)
– Os diretores parecem conhecer a posição relativa da
  sua escola em suas respectivas de SREs (q27)
– Os diretores das escolas de melhor resultado
  atribuem seu rendimento no PROEB a um trabalho
  diferenciado com os alunos e a um esforço maior da
  escola (q25b)
– A matriz de avaliação do PROEB parece ser melhor
  conhecida nas escolas de melhor peformance (q69b)

                                                Ferramentas
Em relação ao Acordo de resultado no contexto educacional de
        Minas Gerais a percepção encontrada foi que...

• Os diretores das escolas com melhor resultado parecem acreditar
  que o Acordo de Resultado contribuiu para melhorar o despenho
  dos alunos (q73c e q73e)…
• ...contudo, 10% dos diretores das escolas com melhor resultado
  indicaram que nas metas pactuadas nao foram nada desafiadoras
  (q78)

• Os diretores das escolas com pior resultado discordam do processo
  de implementação do Acordo de Resultado (q74a)

• Os diretores das escolas de melhor resultado acreditam que o PGDI
  contribui positivamente para um melhor conhecimento das equipes
  (q75c)


                                                            Ferramentas
Em relação aos professores...
• Os professores das escolas com melhor resultado
  estavam mais habilitados a lecionar (e não apenas
  autorizados).
• Os professores das escolas com melhor resultado
  avaliam que o ambiente de trabalho, disciplina dos
  alunos e funcionamento global da escola é bom ou
  muito bom (q33b, q33e, q33g)
• Os professores das escolas com melhor desempenho
  parecem ser melhor informados sobre as metas e
  objetivos da sua escola (q41a), e estão mais engajados
  em atividade de troca de experiência com outras
  escolas (q41f).

                                                  Ferramentas
Em relação aos mecanimos de
              feedback...
• Os professores das escolas de pior desepenho são
  entre 2 ou 3 vezes mais propensos a afirma que
  desconhecem o rendimento de sua escola entre
  2006 e 2008, tanto no PROALFA quando PROEB.
• Os professores das escolas de melhor
  desempenho participaram mais ativamente da
  construção do seu PGDI
• 73% dos professores acreditam na manutenção
  do prêmio de produtividade em 2010 (resultado
  idêntido nos dois tipos de escolas visitadas)
                                            Ferramentas
AVALIAÇÃO DE IMPLEMENTAÇÃO


                         Ferramentas
Matriz de avaliação por escola



   Divulgação                    Integração
                                 e interação                 Processos                Apropriação
  e mobilização
                                  Da equipe                      3                      do PEJ
        3
                                      2                                                    2

                               Planos de trabalho                                     Participação nas
  Conhecimento do PEJ       elaborados e executados           Entrega e              reuniões de equipe
  pelos alunos                  pelo coordenador        Atualização dos dados                (0,5)
           (0,5)                      (0,5)                      (1)

                                                                                   Capacidade de resolução
                               Planos de trabalho                                             de
                            Elaborado e executados                                  situações que afetam o
      Envolvimento             Pelo estagiário de      Capacidade de coordenar     desenvolvimento do PEJ
e participação dos alunos          pedagogia            Aplicação de avaliações              (05)
            (1)                       (0,5)              e ficha de beneficiário
                                                                   (1)
                                                                                    Estratégias de retorno
                               Planos de trabalho                                    para a comunidade
 Adoção de estratégias             elaborado                                                Escolar
   Permanentes de            e executado pelo tutor    Capacidade de planejar e
                                                                                             (0,5)
 Mobilização dos alunos               (0,5)            Coordenar as atividades
           (1)                                                 Extras
                                                                 (1)                   Incentivo dado
                                                                                         pela escola
                                  Estratégias de                                          ao aluno
 Adoção de estratégias             manutenção                                                (0,5)
   de mobilização do         do fluxo de comunicação
    Corpo docente                      (0,5)
        (0,5)



                                                                                           Ferramentas
Níveis de classificação


                 Excelente contribuição à maioria dos fatores considerados. Existem pontos muito
  Excelente      favoráveis e nenhuma deficiência de maior importância. Os pontos favoráveis
    100%         predominam amplamente frente a eventuais deficiências.



    ALTO         Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis
                 suplantam as deficiências existentes. Todas as deficiências são facilmente
    70%
                 corrigíveis.



    MÉDIA        A contribuição à maioria dos fatores considerados é modesta. Os pontos
     50%         favoráveis e as deficiências se equivalem. As deficiências são corrigíveis.




    BAIXO        Pequena contribuição a vários dos fatores considerados. As deficiências
                 suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de
     30%
                 corrigir.



INSATISFATÓRIO   Não existem pontos favoráveis a ressaltar além de existirem importantes
     0%          deficiências. Essas deficiências são muito difíceis de corrigir.




                                                                                               Ferramentas
Matriz de Avaliação por Escola                               Avaliação Níveis
                                                                                                         5 = EXCELENTE
                                                                                                         4 = ALTA
Local: ( )RJ ( ) JF ( ) ES                                                                               3 = MÉDIA
Escola Estadual: _____________________________Data _____________________                                 2 = ABAIXO DA MÉDIA
                                                                                                         1 = INSATISFATÓRIA


           Indicador                                              Itens                                             Avaliação

                                - Conhecimento dos objetivos do PEJ pelos alunos da escola

    Divulgação e mobilização    - Envolvimento e participação dos alunos no PEJ
                                (frequência, participação nas atividades extras, etc)
                                - Adoção de estratégias permanentes de mobilização dos alunos
                                - Adoção de estratégias de mobilização do corpo docente
                                - Planos de trabalho elaborados e sendo executados pelo coordenador
    Integração e interação da
     equipe do PEJ na escola    - Planos de trabalho elaborados e sendo executados pelo estagiário de
                                pedagogia
                                - Planos de trabalho elaborados e sendo executados pelos tutores
                                - Adoção de estratégias para manter o fluxo de informação
                                - Entrega e atualização dos dados (frequência, notas, banco de alunos)

                                - Capacidade de coordenar a aplicação das avaliações e ficha de
           Processos            beneficiário
                                - Capacidade de planejar,coordenar e executar as atividades extras
                                (passeio cultural e gincana)
                                - Participação nas reuniões de equipe (supervisores/coordenação local)
                                - Capacidade de resolução de situações que afetam o desenvolvimento
                                do PEJ (merenda, transporte, outros)
       Apropriação do PEJ       - Incentivo dado ao aluno pela escola

                                - Estratégias de retorno dos resultados do PEJ para a comunidade
                                escolar (inscrição em curso oferecidos pelo IU, reunião com corpo                   Ferramentas
                                docente e discente, etc)
Divulgação e      Integração e interação da                    Apropriação do PEJ -
Escolas                                                    Processos - 15                          Nota Final
            mobilização - 15          equipe - 10                                    10

Escola 1         63.3                   55.0                   66.7                 50              60.0
Escola 2         66.7                   75.0                   73.3                 75              72.0
Escola 3         40.0                   35.0                   60.0                 45              46.0
Escola 4         76.7                   65.0                  100.0                 65              79.0
Escola 5         43.3                   50.0                   60.0                 45              50.0
Escola 6         63.3                   65.0                   60.0                 55              61.0
Escola 7         63.3                   75.0                   80.0                 60              70.0
Escola 8         60.0                   70.0                   80.0                 65              69.0
Escola 9         33.3                   45.0                   40.0                 40              39.0
Escola 10        53.3                   45.0                   53.3                 55              52.0
Escola 11        66.7                   60.0                   46.7                 70              60.0
Escola 12        60.0                   50.0                   60.0                 55              57.0
Escola 13        56.7                   60.0                   66.7                 60              61.0
Escola 14        66.7                   70.0                   73.3                 65              69.0
Escola 15        46.7                   45.0                   66.7                 50              53.0
Escola 16        40.0                   25.0                   33.3                 40              35.0
Escola 17        63.3                   75.0                   80.0                 65              71.0
Escola 18        43.3                   50.0                   40.0                 40              43.0
Escola 19        26.7                   30.0                   26.7                 30              28.0

                                                                                                   Ferramentas
AVALIAÇÃO DE IMPACTO


                       Ferramentas
Diferença em Diferenças
                                       Com este desenho podemos descobrir o efeito
                                       do programa nas escolas tratadas, levando em
                                       conta externalidades positivas e negativas
                                       geradas pela intervenção.
proficiência




               Sorteio *
                                Pré
                               Teste
                                                                     Pós
                                                                    Teste
                                                                            B
                           A

                                           tempo
Nota: (*) ou pareamento           Impacto = B - A                           Ferramentas
Desenho do Programa
• O programa EJ não foi desenhado para
  atender todos os alunos de uma mesma
  escola
• Alunos se inscrevem voluntariamente no
  programa




                                           Ferramentas
Tripla Diferença
                                  Com este desenho podemos descobrir o efeito
                                  do programa sobre os alunos participantes.
proficiência




                           Pré                                 Pós
               Sorteio*
                          Teste                               Teste




                                      tempo
Nota: (*) ou pareamento                                               Ferramentas
Desenho da Avaliação (cont.)
• Muitas vezes avaliações assumem que a intervenção
  possui um caráter dicotômico (recebem ou não
  recebem o programa).
• Esta premissa pode ser falsa. Participantes podem
  receber exposições diferenciadas ao programa.
• No caso do EJ 2008, este indicador é a taxas de
  freqüência.
   – Para isso a equipe de implementação do programa
     monitorou cuidadosamente este aspecto do programa, e
     estes dados foram também utilizados na avaliação.


                                                    Ferramentas
Linha de Base
Dimensões                                              Controle Intervenção Diferença Sig Estat
Vc gostaria de fazer um curso de reforço de
português ou matemática (Sim)                              60.2        59.8       -0.4   ns
Você fez um curso de reforço no ano passado (Não)          89.7        88.4       -1.3   ns
Vc teria tempo para fazer um curso de reforço (Sim)        53.7        55.8        2.1   ns
Seu pai sabe ler e escrever (Sim)                          87.5        87.7        0.2   ns
Sua mae sabe ler e escrever (sim)                          93.3        93.5        0.2   ns
Você mora com sua mãe (sim)                                86.1        85.4       -0.7   ns
Você já foi reprovado (Não)                                57.9        56.3       -1.6   ns
Trabalho fora de casa (Não)                                72.7        74.2        1.5   ns
Leitura de jornal (sempre)                                 45.2        46.5        1.3   ns
Vc esta fazendo algum curso de reforço escolar (Sim)        4.5          16      11.5    1%


                                                                                  Ferramentas
Perguntas
• Qual o impacto do EJ 2008 nas escolas que
  participaram do programa em 2008?

• Qual o impacto do EJ 2008 nos alunos que
  participaram do programa em 2008?

• Qual o impacto da freqüência do programa EJ 2008?

• Em termos relativos, a magnitude do impacto é
  relevante?

                                                  Ferramentas
Quadro Resumo
Dimensões da avaliação de impacto

 Impacto       Português   Matemática

  Escola          X            X

Beneficiário      X            X

Freqüência        X            X

                                   Ferramentas
Resultados
• O número de alunos beneficiários do programa não foi suficiente
  para gerar um impacto estatisticamente significativo ao nível da
  escola.
• No entanto, os beneficiários das classes de reforço das escolas de
  tratamento apresentaram um rendimento superior e
  estatisticamente significativo, quando comparado a alunos
  semelhantes das escolas de controle (1/4 desvio padrão).
• A evidência deste impacto é mais contundente em Vitória: 1/2
  desvio padrão (desenho aleatório) .
• Os alunos que freqüentaram mais intensamente o programa
  apresentaram um rendimento superior aqueles que não
  freqüentaram o programa com a mesma intensidade (1/3 desvio
  padrão)
• Os impactos da freqüência são não lineares. Ganhos mais do que
  proporcionais com o passar do tempo em matemática.

                                                              Ferramentas
Resultados (Vitória)

        Impacto                        Português                      Matemática

          Escola                             1.81                             1.27

    Beneficiário                         24.15**                          23.31**

     Freqüência                          14.03**                          21.18**
Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla);
erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio
padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71.    Ferramentas
HETEROGENEIDADE DO IMPACTO


                         Ferramentas
Matemática (Vitória)




                       Ferramentas
Português (Vitória)




                      Ferramentas
AVALIAÇAO EX-ANTE


                    Ferramentas
Ferramentas
Ferramentas
Ferramentas
DESENHO NÃO-EXPERIMENTAL


                           Ferramentas
Ferramentas
Ferramentas
Ferramentas
Ferramentas

Mais conteúdo relacionado

Destaque

Perspectivas Atuais e Tendências em Sistemas de Informação
Perspectivas Atuais e Tendências em Sistemas de InformaçãoPerspectivas Atuais e Tendências em Sistemas de Informação
Perspectivas Atuais e Tendências em Sistemas de InformaçãoElvis Fusco
 
Caderno de boas práticas diretores
Caderno de boas práticas diretoresCaderno de boas práticas diretores
Caderno de boas práticas diretores842203966
 
oficina_pgdi escola
oficina_pgdi escolaoficina_pgdi escola
oficina_pgdi escolaCEP-Itajubá
 
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)Adilson P Motta Motta
 
PNAIC - Matemática - Organização do Trabalho Pedagógico
PNAIC - Matemática - Organização do Trabalho PedagógicoPNAIC - Matemática - Organização do Trabalho Pedagógico
PNAIC - Matemática - Organização do Trabalho PedagógicoElieneDias
 
PNAIC - Matemática - Direitos da aprendizagem em matemática
PNAIC - Matemática - Direitos da aprendizagem em matemáticaPNAIC - Matemática - Direitos da aprendizagem em matemática
PNAIC - Matemática - Direitos da aprendizagem em matemáticaElieneDias
 
Modelo de plano de desenvolvimento individual 1
Modelo  de plano de desenvolvimento individual 1Modelo  de plano de desenvolvimento individual 1
Modelo de plano de desenvolvimento individual 1Kelry Carvalho
 

Destaque (8)

Perspectivas Atuais e Tendências em Sistemas de Informação
Perspectivas Atuais e Tendências em Sistemas de InformaçãoPerspectivas Atuais e Tendências em Sistemas de Informação
Perspectivas Atuais e Tendências em Sistemas de Informação
 
Caderno de boas práticas diretores
Caderno de boas práticas diretoresCaderno de boas práticas diretores
Caderno de boas práticas diretores
 
oficina_pgdi escola
oficina_pgdi escolaoficina_pgdi escola
oficina_pgdi escola
 
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)
Plano de Ação e Metas Dinare Feitosa 2013 (Adilson Motta)
 
PNAIC - Matemática - Organização do Trabalho Pedagógico
PNAIC - Matemática - Organização do Trabalho PedagógicoPNAIC - Matemática - Organização do Trabalho Pedagógico
PNAIC - Matemática - Organização do Trabalho Pedagógico
 
PNAIC - Matemática - Direitos da aprendizagem em matemática
PNAIC - Matemática - Direitos da aprendizagem em matemáticaPNAIC - Matemática - Direitos da aprendizagem em matemática
PNAIC - Matemática - Direitos da aprendizagem em matemática
 
Modelo de plano de desenvolvimento individual 1
Modelo  de plano de desenvolvimento individual 1Modelo  de plano de desenvolvimento individual 1
Modelo de plano de desenvolvimento individual 1
 
Eunice
EuniceEunice
Eunice
 

Semelhante a A fronteira do tema Avaliação: desafios e perspectivas futuras

Gap analysis - Análise de Lacunas
Gap analysis - Análise de LacunasGap analysis - Análise de Lacunas
Gap analysis - Análise de LacunasRui Loureiro
 
Softwares de apoio ao desenvolvimento 2012
Softwares de apoio ao desenvolvimento   2012Softwares de apoio ao desenvolvimento   2012
Softwares de apoio ao desenvolvimento 2012Diogo Winck
 
Mapeando e construindo indicadores para avaliar a pós-graduação
Mapeando e construindo indicadores para avaliar a pós-graduação Mapeando e construindo indicadores para avaliar a pós-graduação
Mapeando e construindo indicadores para avaliar a pós-graduação Roberto C. S. Pacheco
 
Curso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeis
Curso de Pós-Graduação FUCAPI - Módulo: Métodos ÁgeisCurso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeis
Curso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeisagileembassy
 
Gestão de resultados gelopar
Gestão de resultados   geloparGestão de resultados   gelopar
Gestão de resultados geloparAntonio Moreira
 
Gestão de resultados Nova Gestões
Gestão de resultados   Nova GestõesGestão de resultados   Nova Gestões
Gestão de resultados Nova GestõesAntonio Moreira
 
(Legado 2016) Capacitação em planejamento estratégico Dia 4
(Legado 2016) Capacitação em planejamento estratégico Dia 4(Legado 2016) Capacitação em planejamento estratégico Dia 4
(Legado 2016) Capacitação em planejamento estratégico Dia 4Ink_conteudos
 
Analise de desempenho junho 2015
Analise de desempenho junho 2015Analise de desempenho junho 2015
Analise de desempenho junho 2015equipelideranca
 
(ConSePS) PMD _ Dia 05
(ConSePS) PMD _ Dia 05(ConSePS) PMD _ Dia 05
(ConSePS) PMD _ Dia 05Ink_conteudos
 
Impacto da modelagem de decisões no gerenciamento de projetos
Impacto da modelagem de decisões no gerenciamento de projetosImpacto da modelagem de decisões no gerenciamento de projetos
Impacto da modelagem de decisões no gerenciamento de projetosCentus Consultoria
 
Riscos na contratação de serviços desenvolvimento com métodos ágeis
Riscos na contratação de serviços desenvolvimento com métodos ágeisRiscos na contratação de serviços desenvolvimento com métodos ágeis
Riscos na contratação de serviços desenvolvimento com métodos ágeisFabiana Ruas
 
FERRAMENTAS DE TRABALHO.pptx
FERRAMENTAS DE TRABALHO.pptxFERRAMENTAS DE TRABALHO.pptx
FERRAMENTAS DE TRABALHO.pptxAmarildoJosMorett
 
Módulo 01 - Por que avaliar impacto.pdf
Módulo 01 - Por que avaliar impacto.pdfMódulo 01 - Por que avaliar impacto.pdf
Módulo 01 - Por que avaliar impacto.pdfWeslley Rodrigues
 
Gestão administrativa de pessoal
Gestão administrativa de pessoalGestão administrativa de pessoal
Gestão administrativa de pessoalRodrigo Cristóvão
 
Projeto LISARB-pmglobal
Projeto LISARB-pmglobalProjeto LISARB-pmglobal
Projeto LISARB-pmglobalMarco Coghi
 
(Transformar 16) Planejamento Estratégico 4
(Transformar 16) Planejamento Estratégico 4(Transformar 16) Planejamento Estratégico 4
(Transformar 16) Planejamento Estratégico 4Ink_conteudos
 
Oficina Femama - Valinhos
Oficina Femama - Valinhos Oficina Femama - Valinhos
Oficina Femama - Valinhos contatofemama
 

Semelhante a A fronteira do tema Avaliação: desafios e perspectivas futuras (20)

Gap analysis - Análise de Lacunas
Gap analysis - Análise de LacunasGap analysis - Análise de Lacunas
Gap analysis - Análise de Lacunas
 
Softwares de apoio ao desenvolvimento 2012
Softwares de apoio ao desenvolvimento   2012Softwares de apoio ao desenvolvimento   2012
Softwares de apoio ao desenvolvimento 2012
 
Mapeando e construindo indicadores para avaliar a pós-graduação
Mapeando e construindo indicadores para avaliar a pós-graduação Mapeando e construindo indicadores para avaliar a pós-graduação
Mapeando e construindo indicadores para avaliar a pós-graduação
 
Curso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeis
Curso de Pós-Graduação FUCAPI - Módulo: Métodos ÁgeisCurso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeis
Curso de Pós-Graduação FUCAPI - Módulo: Métodos Ágeis
 
Gestão de resultados gelopar
Gestão de resultados   geloparGestão de resultados   gelopar
Gestão de resultados gelopar
 
Gestão de resultados Nova Gestões
Gestão de resultados   Nova GestõesGestão de resultados   Nova Gestões
Gestão de resultados Nova Gestões
 
(Legado 2016) Capacitação em planejamento estratégico Dia 4
(Legado 2016) Capacitação em planejamento estratégico Dia 4(Legado 2016) Capacitação em planejamento estratégico Dia 4
(Legado 2016) Capacitação em planejamento estratégico Dia 4
 
sodapdf-converted.pptx
sodapdf-converted.pptxsodapdf-converted.pptx
sodapdf-converted.pptx
 
Analise de desempenho junho 2015
Analise de desempenho junho 2015Analise de desempenho junho 2015
Analise de desempenho junho 2015
 
(ConSePS) PMD _ Dia 05
(ConSePS) PMD _ Dia 05(ConSePS) PMD _ Dia 05
(ConSePS) PMD _ Dia 05
 
Impacto da modelagem de decisões no gerenciamento de projetos
Impacto da modelagem de decisões no gerenciamento de projetosImpacto da modelagem de decisões no gerenciamento de projetos
Impacto da modelagem de decisões no gerenciamento de projetos
 
Riscos na contratação de serviços desenvolvimento com métodos ágeis
Riscos na contratação de serviços desenvolvimento com métodos ágeisRiscos na contratação de serviços desenvolvimento com métodos ágeis
Riscos na contratação de serviços desenvolvimento com métodos ágeis
 
FERRAMENTAS DE TRABALHO.pptx
FERRAMENTAS DE TRABALHO.pptxFERRAMENTAS DE TRABALHO.pptx
FERRAMENTAS DE TRABALHO.pptx
 
Módulo 01 - Por que avaliar impacto.pdf
Módulo 01 - Por que avaliar impacto.pdfMódulo 01 - Por que avaliar impacto.pdf
Módulo 01 - Por que avaliar impacto.pdf
 
Gestão administrativa de pessoal
Gestão administrativa de pessoalGestão administrativa de pessoal
Gestão administrativa de pessoal
 
Projeto LISARB-pmglobal
Projeto LISARB-pmglobalProjeto LISARB-pmglobal
Projeto LISARB-pmglobal
 
(Transformar 16) Planejamento Estratégico 4
(Transformar 16) Planejamento Estratégico 4(Transformar 16) Planejamento Estratégico 4
(Transformar 16) Planejamento Estratégico 4
 
Oficina Femama - Valinhos
Oficina Femama - Valinhos Oficina Femama - Valinhos
Oficina Femama - Valinhos
 
Mini curso aula 02
Mini curso aula 02Mini curso aula 02
Mini curso aula 02
 
Semana de Comércio Exterior e Logística - Aplicação de ferramentas de melhori...
Semana de Comércio Exterior e Logística - Aplicação de ferramentas de melhori...Semana de Comércio Exterior e Logística - Aplicação de ferramentas de melhori...
Semana de Comércio Exterior e Logística - Aplicação de ferramentas de melhori...
 

Mais de Fundação de Economia e Estatística

Evolução estrutural da indústria de transformação do RS — 2007-15
Evolução estrutural da indústria de transformação do RS — 2007-15Evolução estrutural da indústria de transformação do RS — 2007-15
Evolução estrutural da indústria de transformação do RS — 2007-15Fundação de Economia e Estatística
 
Condições do mercado de trabalho foram mais severas para as mulheres em 2017
Condições do mercado de trabalho foram mais severas para as mulheres em 2017Condições do mercado de trabalho foram mais severas para as mulheres em 2017
Condições do mercado de trabalho foram mais severas para as mulheres em 2017Fundação de Economia e Estatística
 
Desempenho do mercado de trabalho da Região Metropolitana de Porto Alegre e...
Desempenho do mercado de trabalho  da Região Metropolitana de  Porto Alegre e...Desempenho do mercado de trabalho  da Região Metropolitana de  Porto Alegre e...
Desempenho do mercado de trabalho da Região Metropolitana de Porto Alegre e...Fundação de Economia e Estatística
 
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...Fundação de Economia e Estatística
 
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília Hoff
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília HoffO Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília Hoff
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília HoffFundação de Economia e Estatística
 

Mais de Fundação de Economia e Estatística (20)

Idese 2015
Idese 2015Idese 2015
Idese 2015
 
O significado da retomada do crescimento em 2017
O significado da retomada do crescimento em 2017O significado da retomada do crescimento em 2017
O significado da retomada do crescimento em 2017
 
Evolução estrutural da indústria de transformação do RS — 2007-15
Evolução estrutural da indústria de transformação do RS — 2007-15Evolução estrutural da indústria de transformação do RS — 2007-15
Evolução estrutural da indústria de transformação do RS — 2007-15
 
Condições do mercado de trabalho foram mais severas para as mulheres em 2017
Condições do mercado de trabalho foram mais severas para as mulheres em 2017Condições do mercado de trabalho foram mais severas para as mulheres em 2017
Condições do mercado de trabalho foram mais severas para as mulheres em 2017
 
Desempenho do mercado de trabalho da Região Metropolitana de Porto Alegre e...
Desempenho do mercado de trabalho  da Região Metropolitana de  Porto Alegre e...Desempenho do mercado de trabalho  da Região Metropolitana de  Porto Alegre e...
Desempenho do mercado de trabalho da Região Metropolitana de Porto Alegre e...
 
Expectativas inflacionárias e política monetária
Expectativas inflacionárias e política monetáriaExpectativas inflacionárias e política monetária
Expectativas inflacionárias e política monetária
 
Taxa de desistência no ensino superior gaúcho atinge 64,1%
Taxa de desistência no ensino superior gaúcho atinge 64,1%Taxa de desistência no ensino superior gaúcho atinge 64,1%
Taxa de desistência no ensino superior gaúcho atinge 64,1%
 
Estimativas para a população flutuante do Litoral Norte do RS
Estimativas para a população flutuante do Litoral Norte do RSEstimativas para a população flutuante do Litoral Norte do RS
Estimativas para a população flutuante do Litoral Norte do RS
 
Desaceleração cíclica ou estrutural no comércio mundial?
Desaceleração cíclica ou estrutural no comércio mundial?Desaceleração cíclica ou estrutural no comércio mundial?
Desaceleração cíclica ou estrutural no comércio mundial?
 
PIB dos municípios do RS em 2015
PIB dos municípios do RS em 2015PIB dos municípios do RS em 2015
PIB dos municípios do RS em 2015
 
PIB TRIMESTRAL DO RS 3.° trim./2017
PIB TRIMESTRAL DO RS 3.° trim./2017PIB TRIMESTRAL DO RS 3.° trim./2017
PIB TRIMESTRAL DO RS 3.° trim./2017
 
Informe PED-RMPA (Novembro/2017)
Informe PED-RMPA (Novembro/2017)Informe PED-RMPA (Novembro/2017)
Informe PED-RMPA (Novembro/2017)
 
Mercado formal de trabalho do RS estagna após forte retração
Mercado formal de trabalho do RS estagna após forte retraçãoMercado formal de trabalho do RS estagna após forte retração
Mercado formal de trabalho do RS estagna após forte retração
 
PIB Trimestral do RS 2º trimestre 2017
PIB Trimestral do RS 2º trimestre 2017PIB Trimestral do RS 2º trimestre 2017
PIB Trimestral do RS 2º trimestre 2017
 
Elevação do nível ocupacional reduz a taxa de desemprego
Elevação do nível ocupacional reduz a taxa de desempregoElevação do nível ocupacional reduz a taxa de desemprego
Elevação do nível ocupacional reduz a taxa de desemprego
 
FEDERALISMO E A QUESTÃO REGIONAL DO RS - Tomás Fiori
FEDERALISMO E A QUESTÃO  REGIONAL DO RS - Tomás FioriFEDERALISMO E A QUESTÃO  REGIONAL DO RS - Tomás Fiori
FEDERALISMO E A QUESTÃO REGIONAL DO RS - Tomás Fiori
 
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...
A economia do RS no atual ciclo recessivo: já chegamos ao fundo do poço? - Je...
 
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília Hoff
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília HoffO Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília Hoff
O Rio Grande do Sul no cenário nacional: há perda de dinamismo? - Cecília Hoff
 
Principais atividades no Valor Adicionado dos municípios do RS
Principais atividades no Valor Adicionado dos municípios do RSPrincipais atividades no Valor Adicionado dos municípios do RS
Principais atividades no Valor Adicionado dos municípios do RS
 
As barreiras e os novos desafios para inovar
As barreiras e os novos desafios para inovarAs barreiras e os novos desafios para inovar
As barreiras e os novos desafios para inovar
 

Último

BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfBRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfHenrique Pontes
 
6°ano Uso de pontuação e acentuação.pptx
6°ano Uso de pontuação e acentuação.pptx6°ano Uso de pontuação e acentuação.pptx
6°ano Uso de pontuação e acentuação.pptxErivaldoLima15
 
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptTREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptAlineSilvaPotuk
 
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESPRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESpatriciasofiacunha18
 
Geometria 5to Educacion Primaria EDU Ccesa007.pdf
Geometria  5to Educacion Primaria EDU  Ccesa007.pdfGeometria  5to Educacion Primaria EDU  Ccesa007.pdf
Geometria 5to Educacion Primaria EDU Ccesa007.pdfDemetrio Ccesa Rayme
 
A Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaA Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaFernanda Ledesma
 
ADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalSilvana Silva
 
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...LuizHenriquedeAlmeid6
 
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 anoAdelmaTorres2
 
Cultura e Sociedade - Texto de Apoio.pdf
Cultura e Sociedade - Texto de Apoio.pdfCultura e Sociedade - Texto de Apoio.pdf
Cultura e Sociedade - Texto de Apoio.pdfaulasgege
 
PRIMEIRO---RCP - DEA - BLS estudos - basico
PRIMEIRO---RCP - DEA - BLS estudos - basicoPRIMEIRO---RCP - DEA - BLS estudos - basico
PRIMEIRO---RCP - DEA - BLS estudos - basicoSilvaDias3
 
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdf
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdfDIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdf
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdfIedaGoethe
 
Mapas Mentais - Português - Principais Tópicos.pdf
Mapas Mentais - Português - Principais Tópicos.pdfMapas Mentais - Português - Principais Tópicos.pdf
Mapas Mentais - Português - Principais Tópicos.pdfangelicass1
 
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024HORA DO CONTO5_BECRE D. CARLOS I_2023_2024
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024Sandra Pratas
 
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024Sandra Pratas
 
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxSlides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxLuizHenriquedeAlmeid6
 
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.HildegardeAngel
 
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxFree-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxkarinasantiago54
 
Baladão sobre Variação Linguistica para o spaece.pptx
Baladão sobre Variação Linguistica para o spaece.pptxBaladão sobre Variação Linguistica para o spaece.pptx
Baladão sobre Variação Linguistica para o spaece.pptxacaciocarmo1
 
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNAS
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNASQUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNAS
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNASEdinardo Aguiar
 

Último (20)

BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdfBRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
BRASIL - DOMÍNIOS MORFOCLIMÁTICOS - Fund 2.pdf
 
6°ano Uso de pontuação e acentuação.pptx
6°ano Uso de pontuação e acentuação.pptx6°ano Uso de pontuação e acentuação.pptx
6°ano Uso de pontuação e acentuação.pptx
 
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.pptTREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
TREINAMENTO - BOAS PRATICAS DE HIGIENE NA COZINHA.ppt
 
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕESPRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
PRÉ-MODERNISMO - GUERRA DE CANUDOS E OS SERTÕES
 
Geometria 5to Educacion Primaria EDU Ccesa007.pdf
Geometria  5to Educacion Primaria EDU  Ccesa007.pdfGeometria  5to Educacion Primaria EDU  Ccesa007.pdf
Geometria 5to Educacion Primaria EDU Ccesa007.pdf
 
A Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão LinguísticaA Inteligência Artificial na Educação e a Inclusão Linguística
A Inteligência Artificial na Educação e a Inclusão Linguística
 
ADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mentalADJETIVO para 8 ano. Ensino funda.mental
ADJETIVO para 8 ano. Ensino funda.mental
 
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...
Slides Lição 3, Betel, Ordenança para congregar e prestar culto racional, 2Tr...
 
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
637743470-Mapa-Mental-Portugue-s-1.pdf 4 ano
 
Cultura e Sociedade - Texto de Apoio.pdf
Cultura e Sociedade - Texto de Apoio.pdfCultura e Sociedade - Texto de Apoio.pdf
Cultura e Sociedade - Texto de Apoio.pdf
 
PRIMEIRO---RCP - DEA - BLS estudos - basico
PRIMEIRO---RCP - DEA - BLS estudos - basicoPRIMEIRO---RCP - DEA - BLS estudos - basico
PRIMEIRO---RCP - DEA - BLS estudos - basico
 
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdf
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdfDIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdf
DIA DO INDIO - FLIPBOOK PARA IMPRIMIR.pdf
 
Mapas Mentais - Português - Principais Tópicos.pdf
Mapas Mentais - Português - Principais Tópicos.pdfMapas Mentais - Português - Principais Tópicos.pdf
Mapas Mentais - Português - Principais Tópicos.pdf
 
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024HORA DO CONTO5_BECRE D. CARLOS I_2023_2024
HORA DO CONTO5_BECRE D. CARLOS I_2023_2024
 
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
HORA DO CONTO3_BECRE D. CARLOS I_2023_2024
 
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptxSlides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
Slides Lição 2, Central Gospel, A Volta Do Senhor Jesus , 1Tr24.pptx
 
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
LIVRO A BELA BORBOLETA. Ziraldo e Zélio.
 
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptxFree-Netflix-PowerPoint-Template-pptheme-1.pptx
Free-Netflix-PowerPoint-Template-pptheme-1.pptx
 
Baladão sobre Variação Linguistica para o spaece.pptx
Baladão sobre Variação Linguistica para o spaece.pptxBaladão sobre Variação Linguistica para o spaece.pptx
Baladão sobre Variação Linguistica para o spaece.pptx
 
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNAS
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNASQUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNAS
QUIZ DE MATEMATICA SHOW DO MILHÃO PREPARAÇÃO ÇPARA AVALIAÇÕES EXTERNAS
 

A fronteira do tema Avaliação: desafios e perspectivas futuras

  • 1. A fronteira do tema Avaliação: desafios e perspectivas futuras João Pedro Azevedo Banco Mundial II Seminário de Avaliação de Políticas Públicas e Qualidade do Gasto Porto Alegre, 28 e 29 de Setembro de 2009.
  • 2. Ciclo de Gestão de Políticas Públicas Teoria Desenho Monitoramento Orçamento e Avaliação Execução
  • 3. Ciclo de Gestão de Políticas Públicas Prática Monitoramento Desenho Orçamento Execução e Avaliação
  • 4. Algumas razões para a quebra do ciclo! • Modelos causais frequentemente implicitos • Dificuldades na execução • Ciclo políticos • Incompatibilidade entre os diferentes “tempos” deste processo – Politico, Técnico (programa), Técnico (avaliação), e Financeiro
  • 5. É importante reconhecer avanços... • Gestores públicos e sociedade civil com foco crescente em resultados – Movimento Brasil Competitivo; disseminação de ferramentas de gestão modernas (i.e. escritorio de projetos; balanced score cards; avaliações de impacto) • Existência de instituições tecnicamente capazes – IBGE, IPEA, Fundações Estaduais, Universidades, TCU • Construção de foruns nacionais para troca de experiência sobre o tema – Rede Brasileira de Monitoramento e Avaliação; Movimento Todos pela Educação; Forum de Segurança; eventos como este!
  • 6. ..., alguns limites • Não existe um único caminho para se construir um robusto sistema de avaliação e monitoramento – A experiência internacional ajuda (i.e. Mexico, Colombia, Chile, India), contudo este processos são fruto de uma confluência de atores e interesses próprios que podem e devem ser respeitados.
  • 7. ... e oportunidades. • Heterogeneidade entre setores e regiões • Programas de ajuste fiscal • Construção de Estratégias de Desenvolvimento • Eleição de programas prioritários • Crises economicas
  • 8. Alguns desafios • O que perguntar? • Como responder? • Quando responder? • Como utilizar?
  • 9. Formatando as perguntas... Mobilização • Existe um continuo de Recursos perguntas relevantes Efficiência Servicos • Para ser estratégico e Eficiência poder priorizar é Impacto importante mapear as Participantes possibilidades. Resultados
  • 10. ... Identificando as ferramentas... • Marco lógico • Análise de Desviante Positivo • Avaliação ex-antes • Benchmarking • Dinamica de sistema • Modelos de Equilibrio Geral • Métodos Qualitativos Computável – Grupos focais • Avaliações nutricionais – Entrevistas estruturados • Avaliações de proficiência • Métodos Quantitativos educacional – Desenhos experimentais • Ferramentas de BI – Desenhos não-experimentais • Outros... – Implementação – Análise de disposição a pagar – Análises de custo-benefício – Análises de custo-efetividade
  • 11. ..., viabilizando o plano de trabalho • Dados – Registros administrativos – Dados secundários – Coleta primária de dados • Instituições – Demandantes de informação – Geradores de informação • Prazos
  • 12. ..., utilizando os resultados. • Relevância • Representatividade • Viabilidade • Precisão
  • 13. Estudos de caso • Colombia • México • República Dominicana • Minas Gerais
  • 14. Objetivo • Identificar as perguntas, métodos, e gargá-los enfrentados em algumas experiências Latino Americanas. • Criar um documento único
  • 15. Desafios • Uso de modelos causais explicitos • Maior uso de avaliações ex-antes durante a fase de planejamento do governo • Reconhecimento da importância da triangulação de métodos • Maior uso dos dados existentes • Melhoria da qualidade dos dados existentes • Geração de pesquisas domicíliares mais apropriadas para avaliar programas • Desenhos aleatórios de programas alternativos • Avaliações dos determinantes de impacto
  • 16. Perspectiva futura • Geração e sistematização do conhecimento como um bem público • Política de ESTADO
  • 18. Primeiro: Será que as metas são factíveis? • Benchmark comparando paises • Benchmark comparando estados dentro de um pais • Benchmark comparando municípios ou unidades decisórias (escola, hospitais, pontos de saúde) dentro de um estado • Pode-se analisar as distribuições não condicionada dos desempenhos • ….ou as condicionadas nas características iniciais. • Nossa contribuição. Ao invés de estimarmos a medida de desempenho e condicionada as caracteristica iniciais na média (MQO), podemos estimar estas relações em todos os pontos da distribuição utilizado a técnica de regressões quantílicas. Ferramentas
  • 19. Benchmarking International National Subnational Ferramentas
  • 20. Benchmarking: Internacional, Nacional e Local • Brasil esta em uma posição relativa baixa na nas comparação internacionais de leitura, ciências e matemática (PISA) • Minas Gerais esta em uma posição alta da distribuição de performance dentro do Brasil, e apresenta um ritmo de crescimento relativametne alto • Observa-se uma variação considerável entre o crescimento das notas dentro do Estado de Minas Gerais. Ferramentas
  • 21. Referencia • Metas devem ser ambiciosas porem realistas • As tendências históricas são um ponto de partida importante Ferramentas
  • 22. • Os eixos representam indicadores (H; CV; CVP) ou unidades de análise (RISPs) • Três performances: – Desempenho histórico (2000-2007) – Desempenho recente (2004-2007) – Meta 2007-2009 Ferramentas
  • 23. Exemplo 1 Ferramentas
  • 24. Exemplo 2 Ferramentas
  • 25. Exemplo 3 Ferramentas
  • 26. Exemplo 4 Ferramentas
  • 27. SEGURANÇA PÚBLICA Ferramentas
  • 28. Casos a serem explorados (com Gráfico de Radar) sugestão • Homicídio – Unaí vs Barbacena • Nível semelhante (<70) • Variação histórica e recente proxima (< -2) • Porque metas tão diferentes? – Pato de Minas e Divinópolis • Performance recente muito pior do que a histórica, qual a estratégia para reverter o quadro? – Belo Horizonte e Contagem • Caso de sucesso (o que foi feito)? Ferramentas
  • 30. Casos a serem explorados (com Gráfico de Radar) sugestão • Crimes Violentos contra o Patrimônio – Montes Claros e Uberaba • Porque as metas são tão maiores do que o seu desempenho relativo histórico e recente? – BH, Contagem, Teofilo Otoni, e Vespasiano • Porque as metas são tão menores do que seu desempenho relativo recente? – Unaí e Divinópolis • Porque a posição relativa das metas superior ao desempenho recente? Ferramentas
  • 32. Comparando RISPs • Barbacena – Metas um pouco superiores ao desepenho relativo recente • Divinópolis – Metas muito superiores ao desempenho relativo recente • Belo Horizonte – Em alguns indicadores metas muito superiores em outros muito abaixo Ferramentas
  • 36. EDUCAÇÃO Ferramentas
  • 42. Uma vez que acreditamos que as metas são viáveis…. • Qual será a estratégia para alcançar as metas? • Quanto vai custar? • Quanto tempo vai demorar para alcançar as metas? • Qual a previsão para monitorar e avaliar o progresso e qual será o processo caso o sistema de monitoramento indicar que mudanças são necessárias? • Tanto as áreas de finanças/planejamento quanto os ministérios setoriais tem interesse em responder estas perguntas Ferramentas
  • 43. Uma marco lógico é um instrumento que pode facilitar a comunicação entre a área de finanças/planejamento e os setores Fonte: FAO, http://www.fao.org/Wairdocs/X5405E/x5405e0p.htm Ferramentas
  • 44. Marco Logico, cont. - • Em 80% dos casos, é possível que isto seja tudo que se necessita • Em outros casos, pode não ser suficiente – Quando tempos processos de retroalimentação no sistema (A – B – C, mas C afeta A) – Quando temos uma elemento dinamico no problema, – Quando programas múltiplos contribuem para um mesmo objetivo estratégico – Quando temos que entender as diferenças de desempenho entre implementações distintas Ferramentas
  • 45. Dinamica de Sistemas • A Dinamica de Sistemas é uma metodologia para estudar e gerenciar sistemas complexos de retroalimentação, que podem ser encontrados em sistemas empresariais ou sociais • A metodologia: – Identifica um problema, – Desenvolve uma hipotese dinamica que explica a causa do problema, – Constroi um modelo de simulação do comportamento do sistema, – Verifica a capacidade do modelo de reproduzir tendências que se observam na realidade, – Identifica politicas alternativa que podem solucionar o problema y se testa o potencial que cada alterantiva possui para solucionar o problema, e – Identifica indicadores que o modelo deveria acompanhar através de um sistema de monitoramento e avaliação. • Existem aplicações em diversos setores e principalmente no setor privado (GM, Boeing, Shell, preparação dos jogos Olimpicos em Atenas) Ferramentas
  • 46. Exemplo do Control de Malaria na Bolivia Ferramentas
  • 47. Nosso modelo metal esta implicito no processo A melhoria da estrategia e implementação requer a abertura da “caixa preta” Para… 1. Descrever precisamente o que esta acontecendo e o que deve acontecer? Estratégia 2. Determinar rigorasametne as causas Aplicando o método para subjacentes? 3. Simular o que deve ser feito para melhorar desenvolver uma a situação? visão, estratégia, e metas 4. Conquistar adeptos para implementar as mudanças 5. Desenvolver um sistema de monitramento capaz de alertar as necessidades de mudança Paradigmas & Avaliação Implementação Sensibilizar condições Modelos Mentais Desenvolvendo táticas Correntes em relação Conjunto de hipóteses e ações as metas estabelecidas sobre como o mundo funciona e o que é importante Impacts Ferramentas
  • 48. Documento Único • Marco Lógico • População em risco • Parâmetros Fonte: Literatura – Efetividade M&E Orçamento – Eficiência Projeto – Custo Metas • Metas Ferramentas
  • 49. Por que pensamos que estas duas ferramentas podem melhorar a qualidade das discussões e negociações • Menos risco para se ter metas irrealistas • O processo de escolha de metas passa a ser baseado em evidências empíricas • Com um marco lógico, ou quando se justifica, com um modelo de dinamica de sistema, pode-se contruir um “documento único” que representa o entendimento entre os atores sobre o plano que se alcançar a meta • Ao invés de controlar um grande número de indicadores, pode-se simplificar o processo ao pactuar através de uma plano crível, que pode ser revisto periodicamente, no qual as decisões finais poderão ser tomadas quando as ações não apresentam o efeito esperado. Ferramentas
  • 50. Análise de Desviantes Positivos • Quando a tecnologia não é conhecida, muitas vezes pode-se explorar a heterogeneidade de performance do próprio sistema para gerar hipóteses. • Exemplos: – Nutrição no Vietman – Saúde – Educação Ferramentas
  • 51. Como gerar conhecimento de maneira sistematica? Avaliação Tecnologia conhecida Ações Resultado Objetivo Avaliação Usamos dados Tecnologia para desconhecida Escala identificar Ações hipoteses Ferramentas
  • 56. Alguns resultados interessantes a respeito dos mecanismos de feedback criados pelas SEE/MG... – Segundo os diretores as escolas de melhor performance sabem que estão indo bem (q24a e q24b) – Os diretores parecem conhecer a posição relativa da sua escola em suas respectivas de SREs (q27) – Os diretores das escolas de melhor resultado atribuem seu rendimento no PROEB a um trabalho diferenciado com os alunos e a um esforço maior da escola (q25b) – A matriz de avaliação do PROEB parece ser melhor conhecida nas escolas de melhor peformance (q69b) Ferramentas
  • 57. Em relação ao Acordo de resultado no contexto educacional de Minas Gerais a percepção encontrada foi que... • Os diretores das escolas com melhor resultado parecem acreditar que o Acordo de Resultado contribuiu para melhorar o despenho dos alunos (q73c e q73e)… • ...contudo, 10% dos diretores das escolas com melhor resultado indicaram que nas metas pactuadas nao foram nada desafiadoras (q78) • Os diretores das escolas com pior resultado discordam do processo de implementação do Acordo de Resultado (q74a) • Os diretores das escolas de melhor resultado acreditam que o PGDI contribui positivamente para um melhor conhecimento das equipes (q75c) Ferramentas
  • 58. Em relação aos professores... • Os professores das escolas com melhor resultado estavam mais habilitados a lecionar (e não apenas autorizados). • Os professores das escolas com melhor resultado avaliam que o ambiente de trabalho, disciplina dos alunos e funcionamento global da escola é bom ou muito bom (q33b, q33e, q33g) • Os professores das escolas com melhor desempenho parecem ser melhor informados sobre as metas e objetivos da sua escola (q41a), e estão mais engajados em atividade de troca de experiência com outras escolas (q41f). Ferramentas
  • 59. Em relação aos mecanimos de feedback... • Os professores das escolas de pior desepenho são entre 2 ou 3 vezes mais propensos a afirma que desconhecem o rendimento de sua escola entre 2006 e 2008, tanto no PROALFA quando PROEB. • Os professores das escolas de melhor desempenho participaram mais ativamente da construção do seu PGDI • 73% dos professores acreditam na manutenção do prêmio de produtividade em 2010 (resultado idêntido nos dois tipos de escolas visitadas) Ferramentas
  • 61. Matriz de avaliação por escola Divulgação Integração e interação Processos Apropriação e mobilização Da equipe 3 do PEJ 3 2 2 Planos de trabalho Participação nas Conhecimento do PEJ elaborados e executados Entrega e reuniões de equipe pelos alunos pelo coordenador Atualização dos dados (0,5) (0,5) (0,5) (1) Capacidade de resolução Planos de trabalho de Elaborado e executados situações que afetam o Envolvimento Pelo estagiário de Capacidade de coordenar desenvolvimento do PEJ e participação dos alunos pedagogia Aplicação de avaliações (05) (1) (0,5) e ficha de beneficiário (1) Estratégias de retorno Planos de trabalho para a comunidade Adoção de estratégias elaborado Escolar Permanentes de e executado pelo tutor Capacidade de planejar e (0,5) Mobilização dos alunos (0,5) Coordenar as atividades (1) Extras (1) Incentivo dado pela escola Estratégias de ao aluno Adoção de estratégias manutenção (0,5) de mobilização do do fluxo de comunicação Corpo docente (0,5) (0,5) Ferramentas
  • 62. Níveis de classificação Excelente contribuição à maioria dos fatores considerados. Existem pontos muito Excelente favoráveis e nenhuma deficiência de maior importância. Os pontos favoráveis 100% predominam amplamente frente a eventuais deficiências. ALTO Alta contribuição à maioria dos fatores considerados. Os pontos favoráveis suplantam as deficiências existentes. Todas as deficiências são facilmente 70% corrigíveis. MÉDIA A contribuição à maioria dos fatores considerados é modesta. Os pontos 50% favoráveis e as deficiências se equivalem. As deficiências são corrigíveis. BAIXO Pequena contribuição a vários dos fatores considerados. As deficiências suplantam quaisquer pontos favoráveis eventualmente existentes e são difíceis de 30% corrigir. INSATISFATÓRIO Não existem pontos favoráveis a ressaltar além de existirem importantes 0% deficiências. Essas deficiências são muito difíceis de corrigir. Ferramentas
  • 63. Matriz de Avaliação por Escola Avaliação Níveis 5 = EXCELENTE 4 = ALTA Local: ( )RJ ( ) JF ( ) ES 3 = MÉDIA Escola Estadual: _____________________________Data _____________________ 2 = ABAIXO DA MÉDIA 1 = INSATISFATÓRIA Indicador Itens Avaliação - Conhecimento dos objetivos do PEJ pelos alunos da escola Divulgação e mobilização - Envolvimento e participação dos alunos no PEJ (frequência, participação nas atividades extras, etc) - Adoção de estratégias permanentes de mobilização dos alunos - Adoção de estratégias de mobilização do corpo docente - Planos de trabalho elaborados e sendo executados pelo coordenador Integração e interação da equipe do PEJ na escola - Planos de trabalho elaborados e sendo executados pelo estagiário de pedagogia - Planos de trabalho elaborados e sendo executados pelos tutores - Adoção de estratégias para manter o fluxo de informação - Entrega e atualização dos dados (frequência, notas, banco de alunos) - Capacidade de coordenar a aplicação das avaliações e ficha de Processos beneficiário - Capacidade de planejar,coordenar e executar as atividades extras (passeio cultural e gincana) - Participação nas reuniões de equipe (supervisores/coordenação local) - Capacidade de resolução de situações que afetam o desenvolvimento do PEJ (merenda, transporte, outros) Apropriação do PEJ - Incentivo dado ao aluno pela escola - Estratégias de retorno dos resultados do PEJ para a comunidade escolar (inscrição em curso oferecidos pelo IU, reunião com corpo Ferramentas docente e discente, etc)
  • 64. Divulgação e Integração e interação da Apropriação do PEJ - Escolas Processos - 15 Nota Final mobilização - 15 equipe - 10 10 Escola 1 63.3 55.0 66.7 50 60.0 Escola 2 66.7 75.0 73.3 75 72.0 Escola 3 40.0 35.0 60.0 45 46.0 Escola 4 76.7 65.0 100.0 65 79.0 Escola 5 43.3 50.0 60.0 45 50.0 Escola 6 63.3 65.0 60.0 55 61.0 Escola 7 63.3 75.0 80.0 60 70.0 Escola 8 60.0 70.0 80.0 65 69.0 Escola 9 33.3 45.0 40.0 40 39.0 Escola 10 53.3 45.0 53.3 55 52.0 Escola 11 66.7 60.0 46.7 70 60.0 Escola 12 60.0 50.0 60.0 55 57.0 Escola 13 56.7 60.0 66.7 60 61.0 Escola 14 66.7 70.0 73.3 65 69.0 Escola 15 46.7 45.0 66.7 50 53.0 Escola 16 40.0 25.0 33.3 40 35.0 Escola 17 63.3 75.0 80.0 65 71.0 Escola 18 43.3 50.0 40.0 40 43.0 Escola 19 26.7 30.0 26.7 30 28.0 Ferramentas
  • 65. AVALIAÇÃO DE IMPACTO Ferramentas
  • 66. Diferença em Diferenças Com este desenho podemos descobrir o efeito do programa nas escolas tratadas, levando em conta externalidades positivas e negativas geradas pela intervenção. proficiência Sorteio * Pré Teste Pós Teste B A tempo Nota: (*) ou pareamento Impacto = B - A Ferramentas
  • 67. Desenho do Programa • O programa EJ não foi desenhado para atender todos os alunos de uma mesma escola • Alunos se inscrevem voluntariamente no programa Ferramentas
  • 68. Tripla Diferença Com este desenho podemos descobrir o efeito do programa sobre os alunos participantes. proficiência Pré Pós Sorteio* Teste Teste tempo Nota: (*) ou pareamento Ferramentas
  • 69. Desenho da Avaliação (cont.) • Muitas vezes avaliações assumem que a intervenção possui um caráter dicotômico (recebem ou não recebem o programa). • Esta premissa pode ser falsa. Participantes podem receber exposições diferenciadas ao programa. • No caso do EJ 2008, este indicador é a taxas de freqüência. – Para isso a equipe de implementação do programa monitorou cuidadosamente este aspecto do programa, e estes dados foram também utilizados na avaliação. Ferramentas
  • 70. Linha de Base Dimensões Controle Intervenção Diferença Sig Estat Vc gostaria de fazer um curso de reforço de português ou matemática (Sim) 60.2 59.8 -0.4 ns Você fez um curso de reforço no ano passado (Não) 89.7 88.4 -1.3 ns Vc teria tempo para fazer um curso de reforço (Sim) 53.7 55.8 2.1 ns Seu pai sabe ler e escrever (Sim) 87.5 87.7 0.2 ns Sua mae sabe ler e escrever (sim) 93.3 93.5 0.2 ns Você mora com sua mãe (sim) 86.1 85.4 -0.7 ns Você já foi reprovado (Não) 57.9 56.3 -1.6 ns Trabalho fora de casa (Não) 72.7 74.2 1.5 ns Leitura de jornal (sempre) 45.2 46.5 1.3 ns Vc esta fazendo algum curso de reforço escolar (Sim) 4.5 16 11.5 1% Ferramentas
  • 71. Perguntas • Qual o impacto do EJ 2008 nas escolas que participaram do programa em 2008? • Qual o impacto do EJ 2008 nos alunos que participaram do programa em 2008? • Qual o impacto da freqüência do programa EJ 2008? • Em termos relativos, a magnitude do impacto é relevante? Ferramentas
  • 72. Quadro Resumo Dimensões da avaliação de impacto Impacto Português Matemática Escola X X Beneficiário X X Freqüência X X Ferramentas
  • 73. Resultados • O número de alunos beneficiários do programa não foi suficiente para gerar um impacto estatisticamente significativo ao nível da escola. • No entanto, os beneficiários das classes de reforço das escolas de tratamento apresentaram um rendimento superior e estatisticamente significativo, quando comparado a alunos semelhantes das escolas de controle (1/4 desvio padrão). • A evidência deste impacto é mais contundente em Vitória: 1/2 desvio padrão (desenho aleatório) . • Os alunos que freqüentaram mais intensamente o programa apresentaram um rendimento superior aqueles que não freqüentaram o programa com a mesma intensidade (1/3 desvio padrão) • Os impactos da freqüência são não lineares. Ganhos mais do que proporcionais com o passar do tempo em matemática. Ferramentas
  • 74. Resultados (Vitória) Impacto Português Matemática Escola 1.81 1.27 Beneficiário 24.15** 23.31** Freqüência 14.03** 21.18** Nota: significância estatística: + p<0.01, * p<0.05, ** p<0.01; Modelo: Diferença (dupla ou tripla); erro padrão clusterizado por aluno; painel desbalanceado; ponderado pelo erro padrão; desvio padrão nas escolas de tratamento no pré-teste: Português = 47.64 e Matemática = 46.71. Ferramentas
  • 76. Matemática (Vitória) Ferramentas
  • 77. Português (Vitória) Ferramentas
  • 78. AVALIAÇAO EX-ANTE Ferramentas