A avaliação como tecnologia de intervenção social discute: 1) O significado tradicional e contemporâneo da avaliação; 2) Como indicadores educacionais como o SAEB, Prova Brasil e Censo Escolar formam o IDEB para avaliação da educação; 3) Como tecnologias sociais podem mudar o mundo quando projetos são sistematizados e replicáveis.

1. A avaliação como tecnologia de intervenção social Marcelo Simas IUPERJ Laboratório de Tecnologia Social Abril 2011

2. Tema Planejamento/avaliação de tecnologias sociais; Significado; Prática;

3. Roteiro Significado da avaliação; Tradicional e contemporâneo; Indicadores educacionais como método de avaliação; SAEB + Prova Brasil + Censo Escolar = IDEB Tecnologias sociais; Definição; Vantagens do conceito; O papel do “método” na gestão organizacional; Mapeamento conceitual como ferramenta de ação;

4. Significado da avaliação Tradicional contemporâneo De cima para baixo; Resolução de mudança; Missão institucional; Externa; Baixo acionamento; Periodicidade: final; Foco em processo: Eficiência; Indicadores financeiros; Redirecionamento orçamentário; Contabilidade; Cumprimento de metas; Foco de auditória: punição; De baixo para cima; Capacidade de mudança; Operação específica; Participativa assistida; Alto acionamento; Periodicidade: constante; Foco em resultado: Eficácia; Indicadores de impacto; Aproveitamento orçamentário; Melhores práticas; Produtividade; Foco na excelência: premiação;

5. Processo de avaliação tradicional

6. Significado tradicional da avaliação Dissociação cognitiva; Entre níveis hierárquicos; Entre diferentes processos; Entre diferentes equipes; Entre meios e fins; Entre diferentes fins; Baixa cooperação com o planejamento/avaliação; Baixo acionamento;

7. Ciclo de avaliação contemporâneo

8. Indicadores educacionais como método de avaliação Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep); Coordenação de diversos órgãos; Acompanhamento abrangente da qualidade da educação básica e fundamental; SAEB + Prova Brasil + Censo Escolar = IDEB

9. Sistema Nacional de Avaliação da Educação Básica, SAEB Prova de proficiência de Português e Matemática; Amostral; 3º ano do ensino médio público; 5º e 9º anos do ensino fundamental privado; Desagregação por Unidade da Federação; Censitário; 5º e 9º anos do ensino fundamental público; Desagregação por escola e Município; Prova Brasil;

10. Censo Escolar Infra-estrutura das escolas, matrículas, funções docentes, abandono, aprovação e reprovação; Referência para diversos programas; Merenda e transporte escolar, distribuição de livros e uniformes, implantação de bibliotecas, Dinheiro Direto na Escola e Fundeb; Desagregação por escola e Município;

11. Índice de Desenvolvimento da Educação Básica, IDEB Qualidade da educação; Equilíbrio entre aprendizado e fluxo; Ultra focalizado; IDEB [0,10] = % aprovação + (média Português + média Matemática) Referências para o Plano de Desenvolvimento da Educação, PDE/ME; Mobilização e conscientização pública; Meta de IDEB 6,0 em 2022, equivalente a OCDE; Metas específicas por escola, Município e Estado; De acordo com seu ponto de partida;

12. Metas intermediárias do IDEB por UF’s selecionadas (5º ano) Metas Fonte: Inep/MEC

13. Metas intermediárias do IDEB por rede (5º ano) Metas Fonte: Inep/MEC

14. Indicadores quantitativos Acompanhamento de uma necessidade organizacional; “Só podemos gerir o que medimos”; Estabelecer “metas” e definir o “sucesso”; Matemática; Complexa para criação de indicadores; Simples no uso operacional; Gráficos; Médias e porcentagens; Relação direta com processos e elementos cotidianos; Eleva o acionamento;

15. Tecnologia social para “mudar o mundo” Modelos de ação; Relaciona atividades à objetivos, durante o processo chave de implementação; Sistematização formal do conhecimento construído em um projeto social; Replicabilidade e teste; Desenho experimental com “grupo de controle”; Evidência que “fala”; Participativo; Alteração significativa da paisagem social; Efeitos negativos não antecipados; Canaliza informações que humanizam o modelo; Acionável; Setores público e privado;

16. Tecnologia social para “mudar o mundo” Exemplos: Banco Mundial “Marco Lógico de elaboração de projetos”; “Ferramenta de avaliação de Capital Social”; “Questionário Integrado de Capital Social”; Fundação Banco do Brasil “Cabala, produção orgânica sustentável”; “Cadeias de Cultura, produção cooperativa sustentável”;

17. O papel do método na gestão do trabalho coletivo Estratégia explícita; Objetivos claros; Valores claros; Conflitos de valores e interesses; Definição de “sucesso”; Logística; Comunicação; Apoio; Financiamento;

18. Debater é um prazer! Controle da palavra; Consumo de tempo; Conflitos de interesses e valores; Discordâncias; Desentendimentos;

19. Conclusão Planejamento/avaliação de tecnologias sociais; Significado; Prática;