O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Seminario "Estudios sobre evaluación de escuelas"

72 visualizações

Publicada em

Presentación Seminario "Estudios sobre evaluación de escuelas"
Impartido por Carlos Barreira el 23 de enero de 2019

Publicada em: Educação
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Seminario "Estudios sobre evaluación de escuelas"

  1. 1. Estudos sobre Avaliação de Escolas: Análise dos resultados do 1º ciclo de AEE Projeto PTDC/CPE-CED/116674/2010 Carlos Barreira cabarreira@fpce.uc.pt Maria da Graça Bidarra gbidarra@fpce.uc.pt Maria Piedade Vaz-Rebelo pvaz@mat.uc.pt Valentim Rodrigues Alferes valferes@fpce.uc.pt Faculdade de Psicologia e de Ciências da Educação da Universidade de Coimbra Doctoral Programme Education in the Knowledge Society – University of Salamanca 23 de Janeiro de 2019
  2. 2. Estudos sobre AEE • Barreira, C., Bidarra, G., & Vaz-Rebelo, M. P. (2011). Avaliação externa de escolas: Do quadro de referência aos resultados e tendências de um processo em curso. Revista Portuguesa de Pedagogia, Extra-Série, 81-94. • Bidarra, M.G., Barreira, C. F. Barreira, Vaz-Rebelo, M.P., & Valferes, V. A. (2014). Avaliação externa de escolas: Da análise das redundâncias à ponderação diferencial dos resultados no primeiro ciclo de avaliação. In J. A. Pacheco (Org.). Avaliação externa de escolas: Quadro teórico/Conceptual (230-246). Porto: Porto Editora.
  3. 3. Objetivo geral Divulgar alguns estudos realizados com base nos dados obtidos no 1º ciclo de avaliação externa de escolas.
  4. 4. Questões de investigação Qual o desempenho das escolas nos diferentes domínios do quadro de referência da AEE? Quais as principais tendências que nos revelam os dados obtidos no processo de AEE no 1º ciclo de avaliação?
  5. 5. Enquadramento legal Com a publicação da Lei n.º 31/2002 foi aprovado o sistema de avaliação da educação e do ensino não superior. Este sistema integra duas modalidades de avaliação: a autoavaliação ou avaliação interna, realizada por cada escola ou agrupamento de escolas, e a avaliação externa, da responsabilidade da administração educativa.
  6. 6. Fundamentos e experiências anteriores nacionais e internacionais Modelo European Foundation for Quality Management (EFQM). Metodologia desenvolvida pela Inspecção de Educação Escocesa em How Good is Our School, criada em 1991, revista em 2002 e reeditada em 2007 com o subtítulo The Journey to Excellence. Avaliação Integrada das Escolas realizada pela IGE entre 1999 e 2002.
  7. 7. CINCO DOMÍNIOS E RESPECTIVA RELAÇÃO 1. Resultados 2. Prestação do serviço educativo 3. Organização e gestão escolar 4. Liderança 5. Capacidade de auto-regulação e melhoria da escola Resultados académicos 1. Como conhece a escola os resultados dos seus alunos,quais são e o que faz para garanti-los? 2. Para obter esses resultados, que serviço educativo presta a escola,e como o presta? 3. Como se organiza e é gerida a escola para prestar esse serviço educativo? 4. Que lideranças tem a escola e que visão e estratégia está por trás da organização e gestão? 5. Como garante a escola o controlo e melhoria deste processo? Coimbra 29 de Outubro de 2009
  8. 8. Coimbra 29 de Outubro de 2009 Domínios e Factores de Avaliação 4. Liderança 1.1. Sucesso académico 1.2. Participação e desenvolvimento cívico 1.3. Comportamento e disciplina 1.4. Valorização e impacto das aprendizagens 2. A prestação do serviço educativo 2.1. Articulação e sequencialidade 2.2. Acompanhamento da prática lectiva em sala de aula 2.3. Diferenciação e apoios 2.4. Abrangência do currículo e valorização dos saberes e da aprendizagem3. A organização e gestão escolar 3.1. Concepção, planeamento e desenvolvimento da actividade 3.2. Gestão dos recursos humanos 3.3. Gestão dos recursos materiais e financeiros 3.4. Participação dos pais e outros elementos da comunidade educativa 3.5. Equidade e justiça 1. Resultados 4.1. Visão e estratégia 4.2. Motivação e empenho 4.3. Abertura à inovação 4.4. Parcerias, protocolos e projectos 5. Capacidade de auto-regulação e melhoria da Escola/Agrupamento 5.1. Auto-avaliação 5.2. Sustentabilidade do progresso
  9. 9. Metodologia da AEE Equipa de avaliação externa: dois inspetores e um avaliador externo à IGE. Análise dos documentos estruturantes e de orientação educativa da escola. Visita à unidade de gestão: dois ou três dias, consoante se trate de uma escola ou de um agrupamento. Observação direta Entrevistas em painel, de vários atores educativos: alunos, pais, docentes, funcionários,autarcas e outros parceiros. Elaboração do relatório enviado à escola, que é posteriormente disponibilizado na página de internet da IGE.
  10. 10. Níveis da escala de classificação As classificações dos domínios e fatores que constituem o quadro de referência são atribuídas numa escala qualitativa com quatro níveis: — Muito Bom — Bom — Suficiente — Insuficiente A distinção entre estes níveis faz-se tendo em conta: — O balanço entre o número de pontos fortes e fracos; — O carácter mais ou menos generalizado das ações e procedimentos adotados pela unidade de gestão; — O respetivo impacte na melhoria dos resultados dos alunos.
  11. 11. PROGRAMA DE AVALIAÇÃO Escala de classificação Muito Bom (MB) Predominam os pontos fortes, evidenciando uma regulação sistemática, com base em procedimentos explícitos, generalizados e eficazes. Apesar de alguns aspectos menos conseguidos, a organização mobiliza-se para o aperfeiçoamento contínuo e a sua acção tem proporcionado um impacto muito forte na melhoria dos resultados dos alunos. Bom (B) Predominam os pontos fortes decorrentes de uma acção intencional e frequente, com base em procedimentos explícitos e eficazes. As actuações positivas são a norma, mas decorrem muitas vezes do empenho e da iniciativa individuais. As acções desenvolvidas têm proporcionado um impacto forte na melhoria dos resultados dos alunos.. Suficiente (S) Os pontos fortes e os pontos fracos equilibram-se, revelando uma acção com alguns aspectos positivos, mas pouco explícita e sistemática. As acções de aperfeiçoamento são pouco consistentes ao longo do tempo e envolvem áreas limitadas da escola. No entanto, essas acções têm um impacto positivo na melhoria dos resultados dos alunos. Insuficiente (I) Os pontos fracos sobrepõem-se aos pontos fortes. A escola não demonstra uma prática coerente e não desenvolve suficientes acções positivas e coesas. A capacidade interna de melhoria é reduzida, podendo existir alguns aspectos positivos, mas pouco relevantes para o desempenho global. As acções desenvolvidas têm proporcionado um impacto limitado na melhoria dos resultados dos alunos.. Coimbra 29 de Outubro de 2009
  12. 12. Pareceres do Conselho Nacional de Educação — Alerta para a existência de uma certa tensão entre as duas lógicas avaliativas presentes na AEE: a lógica formativa e a lógica sumativa. — Refere algumas redundâncias entre alguns domínios e fatores. — Aponta para o interesse de uma eventual hierarquização dos domínios de avaliação e de uma explicitação dos indicadores de cada fator e a respetiva ponderação. — Necessidade de reforçar a centralidade dos resultados.
  13. 13. Desempenho das escolas nos diferentes domínios Principais tendências Estudo A
  14. 14. Estudo A Metodologia Questões de investigação: Qual é o desempenho das escolas nos diferentes domínios e quais são as principais tendências que se evidenciam a partir da análise das classificações por domínios das escolas avaliadas? Base de dados — Relatórios publicados pela IGE sobre a Avaliação Externa de Escolas, relativos a quatro anos letivos, entre 2006 e 2010 (IGE, 2008, 2009, 2010, 2011). Cf. www.igec.min-edu.pt o 2006-2007: 100 escolas o 2007-2008: 273 escolas o 2008-2009: 287 escolas o 2009-2010: 300 escolas
  15. 15. Estudo A Metodologia Procedimentos — Por conveniência de representação gráfica e de análise da evolução da classificação nos diferentes domínios, a escala de classificação nos quatro níveis de Insuficiente, Suficiente, Bom e Muito Bom, foi convertida numa escala de 1 a 4. — Em seguida, para cada ano letivo, foi calculada a pontuação de cada domínio pesando cada valor da escala com a respetiva percentagem com que o domínio aparece. Por exemplo, para o ano letivo 2006-2007, o domínio Liderança obtém a pontuação de (40x4+43x3+16x2+1x1)/100=3.22.
  16. 16. Percentagens dos níveis de classificação atribuídos às escolas por ano letivo em função dos domínios do quadro de referência
  17. 17. 1 2 3 4 2006_2007 2007_2008 2008_2009 2009_2010 Classificação (1-insuf 4-M.Bom) Ano académico Resultados Prestação do serviço educativo Organização e gestão escolar Liderança Capacidade de auto-regulação e melhoria da escola Evolução das pontuações obtidas nos domínios
  18. 18. Classificação dos Domínios — Predomínio de níveis de classificação positivos em todos os domínios, correspondentes a Bom e Muito Bom, com exceção do domínio Capacidade de autorregulação e melhoria da escola. — Esta tendência não só se manteve, como se tem manifestado de forma crescente, com exceção do ano de 2007-2008. — Níveis de classificação mais elevados na Liderança e Organização e gestão, seguidos de Prestação do Serviço Educativo e Resultados. — O domínio em que estes níveis são inferiores é o da Capacidade de autorregulação e melhoria da escola, em que se regista mesmo um decréscimo das classificações, vindo a atingir-se um valor próximo do inicial no último ano.
  19. 19. Padrões de associação entre domínios e entre fatores e domínios Estudo B
  20. 20. Estudo B Metodologia Questões da investigação: Quais os fatores mais associados ao respetivo domínio? Quais os fatores que se constituem como melhores preditores relativamente às classificações no domínio? Em que medida é possível dar conta da existência de ponderações implícitas entre os fatores dos respetivos domínios? Objetivo: Conhecer o padrão de intercorrelações entre domínios e entre fatores e domínios. Base de dados: Este estudo foi efetuado com uma base mais restrita, que compreendeu 167 escolas da zona centro dos anos letivos de 2007-2008, 2008- 2009 e 2009-2010. Procedimento: Conversão da escala de 4 níveis (Insuficiente. Suficiente, Bom, Muito Bom) usada no âmbito da AEE em 1, 2, 3, 4, à semelhança do que foi feito no estudo 1. Análise estatística: Análise de correlação/regressão múltipla para cada um dos domínios, tomando como variável critério a pontuação do domínio e como variáveis preditoras as pontuações nos fatores.
  21. 21. Correlações interdomínios Domínios Dom 1 Dom 2 Dom 3 Dom 4 Dom 5 Domínio 1: Resultados 1.00 — — — — Domínio 2: Prestação do Serviço Educativo .66 1.00 — — — Domínio 3: Organização e Gestão Escolar .44 .38 1.00 — — Domínio 4: Liderança .54 .47 .61 1.00 — Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .39 .48 .50 .58 1.00 • Os domínios aparecem todos positivamente correlacionados entre si. • Existem correlações mais elevadas entre os domínios Prestação do serviço educativo e Resultados, por um lado, e Liderança e Organização e gestão, por outro, ainda que as restantes correlações sejam igualmente elevadas.
  22. 22. Análise em Componentes Principais (Rotação VARIMAX) Saturações Domínios Componente 1 Componente 2 Domínio 3: Organização e Gestão Escolar .84 .18 Domínio 4: Liderança .79 .36 Domínio 5: Capacidade de Auto-Regulação e Melhoria da Escola .77 .27 Domínio 2: Prestação do Serviço Educativo .26 .88 Domínio 1: Resultados .29 .86 Valores Próprios 2.06 1.74 Percentagem de Variabilidade Explicada 41.2 34.8 Esta análise permite-nos fazer uma leitura dos padrões de associação subjacentes a esta matriz, sendo identificados dois componentes principais que explicam respetivamente 41.2% e 34.8% da variabilidade.
  23. 23. 1ºcomponente 2ºcomponente Aspetos estruturais/ organizacionais da escola — Organização e gestão — Liderança — Capacidade de autorregulação e melhoria da escola Aspetos funcionais/ pedagógicos — Prestação do serviço educativo — Resultados Padrões de associação
  24. 24. Quais são os fatores que se constituem como melhores preditores do respetivo domínio? Ou dito de outro modo, se se tivesse de reduzir os fatores por domínio, quais se mantinham? An á l ise da c o rrel a çã o/regressão mú l t ipla • Va riá vel c rit ério : po n t u açã o do do mín io • Va riá veis predit o ra s: po n t ua ções n o s f a t o res 3 n íveis de a n á l ise • Co ef ic iente de c o rrel a ção mú l t ipl a • Co ef ic iente de c o rrel aç ão simpl es • D ec o mposição de R 2
  25. 25. A pontuação no domínio não pode ser integralmente derivada dos factores; caso isto acontecesse, então R = 1.00 Para cada factor, tomado isoladamente, a correlação com o domínio indica o respectivo valor preditivo. A análise dos contributos únicos dos fatores permite-nos identificar a redundância dos diferentes factores na classificação no domínio Domínio 1: Resultados R = .92 R2 = .85 Fatores r sr2 F1 – Sucesso académico .87 .23 F2 – Participação e desenvolvimento cívico .58 .03 F3 – Comportamento e disciplina .57 .02 F4 - Valorização e impacto das aprendizagens .71 .01 R2 − Σ sr2 = .57
  26. 26. Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores. Domínio 1: Resultados R = .92 R2 = .85 Fatores r sr2 F1 – Sucesso académico .87 .23 F2 – Participação e desenvolvimento cívico .58 .03 F3 – Comportamento e disciplina .57 .02 F4 - Valorização e impacto das aprendizagens .71 .01 R2 − Σ sr2 = .57 Domínio 2: Prestação do Serviço Educativo R = .84 R2 = .70 Fatores r sr2 F1 – Articulação e sequencialidade .75 .10 F2 – Acompanhamento da prática letiva em sala de aula .63 .01 F3 – Diferenciação e apoios .61 .05 F4 – Abrangência do currículo e valorização dos saberes .59 .03 R2 − Σ sr2 = .51 Domínio 3: Organização e Gestão Escolar R = .89 R2 = .79 Fatores r sr2 F1 – Conceção/planeamento/desenvolvimento da atividade .76 .05 F2 – Gestão dos recursos humanos .73 .04 F3 - Gestão dos recursos materiais e financeiros .63 .03 F4 – Participação dos pais e de outros elementos da comunidade .55 .02 F5 – Equidade e justiça .61 .02 R2 − Σ sr2 = .62 Domínio 4: Liderança R = .88 R2 = .78 Fatores r sr2 F1 – Visão e estratégia .77 .07 F2 – Motivação e empenho .70 .08 F3 – Abertura e inovação .63 .02 F4 – Parcerias, protocolos e projetos .66 .03 R2 − Σ sr2 = .58 Domínio 5: Capacidade de Autorregulação e Melhoria da Escola R = .90 R2 = .80 Fatores r sr2 F1 - Autoavaliação .85 .17 F2 - Sustentabilidade e progresso .80 .07 R2 − Σ sr2 = .56
  27. 27. Domínio 1: Resultados Fatores F1 – Sucesso académico F2 – Participação e desenvolvimento cívico Domínio 2: Prestação do Serviço Educativo Fatores F1 – Articulação e sequencialidade F3 – Diferenciação e apoios Domínio 3: Organização e Gestão Escolar Fatores F1 – Conceção/planeamento/desenvolvimento da atividade F2 – Gestão dos recursos humanos Domínio 4: Liderança Fatores F1 – Visão e estratégia F2 – Motivação e empenho Domínio 5: Capacidade de Autorregulação e Melhoria da Escola Fatores F1 - Autoavaliação Hipótese O quadro de referência dos avaliadores envolve uma ponderação diferencial dos fatores.
  28. 28. Ponderação igual para todos os factores Ponderação 2 para o 1º factor e 1 para os restantes. Reproduz parcialmente as classificações atribuídas. Reproduz de forma quase perfeita as classificações atribuídas. Para testar a hipótese da ponderação diferencial dos fatores, formulámos dois modelos hipotéticos de ponderação
  29. 29. Média Aritmética (Ponderacão Igual) dos Factores do Domínio Resultados 1 2 3 4 4 R R R R R + + + = 1 2 3 4.25 .25 .25 .25R R R R R= + + + Conversão das Classificações nos Factores Insuficiente → 1 Suficiente → 2 Bom → 3 Muito Bom → 4 Média Aritmética (Ponderação Diferencial) dos Factores do Domínio Resultados 1 2 3 42 5 R R R R R + + + = 1 2 3 4.40 .20 .20 .20R R R R R= + + + Conversão das Médias nos Domínios 1.00 1.50R≤ < → Insuficiente 1.50 2.50R≤ < → Suficiente 2.50 3.50R≤ < → Bom 3.50 4.00R≤ ≤ → Muito Bom Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Igual Classificações Esperadas Insuficiente Suficiente Bom Muito_Bom Total Classificações Atribuídas Insuficiente 0 2 0 0 2 Suficiente 0 24 26 0 50 Bom 0 0 75 16 91 Muito Bom 0 0 0 24 24 Total 0 26 101 40 167 Classificaçõesconvergentes: 123 Escolas (73.7%) Classificaçõesnão convergentes: 44Escolas (26.3%) Cruzamento das Classificações Atribuídas com as Classificações Esperadas de Acordo com o Modelo de Ponderação Diferencial Classificações Esperadas Insuficiente Suficiente Bom Muito_Bom Total Classificações Atribuídas Insuficiente 0 2 0 0 2 Suficiente 0 49 1 0 50 Bom 0 0 89 2 91 Muito Bom 0 0 0 24 24 Total 0 51 90 26 167 Classificaçõesconvergentes: 162 Escolas (97.0%) Classificaçõesnão convergentes: 5 Escolas (3.0%)
  30. 30. Conclusões Não existem ponderações explícitas dos fatores e domínios no quadro de referência da AEE, mas existem ponderações implícitas no quadro de referência dos avaliadores. Os dados obtidos dão algum apoio ao novo quadro de referência previsto para o novo ciclo de avaliação, que envolve já uma redução de domínios e uma redução de fatores.
  31. 31. Implicações É possível: — reduzir os fatores aos preditores, o que em certa medida já se verifica no novo quadro de referência. — estabelecer um quadro explícito de ponderação e de cálculo das classificações dos domínios.

×