Michael Scriven desenvolveu ideias fundamentais para a lógica e metodologia da avaliação educacional, distinguindo seus objetivos de seus papéis e promovendo a avaliação formativa e somativa. Ele também defendeu a avaliação independente de objetivos e estabeleceu critérios abrangentes para a avaliação de produtos educacionais.

1. Avaliação e sua lógica: Michael Scriven

2. Scriven desenvolveu ideias para a compreensão da lógica da avaliação educacional; Estabeleceu que a avaliação desempenha muitos papéis mas tem apenas um objectivo: Determinar o valor ou o mérito do que se avalia

3. Explicou a diferença entre papéis e objectivos: Objectivos : dar uma resposta satisfatória aos problemas; Papéis : maneira como as respostas são usadas. Demonstrou a possibilidade de realizar uma avaliação independentemente da fixação de objectivos

4. Metodologia da Avaliação Avaliação formativa É conduzida durante o design e implementação de um projecto com a finalidade única de prestar aos seus responsáveis as informações avaliativas relevantes . Avaliação Sumativa Modalidade de avaliação que visa determinar em que medida os objectivos da formação foram de facto cumpridos, efectuando para o efeito um juízo de valor sobre os resultados alcançados.

5. Avaliação Formativa e Somativa A avaliação Formativa e Somativa surgiu com Scriven, na avaliação do currículo; Contribuiu para a concepção da avaliação de programas e para a sua alteração

6. É necessário ter em conta: Os futuros usuários; Os papéis da avaliação.

7. Avaliação Formativa Em relação ao programa, os destinatários são os elementos responsáveis pelo seu desenvolvimento.

8. Avaliação Somativa OS destinatários são diferentes: Alunos, Professores, instituições financiadoras ( APES, FINEP), supervisores educacionais… Relaciona-se com a decisão de continuar o Programa, encerrá-lo ou adoptá-lo.

9. Fazer apenas uma avaliação no final ( Somativa) é propícia ao fracasso de um projecto… Assim… Os dois tipos de avaliação complementam-se, ou seja, são fundamentais.

10. Os avaliadores concentram-se mais nas avaliações Somativas… No entanto…. Sem a avaliação formativa, o processo de desenvolvimento do projecto ficará incompleto.

11. Dimensões da avaliação Formativa e Somativa, segundo Worthen e Sanders (1987) Podem ser combinadas com as dimensões externa e interna da avaliação…

12. Avaliação Formativa interna Avaliador interno e externo Avaliação Formativa externa; Avaliação Somativa interna e externa

13. Avaliador interno Pouca objectividade e credibilidade. Avaliador externo Falta de familiaridade com o programa/contexto;

14. Avaliação Formativa e Somativa A diferença entre as duas, baseia-se na altura em que são efectuadas, no tipo de público e na utilização dos resultados; Cronbach, defende que a avaliação formativa é mais significativa e tem maior contributo para a educação;

15. Avaliação Formativa e Somativa A A. Formativa possui maior importância para a melhoria da aprendizagem; As duas assumem grande preponderância na avaliação educacional.

16. Avaliação Goal-Free Scriven (1973)- propõe uma avaliação independente de objectivos – goal-free Modelo com impacto uma vez que demonstra a possibilidade de realizar uma avaliação não dependente de objectivos pré-estabelecidos – afasta-se do modelo tyleriano

17. A perspectiva de Sriven – determinação do mérito a partir dos efeitos do programa, excluindo a referencia de objectivos – contribuiu bastante para a teoria de avaliação, pois deu destaque ao problema da influencia gerada no avaliador (e consequentemente no seu trabalho) quando este toma conhecimento prévio dos objectivos, uma vez que estes podem alterar as suas acções e decisões. O avaliador possui um contacto restrito com a equipa responsável pelo programa .

18. Worten e Sanders (1987) apontam as seguintes características numa avaliação goal-free: Desconhecimento dos objectivos do programa por parte do avaliador; O avaliador mantém o mínimo contacto com a equipa responsável pelo programa; A avaliação goal-free concentra todos os esforços para identificar os objectivos reais do programa e não os resultados pretendidos; Aumenta a probabilidade de objectivos colaterais. .

19. Objectivos colaterais existentes no projecto, mas não previstos no programa nem sempre podem ser identificados pelo avaliador, ficando o mesmo circunscrito aos objectivos pré-definidos É importante destacar que a avaliação goal-free não é um modelo que: Apresente definições formais Relações estruturais Orientação na recolha e analise de dados Procedimentos operacionais

20. A avaliação goal-free posiciona-se filosoficamente na avaliação e deve servir para orientar todo o desenvolvimento do processo tendo como base a experiencia do avaliador , para q este possa empenhadamente identificar e documentar os efeitos de um programa. Modus operandi Scriven Como o avaliador deve estabelecer relações causais entre o programa e os seus efeitos, identificando todas as causas potenciais dos efeitos observados.

21. Scriven ao analisar os prós e contras da avaliação goal-free chama a atenção para o facto dos objectivos ( retórica do pretendido) serem usados para substituir as possíveis demonstrações de sucesso de um programa educacional, acrescentando que maioritariamente os objectivos são limitados e vagos, alem de serem varias vezes superestimados (ou subestimados).

22. Critérios para a Avaliação de Produtos Em 1967 Scriven manifesta uma preocupação em estabelecer critérios para a avaliação de qualquer produto educacional .

23. Critérios para a Avaliação de Produtos Os primeiros critérios apresentados eram muito limitados o que levou a que Scriven em 1974 construi-se e apresentasse uma listagem (checklist) com um conjunto de padrões destinada ao uso de especialistas. Nessa listagem apresentava, entre muitos outros, alguns dos seguintes aspectos:

24. Critérios para a Avaliação de Produtos Necessidade – ter em conta o numero de pessoas afectadas pelo produto, a sua significância social, os efeitos multiplicativos e provar a sua necessidade. Mercado – determinar o efeito do produto e o tamanho e a importância dos mercados potenciais. Desempenho Real – Comprovar a eficácia da versão oficial, com usuários, recursos e contextos típicos, e tempo típico definido. Desempenho - Consumidor Verdadeiro – Realização de testes com todos os “consumidores” importantes ( ex. professores, alunos, directores).

25. Critérios para a Avaliação de Produtos 5 Desempenho – Comparações críticas – análise dos dados comparativos entre os diferentes competidores 6 Desempenho – Longo prazo – evidenciar os efeitos do produto em tempos estabelecidos (competidores projectados, criados ou hipotetizados). 7 Desempenho – Efeitos colaterais – análise de estudos ou pesquisas independentes relativas aos resultados esperados, imediatamente após o uso do produto num longo período de tempo. 8 Desempenho – Processo – evidenciar o uso do produto para verificar a descrição do produto , reclamações e moralidades necessárias no uso do mesmo.

26. Critérios para a Avaliação de Produtos 9 Desempenho – Causalidade – provar a eficácia do produto por intermédio de um estudo experimental, quase-experimental, ex post-facto ou correlacional. 10 Desempenho - Significância estatística – realizar provas estatísticas da eficiência do produto, através de análises técnicas, níveis de significância e interpretações.

27. Critérios para a Avaliação de Produtos 11 Desempenho – Significância educacional – comprovada através de julgamentos independentes e de peritos baseados na análise de itens e em escores de testes, efeitos colaterais e a longo prazo. 12 Custos – Benefícios – análise abrangente de todos os custos que o produto implica. 13 Apoio ampliado - organização de fundos para uma nova colecta de dados do mercado e actualização de materiais de auxílio e estudo sobre novos usos e dados sobre usuários.

28. Critérios para a Avaliação de Produtos O autor criou, assim uma longa transcrição de carácter intencional. Esta preocupação pelos produtos educacionais tem de ser entendida dentro do seu contexto norte-americano orientado pelo espírito capitalista e pelas empresas de carácter privado

29. Critérios para a Avaliação de Produtos Em que a industria de material didáctico produz milhões de dólares. Os seus usuários são consumidores exigentes e conscientes dos seus direitos exigindo, assim, elevados padrões de qualidade.

30. Critérios para a Avaliação de Produtos A contribuição de Scriven tem uma grande importância, principalmente a nível teórico. Mas devido ao seu elevado nível de exigência e qualidade é difícil em qualquer produto, mesmo dentro de uma filosofia de alta qualidade satisfazer todos os critérios apresentados pelo autor.

31. Questões Conceptuais – Preocupação Síntese de algumas ideias básicas de Scriven

32. Para Scriven, certos projectos exigiam a participação de vários avaliadores, peritos em áreas específicas, pois só um avaliador não pode dominar todos os campos; Considerava o mito do avaliador sem bias, (ou seja um avaliador imparcial que realiza um trabalho objectivo) um raciocínio falacioso, pois nos projectos de avaliação existem relações que podem comprometer os avaliadores e a sua imparcialidade;

33. Defendeu a realização de avaliações comparativas, pois acreditava que traziam mais informações, permitindo uma tomada de decisão, mais segura; Chamou a atenção para a análise crítica dos vários modelos de avaliação, pois dizia que lhes faltavam lógica e muitos apenas incorporavam elementos de outros grupos;

34. Defendeu a ideia de uma meta-avaliação (avaliação da avaliação), que mais tarde foi concretizada por Stuffelbeam; Defendeu também a Avaliação Somativa Externa, porém compreendeu que por vezes não é possível realizá-la. Assim aceitou, com algumas restrições, a Avaliação Somativa Interna;

35. Por fim, Scriven preocupou-se também com os custos da avaliação, mas reconheceu que é impossível desenvolver uma avaliação livre de custos; Assim, a compensação seriam os benefícios dos alunos, do currículo e da instituição.