UNIVERSIDADE ESTADUAL DO CEARÁ - UECE
Centro de Ciências e Tecnologia - CCT
CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DO CEARÁ
CEFET - CE
Diretoria de Pesquisa e Pós-graduação – DIPPG
MESTRADO INTEGRADO PROFISSIONAL EM COMPUTAÇÃO APLICADA
UECE / CEFET – CE
___________________________________________________________________________
LUCAS EVANGELISTA DA SILVEIRA LOPES
SAPECA – SISTEMA DE APOIO AO PROFESSOR NA
ELABORAÇÃO COLABORATIVA DE AVALIAÇÃO
FORTALEZA - CEARÁ
2007
ii
LUCAS EVANGELISTA DA SILVEIRA LOPES
SAPECA – SISTEMA DE APOIO AO PROFESOR NA
ELABORAÇÃO COLABORATIVA DE AVALIAÇÃO
Dissertação apresentada ao Curso de Mestrado
Profissional em Computação Aplicada da
Universidade Estadual do Ceará e do Centro
Federal de Educação Tecnológica do Ceará
como requisito parcial necessário para
obtenção do título de Mestre em Computação
Aplicada.
Orientadora: Prof(a). Dra. Verônica Lima
Pimentel de Sousa
Co-orientador: Prof. Dr. Francisco Chagas da
Silva Filho
FORTALEZA – CE
2007
iii
L864s Lopes, Lucas Evangelista da Silveira
Sapeca – Sistema de apoio ao professor na
elaboração de Avaliação./ Lucas Evangelista da Silveira
Lopes. – Fortaleza, 2007.
81p.
Orientadora:Prof(a). Verônica Lima Pimentel de
Sousa.
Dissertação (Mestrado profissional em Computação
Aplicada) – Universidade Estadual do Ceará, Centro
Federal de Educação Tecnológica do Ceará.
1.Informática Educativa 2.Avaliação 3.Ferramenta
baseada na Web, SAPECA. I. Universidade Estadual
do Ceará, Centro Federal de Educação Tecnológica do
Ceará.
CDD:004
iv
Título do Trabalho: Sapeca – Sistema de Apoio ao Professor na Elaboração Colaborativa de
Avaliação.
Autor: Lucas Evangelista da Silveira Lopes
Defesa em: ___/___/____ Conceito Obtido: _________________
BANCA EXAMINADORA:
Profa. Dra. Verônica Lima Pimentel de Sousa
Orientador(a) - Centro Federal de Educação Tecnológica do Ceará
Prof. Dr. Francisco Chagas da Silva Filho
Co-orientador – Universidade de Fortaleza
Profa. Dra. Maria Elizabeth Sucupira Furtado
Membro externo – Universidade de Fortaleza
Prof. Dr. José Aires de Castro Filho
Membro interno – Universidade Federal do Ceará
v
Aos meus amados pais,
José Nunes (in memorian)
e Maria José.
vi
“Quando a situação se apresenta desfavorável, é
hora de acreditar em si mesmo. Por que devem
existir muitas pessoas precisando de você.”.
vii
AGRADECIMENTOS
O meu primeiro agradecimento é a DEUS por não ter me abandonado diante de tantas
dificuldades, permitindo concluir este trabalho.
Ao meu amor Jeane, pela parceria constante e colaboração imprescindível.
A minha família, irmãos, cunhados e sobrinhos, que nunca mediram esforços para me
apoiar.
Aos meus orientadores, os professores Dra. Verônica Pimentel e Dr. Francisco Chagas
pela dedicação, paciência e acima de tudo confiança em meu trabalho.
Aos membros da banca examinadora, Professor Dr. José Aires e Professora Dra. Maria
Elizabeth, pela leitura deste trabalho e pelas críticas e sugestões no momento da defesa
visando enriquecer este texto.
Aos meus queridos amigos que me ajudaram diretamente nesta caminhada, Rafael,
Romério, Professora Socorro, Andréa, Sérgio, Nelson e Anderson Fortaleza.
A família Solução que em muitos momentos assumiram as minhas responsabilidades
para que pudesse me dedicar a este trabalho.
Aos professores que participaram da pesquisa, pela contribuição de suas experiências.
A todos os meus professores que compõem o MPCOMP.
Agradeço ainda aos colegas, principalmente a Luis, Tereza, Maria Bandeira e Balaan,
que por muitas ocasiões, nos reuníamos não só para estudar, mas sobretudo para construir
nossa amizade.
A todos os demais amigos que me incentivaram.
À Solução Sistemas por ter financiado meus estudos de Mestrado e conseqüentemente
possibilitado o desenvolvimento dessa pesquisa.
viii
RESUMO
Uma das tarefas mais difíceis de um professor está em avaliar seus alunos. Isto por
que, a avaliação engloba atividades que vão desde a definição de objetivos, escolha de
critérios, identificação dos perfis e histórico dos alunos, tudo isso balanceado com a
necessidade, muitas vezes, exigida pelo próprio conteúdo da disciplina quando pré-requisito.
O professor também deve ter formas diferentes de avaliar. Vários teóricos têm proposto
abordagens da avaliação e caracterizam estas propostas em princípios, procedimentos e
modelos de avaliação. Estes pesquisadores fincam seus pilares nas funções clássicas de
avaliação que compreende como: diagnóstica, formativa e somativa. Este trabalho tratou de
analisar a problemática da avaliação para o ensino superior e apresenta o desenvolvimento de
uma ferramenta de apoio ao professor na árdua tarefa de elaboração de instrumentos de
avaliação. Para alcançar o objetivo, aplicou-se uma metodologia de sondagem junto aos
professores e analise de outras ferramentas para projetar e desenvolver um produto de
software com bases científicas que possibilite a flexibilizar o processo de criação e edição de
questões, exercícios e provas. Após a coleta das informações junto a o grupo heterogêneo de
professores sobre suas necessidades, perfis, área de atuação, e posturas quanto a elaboração de
instrumentos de avaliação, foram projetadas funcionalidades desejáveis a um software que
apoiasse ao professor no processo avaliativo. Assim, foi desenvolvido um software com
características de compartilhamento e colaboração onde se procurou preencher lacunas dos
softwares de mercado, bem como, atender as demandas de professores. Um software
denominado aqui de SAPECA foi desenvolvido para ter funções de integração e automatiza o
processo de construção de questões e provas. O software SAPECA foi também avaliado no
seu uso por alguns professores e demonstrou satisfatório desempenho e bastante estabilidade.
Como resultado deste trabalho, está disponível aos professores, uma ferramenta web
elaborada com todos os seus recursos indicados no levantamento de requisitos realizado junto
a professores. O SAPECA tem bases sólidas no estado da arte.
PALAVRAS-CHAVE: Informática Educativa, Avaliação, Ferramenta baseada na Web,
SAPECA.
ix
ABSTRACT
One of the most difficult tasks of a teacher is the evaluation of his students. This fact
happens because the evaluation includes activities such as definition of objectives, choice of
criteria, identification of profiles and analysis of the student’s behaviors. In addition, it is
common to combine all these activities with the requirements of other correlated course
programs. The teacher should also have diverse evaluation strategies. Many specialists have
proposed several evaluation approaches which are based in principles, procedures and
evaluation models. These researchers are based in the classical evaluation functions, such as
diagnosis, formative and additive. This work analyses the evaluation problem in the graduate
level and presents the development of a software tool capable to aid the professor in the hard
task of elaborating evaluation exams. In order to reach this goal, professors were surveyed
and other commercial tools were analyzed, given support to develop a consistent software
product which makes possible to create and edit exams in a flexible way. After a wide survey
in a heterogeneous professor group, asking their real needs, profiles, work field and their
individual experiences in the evaluation creation, there were defined the desired software
features that could aid the professors in the evaluation process. In this way, there was
developed a software tool capable to share and concentrate information at the same time, thus
complementing the already existent software tools and attending the professor’s expectative.
The developed software was named as SAPECA and it includes integration functions that
automate the creation process of individual questions and exams. The SAPECA software was
evaluated by some professors and it proved itself to have good performance and great
stability. As a result of this work, it is available for the professors a web tool that fits all
requirements claimed by the professors during the survey process. SAPECA have solid base
in the state-of-the-art.
KEY WORDS: Evaluation, Informatics for Education, Tool based on the Web, SAPECA.
x
LISTA DE GRÁFICOS
GRÁFICO 1 – TEMPO GASTO PELO PROFESSOR NA ELABORAÇÃO DE PROVA ...............................39
GRÁFICO 2 – HABILIDADES NECESSÁRIAS NO ATO DE ELABORAÇÃO DE QUESTÕES ...................39
GRÁFICO 3 – PREFERÊNCIA DO PROFESSOR QUANTO AO TIPO DE QUESTÃO ...............................40
GRÁFICO 4 - INTERESSE EM COMPARTILHAR E COLABORAR COM O REUSO ................................41
GRÁFICO 5 - EXPECTATIVAS DE FUNCIONALIDADES NUM SOFTWARE.......................................41
xi
LISTA DE FIGURAS
FIGURA 1 – AVALIAÇÃO E O PROCESSO DE ENSINO X APRENDIZAGEM .....................................13
FIGURA 2 – TELA PINCIPAL DO TECH II.....................................................................................44
FIGURA 3 – TELA DE PROVAS DO TECH II..................................................................................44
FIGURA 4 – TELA PRINCIPAL DO PROVA FÁCIL..........................................................................45
FIGURA 5 – CADASTRO DE PERGUNTAS DO PROVA FÁCIL .........................................................45
FIGURA 6 – CADASTRO DE PROVAS DO PROVA FÁCIL ...............................................................45
FIGURA 7 – CADASTRO DE PROVAS DO SUPER PROFESSOR........................................................46
FIGURA 8 – VISUALIZAÇÃO DA PROVA NO SUPER PROFESSOR...................................................46
FIGURA 9 – CADASTRO DE QUESTÕES DO SISPROVA.................................................................47
FIGURA 10 – GERENCIAMENTO DE PROVAS DO SISPROVA.........................................................47
FIGURA 11 - CADASTRO DE QUESTÕES DO D7-TEACHER ..........................................................48
FIGURA 12 – CADASTRO DE QUESTÕES DO QUESTCOMP ...........................................................49
FIGURA 13 – TELA PRINCIPAL DO CT4350................................................................................50
FIGURA 14 – CICLO DE VIDA DE UM SOFTWARE........................................................................55
FIGURA 15 – DIAGRAMA FUNCIONAL DO SAPECA ..................................................................56
FIGURA 16 – TELA PRINCIPAL DO SAPECA..............................................................................57
FIGURA 17 – CADASTRO DE PROFESSORES DO SAPECA...........................................................57
FIGURA 18 – CADASTRO DE QUESTÕES DO SAPECA................................................................58
FIGURA 19 – CADASTRO DE PROVAS DO SAPECA....................................................................58
FIGURA 20 – ARQUITETURA SAPECA ......................................................................................59
FIGURA 21 – DIAGRAMA ENTIDADE-RELACIONAMENTO DO SAPECA ON LINE .......................60
FIGURA 22 – ACESSO VIA LOGIN ................................................................................................61
FIGURA 23 – ACESSO VIA CADASTRO ........................................................................................62
FIGURA 24 – TELA DE ERRO DE ACESSO....................................................................................62
FIGURA 25 – CASO DE USO DO ADMINISTRADOR ......................................................................63
FIGURA 26 – CASO DE USO DO PROFESSOR ...............................................................................63
FIGURA 27 – PERFIL DO USUÁRIO PROFESSOR ...........................................................................63
FIGURA 28 – GERENCIADOR DE QUESTÕES DO SAPECA ..........................................................64
FIGURA 29 – TELA DE QUESTÃO DO SAPECA ..........................................................................64
FIGURA 30 – ATALHO PARA INSERIR IMAGENS ..........................................................................65
FIGURA 31 – GERENCIADOR DE PROVAS DO SAPECA..............................................................66
FIGURA 32 – TELA DE PROVAS DO SAPECA.............................................................................66
FIGURA 33 – TELA DE PERFIL DO USUÁRIO DO SAPECA ..........................................................68
xii
FIGURA 34 – TELA DE CONTROLE DE ACESSO DO SAPECA ......................................................69
FIGURA 35 – TELA DE MANUTENÇÃO DAS TABELAS DO SAPECA ............................................70
xiii
LISTA DE TABELAS
TABELA 1 – NÍVEIS DE AVALIAÇÃO, CONFORME TAXONOMIA DE BLOOM.................................15
TABELA 2 – NÍVEIS PARA AVALIAÇÃO DO MODELO DE KIRKPATRICK.......................................16
TABELA 3 – ANÁLISE DAS COMPETÊNCIAS TRANSVERSAIS ........................................................29
TABELA 4 – DISCIPLINA DE ALGORITMOS E PROGRAMAÇÃO COMPUTADORES..........................30
TABELA 5 – RECURSOS DE UM EDITOR DE TEXTO .....................................................................38
TABELA 6 – INSTRUMENTOS X RECURSOS.................................................................................51
xiv
LISTA DE ABREVIATURAS E SIGLAS
CA – Construir argumentos
CF – Compreender fenômenos
DER – Diagrama Entidade Relacionamento
DFD – Diagrama de Fluxo de Dados
DL – Domínio de linguagem
ENEM – Exame Nacional do Ensino Médio
EP – Elaborar propostas
FDD – Function Driver Development
IIS – Internet Information Services
INEP – Instituto Nacional de Estudos e Pesquisas Educacionais
ITA – Instituto Tecnológico de Aeronáutica
LDB – Lei de Diretrizes e Base
MER – Modelo de Entidades e Relacionamentos
OMT – Object Modeling Technique
PDF – Portable Document Format
SISAPA – Sistema de Apoio Acadêmico
SP – Situações-Problemas
TCM – Teoria Clássica de Medida
TCT – Teoria Clássica dos Testes
TRI – Teoria da Resposta do Item
UML – Unifield Modeling Language
xv
SUMÁRIO
LISTA DE ABREVIATURAS E SIGLAS .....................................................................................................XIV
1 INTRODUÇÃO..................................................................................................................................................1
2 AVALIAÇÃO: FUNDAMENTOS, INSTRUMENTOS E MODELOS. .......................................................6
2.1 INTRODUÇÃO .............................................................................................................................................6
2.2 EDUCAÇÃO TRANSFORMADORA: ENSINAR E AVALIAR CONTINUAMENTE .................................................7
2.3 HISTÓRIA DA AVALIAÇÃO ..........................................................................................................................8
2.4 O QUE É AVALIAÇÃO? ................................................................................................................................8
2.5 PORQUE AVALIAR? ....................................................................................................................................9
2.6 MODELOS DE AVALIAÇÃO........................................................................................................................11
2.7 REFERENCIAIS: TAXONOMIAS, MODELOS E TEORIAS...............................................................................14
2.7.1 Taxonomia de Bloom....................................................................................14
2.7.2 Modelo de Kirkpatrick..................................................................................15
2.7.3 Teoria da Avaliação Autêntica.....................................................................18
2.8 CONSIDERAÇÕES FINAIS ..........................................................................................................................18
3 O INSTRUMENTO DE AVALIAÇÃO “PROVA” ......................................................................................20
3.1 INTRODUÇÃO ...........................................................................................................................................20
3.2 A AVALIAÇÃO ATRAVÉS DE PROVAS .......................................................................................................21
3.3 METODOLOGIA DE MEDIDA .....................................................................................................................22
3.4 OS MÉTODOS TCM E TRI ........................................................................................................................22
3.5 COMPETÊNCIA E HABILIDADE..................................................................................................................25
3.5.1 Características das Competências ...............................................................26
3.5.2 Tipos de Competências.................................................................................27
3.6 INSTRUMENTO PROVA .............................................................................................................................30
3.6.1 Detalhando os instrumentos.........................................................................31
3.7 CONSIDERAÇÕES FINAIS ..........................................................................................................................34
4 FERRAMENTAS DE ELABORAÇÃO DE AVALIAÇÕES.......................................................................37
4.1 INTRODUÇÃO ...........................................................................................................................................37
4.2 PESQUISA SOBRE COMO O PROFESSOR ELABORA SUAS AVALIAÇÕES .......................................................37
4.3 FERRAMENTAS DE APOIO AO PROFESSOR ................................................................................................42
4.4 ANÁLISE DOS SOFTWARES DE ELABORAÇÃO DE PROVA...........................................................................43
4.4.1 Professor Tech II ..........................................................................................43
4.4.2 Prova Fácil...................................................................................................44
4.4.3 Super Professor ............................................................................................45
4.4.4 SisProva - Software para gestão automatizada de provas...........................46
4.4.5 D7-Teacher...................................................................................................47
4.4.6 Questcomp ....................................................................................................48
4.4.7 Offshore Soil Mechanics (CT4350)..............................................................49
4.5 COMPARATIVOS ENTRE SOFTWARES ANALISADOS ..................................................................................50
4.6 CONSIDERAÇÕES FINAIS ..........................................................................................................................51
5 O SOFTWARE SAPECA................................................................................................................................52
5.1 CONSIDERAÇÕES PRELIMINARES .............................................................................................................52
5.2 O PROJETO SAPECA...............................................................................................................................54
5.2.1 Contexto........................................................................................................54
5.2.2 O que é o SAPECA On Line? .......................................................................58
5.2.3 Arquitetura ...................................................................................................58
5.2.4 Estrutura Estática.........................................................................................59
5.2.5 Acesso ao Sistema.........................................................................................61
5.3 VISÃO DO SISTEMA (PROFESSOR) ............................................................................................................63
5.3.1 Minhas Questões ..........................................................................................63
xvi
5.3.2 Minhas Provas..............................................................................................65
5.3.3 Meu Perfil.....................................................................................................68
5.3.4 Pesquisa e Estatística...................................................................................69
5.4 VISÃO DO SISTEMA (ADMINISTRADOR) ...................................................................................................69
5.5 AVALIAÇÃO DO USO DO SAPECA...........................................................................................................70
5.6 CONSIDERAÇÕES FINAIS ..........................................................................................................................70
6 CONCLUSÕES................................................................................................................................................71
6.1 RESULTADOS ALCANÇADOS ....................................................................................................................71
6.2 TRABALHO FUTUROS ...............................................................................................................................72
REFERÊNCIAS BIBLIOGRÁFICAS...............................................................................................................73
ANEXO A - SONDAGEM SOBRE AVALIAÇÃO..........................................................................................78
ANEXO B – QUESTIONÁRIO DE AVALIAÇÃO DE USO DO SAPECA ..................................................80
1 INTRODUÇÃO
“Não se trata mais de aprovar ou de reprovar os alunos, conforme os índices da
disciplina, mas criar as condições para o seu pleno desenvolvimento e tornar a
experiência escolar uma oportunidade para aprendizagens reais e significativas”.
(Vasconcelos, 2003)
As primeiras idéias de avaliação da aprendizagem estavam vinculadas ao conceito de
medidas. A necessidade de medir surgiu tão cedo na vida do homem, que ele foi buscar no
próprio corpo as primeiras unidades de comparação – o cúbico (comprimento do cotovelo à
ponta do dedo médio esticado), o palmo, o pé e o dígito. Das unidades naturais passou-se às
unidades fixadas arbitrariamente através de leis ou decretos reais. Em 2.205 a.C. o grande
Shun, Imperador Chinês, examinava seus oficiais com o fim de os promover ou demitir. O
cúbito real consistia de sete palmos ou 28 dígitos, no Egito. Na Inglaterra, coube ao rei
Eduardo I, em 1.305, decretar que 12 polegadas correspondiam a um pé. Em 1.960, 38 países
sancionaram uma nova definição do metro internacional (Garcia, 2000).
Na educação, medir tem um tratamento especial, pois a sociedade sempre se
preocupou em selecionar entre seus componentes aqueles para executar habilidades
específicas. As expressões “Como Fulano vai indo?” ou “Meu filho só tira 10!” revelam como
a sociedade tem consciência do valor de um controle sobre ensino-aprendizagem de seus
educandos.
Nas instituições de ensino, o professor sabe da importância de manter informados os
estudantes sobre o desempenho escolar. Pais ou responsáveis e a própria instituição também
demandam informações neste sentido. Para isso recorre a provas e outros instrumentos de
verificação. Vale salientar que a origem dos termos “verificar”, “tornar verdadeiro”,
2
“confirmar se é verdade”, refletem bem esta maneira de encarar a medida como parte
essencial do processo educativo e não como complemento dele. Ainda é importante salientar
que os instrumentos de medida facilitam as observações que o professor realiza sobre o
desempenho do estudante.
É grande o número de professores que enfrentam o problema da avaliação de seus
alunos. Isto por que, segundo Luckesi (1995 p. 69) “A avaliação é um juízo de valor sobre
dados relevantes, objetivando uma tomada de decisão”. O Brasil possui cerca de 242.795
professores em universidades e faculdades públicas e privadas distribuídos em diversas áreas
do conhecimento (Sinaes, 2007). Em comum, todos estão comprometidos com o processo
ensino-aprendizagem, o qual, nestes últimos anos, vem sofrendo uma grande influência da
tecnologia com a inserção do computador como ferramenta de automação e facilitação.
Mesmo com a utilização do computador, a tarefa de elaboração da prova continua
consumindo um tempo precioso do professor, por englobar atividades como:
O procedimento de copiar e colar no editor de texto que deve ser feito com cuidado;
O desenvolvimento de questões que retratem bem o conteúdo ministrado;
O uso de uma linguagem de fácil entendimento pelo aluno;
Uso de perguntas não-ambíguas que não permitam ter várias interpretações;
Questões que explorem a criatividade do aluno;
Dimensionamento questão X tempo;
A formatação da prova, inclusive do cabeçalho da prova com suas observações.
Este problema se agrava ainda mais em disciplinas como Informática Aplicada onde
há uma heterogeneidade de interesses maior na turma, em virtude de ser composta por alunos
de diferentes cursos (Administração, Economia, Turismo e Contabilidade). Portanto, numa
mesma turma há alunos com diferentes perfis, background, interesses e até expectativas de
aplicabilidade da disciplina em sua formação.
O processo de avaliar enfrenta, além dos já citados acima, uma série de outras
dificuldades como: simplificar os problemas, fundir questões, dissolver conceitos,
metodologia empregada, repetição de questões, independência entre questões, observações da
prova, dentre outros. Uma boa ferramenta computacional pode ajudar o avaliador, isso por
quer, muitos procedimentos como a crítica de questões já usadas podem ser automatizadas e
ajudando o professor no ato de criação do instrumento de avaliação. É fácil para os
professores, chegarem a esta conclusão de que o canal tecnológico do aprendizado foi muito
alterado, até tempo atrás, o mundo era visto através de livros e materiais impressos. Já a
geração atual cerca-se de diversas tecnologias como: computador, software especialista,
celular, palm e Internet.
3
Baseado em experiência própria e em um questionário aplicado a grupo de 30 (trinta)
professores (modelo em anexo), foi identificado, como a principal reclamação dos docentes, o
desconhecimento de forma colaborativa de uma ferramenta específica para o professor criar
suas avaliações. Baseado em dados coletados ficou evidente que a ferramenta mais utilizada é
o editor de textos, ou seja, o professor digita uma determinada avaliação, sem a utilização de
um banco de questões para consultar e, em muitas vezes, sem contar com o que outros
professores da mesma disciplina já prepararam em avaliações anteriores. Em outras palavras,
não existe nenhuma preocupação em registrar e potencializar a reutilização de suas questões
posteriormente. A questão de compartilhar e interagir com outros professores é muitas vezes
ignorada, porém encontram-se justificativas plausíveis para o complexo problema da
avaliação educacional.
Thorndike e Hagen (1975) estudaram os graus atribuídos por mais de cem professores
a cinco dissertações. As notas, nessa pesquisa, variaram cerca de 20 pontos num máximo de
25. Algumas dissertações foram julgadas excelentes por alguns professores e medíocres por
outros. A razão para este resultado decorreu da diferença de padrões usados pelos vários
professores.
Hoje o processo de criação de provas não apresenta nem integração e nem
padronização. Considerando que a avaliação significa elaborar um juízo de valor, qualitativo
ou quantitativo, de dados relevantes que são obtidos da ação de observar o aluno, é necessário
estabelecer o que se quer ver nele, ou seja, fazer um isolamento bem definido estabelecendo
assim os critérios de avaliação. Esses critérios devem ser um conjunto de normas
especificando um sistema de expectativas. Cada norma deve definir com transparência o que
se julga poder esperar legitimamente do objeto avaliado e deixar claro para o aluno os
critérios e pesos de pontuação.
Se a disciplina é Português, é preciso deixar claro para os alunos o que é definido
como relevante para se considerar um progresso no aprendizado de um determinado conteúdo
de Português. Isto por que, segundo Perrenoud (1999 p. 51) “Não há orientação escolar sem
avaliação”. Porém, é preciso estar claro que tipo de informações se espera encontrar nas suas
produções. Não basta elaborar uma prova para significar que se tem a intenção de avaliar. O
pensar sobre os critérios de avaliação antes de propor uma atividade avaliativa é fundamental
para que ela se preste à ajuda das aprendizagens dos discentes. O estabelecimento dos
critérios é útil na hora de dizer o valor de um aluno ou de seu produto, mostrando como eles
se situam em relação ao que é legítimo esperar deles.
Esta dificuldade em avaliar o aluno e que motivou a aplicação de questionário a um
grupo de trinta (30) professores, no mês de janeiro de 2007 visando obter dados sobre como
os professores estão avaliando e que ferramentas estão usando. Pode-se afirmar que a
principal ferramenta utilizada na confecção de prova é um editor de textos, onde se digita ou
4
se modifica uma avaliação arquivada com a utilização dos recursos de copiar e colar e o
arquivamento em uma pasta no disco rígido do computador. Porém, esta ferramenta não foi
projetada para a atividade de elaboração de instrumento de avaliação acadêmica (provas),
ocasionando o grande desconforto ao usuário que tem que memorizar muitos controles.
Este processo tão usado de copiar e colar não contempla as necessidades básicas de
um avaliador, como: ordenar por dificuldade ou assunto as questões, controlar questões já
ministradas, formatação da questão, controle de tempo e pontuação. Também fica
comprometido o compartilhamento de questões e acompanhamento pedagógico da avaliação
que são eventos atrelados à qualidade de ensino.
Com base nestas deficiências, justifica-se o desenvolvimento de uma ferramenta
computacional especializada na função de ajudar o professor na elaboração de questões,
provas e exercícios.
O objetivo principal deste trabalho é analisar a problemática do processo de avaliação
e o desenvolvimento uma ferramenta computacional em ambiente compartilhado para apoiar
o professor na tarefa de elaborar questões, provas e exercícios.
As metas dentro deste objetivo, são:
Levantar dados que dêem suporte ao desenvolvimento de um instrumento de
avaliação.
Analisar as necessidades de professores e modelar o projeto de um software de apoio.
Estudar as ferramentas similares disponíveis no mercado.
Especificar funcionalidades na ferramenta e interação entre professores.
Especificar, projetar, desenvolver e realizar testes prévios de manuseio das funções e
operações da ferramenta.
Baseado nestas metas será possível alcançar o objetivo do trabalho, que é criar uma
ferramenta de elaboração de provas.
Desta forma, com a colaboração de professores e a análise de tecnologias atuais já
disponíveis, será possível o desenvolvimento de um instrumento atualizado, de consenso e
que possa ser compartilhado e que realmente ajude o professor na sua tarefa de elaboração de
provas.
Com o intuito de oferecer um instrumento colaborativo de criação de avaliação
atraente e eficiente aos docentes, entende-se que a metodologia usada e o planejamento das
ações são vitais para um bom resultado.
Pra a realização deste trabalho, foram previstas as seguintes etapas:
5
Levantamento bibliográfico, visando fundamentar à apreensão das informações mais
atuais e consistentes sobre as áreas de escopo do trabalho.
Estudo e comparação das ferramentas existentes no mercado de software.
Aplicação de questionários, juntos aos professores, sobre instrumentos de avaliação,
visando coletar dados essenciais para o funcionamento da ferramenta.
Definição do banco de dados para armazenar usuários, configurações, questões,
provas, exercícios, etc.
Uso de uma ferramenta de modelagem, tipo UML (Unified Modeling Language), para
as etapas do desenvolvimentos: levantamento de requisitos, análise e projeto.
Desenvolvimento da ferramenta de forma incremental usando tecnologia Orientada a
Objeto, tipo C# ou Delphi.
Validação experimental do software, como um projeto piloto, em experimentações
entre um grupo de professores universitários.
Análise dos dados da validação e aprimoramentos do protótipo visando um produto
mais bem elaborado.
Este trabalho está organizado em 6 (seis) Capítulos, iniciando com a introdução ao
tema, a apresentação da proposta e o metodologia e estratégia utilizada.
O Capítulo 2 apresenta um conjunto de conceitos fundamentais, bem como propósitos,
princípios básicos e teorias relacionadas ao processo de avaliação em geral.
O Capítulo 3 tem como função o debate sobre os instrumentos de medida, avalia as
metodologias e a competência e habilidades necessárias para desenvolver um instrumento de
avaliação do tipo prova. Concluindo com as tendências para o futuro
O Capítulo 4 está baseado nos dados extraídos de uma pesquisa sobre o processo de
elaboração de provas aplicado a um grupo de 30 (trinta) professores, foi analisado, tabulado e
apresentado em forma números, gráficos e tabelas os resultados. Em seguida são analisadas e
apresentadas várias ferramentas computacionais para elaboração de provas. Para concluir é
elaborado um quadro comparativo entre as necessidades dos professores e as funções
disponíveis em sete softwares.
O Capítulo 5 apresenta o software Sapeca On Line, resultado deste trabalho de
pesquisa. A ferramenta Sapeca é analisada nos seus requisitos principais com o uso de
técnicas da Engenharia de Software. É descrito o funcionamento do Sapeca On Line nos seus
dois perfis professor e administrador.
Finalmente, o Capítulo 6 resume as conclusões deste trabalho e apresenta direções
para trabalhos futuros.
6
2 AVALIAÇÃO: FUNDAMENTOS, INSTRUMENTOS E
MODELOS.
Neste capítulo são apresentadas as origens da avaliação, o que é avaliação e o seu
propósito. É dedicado um tópico sobre os três modelos de avaliação e os referenciais teóricos
para a avaliação da aprendizagem. Concluindo, comenta-se a importância da avaliação para
processo ensino-aprendizagem.
2.1 Introdução
Segundo Luckesi (1995, p. 92) “O termo avaliar tem sua origem no latim, provindo da
composição a-valere, que quer dizer dar valor a...”. Avaliar é julgar ou fazer a apreciação de
alguém ou alguma coisa, tendo como base uma escala de valores. Assim sendo, a avaliação
consiste na coleta de dados quantitativos e qualitativos e na interpretação desses resultados
com base em critérios previamente definidos. Portanto, avaliar consiste em fazer julgamento
dos resultados, comparando o que foi obtido com o que se pretendia alcançar.
Na educação, “a avaliação é uma apreciação qualitativa sobre dados relevantes do
processo de ensino e aprendizagem que auxilia o professor a tomar decisões sobre o seu
trabalho” (Luckesi, 1995). Então, avaliação de ensino é o processo de coletar e analisar dados
por parte dos professores, a fim de determinar o grau em que metas pré-estabelecidas foram
atingidas e, daí, orientar a tomada de decisões em relação às atividades didáticas seguintes.
Porém, segundo Hoffmann (1993), boa parte dos professores avalia de uma forma
insatisfatória, fugindo da verdadeira finalidade da avaliação, se preocupando mais com os
conceitos dando uma síntese um tanto quanto distorcida da realidade. Aprovar ou reprovar?
7
Esta ameaça se manifesta quando muitos professores expõem estatísticas de aprovação e
reprovação de semestres anteriores, tornando a avaliação um instrumento de medo para os
alunos. Esse medo existe direta e indiretamente e a avaliação é quem "dirá" se deve ou não
haver o castigo (o pior deles, a reprovação). Neste momento o professor deve trabalhar o
aluno no sentido de recuperá-lo.
Na realidade, a avaliação que deveria ser usada pelo professor como um instrumento
de monitoramento do conhecimento assimilado pelo aluno, acabou por se tornar uma
ferramenta de verificação, em muitos casos, de quanto o aluno memorizou ou quanto deveria
ter memorizado, seja por força do programa ou pelo objetivo do professor. Luckesi (1995)
citou numa de suas palestras um bom exemplo: um aluno que tire 100% em adição e 0% em
subtração acaba obtendo a média final 50%. Neste exemplo, avaliação se torna distorcida e
mostra que este aluno apresenta rendimento médio tanto em adição como em subtração; onde
na verdade o que se tem é um aluno que já aprendeu adição e ainda não aprendeu a resolver a
problemas de subtração. Constatamos, assim, o erro de nossa avaliação. Continuando sobre a
palestra, foi citado o exemplo do médico que só avalia o paciente e não dá uma solução. Isto
também acontece com nossas avaliações, onde as notas são dadas e muitas não fazem as
necessárias correções. O que se conclui é que avaliar esta sendo praticado como um ato de
apenas medir e, em muitas ocasiões, o professor terá que mudar sua maneira de agir para o
benefício do processo ensino-aprendizagem, não esperando que o aluno tome a iniciativa de
questionar o processo.
2.2 Educação Transformadora: Ensinar e Avaliar Continuamente
A educação transformadora repensa este processo (ensino-aprendizagem) da sala de
aula. A sala de aula existe em função de seus alunos. Cabem aos educadores, as instituições
de ensino e o governo refletirem se realmente os alunos estão sendo respeitados em relação ao
acesso ao conhecimento e se está sendo considerado quem são eles, de onde vieram, em que
contextos vivem, suas ocupações, suas responsabilidades, dentre outros. Muitos destes
aspectos devem ser levantados pelo governo que é o responsável pelo sistema educacional.
O ensinar e avaliar numa perspectiva de mudança proporciona ao aluno acesso aos
bens culturais e ao conhecimento produzido historicamente, adquirindo assim habilidades
necessárias para aplicar os conteúdos apreendidos no contexto social. Assim, a prática
pedagógica e a prática de avaliação devem superar o autoritarismo, o conteudismo e a
punição. Deve-se estabelecer uma nova perspectiva para o processo de ensino-aprendizagem,
que seja marcado pela autonomia do educando e pela participação do aluno na sociedade de
forma democrática. Quando a LDB (Lei de Diretrizes e Base) estabelece, na portaria da lei
9.394/96, que a avaliação deve ser contínua e priorizar a qualidade e o processo de
aprendizagem (o desempenho do aluno ao longo de todo o ano e não apenas numa prova ou
num trabalho) (Brasil, 1996), usa outras palavras para expressar o que o jargão pedagógico
8
convencionou chamar de avaliação formativa. O primeiro a usar essa expressão foi o
americano Michael Scriven, em seu livro Medotologia da Avaliação, publicado em 1967.
Segundo ele, só com observação sistemática o educador consegue aprimorar as atividades de
classe e garantir que todos aprendam (Scriven, 1967).
Partindo desses pressupostos, para que o aluno construa o seu conhecimento e sua
autonomia, é necessário que ele esteja inserido em um ambiente rico em intervenções
pedagógicas, e minimizado o autoritarismo e a arbitrariedade do professor.
2.3 História da avaliação
Com o passar dos anos houve uma evolução do processo de avaliação como parte
de um movimento articulado com o compromisso de desenvolver a prática
pedagógica. Neste cenário educacional a avaliação tem combinado os métodos
formativos e somativos para um diagnóstico que permita a inclusão, a pluralidade e
o respeito às diferenças. (Luckesi,1995).
Avaliação, tal como é conhecida hoje, como medida, teve origem na escola moderna a
partir dos séculos XVI e XVII, na Europa. Algumas expressões das experiências pedagógicas
deste período, que sistematizaram o modo de agir com provas e exames, encontram-se nas
práticas das pedagogias jesuítica (século XVI), comeniana (século XVII) e lassalista (fins do
século XVII e início do século XVIII) (Luckesi, 1995). Assim sendo, a prática de avaliar
(medir) que conhecemos é herdeira deste período, onde aconteceu a cristalização da sociedade
burguesa, onde as medidas educacionais eram desprovidas de metodologias.
A partir do século XIX surgiram os primeiros ensaios de emprego de métodos mais
objetivos de avaliação do rendimento escolar. Durante o século XX, estudos identificaram
uma série de dificuldades no processo de avaliação, e levaram os educadores a dirigir seus
esforços no sentido de um aperfeiçoamento cada vez mais amplo das medidas educacionais.
As provas passaram a ser encaradas como instrumentos de medida e o problema do que
constitui um bom instrumento de medida é hoje um dos tópicos de maior realce, tanto no que
se refere aos testes psicológicos utilizados para fins de diagnóstico ou previsão, como em
relação aos testes de desenvolvimento educacional (Garcia, 2000).
2.4 O que é avaliação?
Para diferentes pesquisadores a pergunta “O que é avaliação?” despertam diferentes
conceitos para a avaliação do processo ensino-aprendizagem.
De acordo com Tyler (1949):
Avaliação é o processo de determinar em que extensão os objetivos educacionais
estão na verdade sendo alcançados, cuja finalidade é verificar até que ponto as
experiências de aprendizagem, tal como foram desenvolvidas e organizadas, estão
realmente produzindo resultados desejados.
9
Piletti (1997):
Avaliação é o processo contínuo de pesquisas que visa interpretar os
conhecimentos, habilidades e atitudes dos aprendizes, tendo em vista mudanças
esperadas no comportamento, propostas nos objetivos, a fim de que haja condições
de decidir sobre alternativas do planejamento do trabalho do facilitador e da escola
como um todo.
Moacir Gadotti (1994):
A avaliação é um o ato de acolhimento do aluno e depois deve avaliar a relação
dele com o conhecimento.
Cada autor, de acordo com sua metodologia de trabalho, objetivo ou marco de
referência, atribui uma definição distinta de avaliação. É algo complexo e difícil de
diferenciar de outros conceitos relacionados como medida e investigação.
2.5 Porque avaliar?
O ato de avaliar é tão rotineiro na vida do homem como respirar. Ele está presente de
maneira natural em todas as nossas atitudes, que envolvem componentes cognitivos, motores
e afetivos. Avaliar exige antes que se definam os propósitos e sem seguida se estabeleçam os
critérios, para, em seguida, escolherem-se os instrumentos de medida. Isto por que, segundo
Perrenoud (1999), a função nuclear da avaliação é ajudar o aluno a aprender e ao professor,
ensinar.
Os propósitos da avaliação, segundo Garcia (2000), vão desde um diagnóstico em
torno do aluno até o feedback de todo o processo.
Conhecer os alunos.
Determinar se os objetivos previstos para o processo de ensino-aprendizagem foram
ou não atingidos.
Aperfeiçoar o processo de ensino-aprendizagem.
Diagnosticar as dificuldades de aprendizagem.
Promover os alunos.
Motivar e dar feedback aos alunos.
Segundo Vianna (1989) os objetivos educacionais que podem ser mensurados não
significa que sejam de fácil mensuração e que esta se faça exclusivamente através de teste de
papel e lápis. A mensuração na área cognitiva apresenta diversos graus de dificuldade,
sobretudo à medida que os objetivos se tornam gerais e abstratos (capacidade de analisar,
sintetizar e avaliar); por este motivo à avaliação deve ser tratada como um processo: continuo,
sistemático, compreensivo, comparativo, acumulativo, informativo e global, que permite
avaliar o conhecimento do educando.
10
Os professores sabem que práticas de provas e exames se baseiam em julgamentos
próprios. A solução para amenizar os resultados negativos desses procedimentos é a aplicação
de avaliações diagnósticas com o interesse de conhecer os alunos. Com uma avaliação bem
intencionada pode-se incluir o educando no curso da aprendizagem satisfatória, integrando
todas as suas experiências de vida.
A ênfase à atribuição de notas (medida) na avaliação tem provocado alguns desvios
significativos, dentre os quais de lhe dar um caráter meramente comercial, contabilístico,
desconsiderando seu aspecto educacional de orientação do aluno.
Conforme diz Luckesi (1995), as notas são comumente usadas para fundamentar
necessidades de classificação de alunos, dentro de um conjunto de posições, onde a maior
ênfase é dada à comparação de desempenhos e não aos objetivos instrucionais que se deseja
atingir. O aluno é classificado como inferior, médio ou superior quanto ao seu desempenho e
muitas vezes fica preso a esse estigma, não conseguindo revelar seu potencial.
E como mudar este cenário? Ou quem pode mudar? Observa-se que os mecanismos
reacionários e resistentes atuam no sentido de manter o funcionamento destes modelos já
tradicionalmente aceitos e vigentes. É o caso da administração (aplicação) de um maior
número possível de provas, de forma constante e padronizada. Ao docente, falta-lhe suporte,
tempo e principalmente atitude para praticar a avaliação formativa.
Segundo Vasconcelos (2003), defensor da chamada progressão continuada, a
organização da escola em Ciclos de Formação é uma das mais avançadas formas de currículo,
na medida em que a própria estrutura da instituição volta-se para as necessidades educativas
dos alunos, respeitando, sobretudo a questão básica dos tempos diversos para a aprendizagem
e desenvolvimento, pela superação das interrupções artificiais.
O que muda substancialmente na avaliação por se tratar de Ciclo?
Segundo o autor, em termos de avaliação, o fator primordial interveniente na
organização da escola em Ciclos de Formação é justamente o fim da avaliação classificatória
em termos de legislação. Esta novidade é que constitui um avanço institucional.
Mas isso constituiu também um campo de possíveis equívocos e discórdias, em
decorrência de distorções historicamente acumuladas ao longo dos anos. Para Vasconcelos
(2003), o que se espera, é que os educadores sejam sujeitos de transformação, abrindo novas
possibilidades na forma de ser da escola, e o que se prega é uma mudança de atitude. Vale
salientar que as experiências de Ciclos de Formação, fracassaram em Minas Gerais e no Rio
de Janeiro.
Como já foi dito, o importante na prática pedagógica e a prática de avaliação é a
superação dos resquícios do autoritarismo e a punição, estabelecendo uma nova perspectiva
para o processo de aprendizagem e de avaliação educacional.
11
2.6 Modelos de avaliação
Como já foi comentada no início deste capitulo, avaliação teve sua origem na escola
moderna onde a sociedade burguesa da Europa tinha como objetivo à exclusão e a
marginalização de grande parte da sociedade da educação superior (Luckesi, 1995). Neste
contexto, o modelo adotado foi da avaliação classificatória, historicamente usada pelo sistema
para a reprodução das desigualdades sociais. Com a Revolução Francesa, a burguesia, classe
em ascensão, agiu no sentido de levar o estado a assumir todas as responsabilidades de incluir
e massificar, através do aparelho ideológico, a educação do povo.
Observa-se a repetência sendo usada como uma forte arma para exclusão do acesso ao
saber, para a expulsão das escolas, dos pobres e dos negros, mantendo assim as classes
sociais, bem comportadas, sem conflitos aparentes. Sabemos também que a exclusão no
interior da escola não se dá apenas pela avaliação e sim pelo currículo como um todo
(objetivos, conteúdos, metodologias, formas de relacionamento, dentre outros). No entanto,
além do seu papel específico na exclusão, a avaliação classificatória acaba influenciando
todas estas outras práticas escolares.
Nos anos 60 e 70, no Brasil o pensamento tecnicista de avaliação da aprendizagem,
por influencia de estudos norte-americanos e que se intensificou no final da década de 60 e
perduraram na década de 70, tendo como referência à concepção de “avaliação por objetivos”
desenvolvida por Tyler (1949). Ao analisar a teoria de Tyler, Giroux (1983, p. 64) comenta
que “a abordagem comportamental da aprendizagem realizada por ele fornece passos muito
bem definidos para medir, controlar e avaliar a experiência de aprendizagem”.
Neste modelo de avaliação o professor acompanha os objetivos a serem alcançados
durante um período escolar. Os objetivos devem ser específicos, mensuráveis e estar
alinhados aos objetivos do currículo.
Periodicamente o professor deve avaliar o nível de desempenho. A avaliação vai assim
tomando forma através da análise do desempenho dos alunos, contudo, limitado aos objetivos
curriculares. O professor nunca deve cobrar aspectos que não estavam previstos nos objetivos,
ou que não tivessem sido comunicados aos alunos.
Um dos pontos fracos deste paradigma é a sua precária objetividade, provocando
efeitos negativos. A subjetividade do processo pode ser atribuída a várias causas: julgamento,
avaliadores, processo, política da organização e inflexibilidade do método.
O erro de julgamento, que é uma das causas freqüentes da subjetividade da avaliação,
em que o avaliador tende avaliar no nível mais alto ou no nível mais baixo, ou ainda a
classificar todos os educandos de igual forma. Pode dar-se um erro de viés, em que uma
característica do aluno, por ser avaliada demasiadamente alta, influência a apreciação global.
12
O julgamento não meditado por parte do avaliador, provocado por pressa, aversão à
discriminação, ou outros motivos, penaliza os alunos injustamente avaliados.
No que diz respeito aos avaliadores pode também ocorrer ambigüidade na avaliação
provocada por falta de informação ou informação errônea sobre os alunos. Nem sempre o
avaliador está presente para observar o comportamento dos mesmos, fato que pode provocar
uma desigualdade injusta de avaliações. O método para medir o desempenho pode não ser
adequado, os parâmetros especificados podem não estar de acordo com o que se espera do
aluno, e a falta de feedback deixa o aluno sem noção do que se espera dele.
De fato, considerando algumas definições de avaliação, pode-se perceber os aspectos
amplos que permeiam a questão. Segundo Raphael (1998 p. 42) “A avaliação deve descrever
até que ponto os objetivos foram alcançados, como forma de retroalimentação do processo”.
Miras e Solé (1996, p. 375) também exploram este tema, afirmando que "avaliar significa
examinar o grau de adequação entre um conjunto de informações e um conjunto de critérios
adequados ao objetivo fixado, com o fim de tomar uma decisão". Já em Nérici (1977), a
avaliação é encarada como uma etapa de um procedimento maior, que incluiria uma
verificação prévia.
Outra influência importante na avaliação da aprendizagem foi a de Scriven, que
apresentou, em 1967, os conceitos de avaliação somativa e formativa. Esses conceitos
provocaram grande impacto, principalmente entre avaliadores brasileiros, por volta da década
de 70. Passaram a compreender, então, que a avaliação deveria ser somativa, voltada para a
análise de resultados terminais que subsidiassem decisões e também formativa, com o
objetivo de subsidiar ações de intervenção quando um curso estivesse ainda em
desenvolvimento.
Ribeiro (1999 p 79) escreveu, “As avaliações a que o professor procede enquadram-se
em três grandes tipos: avaliação diagnóstica, formativa e somativa”. Os dois últimos termos
foram criados por Scriven (1967). Cada um destes tipos de avaliação tem uma função
específica, complementar das restantes, constituindo, assim, um conjunto indispensável ao
professor.
Pode-se dizer que os anos de 1990 se apresentaram como um período em que se
intensificaram os debates sobre avaliação nas mais diferentes instâncias da vida acadêmica em
que ocorrem: congressos, seminários e no interior da própria Universidade. No âmbito das
políticas educacionais, observa-se que, sob a bandeira da qualidade do ensino, utilizando
como referência os altos índices de fracasso escolar, são propostas inovações, mas o que se
percebe é que há um descompasso entre as propostas de avaliação e as práticas efetivas dentro
das instituições educativas. Encontra-se neste período visões qualitativas mais progressistas,
destacando-se: a avaliação mediadora, na visão construtivista de aprendizagem defendida por
Hoffmann (1993) e a abordagem diagnóstica e inclusiva proposta por Luckesi (1995).
13
Todas têm uma importância histórica considerável no cenário educacional brasileiro,
porém se limitam à memorização sem internalização significante do conteúdo, ou de aferição
de meros conteúdos factuais. Segundo Hoffmann (1993), hoje se discute uma perspectiva de
avaliação que se opõe à prática tradicional, tendo como perspectiva uma avaliação inovadora,
crítica e reflexiva, como um ato de inclusão, acolhedor e integrativo.
Baseado nos novos paradigmas, se criou uma nova atitude frente à avaliação, que
inclui a postura de avaliação constante, flexível e democrática, inclusive com meta avaliativa.
Hoje, logo que os alunos chegam à escola, o professor deve começar a avaliá-los. Só
assim poderá adquirir informações diretas, imprescindíveis e valiosas para planejar o seu
trabalho. O professor deve usar todos os meios e instrumentos para que estes objetivos sejam
alcançados. Compreende-se assim, que a cultura avaliativa do rendimento escolar envolve
um processo circular que começa e termina com os objetivos educacionais, ver figura 1. A
própria avaliação torna-se mais um momento de aprendizagem. Basicamente, a avaliação
apresenta três funções: diagnosticar, controlar, e classificar. Estas três formas de avaliação
estão intimamente vinculadas. Para garantir a eficiência do sistema de avaliação e a eficácia
do processo ensino-aprendizagem, o professor deve fazer uso conjugado destes três modelos.
Figura 1 – Avaliação e o Processo de Ensino X Aprendizagem
O primeiro é a avaliação diagnóstica que pode ser dividida em diagnóstica somativa e
diagnóstica formativa. Este modelo tem a função de diagnosticar no início de um curso ou
período o domínio dos pré-requisitos imprescindíveis para novas aprendizagens. Para realizar
esta tarefa a avaliação diagnóstica somativa utiliza testes que fornecem informações
importantes referentes ao nível de proficiência. Já a diagnóstica formativa utiliza entrevistas,
conversas informais, pequenos relatos que revela qual é a percepção do aluno com relação à
disciplina a ser ministrada, qual o seu envolvimento com a aprendizagem dessa disciplina e
seu nível de motivação para a mesma. São informações de capital importância para direcionar
o curso e seu planejamento.
14
A avaliação formativa é a modalidade avaliativa que acompanha permanentemente o
processo de ensino-aprendizagem, sendo fundamental para a qualidade do mesmo. Esta
avaliação pode servir como meio de controle de qualidade, permitindo que o professor atue na
modificação do processo de ensino. Também é importante o feed-back que é fornecido ao
aluno, contribuindo para o melhoramento da sua motivação e auto-estima.
Na perspectiva formativa, a avaliação cumpre o papel de controle, regulação e
mensuração da eficiência institucional. Nesse sentido, a avaliação busca a melhoria da
instituição e dos processos de gestão no seu interior por meio da humanização do trabalho
acadêmico. Assim, a discussão acerca da avaliação não se restringe ao processo avaliativo em
si, mas à compreensão do contexto em que este se insere no âmbito das reformas educacionais
e das mudanças políticas e econômicas mais amplas. Tal compreensão é importante na
medida em que permite situar a avaliação “como um dos eixos estruturantes das políticas
educativas contemporâneas” (Afonso, 2000, p 9).
O terceiro é a avaliação somativa, com função classificatória, realiza-se ao final do
curso. Consiste em classificar os alunos de acordo com níveis de aproveitamento previamente
estabelecidos, geralmente tendo em vista sua promoção de uma série para outra, ou um grau
para outro, ou a obtenção de um certificado.
2.7 Referenciais: Taxonomias, Modelos e Teorias.
Existem uma série de taxonomias, modelos e teorias que estabelecem diretivas
relacionadas a avaliação no processo de ensino-aprendizagem, as mais citadas são: a
Taxonomia de Bloom, o modelo de Kirkpatrick, a Teoria da Avaliação Autêntica, e a Teoria
das Inteligências Múltiplas. O trabalho de Kearsley (2000) relaciona mais de 50 teorias
distintas de aprendizagem. Em geral, tais referenciais teóricos tentam responder a questão:
“Como nós sabemos se a aprendizagem está ocorrendo?” (Garcia, 2000). Devido às restrições
de espaço deste trabalho, será concentrado a seguir em apenas alguns destes referenciais.
2.7.1 Taxonomia de Bloom
A taxonomia dos objetivos educacionais, também popularizada como taxionomia de
Bloom, é a classificação dos tipos de aprendizagem. Foi resultado do trabalho de uma
comissão multidisplinar de especialistas de várias universidades dos EUA, liderada por
Benjamin S. Bloom, na década de 1950. Foram identificados três domínios educativos: o
cognitivo, o emocional e o psicomotor. O terceiro não foi terminado, e apenas o primeiro foi
implementado em sua totalidade. De acordo com a classificação de Bloom existem diferentes
níveis ou categorias de habilidades cognitivas (Noya, 1998). O domínio cognitivo da
15
taxonomia de Bloom é o modelo mais empregado para se responder ao “como avaliar”. A
tabela 1 apresenta as seis categorias, da mais elementar para a mais abstrata.
Tabela 1 – Níveis de Avaliação, conforme Taxonomia de Bloom
Categorias Definição Exemplos
Conhecimento
Evocação de informações,
terminologias, fatos específicos
Quais as principais Teorias de
Administração?
Compreensão
Apreensão do significado do material
apreendido: interpretação e
extrapolação.
Após a leitura de texto sobre Gestão
Participativa o aprendiz faz um resumo
com idéias próprias.
Aplicação
Transferência de conhecimentos
prévios para novas situações: uso de
informações em situações concretas.
Após o estudo das produções
industriais brasileiras o aprendiz é
capaz de identificar gráficos e
caracterizá-los.
Análise
Decompõe-se o problema em suas
par-tes, identificando-as e
relacionando-as.
O estudante formula hipóteses, se
apóia em dados confiáveis e chaga a
conclusões.
Síntese
A união das partes no todo. Cria,
descreve e testa hipóteses.
Após estudo sobre a constituição
Brasileira é possível o aprendiz fazer
uma síntese da mesma.
Avaliação
Julga acerca do valor de uma coisa,
com certo propósito, usando critérios
definidos.
Após estudo sobre o crescimento da
força de trabalho feminina no Brasil, o
aprendiz toma partido, com
argumentos sobre o fato.
Os objetivos de conhecimento formam uma hierarquia que pode ser utilizada para
avaliação do nível do aprendiz. Apesar de existir os níveis, cada elemento desta taxonomia
tem seus próprios objetivos e valores. Segundo Garcia (2000), essas escalas nos darão, em
última análise, uma medida do grau de consciência deste aprendiz em relação aos conteúdos e
também o grau de motivação. Embora muitas das críticas feitas à Taxonomia de Bloom sejam
consideradas válidas, grande número de educadores entende que seu uso pode ser muito útil
para o planejamento e desenho de eventos de aprendizagem. Ademais, ela oferece um bom
apoio ao esforço de compatibilizar testes de avaliação com conteúdo de ensino.
2.7.2 Modelo de Kirkpatrick
Donald Kirkpatrick desenvolveu um modelo de avaliação, que é muito utilizado em
programas de treinamento (Hack , 1999). Sua estrutura, auxilia na tomada de decisões e na
estruturação da avaliação das atividades de aprendizado. Para tanto, ele recomenda que o
processo de avaliação seja dividido em quatro níveis, como demonstrado na Tabela 2.
16
Tabela 2 – Níveis para avaliação do Modelo de Kirkpatrick
No que se refere a modelos de avaliação de treinamento empresarial, o
seqüenciamento metodológico do modelo de Kirkpatrick tem sido o mais freqüentemente
utilizado na avaliação de capacitação empresarial (Passamae Filho, 2003 p. 44) . Devido à sua
simplicidade e praticidade, tem sido referência na maioria dos estudos sobre o assunto e
adotado por grande número das empresas que avaliam a capacitação para o trabalho (Phillips,
1997, p. 44). O modelo de Kirkpatrik é composto por quatro níveis de avaliação que devem
ser aplicados em seqüência. Assim se constitui numa forma eficaz de avaliação de programas
nas empresas (Lima, 2000, p. 157).
O Primeiro Nível: Avaliação de Reação
No primeiro nível, o que se mede, o que se avalia, é a reação dos participantes ao
programa de educação empresarial, objetivando melhorias mediante mudanças nos conteúdos,
no material didático, na manutenção ou substituição de instrutores, na melhor distribuição dos
horários, mudança do local do programa, etc. Ou seja, para se avaliar a reação dos
participantes, procede-se a uma medição de sua opinião sobre os diferentes aspectos da ação
formativa da qual participam: conteúdos, instrutores, instalações, metodologia formativa, etc.
A reação positiva ao treinamento é, todavia, muito importante, visto que o futuro do programa
depende dessa reação. Reação positiva e satisfação demonstrada não necessariamente
garantem a aprendizagem, mas reação negativa e insatisfação, com certeza, reduzem as
possibilidades de aprendizagem (Kirkpatrick, 1998, p. 20).
O Segundo Nível: Avaliação de Aprendizagem
O segundo nível de avaliação, no modelo de Kirkpatrik, trata da aprendizagem e busca
informações que possam comprovar se os participantes melhoraram ou modificaram seus
conhecimentos, habilidades ou atitudes pela ação da formação do programa. Uma avaliação
de reação satisfatória (primeiro nível) não acarreta, necessariamente, uma aprendizagem
satisfatória: às vezes, verdadeiros shows dos instrutores nada refletem em termos de
aprendizagem todo mundo gostou mas não sobrou nada, embora reações negativas
17
influenciem o processo de aprendizagem. A aprendizagem, nesse nível, refere-se à absorção,
pelos treinandos, de conceitos, princípios, fatos e técnicas; não inclui a utilização, ou
aplicação desses princípios, fatos e técnicas no ambiente de trabalho do participante. Tal fato
decorre da própria definição de aprendizagem de Kirkpatrick: “[...] mudança na forma de
perceber a realidade ou aumento de conhecimentos e/ou aumento de habilidades em
conseqüência do indivíduo ter participado do curso” (Lima, 2000, p. 160). Nesse sentido,
“[...] a avaliação de aprendizagem empresarial deve considerar o perfil de competência
profissional ou funcional definido pela organização para o participante do programa” (Lima,
2000, p. 162).
O Terceiro Nível: Avaliação de Comportamento
O terceiro nível é o do comportamento que investiga a extensão da mudança de
conduta e de procedimentos que ocorre após a participação em um programa. É um nível de
avaliação mais complexo que os anteriores, necessário, todavia, para ratificar os objetivos
previamente definidos. É a fase de avaliação da conduta, de comportamento ou de
transferência em que se verifica se o profissional realiza melhor o seu trabalho, após a
capacitação (Truelove, 1997, p. 154). Conhecer princípios e técnicas (aprendizagem) e aplicá-
las no trabalho (comportamento) é o que difere os dois níveis de avaliação apresentados
(segundo e terceiro). As informações sobre comportamento podem ser obtidas de várias
formas (Lima, 2000, p. 162). As recomendações de Kirkpatrick são: a) ser feita uma avaliação
sistemática do desempenho no cargo antes e depois do treinamento; b) incluir, em referida
avaliação, consulta sistemática aos seguintes grupos: treinando, seu superior, seus
subordinados, seus pares que conhecem bem seu desempenho; c) ser feita análise estatística
para comparar desempenho anterior e posterior, e relacionar as mudanças atribuíveis ao
programa; d) conduzir a avaliação de desempenho posterior ao programa somente após
decorrido um prazo razoável de conclusão do treinamento (de 3 meses ou mais), a fim de que
os treinandos tenham condições para aplicar o que aprenderam; e) utilizar o grupo de controle
(não treinado) para fins comparativos. A avaliação desse nível é mais complexa e difícil que a
avaliação do nível anterior porque, entre outros requisitos, requer um estudo individualizado
de cada programa.
O Quarto Nível: Avaliação de Resultados
O quarto e último nível é denominado o nível de resultados e objetiva medir os
resultados finais do programa Esse nível é definido como a medição dos resultados que
ocorrem em decorrência da participação dos treinandos no programa e esses resultados
incluem “[...] incremento de produção, melhoria na qualidade, redução de custos, de
acidentes, aumento nas vendas, redução da rotatividade de pessoal, aumento do lucro ou do
retorno do investimento. É importante reconhecer que tais resultados representam a razão de
ser dos programas de treinamento” (Kirkpatrick, 1998, p. 23). A valoração dos efeitos da
18
capacitação sobre os resultados representa uma síntese do modelo. Se algum efeito pode ser
observado no resultado da empresa, significa, de antemão, que os objetivos da avaliação
aquilatados nos níveis anteriores foram alcançados.
2.7.3 Teoria da Avaliação Autêntica
De acordo com esta teoria, testar simplesmente uma habilidade isolada ou um fato
gravado não mede efetivamente as capacidades de um aprendiz (Kearsley, 2000). Um método
de avaliação deve examinar as habilidades coletivas deste para poder avaliar “autenticamente”
o que uma pessoa tem aprendido. Segundo a teoria da avaliação autêntica, deve-se apresentar
desafios do mundo real para os alunos, os quais requerem a aplicação de habilidades e
conhecimentos relevantes para cada situação.
Esta teoria propõe as seguintes diretivas: a) estudantes devem desenvolver respostas,
ao invés de selecioná-las entre opções pré-determinadas, b) avaliar projetos que abrangem
todo o conteúdo do curso, c) ensinar os aprendizes a avaliarem seus próprios trabalhos, d)
permitir a possibilidade de julgamentos múltiplos, e) deixar claros os critérios, f) elicitar
pensamentos mais abstratos, além de experiência práticas, e g) relacionar a avaliação com a
aprendizagem em sala de aula. Ainda segundo esta teoria, justiça não existe quando a
avaliação é padronizada, impessoal e absoluta, mas sim quando ela é personalizada, natural,
flexível, e pode ser modificada para abstrair habilidades e funções específicas em níveis
relevantes de dificuldade. A avaliação deve identificar diferencial e limitações dos aprendizes,
entretanto não deve comparar ou classificar estudantes (Garcia, 2000).
2.8 Considerações Finais
Apesar de existir um intenso questionamento entre os modelos de avaliação formativa
e avaliação somativa, a importância da avaliação é sempre reconhecida por diversos autores.
Acredita-se que todos os educadores e autoridades da educação estão convictos que é
necessário avaliar e porque não dizer, sem ela o processo ensino-aprendizagem seria
incompleto.
Logo, a grande questão é sempre o aprimoramento do processo avaliativo como parte
de um movimento articulado com o compromisso e o desenvolvimento de uma prática
pedagógica comprometida com a inclusão, com a pluralidade, com o respeito às diferenças,
com a construção coletiva.
E este aprimoramento passa pela escolha do instrumento de avaliação. Qual o melhor
instrumento avaliativo? Sabendo que existe várias ferramentas, como: prova escrita e oral,
trabalhos, seminários, lista de exercícios, dentre outros. No próximo capítulo será discutida a
prova escrita como ferramenta de avaliação. A aplicação destes instrumentos de avaliação tem
19
como objetivo, como já foi discutido, é avaliar o grau de competência e habilidades dos
educandos. Para isso foi discutido varias técnicas como avaliar: Taxonomia Bloom, Modelo
de Kirkpatrick e Teoria da Avaliação Autêntica.
A competência relaciona-se ao “saber fazer algo”, que por sua vez, envolve uma série
de habilidades. Do latim habilitas, que significa “aptidão, destreza, disposição para alguma
coisa”.
Ao fazerem referência ao processo de avaliação de competências, que este deve se
utilizar de instrumentos de avaliação que possam cumprir com a finalidade de diagnosticar o
uso funcional e contextualizado dos conhecimentos, destacando-se dessa forma o caráter
instrumental das competências. Se há alunos que evidenciam melhor as suas competências
com um determinado tipo de instrumento, cumpre ao professor prepará-los para poderem
responder o mais adequadamente possível qualquer que seja o instrumento utilizado. Há que
saber dosar a utilização de técnicas relatadas e o instrumento de avaliação, racionalizando-o
no sentido de potencializar os seus valores e esbater as dificuldades do seu uso.
A noção de competência refere-se à capacidade de compreender uma determinada
situação e reagir adequadamente frente a ela, ou seja, estabelecendo uma avaliação dessa
situação de forma proporcionalmente justa para com a necessidade que ela sugerir a fim de
atuar da melhor maneira possível. É a qualidade de quem é capaz de apreciar e resolver certo
assunto, fazer determinada coisa; capacidade, habilidade, aptidão, idoneidade.
Nesse sentido a avaliação necessita ser contextualizada pelo professor com problemas
relevantes, que comprovaram as competências adquiridas pelos alunos. O que se espera do
educador na avaliação de competências é que ele seja capaz de orientar o aluno na situação de
suas dificuldades, analisá-las, compará-las e descobrir como progredir. Nesta perspectiva, o
aluno é estimulado a praticar seu raciocínio, a criar métodos de pensar mais elaborado, a
levantar hipóteses e a fazer comparações e inferências, conduzindo-o a resolver problemas
com a sua forma de pensar já elaborada.
Bloom, Hastings e Madaus (1975) esclarecem que a avaliação pode ser considerada
como um método de adquirir e processar evidências necessárias para melhorar o ensino e a
aprendizagem, incluindo uma grande variedade de evidências que vão além do exame usual
de ‘papel e lápis’. É, ainda, segundo os mesmos autores, um auxílio para identificar os
objetivos significativos e as metas educacionais.
20
3 O INSTRUMENTO DE AVALIAÇÃO “PROVA”
Neste capítulo são discutidas as características dos instrumentos de medição com
ênfase na ferramenta prova e apresentadas reflexões acerca da metodologia de medida.
Também são discutidos e comparados os métodos TCM e TRI na análise dos resultados das
avaliações de acadêmica por item (questão) ou da prova toda. Esta análise permite ao
professor medir uma ou mais habilidades do aluno ou da turma. Também são abordadas as
competências e habilidades necessárias para um bom desempenho dos alunos, buscado, assim,
descrever sobre a produção dos instrumentos de avaliação.
3.1 Introdução
“Se tivermos que elaborar provas, que sejam bem-feitas, atingindo seu real
objetivo, que é verificar se houve aprendizagem significativa de conteúdos
relevantes” (Moretto, 2007 p. 87)
A insatisfação com os testes é tão antiga quanto eles próprios, e motivo é a associação
que a maioria dos alunos fazem entre as provas e a função de “aprovar” ou “reprovar”, porém
este instrumento tem muitas outras funções. Presta-se primordialmente à avaliação numérica e
objetiva dos alunos, possibilitando a identificação de talentos (competências e habilidades) e o
diagnóstico de deficiências. Através das provas (instrumento de medida) é possível obter
preciosas informações sobre o grau cognitivo dos alunos examinados, e assim oferecer aos
discentes e a seus respectivos docentes toda a orientação necessária para o melhor
21
aproveitamento e desenvolvimento de suas potencialidades, reforçando os pontos fracos e
valorizando os pontos fortes.
Por isso a aplicação de um teste exige que o examinador atenda a determinados
quesitos: o examinador deve ter bons valores éticos, bons conceitos pedagógicos e completa
compreensão das propriedades do instrumento de avaliação utilizado, a fim de que sua
avaliação seja científica, democrática e, acima de tudo, justa. Conhecer bem o conteúdo
programático ajuda a evitar os erros mais comuns, habilitando-o para construir melhores
provas, tanto no que diz respeito ao conteúdo, como na correta interpretação das notas, além
de capacitá-lo para solucionar uma vasta gama de problemas pedagógicos.
3.2 A Avaliação através de Provas
As provas continuam sendo um dos melhores instrumentos para avaliação pedagógica.
Existem muitas evidências de que as avaliações subjetivas, tipo seminário, feitas por
professores costumam ser impregnadas de elementos pessoais, que podem afetar o julgamento
do educador. Segundo Campos (2005), a avaliação somativa dá uma maior ênfase aos
instrumentos de avaliação como provas, privilegiando a nota como forma de verificar se o
aluno alcançou os objetivos pretendidos, considerando como prioridade a assimilação de
conteúdo.
As notas atribuídas com base em provas escritas são muito mais imparciais e podem
ser acompanhadas pelo coordenador pedagógico mais facilmente. Contra as provas pesa o fato
de o aluno poder fraudar. De fato, mas a fraude e outros tipos de desonestidade são problemas
causados por falhas na supervisão, portanto situa-se no âmbito da fiscalização. Um
procedimento para amenizar a fraude seria a elaboração de provas de forma mais
personalizadas, ou seja, com uso de mecanismos que possibilitem a geração de provas
diferentes para um mesmo grupo de alunos.
Os educadores que costumam se posicionar contra a aplicação de provas rotulada de
tradicional, geralmente o fazem por estarem habituados a analisarem provas de tão baixa
qualidade, na maioria das vezes, são plenamente justificadas. Uma das causas destes erros
está na metodologia de construção, seleção e tratamento estatístico das questões (TCM e
TRI). É necessário compreender que não há nada de errado em usar provas discursivas ou
testes de múltipla escolha com a finalidade de acompanhar a evolução do aluno. Aliás, é
importantíssimo valer-se destes meios para obter informações numéricas e formular juízos de
valor, diante dos quais se tomam decisões, como foi exemplificado, portanto não se pode
renunciar ao uso de provas, como se o mal estivesse nas provas em si. O mal está em não
haver disciplinas adequadas nos cursos de Pedagogia, que ofereçam aos futuros educadores a
bagagem necessária para que se tornem capazes de elaborar, aplicar e interpretar corretamente
os resultados.
22
A atitude correta, portanto, consiste em aprender como construir melhores provas, para
que estas sejam capazes de aferir bem o grau de desempenho dos estudantes, possibilitando
diagnosticar corretamente as necessidades dos alunos, identificando pontos fortes e fracos
para, em seguida, trabalhar nestes pontos. E esta construção pode se valer das técnicas como a
Taxonomia de Bloom ou Teoria da Avaliação Autêntica.
3.3 Metodologia de Medida
Na maioria das universidades, cursinhos, escolas públicas e particulares usam a escala
ordinal, criada há milhares de anos. Este método simples e obsoleto que consiste em atribuir
notas com base na quantidade de respostas certas. Numa prova com 10 questões, a nota é
igual ao número de respostas certas, podendo também haver pontuação fracionária para
respostas parcialmente certas. Este problema ocorre mesmo quando se usa a escala ordinal
corretamente, e muitas vezes a escala é usada de maneira inadequada, o que agrava muito a
situação. Como exemplo, uma Instituição de Ensino Superior de Fortaleza adotava, anos atrás,
o critério de conceitos: Insuficiente, regular, bom, ótimo e excelente para classificar a prova
do aluno. Com o uso deste sistema se perde parte das informações, porque tanto o aluno que
tirou 4,1 quanto o aluno que tirou 6,0 terão o mesmo conceito “Bom”. Este é um dos
problemas de usar 5 estratos em vez de um sistema de escores numéricos de 0 a 100, por
exemplo. O uso de estratos equivale a “arredondar” as notas.
Há casos ainda mais graves, em que se usam 3 estratos: Insatisfatório, Regular e
Satisfatório. Enfim, quanto menor for o número de estratos, pior fica o sistema de avaliação.
Existem procedimentos estatísticos que possibilitam criar estratos consistentes, e nestes casos
se pode fazer agrupamentos para finalidades diversas, mas durante o processo das notas e
cálculo de médias, deve-se manter toda a informação disponível, com notas com tantas
decimais quantas forem indicadas pelo professor.
3.4 Os métodos TCM e TRI
A Teoria Clássica dos Testes (TCT), também conhecida (de forma mais geral) como
Teoria Clássica da Medida (TCM), que teve seus fundamentos teóricos lançados no século
XIX nos Estados Unidos (Cuesta, 1996).
Este método necessita de um conjunto de itens (questões) que compõem a prova
(instrumento de medida), ou seja, as análises e interpretações estão sempre associadas à prova
como um todo, o que é característica principal da Teoria Clássica. Das respostas às perguntas
ou sentenças obtém-se um escore que indica o nível de maturidade das organizações na
implantação dessas práticas. De acordo com a TCM, o escore observado é composto de um
escore verdadeiro (o nível real de maturidade) e um erro de medida. Assume-se que o erro é
23
aleatório. A equação básica da TCM (Hayes, 1992), descreve a relação entre os escores
observados, os escores verdadeiros e o erro: X = T + E, onde: X é o escore observado; T, o
escore verdadeiro; e E, o erro de medida. Os erros podem estar associados aos seguintes
fatores: Impossibilidade de incluir um número infinito de perguntas no questionário;
Impossibilidade de aplicar o questionário um número infinito de vezes e Impossibilidade de
submeter os questionários a um número infinito de organizações.
Na TCM são avaliadas as características psicométricas dos itens (questões),
especificamente, a confiabilidade (consistência interna da escala), a análise do item e a
validade do construto, conforme citado anteriormente. Contudo, uma característica dessa
teoria consiste no fato de a análise psicométrica do construto ter por ênfase o instrumento de
medição como um todo.
Atualmente a TCM é usada em praticamente todos os vestibulares do Brasil e em
vários exames psicológicos e educacionais do mundo. Vestibulares do ITA (Instituto
Tecnológico de Aeronáutica), USP (Universidade de São Paulo), Unicamp (Universidade de
Campinas), UNESP (Universidade Estadual Paulista), universidades federais e grandes
concursos usam TCM. Uma das principais vantagens deste método é conseguir que os escores
obedeçam a uma escala aproximadamente intervalar em mais de 95% dos casos e assim
“enriquecendo” a informação original. Uma outra vantagem de uma escala intervalar é que
possibilita realizar operações aritméticas de soma e subtração de escores, o que não é possível
se a escala for ordinal.
Segundo o INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
Teixeira responsável) pelo ENEM (INEP,2001), a Teoria Clássica de Medida (TCM) possui
uma série de estatísticas para a análise de item do tipo múltipla escolha com uma única
alternativa correta. Entre elas, destacamos a porcentagem de resposta para cada uma das
alternativas, o grau de dificuldade e o grau de discriminação. Essas porcentagens de resposta
devem ser calculadas para o grupo de examinados como um todo e também para o grupo de
examinados que tiveram os melhores escores totais (grupo superior) e para o grupo de
examinados que tiveram os piores escores totais (grupo inferior).
Espera-se que as porcentagens de resposta dos examinados do grupo superior, quando
comparados com as porcentagens do grupo inferior, sejam maiores na alternativa correta e
menores na alternativa não correta. Uma outra estatística igualmente importante para a análise
de itens é o “coeficiente bisserial”. Esse coeficiente é relacionado ao coeficiente de correlação
de Pearson entre a variável 0-1 e a medida de rendimento do aluno (por exemplo, a nota
geral). Esse coeficiente é calculado para cada uma das alternativas do item e dizemos que um
item tem bom desempenho quando esse coeficiente tem valor “alto” positivo associado à
alternativa correta e valores negativos associados aos não corretos.
24
Apesar da TCM ser uma metodologia bastante utilizada, atualmente em várias áreas
do conhecimento, particularmente em avaliação educacional, vêem crescendo o interesse pela
aplicação da Teoria da Resposta ao Item (TRI), que propõe modelos com características de
indivíduos que não podem ser observados diretamente. Esse tipo de variável deve ser inserido
a partir de observação de variáveis secundárias que estejam relacionadas a ela. O que esta
metodologia sugere são formas de representar a relação entre a probabilidade de um indivíduo
dar uma certa resposta a um item e seus traços ocultos, capacidade ou habilidades na área do
conhecimento avaliada.
Uma das grandes vantagens da TRI sobre a Teoria Clássica de Medida é que ela
permite comparação entre grupos, desde que submetidas à provas que tenham alguns itens
comuns, ou ainda, a comparação entre indivíduos do mesmo grupo que tenham sido
submetidos a provas totalmente diferentes. Isto porque uma das principais características da
TRI é que ela tem como elementos centrais os itens, e não a prova como um todo. É possível,
por exemplo, avaliar o desenvolvimento de uma determinada disciplina de um ano para o
outro ou comparar o desempenho entre turmas de turnos diferentes do mesmo professor.
Os primeiros modelos de Resposta ao Item surgiram na década de 30, e eram modelos
em que se considerava que uma única habilidade, de um único grupo estava sendo medida por
um teste onde os itens eram corrigidos de maneira classificatória. Estes modelos foram
primeiramente desenvolvidos na forma de uma função ogiva normal de um parâmetro.
Lord (1952) foi o primeiro a desenvolver o modelo unidimensional de 2 parâmetros,
baseado na distribuição normal acumulada (ogiva normal). Após algumas aplicações desse
modelo, o próprio Lord sentiu a necessidade da incorporação de um parâmetro que tratasse do
problema do acerto casual. Assim surgiu o modelo de 3 parâmetros. Anos mais tarde,
Birnbaum (1968) substituiu, em ambos os modelos, a função ogiva normal pela função
logística, matematicamente mais conveniente, pois é uma função explícita dos parâmetros do
item e da habilidade, envolvendo integração. A partir daí, outros autores aperfeiçoaram e
exploraram cada vez mais os modelos de 1, 2 e 3 parâmetros.
Atualmente é reconhecida como a mais poderosa ferramenta que existe para
tratamento estatístico de questionários, sendo usada em alguns dos mais importantes exames
educacionais dos Estados Unidos e da Europa. Devido à grande importância desta ferramenta
e ao imenso leque de possibilidades que ela nos oferece, o uso de TRI pelo SAEB (Sistema
Nacional do Ensino Básico) foi anunciado como reportagem de capa na revista Nova Escola
em 1997.
Como exemplo, vamos supor que desejamos comparar o nível de conhecimento entre
alunos de duas séries distintas (7ª e 8ª séries do ensino fundamental, por exemplo). Na TCM
essa comparação somente será possível caso seja aplicada a mesma prova para as duas turmas.
Na TRI, são necessárias apenas algumas questões em comum nas provas aplicadas às duas
25
séries. Outras vantagens: Maior confiabilidade nos desempenhos indicados pelas notas, maior
eficiência na detecção de alunos com dificuldade de aprendizado, mais exatidão para a
orientação vocacional, prognósticos mais confiáveis em simulados de vestibulares, proporção
mais realista entre notas e conhecimentos ou entre notas e habilidades, possibilidade de
construir, em poucos segundos, dezenas de provas diferentes a partir do mesmo banco de
itens, assegurando equivalência de conteúdo e de dificuldade, possibilidade de aplicar provas
com níveis de dificuldade e conteúdo personalizados para cada aluno sem demandar mais
tempo do que seria necessário para uma prova coletiva tradicional, gerar escores em escala
com vários aspectos de escala de proporção, corrigir distorções nos valores extremos, predizer
as probabilidades de cada aluno acertar cada item e assim conseguir identificar eventuais
fraudes (“cola”) em caso de muita disparidade, dentre outras.
O TRI foi usado para avaliação de rendimento escolar no estado de São Paulo. A
aplicação do TRI no estudo, construção e validação de testes psicológicos e educacionais tem
sido muito utilizada por vários pesquisadores e instituições (INEP, 2002).
3.5 Competência e Habilidade
Capacidade de articular, mobilizar e colocar em ação valores, conhecimentos e
habilidades necessárias para o desempenho eficiente e eficaz de atividades
requeridas pela natureza do trabalho. (Enem, 2005)
O surgimento do termo competências surgiu no contexto de industrialização que
ocorreu em alguns paises como Inglaterra, Estados Unidos e França. Esses países
apresentaram dificuldades em integrar seus sistemas educativo e produtivo. Desta maneira, o
modelo de competências surgiu como uma proposta para a educação profissional, formulado
sob influência do setor produtivo, como uma decorrência das mudanças no mundo do trabalho
que apontavam para a necessidade de novas características do trabalhador. Este tema sempre
havia sido defendido por educadores, para melhorar a formação do trabalhador. A partir desta
necessidade passou a ser uma bandeira dos empresários, na busca de um profissional com
maior autonomia, capacidade de resolver problemas novos e iniciativa própria.
Uma competência é um conhecimento ou habilidade que são críticos para a geração de
produtos ou resultados essenciais (McLagan, 1997). Porém, o conceito de competência
adotado pelo IBSTPI (International Board of Standards for Training, Performance and
Instruction - www.ibstpi.org) envolve uma série de conhecimentos, habilidades e atitudes
relacionadas, que ajudam o profissional a desempenhar bem as atividades de uma determinada
função, de acordo com os padrões esperados. Complementado, Todo cidadão tem direito de
26
aprender, mas ele não aprende só com o currículo, mas com a capacidade que tem de construir
sua própria vida, relacionando-se com a família, os amigos, os colegas de trabalho.
A competência é o que o estudante aprende e não o que o professor ensina.
Entende-se como aluno competente aquele que tem domínio de várias habilidades
como: calcular, ler, interpretar, tomar decisões, responder por escrito, pesquisar, anotar,
dentre outras. Estas habilidades permitem a solução de problemas de aritmética, mas se
saímos do contexto de problema e se consideramos a complexidade envolvida no
desenvolvimento de cada uma dessas habilidades, pode-se valorizá-las como competências
que, por sua vez, requerem outras tantas habilidades.
Para dizer de um outro modo, a competência é uma habilidade de ordem geral,
enquanto a habilidade é uma competência de ordem particular, específica. A solução de um
problema, por exemplo, não se reduz especificamente aos cálculos que implica, o que não
significa dizer que o cálculo não seja uma condição importante. Igualmente, ainda que
escrever a resposta não corresponda a tudo que está envolvido na solução de um problema, é
uma habilidade essencial.
Ora, uma coisa é a competência do professor para expor um tema, outra é sua
habilidade para conquistar o interesse dos alunos e envolvê-los nas propostas de sala de aula.
Por isso, esta expressão ‘gestão da sala de aula’ é hoje muito discutida na educação. O
professor gestor tem a competência para a gestão da sala de aula e tem também a visão
do gestor educacional, percebendo a escola como um todo.
3.5.1 Características das Competências
Novaes (2001) destaca três características para a definição de competências:
•••• Conjunto de atributos - mostram os atributos gerais indispensáveis para o
desempenho efetivo de profissionais, considerados excelentes, e que são
subjacentes às competências, ou seja, conhecimentos, práticas e atitudes. Neste
conjunto desconsidera-se, porém, o contexto em que as competências são
aplicadas;
•••• Conjunto estruturado holístico e integrado - combina a perspectiva de um
conjunto de atributos com o contexto. A competência é relacional, é uma
combinação complexa de atributos (conhecimentos, atitudes, valores e
habilidades) necessários para o desempenho profissional em situações
específicas.
•••• Conjunto de tarefas - a competência é vista como um conjunto de tarefas
independentes, e que se apresentam bem detalhadas, não havendo interesse
27
pelas relações que existem entre elas. A competência é analisada pela
observação direta do desempenho;
O que se percebe, porém, é que no geral entende-se como competências apenas as
atividades listadas no perfil do aluno. Essa interpretação dificulta enormemente a
configuração das competências e capacidades numa dimensão educacional, a qual nos
pressiona a ir além do atendimento imediato ao mercado de trabalho.
Desta maneira, é necessário que a análise pedagógica destas atividades revele
possibilidades de um currículo que, além do saber fazer, insira as dimensões dos saberes e de
um saber agir de forma responsável, profissional e humano. Assim, por exemplo, a
competência de prevenção na profissão da enfermeira requer, além dos conhecimentos,
práticas e atitudes, capacidades de relacionar causas e conseqüências, discernir situações de
perigo eminente, organizar os dados relacionados ao usuário, comunicar-se com outros
membros da equipe responsável pelo cuidado com a saúde e, sobretudo, o profissionalismo
pautado pela ética.
3.5.2 Tipos de Competências
Segundo a Fundamentação Teórico-Metodológica do ENEM (2005) existem três
formas de competência:
•••• Competência como condição prévia do sujeito, herdada ou adquirida: É comum
definir competência como capacidade de um organismo. Saber respirar,
mamar, por exemplo, são capacidades herdadas. Nascemos com competência
comunicativa, isto é, herdamos nossa aptidão para a linguagem. Ao mesmo
tempo, temos de adquirir competência em uma ou mais línguas, pois essas não
são herdadas, mas aprendidas e se constituem patrimônio de nossa cultura e de
nossa possibilidade de comunicação. Competência, nesse primeiro sentido,
significa, muitas vezes, o que se chama de talento, dom ou extrema facilidade
para alguma atividade.
•••• Competência como condição do objeto, independente do sujeito que o utiliza:
Refere-se á competência da máquina ou do objeto. Por exemplo, a competência
ou habilidade de um motorista não tem relação direta com a potência de seu
automóvel. O mesmo acontece com relação aos computadores e seus usuários.
Uma coisa é nossa condição de operar um certo programa. Outra é a potência
do computador, sua velocidade de processar informações, memória, etc. Na
escola, essa forma de competência está presente, por exemplo, quando
julgamos um professor pela ‘competência’ do livro que adota, da escola em
que leciona, do bairro onde mora.
28
•••• Competência relacional. Essa terceira forma de competência é interdependente,
ou seja, não basta ser muito entendido em uma matéria, não basta possuir
objetos potentes e adequados, pois o importante aqui é o "como esses fatores
interagem". A competência relacional expressa esse jogo de interações. É
comum na escola um professor saber relatar bem um problema que está
acontecendo em sala de aula, mas na própria aula não saber resolver situações
relacionadas com a indisciplina, espaço ou tempo. Numa partida de futebol,
para fazer gol, não basta que o jogador saiba chutar a gol, fazer embaixadas,
correr com a bola no pé, é necessário que saiba coordenar tudo isso no
momento da partida.
No caso de uma prova, a qualidade das questões (competência do objeto) não é
condição suficiente para que ela atinja os objetivos do professor, é necessário fazer uma boa
leitura (competência do sujeito), considerando as reações da turma, o ritmo, as observações, o
tempo, o comportamento, dentre outras (competência relacional).
Já o primeiro agrupamento de competências transversais, constitui-se: caracterizar,
descrever, destacar, identificar, reconhecer, selecionar ou situar. Caracterizam-se, de um
modo geral, por um tipo de tomada de decisão ou pela mobilização de recursos que atribuem
identidade a algo em um contexto dinâmico, aberto, em que outros fatores ou aspectos
modificam-se no jogo das transformações do sistema ou do todo a que se referem. Essas
competências implicam, pois, no contexto da tarefa solicitada, uma decisão sobre o que se
relaciona ou pertence a certo objetivo ou meta a ser alcançada. São, por isso, indicadores ou
sinais da presença de algo que queremos valorizar identificando, caracterizando,
reconhecendo, selecionando ou destacando.
Segundo o documento do INEP – Brasília (2005) (Exame Nacional do Ensino Médio –
ENEM - Fundamentação Teórico-Metodológica), a equipe de autores dividiu as competências
em cinco grupos: domínio da linguagem (DL), compreender fenômenos (CF), enfrentar
situações-problemas (SP), construir argumentos (CA) e elaborar propostas (EP) e vinte e uma
habilidades. Exemplo de uma habilidade: Dada a descrição discursiva ou por ilustração de um
experimento ou fenômeno, de natureza científica, tecnológica ou social, “identificar”
variáveis relevantes e “selecionar” os instrumentos necessários para a realização ou
interpretação do mesmo.
29
Tabela 3 – Análise das competências transversais
Competências Transversais
caracterizar,descrever,destacar,reconhecer,selecionar,situar
analisar,confrontar,comparar,relacionar
compreender,contextuar,ordenar,organizar
calcular,interpretar,ler,quantificar,traduzir
Intervir,prever,propor
Fonte: Adaptado - Documento ENEM 2005.
Existem outros estudos sobre competência, como em Fleury (2001): “um saber agir
responsável e reconhecido que implica em mobilizar, integrar e transferir os conhecimentos,
recursos, habilidades”. Para Ramos (2002), a competência “é concebida como o conjunto de
saberes e capacidades incorporadas por meio da formação e da experiência, somados à
capacidade de integrá-los, utilizá-los e transferi-los em diferentes situações”.
Para Zarifian (2001), é “o tomar iniciativa e o assumir responsabilidade diante de
situações com as quais depara”. Despresbiteris (2001) define competência como “um
conjunto identificável de conhecimentos (saberes), práticas (saber-fazer) e atitudes (saber-ser)
que mobilizados podem levar a um desempenho satisfatório”. Nas palavras de Campos
(2003), “competências são capacidades intelectuais, afetivas, sociais e morais que
possibilitam o agir de um sujeito, dando-lhe as condições necessárias para a sua realização e
servindo como subsídios para esse agir, o qual deverá se manifestar por meio das
habilidades”.
A proposta de Bliss, Monk e Ogborn (1983) destaca a presença de três componentes
considerados primordiais: a institucional, a humana e a situacional. Isto porque carece de
qualquer sentido falar em um processo educacional baseado em competências sem ter uma
clareza de que natureza é a escola ou o curso que estamos tratando, qual é o construtor de
alunos que imaginamos formar, e para ser ou fazer o quê estamos educando esses alunos.
Avançando no detalhamento da visão de cada uma desses componentes, se considera
fundamental, no caso institucional, que o professor, os objetivos do curso e a abordagem
pedagógica estejam devidamente afinados com a proposta, o que não significa dizer que
outros fatores tais como o ambiente escolar, a infra-estrutura, segurança, dentre outros, não
sejam também importantes.
Existem duas grandes subdivisões abrangentes quando se pensa em competências em
termos de objetivos: uma relativa ao trabalho e outra relativa à prática pedagógica. A
avaliação baseada em competências e habilidades, proposta pelo MEC, tem a intenção de
diagnosticar como o aluno está preparado para atender os objetivos da área produtiva.
Percebe-se também que, para elaborar uma avaliação por competências é necessário que haja,
30
antes de qualquer coisa, um comprometimento do professor no sentido de elaborar uma
avaliação contextualizada e voltada para a formação do individuo, levando em consideração
não só os conhecimentos como seus valores e atitudes. Na tabela 4, tem-se uma relação de
algumas capacidades, competências e habilidades a serem desenvolvidas na área de
programação.
Tabela 4 – Disciplina de Algoritmos e Programação Computadores
Capacidades Competências Habilidades
1. Compreender o conceito de Algoritmo
2. Reconhecer a importância de se fazer um projeto
3. Conhecer as estruturas de controle e decisão
4. Compreender o funcionamento das organizações de
arquivos e os tipos de acesso aos mesmos
1. Compreender
os conceitos
envolvidos
5. Conhecer metodologias de projeto de programas
orientadas a dados, a processos e Orientação a Objeto
1. Reconhecer as fases do processo de
desenvolvimento de um programa
Informar-se
2. Identificar
necessidades de
um programa 2. Identificar o tipo de aplicação em que uma
organização de arquivo pode ser usada
1. Definir a estratégia de solução de um projeto
2. Definir a especificação funcional do programa
1. Definir
estratégias para
solução de um
problema
3. Definir a especificação estrutural dos dados
Analisar/Organizar
2. Especificar
dados
1. Especificar dados simples (constantes e variáveis) e
estruturas de dados básicas (arrays, registros)
3.6 Instrumento Prova
Com base no documento do ENEM (2005), pode-se verificar a preocupação de seus
autores em se divorciar das provas tradicionais. Está escrito no documento que a verificação
tradicional do aprendizado, geralmente, testa a retenção pelo aluno de determinados conceitos
ou de sua capacidade de aplicação imediata e estrita deles, enquanto o projeto ENEM
apresenta situações em que o conhecimento adquirido revela-se em contexto real e apresenta
os elementos factuais ou mesmo teóricos de que o aluno possa necessitar para, a partir de um
domínio conceitual básico, chegar à compreensão e explicação de fenômeno ou processo
natural, tecnológico e social ou de manifestação artístico-cultural. Não existe, competição
entre os testes tradicionais e a avaliação de desempenho, como a do ENEM. O desafio está em
encontrar o equilíbrio entre eles: enquanto que o teste tradicional responde à pergunta “O que
o aluno sabe?” e se preocupa com as competências como memorizar, identificar, listar e
31
relacionar; a avaliação do desempenho responde à questão “Em que medida o aluno é capaz
de utilizar aquilo que sabe?” e mobiliza competências como classificar, comparar, analisar e
avaliar. De acordo com Murphy (1995), é necessário propor tarefas interativas e
diversificadas, que os alunos considerem como necessárias e significativas para se atingirem
os objetivos pretendidos: avaliar e aprofundar capacidades individuais.
Um outro ponto importante no processo de avaliação é a forma de como utilizar e
elaborar o instrumento de medição. Isto é, como foram elaboradas e apresentadas as questões,
se elas estão bem claras, específicas e compreensíveis, dessa forma auxiliando o aluno na
compreensão da questão. Como a medição é um processo quantitativo, que mede a
circunstância, os erros podem ser vistos como uma forma negativa a proposição de se
incentivar o aluno. Enquanto a prova é um processo essencialmente qualitativo, e que vai de
encontro aos objetivos pré-estabelecidos respeitando padrões e critérios definidos, a avaliação
é um elemento formativo, pois serve como fator de incentivo e de evolução para alunos e
professores.
Dentre os vários instrumentos de medição de desempenho acadêmico, a prova, é uma
das ferramentas com mais competência para atingir os objetivos educacionais. A classificação
destes instrumentos de medição é baseada na forma de coleta dos dados junto ao corpo
discente, e esta coleta cria uma grande expectativa de se obter bons resultados que retratem o
mais fiel possível a realidade. “Para isso, devemos considerar dois importantes aspectos,
definir bem o que queremos avaliar e selecionar um instrumento que melhor possa atender a
coleta dos dados para atender o objetivo que se deseja alcançar” (Haydt, 2000).
Baseado na afirmação de Haydt (2000), um exemplo prático do uso da prova: um
professor precisa avaliar um determinado conteúdo. Com base na taxionomia de Bloom
(1956), o professor estabelece alguns objetivos cognitivos dentro das categorias de
conhecimento, compreensão e síntese. Para verificar se os objetivos foram atendidos nas
categorias de conhecimento e compreensão, foi escolhida a técnica de testagem, sendo
aplicado o instrumento de prova objetiva. Para avaliar a capacidade de síntese o professor
selecionou o instrumento de prova dissertativa.
3.6.1 Detalhando os instrumentos
Dos instrumentos de avaliação escrita destacam-se: o teste, o prova objetiva e a prova
subjetiva.
1) A testagem
O teste é o instrumento de avaliação que apresenta maior precisão nas informações
obtidas, além de atender o critério de objetividade, que faz com que o examinador das
questões possa valorizar as respostas, já que elas foram previstas na elaboração do teste. Um
32
teste é desenvolvido pelo professor com questões elaboradas conforme o conteúdo e os
objetivos propostos. De outra forma, o teste pode ser padronizado, quando organizado e
elaborado perante testes e medidas que foram experimentados em grupos de controle. A
vantagem do teste padronizado é que ele possui normas e tabelas que facilitam a interpretação
de seus resultados. Dentro dos testes padronizados existem três tipos de testes, os testes de
aptidão que medem as habilidades, os testes de personalidade e interesse, que verificam a
capacidade intelectual, interesses, atitudes e formas de reação com o ambiente, demonstrando
a sua personalidade, e por último temos os testes de aproveitamento, que são aqueles que
medem se o aluno assimilou e adquiriu um determinado conhecimento como resultado do
ensino (Haydt, 2000).
2) Questões Objetivas
O fato da prova se chamar “objetiva”, não é pela maneira de como são dadas às
respostas, mas sim pelo processo de computação de escores utilizado. O principal elemento da
questão de uma prova é a sua natureza, pois é na validade dela que os resultados demonstram
uma boa amostragem das habilidades e conhecimentos do conteúdo aplicado. Para que isto
ocorra da melhor maneira possível é bom que ela seja elaborada, organizada e orientada da
seguinte forma:
•••• As questões devem ser elaboradas a partir de conteúdos relevantes vistos em
aula;
•••• As questões devem ter seu nível de dificuldade balizado entre o nível da classe
e a dificuldade desejada;
•••• A elaboração das questões deve ser discriminativa ao que foi estudado, ou seja,
os itens não podem ser nem tão fáceis e nem tão difíceis de forma a não
representar o que foi apreendido;
•••• As questões devem ser elaboradas com uma linguagem clara, objetiva e sucinta
fazendo com que a questão seja compreensível e evitando assim ambigüidades;
•••• Colocar instruções e/ou exemplos dos tipos de categorias (resposta curta,
lacuna, certo/errado, acasalamento ou combinação e múltipla escolha)
selecionados, de forma a orientar e familiarizar o aluno com as questões
aplicadas;
•••• Não copiar literalmente o que foi aplicado em sala ou ainda de outra fonte de
consulta como livros ou manuais disponibilizados para estudo;
•••• Colocar a disposição das questões em ordem de dificuldade crescente,
apresentando primeiro as questões mais fáceis e depois as mais difíceis;
•••• Agrupar as questões conforme o tipo de categoria utilizado e o mesmo
conteúdo;
33
•••• Inserir ao final do enunciado de cada questão o seu valor, e se possível a
porcentagem;
•••• Evitar os indícios da resposta da questão em uma outra questão.
Outro fator a ser considerado é que deve ser dado o tempo apropriado para responder
as questões, pois os testes visam certificar o nível de aprendizado e não a velocidade com que
se respondem as questões (Haydt, 2000).
3) Questões dissertativas
As provas de dissertação são aquelas onde o aluno é colocado a responder uma ou
mais questões com suas próprias palavras. Está técnica de avaliação avalia algumas
habilidades intelectuais do aluno através da sua expressão, que é a capacidade de expressar
tudo aquilo definido nas categorias do domínio cognitivo especificado por Boom (1956) a
chamada Taxionomia de Objetivos Educacionais. A categoria mais comum é aquela de
perguntas objetivas que exigem como resposta a lembrança de algum fato ou dado específico,
como nomes, datas ou locais, que para a sua formulação são usadas expressões como “o que;
quem; quando; qual; e onde”. Outra categoria é aquela que exige uma resposta curta, porém,
bem elaborada e consistente, que para a sua formulação são usadas expressões como
“relacione, enumere e defina”. E por último se tem a categoria onde se exige uma resposta
complexa, consistente e de extensão variável, que para a sua formulação são usadas
expressões como “descreva, explique, resuma, compare, analise e interprete”. A prova
dissertativa é defendida por alguns autores, dentre eles Moretto (2007), como sendo a
avaliação mais proveitosa para medir o aprendizado e construção do conhecimento do aluno.
Também é a mais usada pelos professores universitários, segundo pesquisa realizada
(Capítulo 4). Para uma boa formulação de questões dissertativas é recomendado que elas
sejam planejadas com antecedência, que elas atendam os objetivos educacionais propostos,
que os itens estejam colocados de forma clara e exata, de maneira que o aluno interprete a
pergunta para saber o que exatamente responder, que as questões estejam formuladas de
acordo com o tempo disponível para a realização da prova e que não sejam utilizadas questões
onde o aluno escolha o que ele deseja responder (Haydt, 2000).
Como a avaliação é o resultado obtido de medições e comparações do processo
ensino-aprendizagem, é imprescindível que os instrumentos de medidas sejam confiáveis já
que são através deles que os alunos são julgados. As características de um bom instrumento
de avaliação, de acordo com (Haydt, 2000), são:
•••• Validade: mede o que se propõe a medir e permite generalizações apropriadas
sobre as habilidades dos estudantes, inclusive as habilidades tecnológicas como
o uso da Internet;
•••• Consistência: requer que os professores definam claramente o que esperam da
avaliação, independentemente da matéria ou do aluno, sabendo-se que os
34
professores têm que conviver com um publico alvo muito heterogêneo na sala
de aula;
•••• Coerência: apresenta conexão com os objetivos educacionais e a realidade do
aluno;
•••• Abrangência: envolve todo o conhecimento e habilidades necessárias ao
conteúdo explorado;
•••• Clareza: deixar claro o que é esperado do estudante; não confundir nem incluir
respostas;
•••• Equidade: deve contemplar igualmente todos os estudantes, levando em conta
as características e valores de sua comunidade.
O Instrumento de Medida tem como objeto verificar o desempenho do aluno e a
melhoria do aprendizado através de informações fornecidas pela avaliação. É necessário e
imprescindível para obter os melhores resultados, que a elaboração do instrumento de
avaliação seja planejado através de uma análise de objetivos de competências e habilidades.
Concluindo, a avaliação só é válida se os instrumentos de medição forem confiáveis, e
os dados coletados retornarem para os alunos em forma de benefícios para a melhoria das
habilidades e competências.
3.7 Considerações Finais
Neste capítulo foi abordada a importância da prova no processo ensino-aprendizagem
e como este instrumento de avaliação permite a identificação de competências e habilidades e
o diagnóstico de deficiências. A Prova é o instrumento de avaliação preferido na avaliação
somativa, privilegiando a medida de forma a verificar se o aluno assimilou o conteúdo
proposto. Apesar das restrições de muitos educadores, não há nada de errado em usar provas
com a finalidade de acompanhar a evolução do aluno. Aliás, é uma importante ferramenta do
professor para obter informações e formular estratégias para melhorar o processo ensino-
aprendizagem.
Também foi abordado a Metodologia de Medida usada nas instituições de ensino. Este
método atribui nota com base na quantidade de respostas certas, na maioria das instituições se
utilizam da escala ordinal. Como ferramenta de análise dos resultados das provas tem-se os
métodos TCM e TRI.
O método TCM necessita de um conjunto de itens (questões) que compõem a prova
(instrumento de medida), ou seja, de análises e interpretações que estão sempre associadas à
prova como um todo, o que é característica principal desta teoria.
35
Uma das principais vantagens deste método (TCM) é conseguir que os escores
obedeçam a uma escala aproximadamente intervalar em mais de 95% dos casos e assim
“enriquecendo” a informação original.
Atualmente vêem crescendo o interesse pela aplicação da Teoria da Resposta ao Item
(TRI), que propõe modelos com características de indivíduos que não podem ser observados
diretamente. É possível, por exemplo, avaliar o desenvolvimento (habilidade) de uma
determinada disciplina de um ano para o outro ou comparar o desempenho entre turmas de
turnos diferentes do mesmo professor.
Em suma, a abordagem de medida se baseia na avaliação que tem como objetivo
medir as competências e as habilidades dos alunos.
O modelo de competências surgiu como uma proposta para a educação profissional,
formulado sob influência do setor produtivo, como uma decorrência das mudanças no mundo
do trabalho que apontavam para a necessidade de novas características do trabalhador.
Baseado nesta necessidade entende-se como aluno competente aquele que tem domínio de
várias habilidades como: calcular, ler, interpretar, tomar decisões, responder por escrito,
pesquisar, anotar, dentre outras.
Outro ponto importante no processo de avaliação é a forma de como utilizar e elaborar
o instrumento de medição. Isto é, como foram elaboradas e apresentadas as questões, para
medir as competências e habilidades, se elas estão bem claras, específicas e compreensíveis,
dessa forma auxiliando o aluno na compreensão da questão.
Dentre os vários instrumentos de medição de desempenho acadêmico, destaca-se a
prova como uma das ferramentas com mais competência para atingir os objetivos
educacionais. Para verificar se os objetivos foram atendidos nas categorias de conhecimento e
compreensão, foi escolhida a técnica de testagem, sendo aplicado o instrumento de prova
objetiva. Para avaliar a capacidade de síntese o professor selecionou o instrumento de prova
dissertativa.
Dos instrumentos de avaliação escrita destacam-se: o teste, o prova objetiva e a prova
subjetiva. O teste é o instrumento de avaliação que apresenta maior precisão nas informações
obtidas, além de atender o critério de objetividade e padronização. Já a prova Objetiva se
chama “objetiva”, não pela maneira de como são dadas às respostas, mas sim pelo processo de
computação de escores utilizado. Já a prova subjetiva é constituída de questões dissertativas
são aquelas onde o aluno é colocado a responder uma ou mais questões com suas próprias
palavras. Está técnica de avaliação avalia algumas habilidades intelectuais do aluno através da
sua expressão, que é a capacidade de expressar tudo aquilo definido nas categorias do
domínio cognitivo especificado por Boom (1956), a chamada Taxionomia de Objetivos
Educacionais. A prova dissertativa é defendida por alguns autores, dentre eles Moretto (2007)
36
e também pela Teoria da Avaliação Autêntica, como sendo a avaliação mais proveitosa para
medir o aprendizado e construção do conhecimento do aluno.
Concluindo, vimos que o instrumento de avaliação tem como objetivo medir as
competências e habilidades e é isso que a sondagem entre professores revela no Capítulo 4.
Os professores se manifestaram propícios a utilizar uma ferramenta computacional que possa
ajudá-los a avaliar as competências e habilidades de seus alunos.
37
4 FERRAMENTAS DE ELABORAÇÃO DE AVALIAÇÕES
Neste capítulo é apresentada à análise de uma pesquisa junto ao professores sobre as
necessidades de ferramentas computacionais para ajudá-los no processo de avaliação de
competências e habilidades e, em seguida, é realizada uma análise das ferramentas de
automação da elaboração de provas encontradas no mercado. A idéia é, com base nas
informações coletadas dos professores, analisar as ferramentas disponíveis no mercado e
avaliar o quanto uma ferramenta pode ajudar um professor na tarefa de elaboração de
avaliações do tipo prova e/ou exercícios. Com base nestas informações é feito um estudo
comparativo dos vários softwares analisados.
4.1 Introdução
Nestes tempos onde a Internet é uma das grandes sensações do mundo globalizado,
compartilhar informações, a comunicação entre os pares e a produtividade é exigência do
mercado. Na educação não é diferente, o computador é uma ferramenta que viabiliza a
concretização dos objetivos educacionais e principalmente serve de apoio nas tarefas dos
professores, entre elas, a elaboração de instrumentos de medida. Segundo Viana (1989), “Os
instrumentos de medida facilitam as observações que os professores realizam do desempenho
do estudante”.
4.2 Pesquisa sobre como o Professor elabora suas Avaliações
Foi realizada, em janeiro de 2007, uma sondagem de necessidade e uso do computador
por professores. Visou-se mensurar as atividades praticadas no computador pelos professores,
no que se refere às competências de elaboração de instrumento de medição, bem como,
38
identificar deficiências pelos mesmos nos instrumentos utilizados. Neste questionário foram
feitas 13 (treze) perguntas com um total de 30 (tinta) itens que abrangem o objeto deste
estudo, a 30 (trinta) educadores, todos os professores universitários, porém de áreas de
conhecimento (disciplinas) distintas, bem como de sexos diferentes (20 (vinte) homens e 10
(dez) mulheres) e idades bem variadas.
A maioria do levantamento foi realizada nos campus de uma universidade particular
de Fortaleza, por ser a própria instituição onde leciona o autor deste trabalho. Justifica-se o
fato por se ter acesso a conhecimento da organização desta instituição. Todos os professores
entrevistados foram identificados e na sua totalidade responderam prontamente o questionário
de respostas objetivas com algumas com justificativa.
As questões formuladas foram agrupadas em 5 (cinco) categorias, para melhor analisar
as informações extraídas do questionário. Foram utilizados números, tabelas e gráficos e
divididas os conteúdos assim: a) o uso do computador, b) ferramenta específica para
elaboração de provas, c) tempo gasto e habilidades necessárias, d) compartilhamento de
informações e interesses e e) expectativas sobre um software específico.
a) O uso do computador
A pergunta “Você utiliza o computador para ajudá-lo na elaboração da prova?”, foi
quase uma unanimidade a resposta “SIM”. Dos 30 professores, 29 (96,7%) recorrem à
informática para ajudá-los na elaboração de suas avaliações.
b) Ferramenta específica para elaboração de provas
A tabela 5 demonstra que o professor utiliza os recursos de um Editor de Texto para
auxiliá-lo nas suas tarefas de criar, editar, formatar, arquivar, imprimir as provas, dentre
outras. Porém, nenhum professor (0%) elabora com ferramenta específica, no universo
pesquisado.
Tabela 5 – Recursos de um Editor de Texto
Objeto Sim (%) Não (%)
Você utiliza editor de texto para elaborar suas provas? 96,7 3,3
No caso de usar editor de texto, você arquiva estas provas para
servirem como referências para provas futuras?
90,0 10,0
Para elaborar sua prova, você usa algum software especialista,
tipo Prova Fácil, para ajudá-lo?
0,0 100,0
c) Tempo gasto e habilidades necessárias
39
Neste item se constata, através do tempo gasto, as dificuldades encontradas pelos
professores no ato de desenvolver instrumentos de avaliação. De acordo com o gráfico 1, 60%
dos professores consomem 2 (duas) ou mais horas nesta tarefa.
Gráfico 1 – Tempo gasto pelo professor na elaboração de prova
A competência que mais consome tempo é a de criação de novas questões, este
resposta é compartilhada por 100% dos entrevistados, compreendendo as habilidades de
(análise, interpretação, sintetização, etc.). O controle para não repetição de questões, foi
considerado por 60% (18 dos 30) dos professores uma tarefa demorada e em terceiro lugar “a
procura das questões arquivadas” com 43,3%. Considera-se que este processo é demorado
devido a falta de recursos do processador de texto. O professor precisa abrir arquivo por
arquivo, em alguns casos. Uma outra informação relevante é o gasto de tempo por parte de
33,3% dos professores para personalizar questões, procedimento perfeitamente automatizado.
Ver gráfico 2.
Gráfico 2 – Habilidades necessárias no ato de elaboração de questões
40%
43%
10%
7%
1 hora 2 horas 3 horas Mais de 3 horas
Habilidades Necessárias
0
5
10
15
20
25
30
35
Habilidades
No.deProfessores
Fazendo questões novas
Tentando não repedir a questão
Personalizando as questões
Formatando a prova
Procurando questões arquivadas
Montando a questão com Imagens
Procurando questões em livros, etc
40
As respostas indicadas no gráfico 3, relatam a preferência dos professores por tipo de
questões, escolhendo as questões do tipo aberta e em segundo lugar as de questões de múltipla
escolha.
Gráfico 3 – Preferência do Professor quanto ao tipo de questão
d) Compartilhamento de informações e interesses
Nesta sondagem foi contemplada a coordenação pedagógica visando a
percepção do interesse no acompanhamento pedagógico das avaliações. A pergunta “A
coordenação pedagógica acompanha as avaliações”, 46,7% (14 de 30 professores)
informaram que não existe acompanhamento. Os demais enviam as provas para a
coordenação, por e-mail ou uma cópia da prova. Quanto ao interesse em compartilhar as
questões formuladas pelo autor com outros professores, tem-se um dado bastante satisfatório:
70% dos professores estão dispostos a compartilhar com outros professores as suas questões,
listas de exercício e prova (gráfico 4).
26
14
7
4
0
5
10
15
20
25
30
Aberta M ultiescolha Verdade ou Falso Relacionamento
Tipos de Questões
Preferência do Professor
41
Interesse em trabalhar com o reuso
70%
30%
Sim
Não
Gráfico 4 - Interesse em compartilhar e colaborar com o reuso
e) Expectativas sobre um software específico
Com relação à utilização de uma ferramenta (software) que o ajudasse a elaborar suas
avaliações, praticamente 100% dos entrevistados mostraram-se interessados em trocar o
processador de texto por um software especialista.
Gráfico 5 - Expectativas de Funcionalidades Num Software
A esse grande interesse, atribui-se o fato de querer mais controle e produtividade no
processo de elaboração de exercícios e provas. O “Controle de questões já usadas” foi
apontado por 27 (91,3%) dos 30 professores como o item de maior preocupação na hora da
elaboração da prova. O segundo mais importante foi “poder procurar provas arquivadas”, em
um software especialista seria possível avisar, por ter ferramentas de buscas. A terceira
característica mais importante apontada na pesquisa foi “Gerar Provas Personalizadas”, com
questões sorteadas, por exemplo. Outras funções importantes foram: “Estatísticas de
utilização” com (56,5%), “Controle de dificuldades” (52,2%), dentre outras. Ver Gráfico 4.
0
5
10
15
20
25
30
No.deProfessores
Expectativas de Funcionalidades Num Software
Cadastro de questões c/imagens
Exportar para editor de texto
Controle de questões já usadas
Gerar Provas Personalizadas
Prova para varias instituições
Poder procurar provas arquivadas
Estatísticas e relatórios
Integração c/outros professores
Certificar ou não uma questão
Ter recursos gráficos
Parametro de dificuldade da prova
42
Reforçando a necessidade de uma fermenta ágil, configurável e produtiva a pergunta
“Quando você utiliza mais de uma prova na sua avaliação, para evitar cooperação (cola) entre
os alunos, você controla o nível destas várias provas?”, obteve-se 56,7% (17 de 30
professores) de sim e 43,3% de não.
Dos 30 professores questionados, 7 (sete), ou seja 23,3% informaram que não controla
a “Repetição de questões”, 12 (40%) dos professores controlam pela memória, 5 (cinco),
16,7% sempre fazem questões novas e o restante 20% usam de outros meios. Isso
provavelmente se deve ao fato do Processador de Texto não automatiza estes procedimentos.
4.3 Ferramentas de Apoio ao Professor
Considerando as respostas do levantamento de dados junto a professores, foi feito um
estudo sobre ferramentas de apoio a professores na elaboração de provas. Nesta seção, faz-se
uma abordagem sobre os vários instrumentos.
O primeiro uso do computador na educação ocorreu nos anos cinqüenta. Entretanto,
naquela época, não havia microcomputadores e por isso o uso do computador era muito
restrito. Com a invenção dos microcomputadores nos anos setenta a informática difundiu-se
nas escolas. Nos últimos anos o professor descobriu que o Editor de Texto poderia auxiliá-lo
na elaboração das suas provas, com foi visto em questionário aplicado. Com o apoio das
instituições de ensino promoveram-se cursos, muitos sem ônus para o professor, daí porque
esta ferramenta passou a ser muito popular entre os professores. Porém, o software Editor de
Texto não foi desenvolvido e nem adaptado para este fim, o professor é que se adaptou a ele.
Contudo, hoje os professores estão mais exigentes e procuram outras soluções mais voltadas
para suas atividades, e esta insatisfação fica evidente na presente pesquisa.
Os avanços tecnológicos têm contribuído muito para a melhoria da avaliação, seja com
a utilização pelo professor de um software especialista para ajudá-lo na elaboração de provas,
seja pela TV digital que está sendo usada em um projeto inovador de formação, informação e
orientação ao professor. No estado do Amazonas, por exemplo, professores obtêm cursos de
formação, inclusive de avaliação, através de um sistema de TV digital totalmente interativo
(Genus, 2007).
Também existem as ferramentas de controle de atividades docentes que têm a
finalidade de facilitar a vida do professor. Este tipo de ferramenta ajuda o professor nas suas
atividades como elaboração, organização e gerenciamento de suas tarefas. Além da ajuda ao
professor, esse tipo de software também facilita e agiliza as tarefas que envolvem a secretaria
da instituição de ensino, como as prestações de contas. Ainda, as funções de tal software
facilitam o desempenho de tarefas como o cadastro de alunos e turmas, o registro dos planos
de aula e do conteúdo ministrado; o controle de atividades, avaliações, notas e freqüência. Ele
também oferece ao professor diversas opções de análise dos rendimentos de cada turma ou e
43
cada aluno. Exemplos deste tipo de software são: o Q-Acadêmico, desenvolvido pelo MEC, o
Sophia, Siscona, dentre outros.
4.4 Análise dos Softwares de elaboração de prova
Baseado no resultado da sondagem (questionário), o professor informou quais são as
funções importantes que ele deseja encontrar em uma ferramenta de Elaboração de Provas. De
posse destes dados, foram analisadas várias ferramentas do mercado, porém, baseado nas
funcionalidades foram selecionados 7 (sete) softwares que serão apresentados a seguir.
4.4.1 Professor Tech II
Desenvolvido por João Paulo C de Mesquita (Professor e Analista de Sistemas). É um
software nacional, desenvolvido com tecnologia internacional, para professores de quaisquer
disciplinas desde a educação infantil até cursos de doutorado. Com ele o professor é capaz de
gerar provas, trabalhos e exercícios rapidamente e com qualidade, podendo imprimi-los e/ou
exportá-los para formatos como: DOC (Document) e PDF (Portable Document Format).
O Software cria e organiza provas, trabalhos, exercícios e questões. Com o Professor
Tech II a escola ou o professor serão capazes de criar e organizar provas, trabalhos, exercícios
(com gabarito) e questões (VF, CE, Múltipla Escolha ou Subjetivas) rapidamente e com
qualidade, podendo imprimi-los e/ou exporta-los para formatos como: .doc do Word, .PDF do
Acrobat. No total são 8 formatos diferentes. O Professor Tech II também vem com Cadastro
de Professores, Cadastro de Escolas e com questões exemplo de algumas disciplinas
cadastradas.
A seguir, algumas características importantes do software, sejam por divulgação
comercial ou em teste do demo:
•••• Uma cópia poderá ser usada por vários professores mesmo que sejam de
disciplinas diferentes.
•••• Funciona em rede (é necessário adquirir a licença para funcionamento em
rede).
•••• Compartilha questões entre professores através da importação e exportação de
questões.
•••• Suporta questões de verdadeiro ou falso, certo ou errado, múltipla escolha e
subjetivas.
•••• Permite a inclusão de imagens, tabelas, formatação de fonte e etc, no cadastro
de questões.
•••• Permite formatação da prova, trabalho ou exercício após sua geração.
44
•••• Permite o cadastro de modelos de instruções para ser usado em provas,
trabalhos ou exercícios.
•••• Permite o cadastro de modelos de cabeçalhos para ser usado em provas,
trabalhos ou exercícios.
•••• Exporta provas, trabalhos ou exercícios para 8 formatos diferentes
•••• Possui sofisticada ferramenta de pesquisa/filtragem de provas, trabalhos e
exercícios.
Pode-se ter uma idéia das suas interfaces pelas ilustrações abaixo, figuras 2 e 3.
Figura 2 – Tela Pincipal do Tech II Figura 3 – Tela de Provas do Tech II
4.4.2 Prova Fácil
Este é um dos programas mais conhecidos no mercado brasileiro, sendo encontrado no
endereço www.provafacil.com.br. Este software permite que o professor personalize o
formato da sua prova, evitando dessa forma que se tenha que formatar sempre que elaborar
uma nova prova. Ver figuras 4, 5 e 6.
Algumas das principais características desta ferramenta:
•••• Opção para inserir além de bitmaps, gif e jpg;
•••• Opção de colar uma imagem diretamente da área de transferência para o campo
imagem da questão;
•••• Selecionar fontes e tamanhos diferentes para a prova;
•••• Funcionamento em rede;
•••• Opção para formatação de quebra de página individual em cada questão;
•••• Exportar a prova para vários formatos;
45
•••• Permite a personalização da prova;
•••• Cadastro de perguntas e respostas com figuras;
•••• Opção para salvar a prova e imprimir em outro computador.
Figura 4 – Tela Principal do Prova Fácil
Figura 5 – Cadastro de Perguntas do Prova Fácil Figura 6 – Cadastro de Provas do Prova Fácil
4.4.3 Super Professor
Este software disponibiliza quatro versões: Escola, Escola Multi-Usuário, Ensino
Fundamental e Professor, em seu site www.superprofessorweb.com.br. A sua propaganda
informa que nenhuma outra ferramenta permite aumentar tanto a rapidez e a qualidade na
preparação de provas, sem abrir mão de metodologia e princípios pedagógicos. Informa
também que o software otimiza o trabalho de horas em alguns minutos. Ver figuras 7 e 8.
Características do produto:
•••• Pode inserir da questão com imagens;
•••• Pesquisa por: provas, período, assuntos, dentre outos;
•••• Formata e exportar para vários Editor de Texto;
46
•••• Integração com outros professores da mesma escola;
•••• Monta provas configuráveis pelo professor;
•••• Vários recursos gráficos;
•••• Permite classificar as questões por dificuldade.
Figura 7 – Cadastro de Provas do Super
Professor
Figura 8 – Visualização da Prova no Super
Professor
4.4.4 SisProva - Software para gestão automatizada de provas.
É um software desenvolvido para automatizar o processo de elaboração de provas e
exercícios complementares, utilizado para o aprendizado dos alunos. Consistem em um
acervo de perguntas e respostas organizado por matéria, série, grau de dificuldade, etc.
Suporte: Jairo Fusinato - fusina245@yahoo.com.br. Ver Figuras 9 e 10.
Características gerais da ferramenta:
•••• Agilidade na elaboração de provas e exercícios, proporcionando tempo para
preparação de aulas;
•••• Auxílio na correção de Provas e Exercícios;
•••• Personaliza provas;
•••• Possibilita a continua atualização do acervo;
•••• Editor de fórmulas e gráfico;
•••• Controla a dificuldade da questão;
•••• Tem um visual do Windows Explorer e pode procurar provas arquivadas;
•••• Exporta prova para Editores de Texto;
•••• Fácil Instalar e configurar software;
•••• Fácil manutenção.
47
Figura 9 – Cadastro de Questões do SisProva Figura 10 – Gerenciamento de Provas do
SisProva
4.4.5 D7-Teacher
O D7 TEACHER é um software de alto nível, desenvolvido para ambiente Windows,
que tem por finalidade o gerenciamento e a agilização das atividades de um professor, como
por exemplo: criar provas, corrigir provas, controlar notas, etc. além de possuir questões já
cadastradas.
O D7 TEACHER é uma ferramenta indispensável para o professor moderno, que
deseja estar em dia com os avanços tecnológicos mundiais, disposto a adequar a sua forma de
trabalhar aos padrões atuais. Este sistema pode ser utilizado por professores universitários,
por professores do ensino fundamental e médio, de cursos pré-vestibulares, cursos de inglês e
cursos de informática, etc. O site da empresa é www.d7sistemas.com.
O D7-Teacher permite o cadastro de várias informações, tais como:
Cadastros:
•••• Questões: São cadastradas as questões para provas, exercícios e trabalhos. Elas
podem ser: abertas, múltipla escolha, de completar, enumerar, verdadeiro ou
falso e gráfica. E também, nesta janela será definido o seu grau de dificuldade;
•••• Tabelas: São cadastradas as características de cada questão. Nesta janela deve
ser informado: Nível e Período; Curso; Matéria e Assunto; Fonte. Isto também
para, que depois, torne mais fácil a tarefa de selecionar questões para serem
usadas nas suas atividades;
•••• Alunos: Nesta janela são cadastrados os alunos, a Instituição, a Classe (Turma)
e selecionado o Curso, Nível e Período dos alunos;
•••• Provas: Este módulo o avaliador monta sua prova com todos os recursos
disponíveis desta ferramenta, como: matéria, assunto, as questões, formata a
prova, disponibiliza a resposta, gráficos, estatísticas, dentre outros recursos.
Ver Figuras 11.
Relatórios e Acessórios:
48
•••• Provas (com resposta/sem resposta);
•••• Gabaritos (professor / aluno);
•••• Notas (geral / acima da média / média / abaixo da média);
•••• Estatística (gráficos);
•••• Editor de Equações: São elaboradas quaisquer tipos de equações, que poderão
ser usadas nas questões e para ajudar na rotina do professor;
•••• Editor gráfico: É usado para colocar imagens de acordo com a necessidade do
professor;
Figura 11 - Cadastro de Questões do D7-Teacher
4.4.6 Questcomp
Esta ferramenta QuestComp, que permite a avaliação do processo de ensino-
aprendizagem via web através da elaboração e realização de provas, questionários e entrega
de trabalhos. Este recurso permite o acompanhamento do desempenho individual e coletivo
dos usuários possibilitando ao professor verificar os conteúdos que os alunos apresentam
maior dificuldade (Abrão, 2003).
Inicialmente um administrador precisa criar os grupos e cadastrar os usuários especiais
(professores). Estes usuários terão permissão para criar as avaliações e atribuí-las ao seu
grupo de usurários. O administrador também tem poderes para fazer modificações e adicionar
ou remover questões em qualquer prova no sistema. O aluno deverá se cadastrar no sistema
deverá fornecer seus dados pessoais para contato e escolher no momento do cadastro em qual
grupo deseja ingressar.
Ao cadastrar uma prova, o professor deve especificar quais grupos de alunos terão
acesso a ela e, também, deve definir informações como valor total da prova e número máximo
de questões. O professor também deve cadastrar as questões de cada prova definindo se a
questão é aberta ou de múltipla escolha, podendo anexar objetos multimídia (som, imagem,
vídeo). Também se pode especificar um valor individual para cada questão, a data inicial e
final que a questão ficará disponível e o tempo máximo que o aluno terá para resolvê-la.
49
Questões dissertativas deverão ser corrigidas pelo professor e poderão ser
consideradas erradas (com valor zero), certas (com valor total) ou parcialmente certas (com
um valor fracionado). Questões de múltipla escolha são corrigidas automaticamente pelo
sistema. O aluno por sua vez, pode optar em responder qualquer prova que esteja disponível
para ele e pode interrompê-la no intervalo entre uma questão e outra. Se a questão for
interrompida antes que o servidor receba uma resposta, a questão pode ser anulada pelo
servidor por questões de segurança.
Questionários: O sistema também permite que questionários para pesquisa de opinião
sejam criados, oferecendo ao professor, a possibilidade de definir qual grupo poderá
responder o questionário. No momento do cadastro das questões o usuário pode definir como
deverão ser coletadas as respostas. Os tipos de respostas permitidas são: caixa de seleção
única (radio), caixa de múltipla seleção (checkbox), lista de itens (select), campo de texto
(text) e caixa de texto (textarea). A Figura 12 mostra o formulário de cadastro de uma
pergunta. O aluno terá a opção de preencher os questionários sempre que novas questões
forem colocadas à disposição do aluno. Desta maneira, o professor poderá adicionar novos
itens ao questionário durante o decorrer do curso.
Figura 12 – Cadastro de Questões do Questcomp
Gráficos: A ferramenta possui gráficos que permitem a análise do desempenho dos
alunos em cada prova e informações que auxiliam na identificação das questões que os alunos
tiveram mais dificuldade.
4.4.7 Offshore Soil Mechanics (CT4350)
A Delft University of Technology, através do Departamento de Geo-Engineering
Section coordenado pelo Dr Heeres, disponibiliza no site
www.geo.citg.tudelft.nl/software.php o software CT4350 (Offshore Soil Mechanics). Esta
ferramenta de avaliação gera provas aleatórias baseado em um banco de dados interno. As
questões estão ligadas a Mecânica dos Solos.
50
Figura 13 – Tela Principal do CT4350
O processo é simples, depois de ter baixado o programa o usuário executa o programa,
como mostra Figura 13. Digita o nome, um número de matrícula e o e-mail. Automaticamente
o software ativa o botão PRINT. Clicando é gerado uma prova com questões personalizada
para o estudante.
4.5 Comparativos entre Softwares Analisados
A seguir apresenta-se um quadro comparativo entre os diversos instrumentos de
avaliação versus os recursos indicados como essenciais para automatizar o momento de
elaboração de provas. Os recursos avaliados são: (i) Cadastro de questões com imagens, (ii)
Exportar para editor de texto, (iii) Controle de questões já usadas, (iv) Gerar Provas
Personalizadas, (v) Prova para varias instituições, (vi) Poder procurar provas arquivadas, (vii)
Estatísticas de utilização e relatórios diversos, (viii) Integração com outros professores de
outras regiões, (ix) Certificação (ou não) da questão, (x) Ter recursos gráficos, (xi) Parâmetro
de dificuldade da prova. Foram avaliados 7 (sete) diferentes instrumentos de avaliação. Os
resultados demonstrados na Tabela 6 é uma comparação entre características apontadas pelos
professores e os recursos disponibilizados pelos instrumentos de avaliação de softhouse.
51
Tabela 6 – Instrumentos X Recursos
Instrumentos de Avaliados i ii iii iv v vi vii viii ix x xi
1-Professor Tech II √ √ √ √ √ √ √ √ √
2-Prova Fácil √ √ √ √ √ √
3-Super Professor √ √ √ √ √ √ √ √
4-SisProva √ √ √ √ √ √
5-D7-Teacher √ √ √ √ √ √ √ √
6-Questcomp √ √ √ √
7-Offshore Soil Mechanics √ √ √ √
Algumas habilidades importantes, para o desempenho do professor, não estão
contempladas na maioria dos softwares, são elas: controle de questões já usadas, prova para
varias instituições, certificação de questões, e parâmetro de dificuldade da prova.
4.6 Considerações Finais
Pode-se concluir que o processo de elaboração de prova pode ser semi-automatizado,
o que simplifica a tarefa do professor. O mercado de informática para educação disponibiliza
muitas ferramentas na Internet para auxiliar o educador a elaborar suas provas. Na seção
4.4.7, foi apresentado o software CT4350 que consolida esta tendência à automação de
exercícios e provas, para isso, o aluno acessa o site e baixa o programa, e após executar o
programa, digita seu nome, matricula e e-mail e o instrumento gera uma prova.
Este processo pode ser melhorado, permitindo ao aluno em qualquer lugar e a qualquer
hora possa acessar a Internet e, após se identificar, receber por e-mail sua prova e transmiti-la
de volta pelo mesmo processo. Assim a ferramenta, orientada pelo professor, pode controlar o
tempo, dificuldade, quantidade de questões dentre outros parâmetros. Este trabalho tem como
proposta atender os requisitos que ainda não foram preenchidos, segundo relatos (respostas)
dos professores, bem como, melhorar os que já foram citados.
No Capítulo 5 apresenta-se a especificação de um software mais adequado ao contexto
compartilhado e integrado na elaboração de provas, deficiência encontrada na maioria dos
softwares.
52
5 O SOFTWARE SAPECA
Este capítulo apresenta a ferramenta para elaboração de provas e exercícios, via Web,
denominada SAPECA (Sistema de Apoio ao Professor na Elaboração Colaborativa de
Avaliação). São vistas as características avançadas desta ferramenta, bem como, as
contribuições relevantes para a elaboração das provas. O Projeto SAPECA é dividido em:
arquitetura, estrutura física e acesso ao sistema. Veremos a seguir uma visão geral da
ferramenta.
5.1 Considerações Preliminares
Com as mudanças tecnológicas na educação o professor percebeu a necessidade de
mudar, e esta postura ficou clara pelas respostas obtidas através de questionário. Tais
respostas indicam que os professores não desejam ficar isolados em seus computadores pela
utilização de instrumentos sem agregados pedagógicos, tais como simples editores de textos,
para a elaboração de provas.
O SAPECA surgiu para ocupar um espaço de suporte ao professor através da
facilitação e melhoria da qualidade de seus instrumentos de avaliação. No capítulo 4 foram
analisados e apresentados sete instrumentos de avaliação, no entanto nenhum deles atendeu as
necessidades básicas. Analisando os questionários ministrados foi possível perceber o
interesse dos professores em construir provas mais integradas ao sistema educacional
brasileiro, verificando o nível em que outras instituições estão trabalhando e seus conteúdos
programáticos. Com o uso de um processador de palavras a integração fica difícil, até dentro
da própria instituição aonde o docente está lecionando.
53
Este instrumento especialista pode abrir novos horizontes para professores,
principiando pelas características básicas manifestadas na pesquisa apresentada no capítulo 4,
e continuando com recursos avançados como, por exemplo: e-mail automático das provas
para o coordenador pedagógico; ou mesmo um aviso de questões inseridas por um professor
para outros professores da mesma disciplina.
O SAPECA foi desenvolvido para atender as necessidades dos professores, tomando
por base a coleta de informações apresentadas no Capítulo 4. Além desses dados coletados,
foi importante a análise dos softwares similares que revelam a falta de recursos para suprir as
expectativas dos professores. Uma das expectativas é o aspecto de compartilhar questões num
grupo de professores da mesma área ou disciplina, o que valoriza o aspecto colaborativo que
se pretende dar ao SAPECA.
Dentre as funcionalidades desejáveis, formuladas oriundas de coletas de dados
realizadas entre professores, é possível destacar:
a. Permitir que o professor tenha um controle maior de suas provas, tanto as que
foram ministradas anteriormente como as que estão sendo ministradas no
tempo presente.
b. Poder compartilhar as suas questões e suas provas com outros professores da
mesma instituição ou de outras instituições.
c. Poder acessar a ferramenta de qualquer lugar aonde haja a internet.
d. Permitir ao coordenador pedagógico o acompanhamento das provas com
facilidade.
e. Poder elaborar questões específicas para uma disciplina.
f. Ter a possibilidade de varias soluções para uma mesma questão.
A ferramenta também disponibiliza a elaboração de provas de forma manual ou de
forma automática, através de parâmetros selecionados pelo professor. Neste último caso o
sistema sorteia as questões, permitindo ou não a repetição da questão, fornecendo também
uma grande variedade de recursos.
O SAPECA também é capaz de elaborar um grupo de provas de mesmo grau de
dificuldade, mesmo tempo estimado para resolução, e mesma quantidade de questões, em
poucos minutos, mediante a utilização de um banco de dados de questões do próprio professor
ou de outros professores cadastrados.
Dentre os outros recursos idealizados que foram disponibilizados no software
SAPECA estão:
a. Armazenar um grande número de questões com suas respectivas respostas.
54
b. Tendo em mãos essa série de questões, criadas de acordo com a sua
necessidade, torna-se muito rápida a criação de provas, bastando apenas
selecioná-las e adicioná-las.
c. Permitir cadastrar questões de todos os tipos, como: múltipla escolha,
verdadeiro ou falso e questões abertas, entre outras.
d. Impressão da mesma prova em ordem sorteada ou obedecendo os critérios
pedagógicos da mais fácil para a mais difícil (Capítulo 3).
e. Impressão da prova corrigida, visando facilitar sua conferência ou
disponibilizar para o aluno;
f. Possibilidade de adicionar textos de observação.
g. Possibilidade de adicionar imagem, em qualquer formato para Windows, em
cada questão.
h. Selecionar fontes e tamanhos de textos diferentes para a prova.
i. Opção para formatação de quebra de página individual em cada questão.
j. Certificação por questão.
5.2 O Projeto SAPECA
O projeto SAPECA é uma aspiração antiga do autor que não se conformava em ter que
usar ferramentas ineficientes para a tarefa de elaboração de provas. Através de pesquisas
realizadas foi possível obter a constatação de que a insatisfação é compartilhada pela maioria
dos atores desta atividade.
5.2.1 Contexto
O SAPECA é uma ferramenta de criação sistemática de conteúdos, desenvolvida para
auxiliar o professor na elaboração de instrumentos avaliativos. Pode ser usada por todos os
professores do fundamental a pós-graduação.
O SAPECA, na fase de sua especificação, passou por questionamentos e análises
relevantes para a definição de seu projeto final. De acordo com a técnica chamada de “Análise
de Pontos por Função”, uma aplicação de software, vista sob a ótica do usuário (professor), é
um conjunto de funções ou atividades que beneficiam a realização de suas tarefas através de
automação e gestão da informação.
Um desenvolvimento de software constitui-se então de um conjunto de atividades
realizadas para desenvolver, controlar, validar e dar manutenção a um software produto. A
55
figura 14 retrata a seqüência destas atividades expressa o modelo clássico do Ciclo de Vida de
um Software.
Figura 14 – Ciclo de Vida de um Software
Para a implementação do projeto SAPECA fez-se necessária a definição de um
modelo de processos. Este modelo adotado torna visíveis os elementos do processo e como
estes se relacionam. Um modelo de processos bem definido permite que elementos possam
ser reutilizados em outros projetos; é possível citar, por exemplo, um Cadastro de Usuários.
De fato, a arquitetura de processos define os tipos de objetos que podem ser criados em um
processo de software. Com base nesta arquitetura, os processos de software específicos
podem ser desenvolvidos e executados. No caso do SAPECA, por exemplo, constam no seu
modelo: professores em interação com o software, consultas a provas, banco de dados de
questões, etc.
Um processo de software é a definição de um conjunto completo de atividades
necessárias para transformar os requisitos do usuário num conjunto consistente de módulos
que representam um produto de software. A presença de um processo bem definido e bem
especificado é um aspecto determinante de diferenciação entre projetos bem-sucedidos e
projetos mal-sucedidos.
Os padrões de projeto de software, ou padrões de desenho de software, também muito
conhecidos pelo termo original em inglês “Design Patterns”, descrevem soluções para
problemas recorrentes no desenvolvimento de sistemas de software orientado a objeto. Um
padrão de projeto estabelece um nome e define o problema, a solução, quando aplicar esta
solução e quando administrar as necessárias correções. Uma outra técnica bastante utilizada
na fase de especificação é a diagramação do fluxo de informações que o software irá
gerenciar.
Em Engenharia de Software existem diversas ferramentas computacionais para a
diagramação do fluxo da informação. Estas ferramentas permitem uma melhor visualização
deste fluxo, bem como facilitam possíveis correções. Segundo Bauer (1972), “O
estabelecimento e uso dos sólidos princípios da engenharia possibilita um software
economicamente viável, que seja confiável e que funcione eficientemente”. Dentre as
ferramentas existentes têm-se: UML (Unified Modeling Language), DFD (Diagrama de Fluxo
56
de Dados), Fluxograma tradicional, OMT (Object Modeling Technique), MER (Modelo de
Entidades e Relacionamentos), FDD (Desenvolvimento Dirigido por Funcionalidades), dentre
outras.
O SAPECA foi desenvolvido baseando-se nestas características expostas, tais como:
fácil visualização, boa documentação de fácil acesso, fluxo de informação com poucos
símbolos, tecnologia já reconhecida, dentre outros conceitos que podem ser considerados
pontos fortes para o bom desenvolvimento do software aqui exposto. Para melhor visualizar o
projeto SAPECA, foi utilizado o modelo de DFD, baseando-se em características especificas
e adequadas ao sistema que tem como público alvo professores.
Um DFD é uma ferramenta de modelagem que nos permite imaginar um sistema
como uma rede de processos funcionais, interligados por “dutos” e “tanques de
armazenamento de dados”. (Yourdon, 1975)
Como resultado do modelo é possível que se visualize com clareza: a) processos que
são executados manualmente ou automaticamente; b) fluxos de dados entre os processos; c)
fluxos de dados entre processos e depósito de dados e d) fluxos de dados entre processos e
entidades.
O modelo proposto para o SAPECA contempla vários processos de tratamento de
dados, bem como a integração entre estes processos. É uma ferramenta totalmente
desenvolvida para que o professor tenha o maior conforto possível no trato da elaboração da
sua avaliação. A figura 15 mostra o digrama simplificado do modelo de funcionamento do
SAPECA.
Figura 15 – Diagrama Funcional do SAPECA
Como este projeto foi desenvolvido utilizando a linguagem Delphi em sua versão 7.0,
sendo inicialmente elaborado para o uso em ambiente Desktop, a ferramenta já dispõe,
57
possivelmente, de todas as funções necessárias para operacionalizar os processos de
elaboração de instrumentos de avaliação tais como: cadastro de questões, cadastro de tabelas
(instituições, titulação, disciplina, pensamento e áreas), cadastro manual e automático de
provas, emissão de relatórios, entre outras funcionalidades.
E onde falhou? A falha do SAPECA na versão Desktop ocorreu através da falta de um
ambiente adequação aos requisitos de compartilhamento e integração da informação,
podendo funcionar bem em um computador isolado ou em uma rede local (LAN). O acesso
remoto exigiria do cliente muitos conhecimentos intermediários e avançados de tecnologia da
informação tais como: conhecimento do número do IP (Internet Protocol) para que pudesse
acessar, ou através de um Terminal Server (serviço de terminal) de tecnologia Microsoft, ou
via VNC (Virtual Network Computing) que é um protocolo desenhado para possibilitar
interfaces gráficas remota. Uma outra o opção é utilizar uma tecnologia disponibilizada na
web denominada Logmein, acessando através de um navegador de internet o endereço
www.logmein.com e baixando um programa disponibilizado no referido site que será
instalado no comutador onde está o SAPECA para dar-lhe acesso remoto. A integração é
requisito nuclear do projeto onde o compartilhamento de questões é de fundamental
importância, segundo pesquisa aplicada aos professores.
Vejamos algumas recursos do SAPECA Desktop, na figuras 17 mostra a tela principal
com o menu: Arquivo, Tabelas, Cadastros, Habitual, Relatórios e Ajuda. A figura 18 retrata o
cadastro de professores com os dados: código, nome, senha, CPF, endereço, e-mail, etc. Na
figura 19 é o procedimento de cadastro de questões como: descrição, dificuldade, último uso,
área, disciplina, imagem, etc. e por fim a figura 20 que é o local de montagem da prova.
Figura 16 – Tela Principal do SAPECA Figura 17 – Cadastro de Professores do SAPECA
58
Figura 18 – Cadastro de Questões do SAPECA Figura 19 – Cadastro de Provas do SAPECA
Todos os princípios das tecnologias de projeto e de banco de dados, serviram para a
implementação do SAPECA On Line.
5.2.2 O que é o SAPECA On Line?
O SAPECA On Line é um software aplicativo da área educacional, que foi concebido
com a tarefa de ser, além das funções de ferramenta de elaboração de provas, um instrumento
integrador para a comunidade educacional. O compartilhamento de questões via Web é um
passo importante deste projeto, e não está ligado a nenhuma instituição, pessoa ou empresa. O
SAPECA On Line foi criado para somar esforços a outras iniciativas no sentido de melhorar a
avaliação do professor e, principalmente, contribuir para diminuir os desequilíbrios entre
provas de mesma disciplina, mas de professores diferentes, que podem encontrar-se em
instituições, estados ou regiões geográficas diferentes. O acesso ao instrumento de avaliação é
através de um navegador de internet, acessando o endereço www.sapecaonline.com.br.
5.2.3 Arquitetura
O SAPECA On Line é uma ferramenta desenvolvida para automatizar uma série de
operações, tais como: formação, integração, armazenamento, disponibilização, compartilha-
mento, controle, criticas, dentre várias outras funções. Neste processo é esperado um caminho
onde o professor possa verificar a evolução na qualidade dos dados, informações e
conhecimentos armazenados. O usuário principal deste sistema de repositório de dados é o
professor; e o beneficiário, na outra ponta do processo, é o aluno. Este instrumento de
gerenciamento de conteúdos foi desenvolvido para auxiliar na fixação dos mesmos através de
provas e exercícios e pode ser utilizado em todos os níveis educacionais e qualquer lugar, com
o uso do serviço da Web conforme mostrado na figura 20, gerado pelo MS Visio.
O instrumento pode ser utilizado através de qualquer navegador com acesso a Internet,
bastando que o usuário professor aponte o navegador para o endereço
59
www.sapecaonline.com.br, chamando assim a página de inicial. A requisição do usuário é
enviada ao servidor Web, que neste caso é o IIS (Internet Information Services) da Microsoft,
que recebe os pedidos em através do protocolo http e os repassa para a aplicação. De posse da
requisição ele pode ou não repassar, dependendo da natureza da requisição, para o banco (MS
SQL Server) via iBatis. O iBatis recebe um objeto ou vários e os transforma em chamadas ao
banco através do modelo de entidade relacionamento. O banco trata este pedido (incluir,
excluir, altera, consultar, etc) e retorna a resposta para o iBatis.
O iBatis é um ferramenta de Mapeamento Objeto-Relacional que pode ser utilizada
por programas escritos em linguagens .NET ou em outras linguagens. Ele une objetos com
procedimentos de armazenamento de declarações SQL usando descritores XML. O IBatisS e
o SAPECA funcionam bem no ambiente do framework .Net.
Figura 20 – Arquitetura SAPECA
5.2.4 Estrutura Estática
O Diagrama de Classes é um dos diagramas UML que melhor descreve um grupo de
classes e interfaces refletindo importantes entidades do domínio de regras de negócios do
sistema, e o relacionamento entre as classes e as interfaces. Boa parte da estrutura foi
aproveitada do projeto SAPECA (Desktop) e desta forma não se usou o MER. Na figura 21 é
apresentado o Diagrama de Entidade Relacionamento (DER).
60
+Professor()
+Apelido : string
+Cidade : string
+CodigoEmail : string
+Disciplina : Disciplina
+Email : string
+Endereço : string
+Estado : string
+Instituicao : string
+InstituicaoEndereco : string
+IntituicaoTelefone : string
+Nome : string
+ProfessorID : int
+Site : string
+Titulacao : Titulacao
+TitulacaoArea : string
+Usuario : string
Professor
+DisciplinaID : int
+Nome : string
Disciplina
+AssuntoID : int
+DisciplinaID : int
+Nome : string
Assunto
+Indefinido = 0
+Graduado = 1
+Mestre = 2
+Doutor = 3
+Pós-Doutor = 4
«enumeração»
Titulacao
+Facil = 0
+Media = 1
+Dificil = 2
+Desafio = 3
«enumeração»
QuestaoDificuldade
+Assunto : Assunto
+DataAlteracao
+DataInclusao
+DataUltimoUso
+Descricao : string
+Dificuldade : QuestaoDificuldade
+Disciplina : Disciplina
+Duracao : int
+Professor : Professor
+Publico : bool
+QuestaoID : int
+Referencia : string
+Solucao : string
+Texto : string
Questao
1
1
1
1
1
1
1
1
1
1
+DataCriacao
+Disciplina : Disciplina
+Observacao : string
+Professor : Professor
+ProvaID : int
+Publico : bool
+Questoes
+Titulo : string
Prova
1
*
1
1
1
1
-AssuntoID : int
-Dificuldade : QuestaoDificuldade
-DisciplinaID : int
-DuracaoMaxima : int
-DuracaoMinima : int
-ProfessorID : int
-Texto : string
PesquisaQuestao
1
1
+Enviar()
+Assunto : string
+Corpo : string
+Destinatario : string
+Remetente : string
Email
+ValidaCadastro(entrada link : string) : string
EmailMensagem
Sapeca.Nucleo
Sapeca.Mail
ASP.NET Membership
1
1
Figura 21 – Diagrama Entidade-Relacionamento do SAPECA On Line
O SAPECA também utiliza o pacote ASP.NET Membership, que é responsável pela
autorização e autenticação de usuários do sistema. O ASP.NET executa sobre a plataforma IIS
e permite através de linguagens de programação integradas ao .NET Framework criar páginas
dinâmicas. Não sendo uma linguagem de programação ASP.NET é baseado no Framework
.NET herdando todas as suas características, por isso, como qualquer aplicação .NET, as
aplicações para essa plataforma podem ser escritas em várias linguagens, como o C# usado no
61
SAPECA. As aplicações Web ASP.NET necessitam do Framework .NET e do servidor IIS
para executar, pelo menos na plataforma Windows.
5.2.5 Acesso ao Sistema
Como já foi mencionado o SAPECA é executado através de qualquer navegador com
acesso à internet. As requisições dos usuários são enviadas ao mecanismo de tratamento de
dados do SAPECA que consulta as bases de dados, se necessário, e retorna uma nova página
aos usuários com o conteúdo desejado.
Existem dois procedimentos para o acesso a comunidade SAPECA: o primeiro é
através da opção “Já é um membro da Comunidade SAPECA ? Entre Aqui”, onde o
usuário (professor/administrador) acessa o SAPECA digitando dados de autenticação que são
usadas para chamar métodos ASP.NET Membership que retorna com a autorização de uso do
sistema. O ASP.NET Membership, após consultar o banco, retorna uma autorização para o
Engine SAPECA que inicializa a página requisitada. A partir daí o usuário poderá realizar as
tarefas disponíveis no sistema com as restrições de seu perfil. Figura 23 mostra de forma
gráfica todo o processo.
Figura 22 – Acesso via login
O segundo procedimento de entrada é via “Ainda não é membro? Cadastre-se”,
onde o professor acessa o SAPECA On Line digitando seus dados cadastrais conforme o
quadro à esquerda da figura 23. Estes dados são enviados ao iBatis para serem inseridos no
servidor de banco de dados, porém tendo seu status “pendente”. Paralelamente o Engine
SAPECA envia um e-mail para o professor com um código criptografado. Quando o professor
chama o SAPECA On Line do e-mail o programa checa o código via iBatis e pega os dados
62
do professor, altera status para ativado, e retorna à Engine SAPECA que inicializará a página
de login. A partir de então o professor digitará seu e-mail e senha para poder realizar as
tarefas disponíveis no seu perfil.
Figura 23 – Acesso via cadastro
No sistema de segurança do SAPECA, o código é descriptografado pelo algoritmo que
controla o acesso, caso não esteja consistente é emitido uma mensagem de erro e o usuário
deve clicar outra vez no link do e-mail ou copiar e colar o link direto no navegador, figura 25.
Figura 24 – Tela de Erro de Acesso
A partir das verificações de segurança o usuário professor ou administrador poderá
realizar as tarefas disponíveis no sistema, de acorde com o caso de uso do SAPECA. Observe
as figuras 25 e 26.
63
Figura 25 – Caso de Uso do Administrador Figura 26 – Caso de Uso do Professor
5.3 Visão do Sistema (Professor)
O software foi desenvolvido com dois perfis: o acadêmico, que tem como usuário o
professor; e o administrativo, que está ligado aos usuários gestores da comunidade.
Consequentemente as funcionalidades do sistema se agrupam nestes dois grupos
implementados.
A figura 27 mostra as funções disponíveis para este perfil que são: Minhas Questões,
Minhas Provas, Pesquisa e Meu Perfil.
Figura 27 – Perfil do usuário Professor
5.3.1 Minhas Questões
Na Figura 28, se pode identificar que a tela das questões, e está dividida em duas
seções, clicando em “Minhas Questões” e “Questões Cadastradas”.
64
Figura 28 – Gerenciador de Questões do SAPECA
Nas Questões Cadastradas ficam disponíveis as questões já inseridas pelo professor,
mostrando descrição, disciplina, assunto e ação. Caso o professor clique em cima da
descrição da questão, serão mostradas todas as informações da questão inclusive imagem e a
relação de provas que já usaram esta questão. Se clicar na opção Ação, o SAPECA permitirá a
edição da questão de qualquer campo. O cadastro de questões permite a criação e a
manutenção de um conjunto de informações associadas a uma disciplina. Como mostra a
Figura 29, este cadastro é incluído os dados como:
Figura 29 – Tela de Questão do SAPECA
•••• Descrição resumida da questão – É esta descrição que aparece na relação das
questões no módulo prova;
•••• Data da inclusão – Data da criação da questão;
•••• Data da alteração – Data da última alteração da questão;
•••• Nível – Permitir a classificação das questões por graus de dificuldade, atribuído
pelo professor uma das 4 (quatro) dificuldades: fácil, médio, difícil e desafio;
65
•••• Duração – Duração da prova em minutos atribuída pelo professor;
•••• Data do último uso – Informação importante para o professor saber quando ele
utilizou esta questão;
•••• Disciplina – Associada à tabela de disciplinas;
•••• Status Público – Informar se a questão está ou não disponível para outros
professores;
•••• Descrição da questão – Espaço reservado para a elaboração de diversos tipos
de questões, tais como: questões discursivas, de múltipla escolha, questões do
tipo V ou F, questões com lacunas a serem preenchidas e questões do tipo
associação de conceitos, dentre outras. Neste item, o SAPECA disponibilizou
diversos recursos para que o professor possa elaborar uma questão bem
apresentada e com imagem é só clicar no ícone, Figura 30.
Figura 30 – Atalho para inserir imagens
Na elaboração das questões, o sistema permite que uma mesma questão seja expressa
de vários modos. Também é possível elaborar questões parametrizadas através de variáveis do
tipo #v em que este parâmetro permite ao professor desenvolver um grupo de provas
mudando apenas os valores. Uma aplicação para este tipo de questão são as provas de física,
onde o professor só necessita a mudança do valor de uma força, por exemplo. (Este recurso
está sendo desenvolvido)
No final do texto existe um campo chama de referência, é nele que o professor indica
o autor da questão digita seja um artigo, livro, endereço de Internet, etc. Existem mais duas
abas, são elas: a da solução da questão e a aba da certificação da questão que pode ser dada
por professores e/ou por instituições.
5.3.2 Minhas Provas
A tela das provas está dividida em duas seções “Minas provas” e “Provas
Cadastradas”. No segundo item, ao entrar nesta seção fica disponível todas as provas já
cadastradas pelo professor, mostrando uma visualização da prova. Nesta tela tem as várias
formatações e uma opção para enviar e-mail da prova para a coordenação pedagógica (Figuras
31 e 32).
66
Figura 31 – Gerenciador de Provas do SAPECA
O módulo de controle de provas garante que a elaboração das provas seja feita
segundo a política de controle definida pelo professor. Neste sentido o SAPECA On Line
disponibiliza duas ferramentas com a mesma finalidade, mas com aplicação distinta sem
esquecer a integração entre os dados da prova (Figura 32).
Figura 32 – Tela de Provas do SAPECA
O SAPECA foi desenvolvido com duas opções de elaboração de provas: a Prova
Manual e a Prova Automática, Ambas utilizam o mesmo banco de dados e até os mesmos
critérios de seleção de questões, mas com uma política de elaboração de prova diferente.
O módulo de definição de políticas permite a especificação dos procedimentos que o
sistema utiliza para o controle da elaboração das provas. Faz parte da política do SAPECA: a)
67
o compartilhamento das questões, nesta modalidade será possível promover e diversificar as
provas, permitindo que um professor use questões elaboradas por outros professores; b)
permitir que uma mesma questão seja expressa de vários modos; c) permitir que os
professores adotem estruturas de áreas diferenciadas para uma mesma disciplina; d) adotar
mecanismos de proteção para as possíveis modificações feitas pelos professores, não autores,
nas questões e provas.
a) A prova manual
Como é mostrado na figura 33, é necessário que o professor, preencha os campos
chaves para a montagem da prova. Com estas informações a ferramenta poderá processar,
selecionar, agrupar, organizar, salvar e exportar para um editor de texto. Os dados são:
•••• Título: Local para indicar qual é a prova a ser ministrada, exemplo “Prova
Final”;
•••• Data da Criação: Data que foi gerada a prova;
•••• Data da Aplicação: Data que o professor marcou a prova;
•••• Professor: O titular da prova;
•••• Disciplina: Indicar a disciplina que esta prova está ligada;
•••• Observações da Prova: Campo em aberto para o professor;
•••• Pensamento: Opcional (existe uma tabela);
•••• Publicar: Marca ou desmarcar;
Ao preencher dos campos da prova o professor tem Salvar, clicando no botão Salvar.
Na seção “Adicionar Questões”, será selecionada as questões baseadas em um filtro,
com os parâmetros relacionados abaixo:
•••• Texto: Digitar expressões válidas.
•••• Disciplina: Escolha uma disciplina.
•••• Assunto: Escolha um assunto ou nenhum (todas).
•••• Duração: Quantidade de minutos inicial e final, da questão.
•••• Dificuldade: Indiferente, Fácil, Médio, Difícil e Desafio.
•••• Credenciamento: Por um professor ou Instituição.
•••• Publica: Marcar para incluir outros professores.
•••• Período da Última Utilização: Data Inicial e Final.
68
Depois de preencher os campos do filtro, clicar no botão “Pesquisar”. O passo
seguinte é marcar as questões de seu interesse e clicar no botão “Inserir Questões
Selecionadas” e salvar. O passo final é a impressão, para isso, tem um ícone do editor de texto
ao lado da prova.
b) A Prova Automática
Os procedimentos da prova automática são bem parecidos com a prova manual, no que
diz respeito aos filtros. O que diferencia é que este procedimento gera provas baseados em
três paramentos. O primeiro é o professor informar a quantidade de provas que deseja gerar, o
segundo é quantas questões por prova e o terceiro se deseja questões repetidas ou não. É bem
verdade que o terceiro parâmetro depende de quantas questões foram selecionadas.
5.3.3 Meu Perfil
No cadastro de professor (Figura 33), o SAPECA divide as informações em três
grupos:
Dados Gerais: Acadêmicos e Institucionais. As informações pedidas em Dados
Gerais são: nome completo, apelido, foto, endereço, cidade, UF, e-mail, site e a foto.
Dados Acadêmicos: Titulação, Área de trabalho, Disciplinas que lecionas,
Dados Institucionais: Instituição, Endereço, Telefones e E-mails.
Figura 33 – Tela de Perfil do usuário do SAPECA
69
5.3.4 Pesquisa e Estatística
A Pesquisa é uma ferramenta de procura e estatística ao mesmo tempo. Na sua tela de
filtros é possível selecionar questões por: autores, disciplinas, assuntos, período e utilização.
Desta forma é possível sabermos a curva ABC por reuso e termos idéia
estatisticamente das questões mais populares entre os professores.
5.4 Visão do Sistema (Administrador)
A visão do administrador é responsável por dois procedimentos importantíssimos. O
primeiro é a manutenção do cadastro do professor, onde pode ativar ou desativar o seu acesso
(Figura 34) isso pode ocorrer por vários motivos, dentre eles o da fraude.
Figura 34 – Tela de controle de Acesso do SAPECA
A segunda responsabilidade do administrador é a manutenção das tabelas de disciplina
e assunto, figura 35, mediante os princípios de ética, padronização, integridade e a coerência.
O professor pode interferir neste processo enviando e-mail de solicitação ao suporte o
cadastro da disciplina, assunto e pensamento, bem como, ajuda operacional.
A equipe do SAPECA, também está aberta a sugestões e críticas.
70
Figura 35 – Tela de Manutenção das tabelas do SAPECA
5.5 Avaliação do Uso do SAPECA
Para se ter a confirmação de que o trabalho teve seus objetivos alcançados, foi
elaborado um questionário (Anexo B) de uso do SAPECA On Line. O público escolhido foi
de 10 (dez) professores entre os que participaram da primeira pesquisa. Pelos dados
recolhidos a ferramenta atendeu as expectativas dos professores. Estes resultados também
servirão para o aperfeiçoamento do software.
5.6 Considerações Finais
Este capítulo apresentou a ferramenta Web SAPECA On Line para auxiliar o professor
na elaboração dos seus instrumentos de medida com o intuito de melhorar o ensino-
aprendizagem através de provas e exercícios; podendo compartilhar e melhorar o nível das
provas e questões através da ferramenta.
Com o auxilio da ferramenta Visio da Microsoft foram modelados a arquitetura,
estrutura estática (DER) e os casos de uso dos usuários. No decorrer deste capítulo foram
detalhados os processos de autorização e de autenticação dos usuários, professor ou
administrador, com a explicação detalhada do funcionamento de cada uma das várias camadas
existentes entre o navegador e o banco de dados.
Concluindo, foi abordado detalhadamente o funcionamento do SAPECA. Nesta
abordagem foram descritos os principais processos, funções e informações, necessários ao
bom funcionamento do software SAPECA. Também foram utilizadas ilustrações para
demonstrar procedimentos de uma forma mais detalhada. Dentre as funções abordadas,
destaca-se o acesso ao SAPECA que é feito por dois tipos de perfis: o do administrador e o do
professor.
71
6 CONCLUSÕES
Este capítulo apresenta as conclusões deste trabalho, bem como recomendações para
estudos futuros sobre a automação dos instrumentos de avaliação. O trabalho abordou o tema
instrumento de avaliação na educação e discutiu-se os vários modelos de avaliação e suas
características.
O instrumento foco aqui estudado foi a “prova”, um dos principais instrumentos da
avaliação escrita. Foram abordados os conceitos de competências e habilidades necessárias
para uma boa elaboração de prova, visando os princípios que regem a criação e a operação
dos instrumentos de avaliação dos alunos.
Utilizou-se como metodologia para dar suporte ao projeto a coleta de dados a partir de
um questionário aplicado a trinta professores universitários de várias áreas do conhecimento.
Com base nas necessidades identificadas nas respostas dos professores quanto a atividade de
elaboração de prova e recursos usados, foram analisados vários produtos e selecionados os
sete mais funcionais. O resultado desta análise concluiu que nenhum dos produtos analisados
fornece todos os mecanismos identificados como fundamentais na opinião dos professores
questionados.
6.1 Resultados Alcançados
Ao decidir pelo desafio de desenvolver uma ferramenta computacional que atenda ao
professor na atividade de elaboração de instrumentos de avaliação, norteou-se o trabalho para
um levantamento minucioso quanto as funcionalidades necessárias a uma ferramenta de apoio
ao professor.
72
O resultado foi a criação da ferramenta SAPECA que embute recursos: visuais,
funcionais e operacionais, dentro dos novos paradigmas do processo de elaboração de prova.
Tornado-se a elaboração de provas, para o professor, um procedimento produtivo, fácil,
agradável e de forma colaborativa com outros professores.
No SAPECA, o compartilhamento (questões, provas e exercícios), a estatísticas e
controle de uso, foram contemplados de forma plena. A formatação configurável, as provas
automática e manual formam também resultados atingidos dentre os objetivos do trabalho.
Conclui-se que o esforço desprendido tanto nas sondagens realizadas junto aos
professores quanto na análise dos softwares similares, que não preenchem as necessidades,
deram o embasamento necessário ao desenvolvimento da ferramenta SAPECA.
Baseado nos resultados pode-se dizer que o SAPECA proporciona uma nova dinâmica
no processo de avaliação. Com isso, acredita-se que este trabalho venha a contribuir para que
o professor possa, a partir de agora, ter uma ótima opção de ferramenta computacional para
ajudá-lo a identificar e, se necessário, corrigir as deficiências do educando. Os resultados
preliminares de uso do SAPECA mostram que a ferramenta é estável, de fácil acesso,
consistente, eficaz e que satisfaz seu público alvo.
6.2 Trabalhos Futuros
Apesar do SAPECA ter atingido um estágio de desenvolvimento que se pode
considerar um produto acabado, esta ferramenta continua em plena evolução, vislumbrado-se
novos trabalhos, tais como:
a. Transformação do SAPECA em um portal de maneira a agregar outros tipos de
recursos, notadamente, os de comunicação (e-mail, fórum e chat), bem como
informes, chamadas, artigos, dentre outros.
b. Criação de um login para o aluno acessar e responder de forma on-line ou não
sua prova, disponibilizada pelo professor.
c. Permitir ao SAPECA a inclusão dos resultados das avaliações com a finalidade
de identificar o grau real de dificuldade das questões.
d. Integração do SAPECA a softwares de controle acadêmico como: Sophia,
Siscona, Liceu, Q-Acadêmico, etc..
73
REFERÊNCIAS BIBLIOGRÁFICAS
ABRÃO, I. C.; Rayel, F.; Abrão, M. A. V. de L. QuestComp: Ambiente via Web para
Auxílio na Avaliação de Ensino-Aprendizagem à Distância, PUC-Minas. Poços de Caldas,
2003.
AFONSO, A. J. Avaliação educacional: regulação e emancipação: para uma sociologia das
políticas avaliativas contemporâneas. São Paulo: Cortez, 2000.
ALENCAR, A. V. dos S. FAVO: Ferramenta para Autenticação em Avaliações Online.
Dissertação de Mestrado Profissionalizante em Ciência da Computação - Universidade
Estadual do Ceará, Fortaleza, 2003.
BAUER, F. L. Software Engineering Techniques; Conferência: The NATO Software
Engineering Conferences. Alemanha, 1972.
BIRNBAUM, A. Some latent trait models and their use in inferring and examinee’s
ability. In F.M. Lord ; M.R. Novick, Statistical theories of mental test scores. Reading, MA:
Addison - Wesley, 1968.
BLISS, J.; MONK, M.; OGBORN, J. Qualitative Data Analysis for Educational
Research: A guide to uses of systemic networks. London: Croom Helm, 1983.
BLOOM, B. S.. Taxonomy of Educational objectives. Hand Book I, Nova Iorque, 1956.
BLOOM, B. S.; HASTINGS, J. T.; MADAUS, G. F. Evaluación del aprendizaje. Buenos
Aires: Troquel, 1975.
BRASIL. Lei n. 9.394, de 23 de dezembro de 1996. Diário Oficial da República Federativa
do Brasil, Brasília, v. 134, n. 248. Texto integral da lei de diretrizes e bases da educação
nacional – LDB.
CAMPOS, G. H. B., Avaliação em cursos online, TI Máster, 2002a. disponível em
http://www.timaster.com.br/revista/colunistas/ler_colunas_emp.asp?cod=522, consultado em
12/01/2005.
CAMPOS, G.; ROQUE, G. O., COUTINHO, L. M. Design didático para implementação
de cursos baseados na Web, In: XIV Simpósio Brasileiro de Informática na Educação –
Mini-curso, UFRJ/NCE-IM, Rio de Janeiro, 2003
CUESTA, M. Unidimensionalidade. In J. Muñiz, Psicometría. Madrid: Editorial
Universitas, 1996.
DEPRESBITERIS, L. Avaliando Competências na Escola de Alguns ou na Escola de
todos. Rio de Janeiro, Volume 27, Número 3, Set/Dez 2001.
ENEM. Fundamentação teórico-metodológica. Brasília, DF: Instituto Nacional de Estudos
e Pesquisas Educacionais Anísio Teixeira, 2005.
74
FLEURY, M. T. L. ; FLEURY, A. C. C. . Construindo o Conceito de Competência. Revista
de Administração Contemporânea, 2001.
GADOTTI, M. Pedagogia da Práxis. São Paulo: Editora Cortez, 1994.
GARCIA, A. F. Avaliação em Instrução Baseada na Web, PUC-RioInf.MCC31/00. Rio de
Janeiro, 2000.
GENUS - Pesquisa, Assessoria e Estudos de Gênero. Florianópolis: 2002.
http://www.genus.org.br/site/. Acesso em 02 agosto 2007.
GIROUX, H. Pedagogia Radical: subsídios. São Paulo: Autores Associados, 1983.
HACK, L.; TAROUCO, L. Mecanismos Complementares para a Avaliação do Aluno na
Educação à Distância. SEMANA ACADÊMICA DO PROGRAMA DE PÓS-GRADUAÇÃO
EM COMPUTAÇÃO DA UFRGS, 4, Agosto, 1999.
HAYDT, R. C. C. Avaliação do processo ensino-aprendizagem. 6. ed. São Paulo: Ática,
2000. 159 p. (Série educação).
HAYES, B. E. Measuring customer satisfaction: development and use of questionnaires.
Milwaukee, Wisconsin: ASQC Quality Press, 1992.
HOFFMANN, J. M. L. Avaliação e construção do conhecimento. Educação & Realidade.
Porto Alegre: v. 16, n. 2, p. 53-58, jul./dez., 1997.
HOFFMANN, J. M. L. Avaliação Mito & Desafio. Uma perspectiva construtiva. 23ª ed.
Porto Alegre: Mediação, 1993.
INEP - Instituto Nacional de Estudos e Pesquisas Educacionais. Sistema nacional de
avaliação da educação básica: relatório nacional, 2001. Brasília: INEP, 2002.
KEARSLEY, G. “Explorations in Learning & Instruction: The Theory Into Practice
Database”. TIP Database, 2000. Disponível em: www.hfni.gsehd.gwu.edu/~tip/
KIRKPATRICK, Donald L. Evaluating training programs: The four levels. San Francisco
CA: Berret-Koehler Publishers Inc., 1998.
KRUSKAL, J.B. Multidimensional scaling by optimizing goodness of fit to a nonmetric
hypothesis. Psychometrika, 29, 1-27, 1964.
LIMA, Marco Antônio Martins. Avaliação de programas de educação empresarial: o
modelo de Kirkpatrik aplicado a programa externo em pequena empresa. 2000. Dissertação
(Mestrado em administração) - Universidade Estadual do Ceará, Fortaleza, 2000.
LORD, F.M. A theory of test scores (Psychometric Monograph No. 7). Iowa, 1952.
LUCKESI, C. C. Avaliação da aprendizagem e comunicação, Revista ABC Educativo, São
Paulo, 2006.
75
LUCKESI, C. C. Entrevista para a Revista Nova Escola, da Fundação Victor Civita, São
Paulo, SP, na coluna "Fala Mestre", cujo tema foi "Avaliação da Aprendizagem na Escola",
páginas 18-20. Revista Nova Escola, São Paulo, n. abril 2006, p. 18-20, 2006.
LUCKESI, C. C. Ética e Prática Educativa, Revista ABC Educativo. São Paulo, 2005.
LUCKESI. C. C. Avaliação da aprendizagem escolar. São Paulo: Cortez, 1995.
MAGALHÃES NETO, F. IRME – Inspeção Radiográfica de Materiais e Equipamentos – um
software educativo. Fortaleza: UECE, 2003. Dissertação de Mestrado Profissionalizante em
Ciência da Computação – Universidade Estadual do Ceará, Fortaleza, 2003.
MCLAGAN, P. Competencies: the next generation. Training and Development, May, 1997.
MIRAS, M.; SOLÉ, I. A evolução da aprendizagem e a evolução do processo de ensino e
aprendizagem in Coll. Porto Alegre: Artes Médicas, 1996.
MORETTO, V. P. PROVA: um momento privilegiado de estudo, não um acerto de contas.
Rio de Janeiro: Lamparina, 2007.
MURPHY, S.M. Transitions in Competitive Sport: maximizing individual potential. In:
Murphy, S.(ed.) Sport psychology interventions, 1995.
NÉRICI, I. G. Metodologia do ensino: uma introdução. São Paulo: Atlas, 1977.
NOVAES, G.T.F. Habilidades e competências: definições e problematizações. 2001.
NOYA, R. Quest: Um Sistema de Avaliação Educacional para a Web. Dissertação de
Mestrado, PUC, Rio de Janeiro, 1998.
PASSAMAE FILHO, Paschoal. Modelo para avaliação de desempenho do Programa de
Capacitação em Administração Básica para pequena empresa do SEBRAE/ES.
Dissertação de Mestrado em Engenharia de Produção - Universidade Federal de Santa
Catarina, Florianópolis, 2003.
PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens entre duas lógicas.
Porto Alegre: Artes Médicas, 1999.
PHILLIPS, J. J. Handbook of training evaluation and measurements methods. Houston
(Texas): Gulf Publishing, 1997.
RABELO, E. H. Avaliação: Novos Tempos, Novas Práticas. Petrópolis, Rio de Janeiro:
Vozes, 1998.
RAPHAEL, H. S. Avaliação escolar em busca de uma compreensão. Brasília: Brasiliense,
1998.
RIBEIRO, L. C. Avaliação da aprendizagem. In: RIBEIRO, Lucie Carrinho Educação hoje.
7. ed. Lisboa, Texto Editora, 1999.
76
SCRIVEN, M. The methodology of evaluation. In STAKE, R. E.(Ed). Curriculum
evaluation. AERA monograph series on evaluation nº1. Chicago: Rand Mcnally, 1967.
SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à
regulamentação Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. – 2.
ed., ampl. – Brasília, 2004. <http://sinaes.inep.gov.br:8080/sinaes/>. Acesso em 01 maio
2007.
SOUZA, M. de F. C. de. Um Ambiente de Apoio à Seleção de Software Educativo.
Dissertação de Mestrado em Ciência da Computação – Universidade Federal do Ceará,
Fortaleza, 2006.
THORNDIKE, R. L.; HAGEN, E. P. Tests y Técnicas de Medicion en Psicologia y
Educacion. Editorial Trillas, México, DF., 1975.
TRUELOVE , S. Training in practice. Oxford: Blackwell Publishers, 1997.
TYLER, W.R. Princípios básicos de currículo e ensino. Porto Alegre: Globo, 1978. Trad.
Leonel Vallandro.Título original: Basic principles of curriculum and instruction. Chicago:
The University of Chicago, 1949.
VASCONCELLOS, C. dos S. Avaliação da aprendizagem: práticas de mudança por uma
práxis transformadora. São Paulo: Libertad, 2003.
VASCONCELLOS, C. dos S. Avaliação: concepção dialética do processo de avaliação. São
Paulo: Libertad, 2005.
VIANNA, H. M. Introdução à avaliação educacional. São Paulo: Brasa, 1989.
VIEIRA NETO, João. Uma abordagem qualitativa em avaliação de instituições de ensino
superior. Revista da rede de avaliação institucional da educação superior, ano 8, n.3, p. 229-
246, Setembro 2003.
YOURDON, E. A Case Study in Structured Programming – Redesign of a Payroll System,
Proceedings of the IEEE Compcon conference, 1975, New York, 1975.
ZARIFIAN, P. Objetivo Competência: por uma nova lógica, São Paulo, Ed. Atlas, 2001.
77
BIBLIOGRAFIA CONSULTADA
BARLOW, M. Avaliação escolar: mitos e realidades / Michel Barlow; tradução Fátima
Murad. – Porto Alegue: Artmed, 2006.
CANTÙ, M. Dominando o Delphi 5 – A Bíblia; Tradução: João E. N. Tortello. São Paulo:
Makron Books, 2000.
CARDOSO, R. F. AVALWEB - Sistema Interativo de Gerência de Questões e Aplicação de
Avaliações na Web, Porto Alegre: UFRGS, 2001. Dissertação de Mestrado – Universidade
Federal do Rio Grande do Sul. Programa de Pós-Graduação em Computação, Porto Alegre,
2001.
DE SORDI, M. R. L. A avaliação e seu potencial inovador nos processos de formação na
área de Ciências Sociais Aplicadas. Revista de Educação PUC Campinas, n.15, p. 75-87,
2003.
ESTEBAN, M. T. et al. Avaliação: Uma Prática em Busca de Novos Sentidos. Rio de
Janeiro: DP & A Editora, 2000.
FREIRE, Paulo. Pedagogia da autonomia: saberes necessários à prática educativa. 8. ed. São
Paulo: Paz e Terra, 1998.
LÜDKE, M; ANDRÉ, M. E. D. A pesquisa em educação: abordagens qualitativas. 6 ed. São
Paulo: EPU, 1986.
MACEDO, L. Competências e habilidades: elementos para uma reflexão pedagógica.
Brasília: INEP, 1999.
MAGELA, R. Produzindo software orientado a objetos, volume II. Rio de Janeiro: Imprita,
1998.
OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EAD. Revista
Educação, 12-14 nov. 2002.
PILETTI, N. Sociologia da educação. 16. ed. São Paulo: Ática, 1997.
RAMOS, M. N. A educação profissional pela Pedagogia das Competências: para além da
superfície dos documentos oficiais. Educação e Sociedade, Campinas, v. 23, n. 80, p. 405-
427, 2002.
SANTANNA, I. M. Por que Avaliar? Como Avaliar? Critérios e Instrumentos.
Petrópolis: Vozes, 1995.
SOUKUP, R. Desenvolvimento o Microsoft SQL 2000. Rio de Janeiro: Campus, 2001.
STOKES, V. No longer a year behind. Learning and Leading with Technology, 2005.
ZABALA, A. A Prática Educativa: Como Ensinar. Porto Alegre: Artes Médicas, 1998.
78
ANEXO A - SONDAGEM SOBRE AVALIAÇÃO
Caro Professor (a),
Esta pesquisa tem o intuito de coletar informações sobre os procedimentos utilizados
pelos professores, no momento da elaboração de suas provas e exercícios.
Grato pela colaboração.
1) Você utiliza o computador para ajudá-lo na elaboração da prova? [ ] Sim [ ] Não
2) Você utiliza editor de texto para elaborar suas provas? [ ] Sim [ ] Não
3) No caso de usar editor de texto, você arquiva estas provas para servirem como referências
para provas futuras? [ ] Sim [ ] Não
4) Qual a sua preferência quanto ao tipo questão: aberto ou multiescolha ou outras?
[ ] Aberta [ ] Multiescolha [ ] Verdade ou Falso [ ] Relacionamento
[ ] ______________
5) Para elaborar sua prova, você usa algum software especialista, tipo Prova Fácil, para
ajudá-lo? [ ] Sim [ ] Não
Se sim, qual? _______________________________________________________
6) Quando você utiliza mais de uma prova na sua avaliação, para evitar cooperação entre os
alunos, você controla o nível destas várias provas? [ ] Sim [ ] Não
Se sim, como? ______________________________________________________
7) Qual o tempo médio investido, por você professor, na elaboração de uma prova
(independente da quantidade de provas)?
[ ] 1 hora [ ] 2 hora [ ] 3 horas [ ] Mais de 3 horas
8) Onde você gasta mais tempo na elaboração da sua prova ? (Pode e deve marcar mais de
uma)
[ ] Fazendo questões novas
[ ] Tentando não repedir a questão
[ ] Personalizando as questões
[ ] Formatando a prova
[ ] Procurando questões arquivadas
[ ] Montando a questão com gráficos, figuras, etc.
[ ] Procurando questões em livros, Internet, etc.
[ ] Outras ______________________ [ ] Todas
9) Como você controla a não repetição de uma questão?
[ ] Não controlo [ ] Pela memória [ ] Faço sempre questões novas
[ ] Outros: _____________
79
10) Você tem interesse em compartilhar com outros professores as suas listas de exercício e
as questões de prova? [ ] Não [ ] Sim
11) Como a coordenação pedagógica acompanha as avaliações?
[ ] Não acompanha [ ] Envio uma cópia da prova [ ] Outras __________________
12) Você se interessaria em usar uma ferramenta (software) que ajudasse você a elaborar suas
avaliações? [ ] Sim [ ] Não
13) Quais características você gostaria de encontrar no software?
[ ] Cadastro de questões com imagens
[ ] Exportar para editor de texto
[ ] Controle de questões já usadas
[ ] Gerar Provas Personalizadas
[ ] Prova para varias instituições
[ ] Poder procurar provas arquivadas
[ ] Estatísticas de utilização e relatórios diversos
[ ] Integração com professores de outras regiões
[ ] Certificar ou não uma questão
[ ] Ter recursos gráficos
[ ] Parâmetro de dificuldade da prova
Professor (a): ___________________Fone: ________________ E-Mail:_______________
Instituição: ____________________ Área: _________________ Data:________________
80
ANEXO B – QUESTIONÁRIO DE AVALIAÇÃO DE USO DO
SAPECA
Caro Professor (a) ___________________________________________________________,
com base na sua experiência com o SAPECA On Line (www,sapecaonline.com.br), gostaria
que respondesse esta pesquisa de avaliação do uso do SAPECA .
Grato pela colaboração.
Pergunta Fraco Regular Bom Ótimo
1) Como você considera seu nível de conhecimento e
familiaridade no uso de um Navegador (Browser)?
2) Como você classifica a facilidade de se cadastrar no
SAPECA?
3) Em que nível o cadastro de questões acomoda todas
as necessidades?
4) Qual o nível de satisfação no processo de elaboração
de provas?
5) Qual o nível de automação na elaboração das provas
personalizadas?
6) Como você classifica o SAPECA na integração entre
professores de mesma disciplina?
7) Como você considera o nível de controle do reuso
de questões?
8) Na busca de questões em sua área, como você
classifica a sua satisfação com o repositório?
9) Qual seu nível de satisfação quanto às estatísticas
disponíveis no SAPECA?
10) Em sua opinião, você classificaria o software
SAPECA como?

Dissertação (12)

  • 1.
    UNIVERSIDADE ESTADUAL DOCEARÁ - UECE Centro de Ciências e Tecnologia - CCT CENTRO FEDERAL DE EDUCAÇÃO TECNOLÓGICA DO CEARÁ CEFET - CE Diretoria de Pesquisa e Pós-graduação – DIPPG MESTRADO INTEGRADO PROFISSIONAL EM COMPUTAÇÃO APLICADA UECE / CEFET – CE ___________________________________________________________________________ LUCAS EVANGELISTA DA SILVEIRA LOPES SAPECA – SISTEMA DE APOIO AO PROFESSOR NA ELABORAÇÃO COLABORATIVA DE AVALIAÇÃO FORTALEZA - CEARÁ 2007
  • 2.
    ii LUCAS EVANGELISTA DASILVEIRA LOPES SAPECA – SISTEMA DE APOIO AO PROFESOR NA ELABORAÇÃO COLABORATIVA DE AVALIAÇÃO Dissertação apresentada ao Curso de Mestrado Profissional em Computação Aplicada da Universidade Estadual do Ceará e do Centro Federal de Educação Tecnológica do Ceará como requisito parcial necessário para obtenção do título de Mestre em Computação Aplicada. Orientadora: Prof(a). Dra. Verônica Lima Pimentel de Sousa Co-orientador: Prof. Dr. Francisco Chagas da Silva Filho FORTALEZA – CE 2007
  • 3.
    iii L864s Lopes, LucasEvangelista da Silveira Sapeca – Sistema de apoio ao professor na elaboração de Avaliação./ Lucas Evangelista da Silveira Lopes. – Fortaleza, 2007. 81p. Orientadora:Prof(a). Verônica Lima Pimentel de Sousa. Dissertação (Mestrado profissional em Computação Aplicada) – Universidade Estadual do Ceará, Centro Federal de Educação Tecnológica do Ceará. 1.Informática Educativa 2.Avaliação 3.Ferramenta baseada na Web, SAPECA. I. Universidade Estadual do Ceará, Centro Federal de Educação Tecnológica do Ceará. CDD:004
  • 4.
    iv Título do Trabalho:Sapeca – Sistema de Apoio ao Professor na Elaboração Colaborativa de Avaliação. Autor: Lucas Evangelista da Silveira Lopes Defesa em: ___/___/____ Conceito Obtido: _________________ BANCA EXAMINADORA: Profa. Dra. Verônica Lima Pimentel de Sousa Orientador(a) - Centro Federal de Educação Tecnológica do Ceará Prof. Dr. Francisco Chagas da Silva Filho Co-orientador – Universidade de Fortaleza Profa. Dra. Maria Elizabeth Sucupira Furtado Membro externo – Universidade de Fortaleza Prof. Dr. José Aires de Castro Filho Membro interno – Universidade Federal do Ceará
  • 5.
    v Aos meus amadospais, José Nunes (in memorian) e Maria José.
  • 6.
    vi “Quando a situaçãose apresenta desfavorável, é hora de acreditar em si mesmo. Por que devem existir muitas pessoas precisando de você.”.
  • 7.
    vii AGRADECIMENTOS O meu primeiroagradecimento é a DEUS por não ter me abandonado diante de tantas dificuldades, permitindo concluir este trabalho. Ao meu amor Jeane, pela parceria constante e colaboração imprescindível. A minha família, irmãos, cunhados e sobrinhos, que nunca mediram esforços para me apoiar. Aos meus orientadores, os professores Dra. Verônica Pimentel e Dr. Francisco Chagas pela dedicação, paciência e acima de tudo confiança em meu trabalho. Aos membros da banca examinadora, Professor Dr. José Aires e Professora Dra. Maria Elizabeth, pela leitura deste trabalho e pelas críticas e sugestões no momento da defesa visando enriquecer este texto. Aos meus queridos amigos que me ajudaram diretamente nesta caminhada, Rafael, Romério, Professora Socorro, Andréa, Sérgio, Nelson e Anderson Fortaleza. A família Solução que em muitos momentos assumiram as minhas responsabilidades para que pudesse me dedicar a este trabalho. Aos professores que participaram da pesquisa, pela contribuição de suas experiências. A todos os meus professores que compõem o MPCOMP. Agradeço ainda aos colegas, principalmente a Luis, Tereza, Maria Bandeira e Balaan, que por muitas ocasiões, nos reuníamos não só para estudar, mas sobretudo para construir nossa amizade. A todos os demais amigos que me incentivaram. À Solução Sistemas por ter financiado meus estudos de Mestrado e conseqüentemente possibilitado o desenvolvimento dessa pesquisa.
  • 8.
    viii RESUMO Uma das tarefasmais difíceis de um professor está em avaliar seus alunos. Isto por que, a avaliação engloba atividades que vão desde a definição de objetivos, escolha de critérios, identificação dos perfis e histórico dos alunos, tudo isso balanceado com a necessidade, muitas vezes, exigida pelo próprio conteúdo da disciplina quando pré-requisito. O professor também deve ter formas diferentes de avaliar. Vários teóricos têm proposto abordagens da avaliação e caracterizam estas propostas em princípios, procedimentos e modelos de avaliação. Estes pesquisadores fincam seus pilares nas funções clássicas de avaliação que compreende como: diagnóstica, formativa e somativa. Este trabalho tratou de analisar a problemática da avaliação para o ensino superior e apresenta o desenvolvimento de uma ferramenta de apoio ao professor na árdua tarefa de elaboração de instrumentos de avaliação. Para alcançar o objetivo, aplicou-se uma metodologia de sondagem junto aos professores e analise de outras ferramentas para projetar e desenvolver um produto de software com bases científicas que possibilite a flexibilizar o processo de criação e edição de questões, exercícios e provas. Após a coleta das informações junto a o grupo heterogêneo de professores sobre suas necessidades, perfis, área de atuação, e posturas quanto a elaboração de instrumentos de avaliação, foram projetadas funcionalidades desejáveis a um software que apoiasse ao professor no processo avaliativo. Assim, foi desenvolvido um software com características de compartilhamento e colaboração onde se procurou preencher lacunas dos softwares de mercado, bem como, atender as demandas de professores. Um software denominado aqui de SAPECA foi desenvolvido para ter funções de integração e automatiza o processo de construção de questões e provas. O software SAPECA foi também avaliado no seu uso por alguns professores e demonstrou satisfatório desempenho e bastante estabilidade. Como resultado deste trabalho, está disponível aos professores, uma ferramenta web elaborada com todos os seus recursos indicados no levantamento de requisitos realizado junto a professores. O SAPECA tem bases sólidas no estado da arte. PALAVRAS-CHAVE: Informática Educativa, Avaliação, Ferramenta baseada na Web, SAPECA.
  • 9.
    ix ABSTRACT One of themost difficult tasks of a teacher is the evaluation of his students. This fact happens because the evaluation includes activities such as definition of objectives, choice of criteria, identification of profiles and analysis of the student’s behaviors. In addition, it is common to combine all these activities with the requirements of other correlated course programs. The teacher should also have diverse evaluation strategies. Many specialists have proposed several evaluation approaches which are based in principles, procedures and evaluation models. These researchers are based in the classical evaluation functions, such as diagnosis, formative and additive. This work analyses the evaluation problem in the graduate level and presents the development of a software tool capable to aid the professor in the hard task of elaborating evaluation exams. In order to reach this goal, professors were surveyed and other commercial tools were analyzed, given support to develop a consistent software product which makes possible to create and edit exams in a flexible way. After a wide survey in a heterogeneous professor group, asking their real needs, profiles, work field and their individual experiences in the evaluation creation, there were defined the desired software features that could aid the professors in the evaluation process. In this way, there was developed a software tool capable to share and concentrate information at the same time, thus complementing the already existent software tools and attending the professor’s expectative. The developed software was named as SAPECA and it includes integration functions that automate the creation process of individual questions and exams. The SAPECA software was evaluated by some professors and it proved itself to have good performance and great stability. As a result of this work, it is available for the professors a web tool that fits all requirements claimed by the professors during the survey process. SAPECA have solid base in the state-of-the-art. KEY WORDS: Evaluation, Informatics for Education, Tool based on the Web, SAPECA.
  • 10.
    x LISTA DE GRÁFICOS GRÁFICO1 – TEMPO GASTO PELO PROFESSOR NA ELABORAÇÃO DE PROVA ...............................39 GRÁFICO 2 – HABILIDADES NECESSÁRIAS NO ATO DE ELABORAÇÃO DE QUESTÕES ...................39 GRÁFICO 3 – PREFERÊNCIA DO PROFESSOR QUANTO AO TIPO DE QUESTÃO ...............................40 GRÁFICO 4 - INTERESSE EM COMPARTILHAR E COLABORAR COM O REUSO ................................41 GRÁFICO 5 - EXPECTATIVAS DE FUNCIONALIDADES NUM SOFTWARE.......................................41
  • 11.
    xi LISTA DE FIGURAS FIGURA1 – AVALIAÇÃO E O PROCESSO DE ENSINO X APRENDIZAGEM .....................................13 FIGURA 2 – TELA PINCIPAL DO TECH II.....................................................................................44 FIGURA 3 – TELA DE PROVAS DO TECH II..................................................................................44 FIGURA 4 – TELA PRINCIPAL DO PROVA FÁCIL..........................................................................45 FIGURA 5 – CADASTRO DE PERGUNTAS DO PROVA FÁCIL .........................................................45 FIGURA 6 – CADASTRO DE PROVAS DO PROVA FÁCIL ...............................................................45 FIGURA 7 – CADASTRO DE PROVAS DO SUPER PROFESSOR........................................................46 FIGURA 8 – VISUALIZAÇÃO DA PROVA NO SUPER PROFESSOR...................................................46 FIGURA 9 – CADASTRO DE QUESTÕES DO SISPROVA.................................................................47 FIGURA 10 – GERENCIAMENTO DE PROVAS DO SISPROVA.........................................................47 FIGURA 11 - CADASTRO DE QUESTÕES DO D7-TEACHER ..........................................................48 FIGURA 12 – CADASTRO DE QUESTÕES DO QUESTCOMP ...........................................................49 FIGURA 13 – TELA PRINCIPAL DO CT4350................................................................................50 FIGURA 14 – CICLO DE VIDA DE UM SOFTWARE........................................................................55 FIGURA 15 – DIAGRAMA FUNCIONAL DO SAPECA ..................................................................56 FIGURA 16 – TELA PRINCIPAL DO SAPECA..............................................................................57 FIGURA 17 – CADASTRO DE PROFESSORES DO SAPECA...........................................................57 FIGURA 18 – CADASTRO DE QUESTÕES DO SAPECA................................................................58 FIGURA 19 – CADASTRO DE PROVAS DO SAPECA....................................................................58 FIGURA 20 – ARQUITETURA SAPECA ......................................................................................59 FIGURA 21 – DIAGRAMA ENTIDADE-RELACIONAMENTO DO SAPECA ON LINE .......................60 FIGURA 22 – ACESSO VIA LOGIN ................................................................................................61 FIGURA 23 – ACESSO VIA CADASTRO ........................................................................................62 FIGURA 24 – TELA DE ERRO DE ACESSO....................................................................................62 FIGURA 25 – CASO DE USO DO ADMINISTRADOR ......................................................................63 FIGURA 26 – CASO DE USO DO PROFESSOR ...............................................................................63 FIGURA 27 – PERFIL DO USUÁRIO PROFESSOR ...........................................................................63 FIGURA 28 – GERENCIADOR DE QUESTÕES DO SAPECA ..........................................................64 FIGURA 29 – TELA DE QUESTÃO DO SAPECA ..........................................................................64 FIGURA 30 – ATALHO PARA INSERIR IMAGENS ..........................................................................65 FIGURA 31 – GERENCIADOR DE PROVAS DO SAPECA..............................................................66 FIGURA 32 – TELA DE PROVAS DO SAPECA.............................................................................66 FIGURA 33 – TELA DE PERFIL DO USUÁRIO DO SAPECA ..........................................................68
  • 12.
    xii FIGURA 34 –TELA DE CONTROLE DE ACESSO DO SAPECA ......................................................69 FIGURA 35 – TELA DE MANUTENÇÃO DAS TABELAS DO SAPECA ............................................70
  • 13.
    xiii LISTA DE TABELAS TABELA1 – NÍVEIS DE AVALIAÇÃO, CONFORME TAXONOMIA DE BLOOM.................................15 TABELA 2 – NÍVEIS PARA AVALIAÇÃO DO MODELO DE KIRKPATRICK.......................................16 TABELA 3 – ANÁLISE DAS COMPETÊNCIAS TRANSVERSAIS ........................................................29 TABELA 4 – DISCIPLINA DE ALGORITMOS E PROGRAMAÇÃO COMPUTADORES..........................30 TABELA 5 – RECURSOS DE UM EDITOR DE TEXTO .....................................................................38 TABELA 6 – INSTRUMENTOS X RECURSOS.................................................................................51
  • 14.
    xiv LISTA DE ABREVIATURASE SIGLAS CA – Construir argumentos CF – Compreender fenômenos DER – Diagrama Entidade Relacionamento DFD – Diagrama de Fluxo de Dados DL – Domínio de linguagem ENEM – Exame Nacional do Ensino Médio EP – Elaborar propostas FDD – Function Driver Development IIS – Internet Information Services INEP – Instituto Nacional de Estudos e Pesquisas Educacionais ITA – Instituto Tecnológico de Aeronáutica LDB – Lei de Diretrizes e Base MER – Modelo de Entidades e Relacionamentos OMT – Object Modeling Technique PDF – Portable Document Format SISAPA – Sistema de Apoio Acadêmico SP – Situações-Problemas TCM – Teoria Clássica de Medida TCT – Teoria Clássica dos Testes TRI – Teoria da Resposta do Item UML – Unifield Modeling Language
  • 15.
    xv SUMÁRIO LISTA DE ABREVIATURASE SIGLAS .....................................................................................................XIV 1 INTRODUÇÃO..................................................................................................................................................1 2 AVALIAÇÃO: FUNDAMENTOS, INSTRUMENTOS E MODELOS. .......................................................6 2.1 INTRODUÇÃO .............................................................................................................................................6 2.2 EDUCAÇÃO TRANSFORMADORA: ENSINAR E AVALIAR CONTINUAMENTE .................................................7 2.3 HISTÓRIA DA AVALIAÇÃO ..........................................................................................................................8 2.4 O QUE É AVALIAÇÃO? ................................................................................................................................8 2.5 PORQUE AVALIAR? ....................................................................................................................................9 2.6 MODELOS DE AVALIAÇÃO........................................................................................................................11 2.7 REFERENCIAIS: TAXONOMIAS, MODELOS E TEORIAS...............................................................................14 2.7.1 Taxonomia de Bloom....................................................................................14 2.7.2 Modelo de Kirkpatrick..................................................................................15 2.7.3 Teoria da Avaliação Autêntica.....................................................................18 2.8 CONSIDERAÇÕES FINAIS ..........................................................................................................................18 3 O INSTRUMENTO DE AVALIAÇÃO “PROVA” ......................................................................................20 3.1 INTRODUÇÃO ...........................................................................................................................................20 3.2 A AVALIAÇÃO ATRAVÉS DE PROVAS .......................................................................................................21 3.3 METODOLOGIA DE MEDIDA .....................................................................................................................22 3.4 OS MÉTODOS TCM E TRI ........................................................................................................................22 3.5 COMPETÊNCIA E HABILIDADE..................................................................................................................25 3.5.1 Características das Competências ...............................................................26 3.5.2 Tipos de Competências.................................................................................27 3.6 INSTRUMENTO PROVA .............................................................................................................................30 3.6.1 Detalhando os instrumentos.........................................................................31 3.7 CONSIDERAÇÕES FINAIS ..........................................................................................................................34 4 FERRAMENTAS DE ELABORAÇÃO DE AVALIAÇÕES.......................................................................37 4.1 INTRODUÇÃO ...........................................................................................................................................37 4.2 PESQUISA SOBRE COMO O PROFESSOR ELABORA SUAS AVALIAÇÕES .......................................................37 4.3 FERRAMENTAS DE APOIO AO PROFESSOR ................................................................................................42 4.4 ANÁLISE DOS SOFTWARES DE ELABORAÇÃO DE PROVA...........................................................................43 4.4.1 Professor Tech II ..........................................................................................43 4.4.2 Prova Fácil...................................................................................................44 4.4.3 Super Professor ............................................................................................45 4.4.4 SisProva - Software para gestão automatizada de provas...........................46 4.4.5 D7-Teacher...................................................................................................47 4.4.6 Questcomp ....................................................................................................48 4.4.7 Offshore Soil Mechanics (CT4350)..............................................................49 4.5 COMPARATIVOS ENTRE SOFTWARES ANALISADOS ..................................................................................50 4.6 CONSIDERAÇÕES FINAIS ..........................................................................................................................51 5 O SOFTWARE SAPECA................................................................................................................................52 5.1 CONSIDERAÇÕES PRELIMINARES .............................................................................................................52 5.2 O PROJETO SAPECA...............................................................................................................................54 5.2.1 Contexto........................................................................................................54 5.2.2 O que é o SAPECA On Line? .......................................................................58 5.2.3 Arquitetura ...................................................................................................58 5.2.4 Estrutura Estática.........................................................................................59 5.2.5 Acesso ao Sistema.........................................................................................61 5.3 VISÃO DO SISTEMA (PROFESSOR) ............................................................................................................63 5.3.1 Minhas Questões ..........................................................................................63
  • 16.
    xvi 5.3.2 Minhas Provas..............................................................................................65 5.3.3Meu Perfil.....................................................................................................68 5.3.4 Pesquisa e Estatística...................................................................................69 5.4 VISÃO DO SISTEMA (ADMINISTRADOR) ...................................................................................................69 5.5 AVALIAÇÃO DO USO DO SAPECA...........................................................................................................70 5.6 CONSIDERAÇÕES FINAIS ..........................................................................................................................70 6 CONCLUSÕES................................................................................................................................................71 6.1 RESULTADOS ALCANÇADOS ....................................................................................................................71 6.2 TRABALHO FUTUROS ...............................................................................................................................72 REFERÊNCIAS BIBLIOGRÁFICAS...............................................................................................................73 ANEXO A - SONDAGEM SOBRE AVALIAÇÃO..........................................................................................78 ANEXO B – QUESTIONÁRIO DE AVALIAÇÃO DE USO DO SAPECA ..................................................80
  • 17.
    1 INTRODUÇÃO “Não setrata mais de aprovar ou de reprovar os alunos, conforme os índices da disciplina, mas criar as condições para o seu pleno desenvolvimento e tornar a experiência escolar uma oportunidade para aprendizagens reais e significativas”. (Vasconcelos, 2003) As primeiras idéias de avaliação da aprendizagem estavam vinculadas ao conceito de medidas. A necessidade de medir surgiu tão cedo na vida do homem, que ele foi buscar no próprio corpo as primeiras unidades de comparação – o cúbico (comprimento do cotovelo à ponta do dedo médio esticado), o palmo, o pé e o dígito. Das unidades naturais passou-se às unidades fixadas arbitrariamente através de leis ou decretos reais. Em 2.205 a.C. o grande Shun, Imperador Chinês, examinava seus oficiais com o fim de os promover ou demitir. O cúbito real consistia de sete palmos ou 28 dígitos, no Egito. Na Inglaterra, coube ao rei Eduardo I, em 1.305, decretar que 12 polegadas correspondiam a um pé. Em 1.960, 38 países sancionaram uma nova definição do metro internacional (Garcia, 2000). Na educação, medir tem um tratamento especial, pois a sociedade sempre se preocupou em selecionar entre seus componentes aqueles para executar habilidades específicas. As expressões “Como Fulano vai indo?” ou “Meu filho só tira 10!” revelam como a sociedade tem consciência do valor de um controle sobre ensino-aprendizagem de seus educandos. Nas instituições de ensino, o professor sabe da importância de manter informados os estudantes sobre o desempenho escolar. Pais ou responsáveis e a própria instituição também demandam informações neste sentido. Para isso recorre a provas e outros instrumentos de verificação. Vale salientar que a origem dos termos “verificar”, “tornar verdadeiro”,
  • 18.
    2 “confirmar se éverdade”, refletem bem esta maneira de encarar a medida como parte essencial do processo educativo e não como complemento dele. Ainda é importante salientar que os instrumentos de medida facilitam as observações que o professor realiza sobre o desempenho do estudante. É grande o número de professores que enfrentam o problema da avaliação de seus alunos. Isto por que, segundo Luckesi (1995 p. 69) “A avaliação é um juízo de valor sobre dados relevantes, objetivando uma tomada de decisão”. O Brasil possui cerca de 242.795 professores em universidades e faculdades públicas e privadas distribuídos em diversas áreas do conhecimento (Sinaes, 2007). Em comum, todos estão comprometidos com o processo ensino-aprendizagem, o qual, nestes últimos anos, vem sofrendo uma grande influência da tecnologia com a inserção do computador como ferramenta de automação e facilitação. Mesmo com a utilização do computador, a tarefa de elaboração da prova continua consumindo um tempo precioso do professor, por englobar atividades como: O procedimento de copiar e colar no editor de texto que deve ser feito com cuidado; O desenvolvimento de questões que retratem bem o conteúdo ministrado; O uso de uma linguagem de fácil entendimento pelo aluno; Uso de perguntas não-ambíguas que não permitam ter várias interpretações; Questões que explorem a criatividade do aluno; Dimensionamento questão X tempo; A formatação da prova, inclusive do cabeçalho da prova com suas observações. Este problema se agrava ainda mais em disciplinas como Informática Aplicada onde há uma heterogeneidade de interesses maior na turma, em virtude de ser composta por alunos de diferentes cursos (Administração, Economia, Turismo e Contabilidade). Portanto, numa mesma turma há alunos com diferentes perfis, background, interesses e até expectativas de aplicabilidade da disciplina em sua formação. O processo de avaliar enfrenta, além dos já citados acima, uma série de outras dificuldades como: simplificar os problemas, fundir questões, dissolver conceitos, metodologia empregada, repetição de questões, independência entre questões, observações da prova, dentre outros. Uma boa ferramenta computacional pode ajudar o avaliador, isso por quer, muitos procedimentos como a crítica de questões já usadas podem ser automatizadas e ajudando o professor no ato de criação do instrumento de avaliação. É fácil para os professores, chegarem a esta conclusão de que o canal tecnológico do aprendizado foi muito alterado, até tempo atrás, o mundo era visto através de livros e materiais impressos. Já a geração atual cerca-se de diversas tecnologias como: computador, software especialista, celular, palm e Internet.
  • 19.
    3 Baseado em experiênciaprópria e em um questionário aplicado a grupo de 30 (trinta) professores (modelo em anexo), foi identificado, como a principal reclamação dos docentes, o desconhecimento de forma colaborativa de uma ferramenta específica para o professor criar suas avaliações. Baseado em dados coletados ficou evidente que a ferramenta mais utilizada é o editor de textos, ou seja, o professor digita uma determinada avaliação, sem a utilização de um banco de questões para consultar e, em muitas vezes, sem contar com o que outros professores da mesma disciplina já prepararam em avaliações anteriores. Em outras palavras, não existe nenhuma preocupação em registrar e potencializar a reutilização de suas questões posteriormente. A questão de compartilhar e interagir com outros professores é muitas vezes ignorada, porém encontram-se justificativas plausíveis para o complexo problema da avaliação educacional. Thorndike e Hagen (1975) estudaram os graus atribuídos por mais de cem professores a cinco dissertações. As notas, nessa pesquisa, variaram cerca de 20 pontos num máximo de 25. Algumas dissertações foram julgadas excelentes por alguns professores e medíocres por outros. A razão para este resultado decorreu da diferença de padrões usados pelos vários professores. Hoje o processo de criação de provas não apresenta nem integração e nem padronização. Considerando que a avaliação significa elaborar um juízo de valor, qualitativo ou quantitativo, de dados relevantes que são obtidos da ação de observar o aluno, é necessário estabelecer o que se quer ver nele, ou seja, fazer um isolamento bem definido estabelecendo assim os critérios de avaliação. Esses critérios devem ser um conjunto de normas especificando um sistema de expectativas. Cada norma deve definir com transparência o que se julga poder esperar legitimamente do objeto avaliado e deixar claro para o aluno os critérios e pesos de pontuação. Se a disciplina é Português, é preciso deixar claro para os alunos o que é definido como relevante para se considerar um progresso no aprendizado de um determinado conteúdo de Português. Isto por que, segundo Perrenoud (1999 p. 51) “Não há orientação escolar sem avaliação”. Porém, é preciso estar claro que tipo de informações se espera encontrar nas suas produções. Não basta elaborar uma prova para significar que se tem a intenção de avaliar. O pensar sobre os critérios de avaliação antes de propor uma atividade avaliativa é fundamental para que ela se preste à ajuda das aprendizagens dos discentes. O estabelecimento dos critérios é útil na hora de dizer o valor de um aluno ou de seu produto, mostrando como eles se situam em relação ao que é legítimo esperar deles. Esta dificuldade em avaliar o aluno e que motivou a aplicação de questionário a um grupo de trinta (30) professores, no mês de janeiro de 2007 visando obter dados sobre como os professores estão avaliando e que ferramentas estão usando. Pode-se afirmar que a principal ferramenta utilizada na confecção de prova é um editor de textos, onde se digita ou
  • 20.
    4 se modifica umaavaliação arquivada com a utilização dos recursos de copiar e colar e o arquivamento em uma pasta no disco rígido do computador. Porém, esta ferramenta não foi projetada para a atividade de elaboração de instrumento de avaliação acadêmica (provas), ocasionando o grande desconforto ao usuário que tem que memorizar muitos controles. Este processo tão usado de copiar e colar não contempla as necessidades básicas de um avaliador, como: ordenar por dificuldade ou assunto as questões, controlar questões já ministradas, formatação da questão, controle de tempo e pontuação. Também fica comprometido o compartilhamento de questões e acompanhamento pedagógico da avaliação que são eventos atrelados à qualidade de ensino. Com base nestas deficiências, justifica-se o desenvolvimento de uma ferramenta computacional especializada na função de ajudar o professor na elaboração de questões, provas e exercícios. O objetivo principal deste trabalho é analisar a problemática do processo de avaliação e o desenvolvimento uma ferramenta computacional em ambiente compartilhado para apoiar o professor na tarefa de elaborar questões, provas e exercícios. As metas dentro deste objetivo, são: Levantar dados que dêem suporte ao desenvolvimento de um instrumento de avaliação. Analisar as necessidades de professores e modelar o projeto de um software de apoio. Estudar as ferramentas similares disponíveis no mercado. Especificar funcionalidades na ferramenta e interação entre professores. Especificar, projetar, desenvolver e realizar testes prévios de manuseio das funções e operações da ferramenta. Baseado nestas metas será possível alcançar o objetivo do trabalho, que é criar uma ferramenta de elaboração de provas. Desta forma, com a colaboração de professores e a análise de tecnologias atuais já disponíveis, será possível o desenvolvimento de um instrumento atualizado, de consenso e que possa ser compartilhado e que realmente ajude o professor na sua tarefa de elaboração de provas. Com o intuito de oferecer um instrumento colaborativo de criação de avaliação atraente e eficiente aos docentes, entende-se que a metodologia usada e o planejamento das ações são vitais para um bom resultado. Pra a realização deste trabalho, foram previstas as seguintes etapas:
  • 21.
    5 Levantamento bibliográfico, visandofundamentar à apreensão das informações mais atuais e consistentes sobre as áreas de escopo do trabalho. Estudo e comparação das ferramentas existentes no mercado de software. Aplicação de questionários, juntos aos professores, sobre instrumentos de avaliação, visando coletar dados essenciais para o funcionamento da ferramenta. Definição do banco de dados para armazenar usuários, configurações, questões, provas, exercícios, etc. Uso de uma ferramenta de modelagem, tipo UML (Unified Modeling Language), para as etapas do desenvolvimentos: levantamento de requisitos, análise e projeto. Desenvolvimento da ferramenta de forma incremental usando tecnologia Orientada a Objeto, tipo C# ou Delphi. Validação experimental do software, como um projeto piloto, em experimentações entre um grupo de professores universitários. Análise dos dados da validação e aprimoramentos do protótipo visando um produto mais bem elaborado. Este trabalho está organizado em 6 (seis) Capítulos, iniciando com a introdução ao tema, a apresentação da proposta e o metodologia e estratégia utilizada. O Capítulo 2 apresenta um conjunto de conceitos fundamentais, bem como propósitos, princípios básicos e teorias relacionadas ao processo de avaliação em geral. O Capítulo 3 tem como função o debate sobre os instrumentos de medida, avalia as metodologias e a competência e habilidades necessárias para desenvolver um instrumento de avaliação do tipo prova. Concluindo com as tendências para o futuro O Capítulo 4 está baseado nos dados extraídos de uma pesquisa sobre o processo de elaboração de provas aplicado a um grupo de 30 (trinta) professores, foi analisado, tabulado e apresentado em forma números, gráficos e tabelas os resultados. Em seguida são analisadas e apresentadas várias ferramentas computacionais para elaboração de provas. Para concluir é elaborado um quadro comparativo entre as necessidades dos professores e as funções disponíveis em sete softwares. O Capítulo 5 apresenta o software Sapeca On Line, resultado deste trabalho de pesquisa. A ferramenta Sapeca é analisada nos seus requisitos principais com o uso de técnicas da Engenharia de Software. É descrito o funcionamento do Sapeca On Line nos seus dois perfis professor e administrador. Finalmente, o Capítulo 6 resume as conclusões deste trabalho e apresenta direções para trabalhos futuros.
  • 22.
    6 2 AVALIAÇÃO: FUNDAMENTOS,INSTRUMENTOS E MODELOS. Neste capítulo são apresentadas as origens da avaliação, o que é avaliação e o seu propósito. É dedicado um tópico sobre os três modelos de avaliação e os referenciais teóricos para a avaliação da aprendizagem. Concluindo, comenta-se a importância da avaliação para processo ensino-aprendizagem. 2.1 Introdução Segundo Luckesi (1995, p. 92) “O termo avaliar tem sua origem no latim, provindo da composição a-valere, que quer dizer dar valor a...”. Avaliar é julgar ou fazer a apreciação de alguém ou alguma coisa, tendo como base uma escala de valores. Assim sendo, a avaliação consiste na coleta de dados quantitativos e qualitativos e na interpretação desses resultados com base em critérios previamente definidos. Portanto, avaliar consiste em fazer julgamento dos resultados, comparando o que foi obtido com o que se pretendia alcançar. Na educação, “a avaliação é uma apreciação qualitativa sobre dados relevantes do processo de ensino e aprendizagem que auxilia o professor a tomar decisões sobre o seu trabalho” (Luckesi, 1995). Então, avaliação de ensino é o processo de coletar e analisar dados por parte dos professores, a fim de determinar o grau em que metas pré-estabelecidas foram atingidas e, daí, orientar a tomada de decisões em relação às atividades didáticas seguintes. Porém, segundo Hoffmann (1993), boa parte dos professores avalia de uma forma insatisfatória, fugindo da verdadeira finalidade da avaliação, se preocupando mais com os conceitos dando uma síntese um tanto quanto distorcida da realidade. Aprovar ou reprovar?
  • 23.
    7 Esta ameaça semanifesta quando muitos professores expõem estatísticas de aprovação e reprovação de semestres anteriores, tornando a avaliação um instrumento de medo para os alunos. Esse medo existe direta e indiretamente e a avaliação é quem "dirá" se deve ou não haver o castigo (o pior deles, a reprovação). Neste momento o professor deve trabalhar o aluno no sentido de recuperá-lo. Na realidade, a avaliação que deveria ser usada pelo professor como um instrumento de monitoramento do conhecimento assimilado pelo aluno, acabou por se tornar uma ferramenta de verificação, em muitos casos, de quanto o aluno memorizou ou quanto deveria ter memorizado, seja por força do programa ou pelo objetivo do professor. Luckesi (1995) citou numa de suas palestras um bom exemplo: um aluno que tire 100% em adição e 0% em subtração acaba obtendo a média final 50%. Neste exemplo, avaliação se torna distorcida e mostra que este aluno apresenta rendimento médio tanto em adição como em subtração; onde na verdade o que se tem é um aluno que já aprendeu adição e ainda não aprendeu a resolver a problemas de subtração. Constatamos, assim, o erro de nossa avaliação. Continuando sobre a palestra, foi citado o exemplo do médico que só avalia o paciente e não dá uma solução. Isto também acontece com nossas avaliações, onde as notas são dadas e muitas não fazem as necessárias correções. O que se conclui é que avaliar esta sendo praticado como um ato de apenas medir e, em muitas ocasiões, o professor terá que mudar sua maneira de agir para o benefício do processo ensino-aprendizagem, não esperando que o aluno tome a iniciativa de questionar o processo. 2.2 Educação Transformadora: Ensinar e Avaliar Continuamente A educação transformadora repensa este processo (ensino-aprendizagem) da sala de aula. A sala de aula existe em função de seus alunos. Cabem aos educadores, as instituições de ensino e o governo refletirem se realmente os alunos estão sendo respeitados em relação ao acesso ao conhecimento e se está sendo considerado quem são eles, de onde vieram, em que contextos vivem, suas ocupações, suas responsabilidades, dentre outros. Muitos destes aspectos devem ser levantados pelo governo que é o responsável pelo sistema educacional. O ensinar e avaliar numa perspectiva de mudança proporciona ao aluno acesso aos bens culturais e ao conhecimento produzido historicamente, adquirindo assim habilidades necessárias para aplicar os conteúdos apreendidos no contexto social. Assim, a prática pedagógica e a prática de avaliação devem superar o autoritarismo, o conteudismo e a punição. Deve-se estabelecer uma nova perspectiva para o processo de ensino-aprendizagem, que seja marcado pela autonomia do educando e pela participação do aluno na sociedade de forma democrática. Quando a LDB (Lei de Diretrizes e Base) estabelece, na portaria da lei 9.394/96, que a avaliação deve ser contínua e priorizar a qualidade e o processo de aprendizagem (o desempenho do aluno ao longo de todo o ano e não apenas numa prova ou num trabalho) (Brasil, 1996), usa outras palavras para expressar o que o jargão pedagógico
  • 24.
    8 convencionou chamar deavaliação formativa. O primeiro a usar essa expressão foi o americano Michael Scriven, em seu livro Medotologia da Avaliação, publicado em 1967. Segundo ele, só com observação sistemática o educador consegue aprimorar as atividades de classe e garantir que todos aprendam (Scriven, 1967). Partindo desses pressupostos, para que o aluno construa o seu conhecimento e sua autonomia, é necessário que ele esteja inserido em um ambiente rico em intervenções pedagógicas, e minimizado o autoritarismo e a arbitrariedade do professor. 2.3 História da avaliação Com o passar dos anos houve uma evolução do processo de avaliação como parte de um movimento articulado com o compromisso de desenvolver a prática pedagógica. Neste cenário educacional a avaliação tem combinado os métodos formativos e somativos para um diagnóstico que permita a inclusão, a pluralidade e o respeito às diferenças. (Luckesi,1995). Avaliação, tal como é conhecida hoje, como medida, teve origem na escola moderna a partir dos séculos XVI e XVII, na Europa. Algumas expressões das experiências pedagógicas deste período, que sistematizaram o modo de agir com provas e exames, encontram-se nas práticas das pedagogias jesuítica (século XVI), comeniana (século XVII) e lassalista (fins do século XVII e início do século XVIII) (Luckesi, 1995). Assim sendo, a prática de avaliar (medir) que conhecemos é herdeira deste período, onde aconteceu a cristalização da sociedade burguesa, onde as medidas educacionais eram desprovidas de metodologias. A partir do século XIX surgiram os primeiros ensaios de emprego de métodos mais objetivos de avaliação do rendimento escolar. Durante o século XX, estudos identificaram uma série de dificuldades no processo de avaliação, e levaram os educadores a dirigir seus esforços no sentido de um aperfeiçoamento cada vez mais amplo das medidas educacionais. As provas passaram a ser encaradas como instrumentos de medida e o problema do que constitui um bom instrumento de medida é hoje um dos tópicos de maior realce, tanto no que se refere aos testes psicológicos utilizados para fins de diagnóstico ou previsão, como em relação aos testes de desenvolvimento educacional (Garcia, 2000). 2.4 O que é avaliação? Para diferentes pesquisadores a pergunta “O que é avaliação?” despertam diferentes conceitos para a avaliação do processo ensino-aprendizagem. De acordo com Tyler (1949): Avaliação é o processo de determinar em que extensão os objetivos educacionais estão na verdade sendo alcançados, cuja finalidade é verificar até que ponto as experiências de aprendizagem, tal como foram desenvolvidas e organizadas, estão realmente produzindo resultados desejados.
  • 25.
    9 Piletti (1997): Avaliação éo processo contínuo de pesquisas que visa interpretar os conhecimentos, habilidades e atitudes dos aprendizes, tendo em vista mudanças esperadas no comportamento, propostas nos objetivos, a fim de que haja condições de decidir sobre alternativas do planejamento do trabalho do facilitador e da escola como um todo. Moacir Gadotti (1994): A avaliação é um o ato de acolhimento do aluno e depois deve avaliar a relação dele com o conhecimento. Cada autor, de acordo com sua metodologia de trabalho, objetivo ou marco de referência, atribui uma definição distinta de avaliação. É algo complexo e difícil de diferenciar de outros conceitos relacionados como medida e investigação. 2.5 Porque avaliar? O ato de avaliar é tão rotineiro na vida do homem como respirar. Ele está presente de maneira natural em todas as nossas atitudes, que envolvem componentes cognitivos, motores e afetivos. Avaliar exige antes que se definam os propósitos e sem seguida se estabeleçam os critérios, para, em seguida, escolherem-se os instrumentos de medida. Isto por que, segundo Perrenoud (1999), a função nuclear da avaliação é ajudar o aluno a aprender e ao professor, ensinar. Os propósitos da avaliação, segundo Garcia (2000), vão desde um diagnóstico em torno do aluno até o feedback de todo o processo. Conhecer os alunos. Determinar se os objetivos previstos para o processo de ensino-aprendizagem foram ou não atingidos. Aperfeiçoar o processo de ensino-aprendizagem. Diagnosticar as dificuldades de aprendizagem. Promover os alunos. Motivar e dar feedback aos alunos. Segundo Vianna (1989) os objetivos educacionais que podem ser mensurados não significa que sejam de fácil mensuração e que esta se faça exclusivamente através de teste de papel e lápis. A mensuração na área cognitiva apresenta diversos graus de dificuldade, sobretudo à medida que os objetivos se tornam gerais e abstratos (capacidade de analisar, sintetizar e avaliar); por este motivo à avaliação deve ser tratada como um processo: continuo, sistemático, compreensivo, comparativo, acumulativo, informativo e global, que permite avaliar o conhecimento do educando.
  • 26.
    10 Os professores sabemque práticas de provas e exames se baseiam em julgamentos próprios. A solução para amenizar os resultados negativos desses procedimentos é a aplicação de avaliações diagnósticas com o interesse de conhecer os alunos. Com uma avaliação bem intencionada pode-se incluir o educando no curso da aprendizagem satisfatória, integrando todas as suas experiências de vida. A ênfase à atribuição de notas (medida) na avaliação tem provocado alguns desvios significativos, dentre os quais de lhe dar um caráter meramente comercial, contabilístico, desconsiderando seu aspecto educacional de orientação do aluno. Conforme diz Luckesi (1995), as notas são comumente usadas para fundamentar necessidades de classificação de alunos, dentro de um conjunto de posições, onde a maior ênfase é dada à comparação de desempenhos e não aos objetivos instrucionais que se deseja atingir. O aluno é classificado como inferior, médio ou superior quanto ao seu desempenho e muitas vezes fica preso a esse estigma, não conseguindo revelar seu potencial. E como mudar este cenário? Ou quem pode mudar? Observa-se que os mecanismos reacionários e resistentes atuam no sentido de manter o funcionamento destes modelos já tradicionalmente aceitos e vigentes. É o caso da administração (aplicação) de um maior número possível de provas, de forma constante e padronizada. Ao docente, falta-lhe suporte, tempo e principalmente atitude para praticar a avaliação formativa. Segundo Vasconcelos (2003), defensor da chamada progressão continuada, a organização da escola em Ciclos de Formação é uma das mais avançadas formas de currículo, na medida em que a própria estrutura da instituição volta-se para as necessidades educativas dos alunos, respeitando, sobretudo a questão básica dos tempos diversos para a aprendizagem e desenvolvimento, pela superação das interrupções artificiais. O que muda substancialmente na avaliação por se tratar de Ciclo? Segundo o autor, em termos de avaliação, o fator primordial interveniente na organização da escola em Ciclos de Formação é justamente o fim da avaliação classificatória em termos de legislação. Esta novidade é que constitui um avanço institucional. Mas isso constituiu também um campo de possíveis equívocos e discórdias, em decorrência de distorções historicamente acumuladas ao longo dos anos. Para Vasconcelos (2003), o que se espera, é que os educadores sejam sujeitos de transformação, abrindo novas possibilidades na forma de ser da escola, e o que se prega é uma mudança de atitude. Vale salientar que as experiências de Ciclos de Formação, fracassaram em Minas Gerais e no Rio de Janeiro. Como já foi dito, o importante na prática pedagógica e a prática de avaliação é a superação dos resquícios do autoritarismo e a punição, estabelecendo uma nova perspectiva para o processo de aprendizagem e de avaliação educacional.
  • 27.
    11 2.6 Modelos deavaliação Como já foi comentada no início deste capitulo, avaliação teve sua origem na escola moderna onde a sociedade burguesa da Europa tinha como objetivo à exclusão e a marginalização de grande parte da sociedade da educação superior (Luckesi, 1995). Neste contexto, o modelo adotado foi da avaliação classificatória, historicamente usada pelo sistema para a reprodução das desigualdades sociais. Com a Revolução Francesa, a burguesia, classe em ascensão, agiu no sentido de levar o estado a assumir todas as responsabilidades de incluir e massificar, através do aparelho ideológico, a educação do povo. Observa-se a repetência sendo usada como uma forte arma para exclusão do acesso ao saber, para a expulsão das escolas, dos pobres e dos negros, mantendo assim as classes sociais, bem comportadas, sem conflitos aparentes. Sabemos também que a exclusão no interior da escola não se dá apenas pela avaliação e sim pelo currículo como um todo (objetivos, conteúdos, metodologias, formas de relacionamento, dentre outros). No entanto, além do seu papel específico na exclusão, a avaliação classificatória acaba influenciando todas estas outras práticas escolares. Nos anos 60 e 70, no Brasil o pensamento tecnicista de avaliação da aprendizagem, por influencia de estudos norte-americanos e que se intensificou no final da década de 60 e perduraram na década de 70, tendo como referência à concepção de “avaliação por objetivos” desenvolvida por Tyler (1949). Ao analisar a teoria de Tyler, Giroux (1983, p. 64) comenta que “a abordagem comportamental da aprendizagem realizada por ele fornece passos muito bem definidos para medir, controlar e avaliar a experiência de aprendizagem”. Neste modelo de avaliação o professor acompanha os objetivos a serem alcançados durante um período escolar. Os objetivos devem ser específicos, mensuráveis e estar alinhados aos objetivos do currículo. Periodicamente o professor deve avaliar o nível de desempenho. A avaliação vai assim tomando forma através da análise do desempenho dos alunos, contudo, limitado aos objetivos curriculares. O professor nunca deve cobrar aspectos que não estavam previstos nos objetivos, ou que não tivessem sido comunicados aos alunos. Um dos pontos fracos deste paradigma é a sua precária objetividade, provocando efeitos negativos. A subjetividade do processo pode ser atribuída a várias causas: julgamento, avaliadores, processo, política da organização e inflexibilidade do método. O erro de julgamento, que é uma das causas freqüentes da subjetividade da avaliação, em que o avaliador tende avaliar no nível mais alto ou no nível mais baixo, ou ainda a classificar todos os educandos de igual forma. Pode dar-se um erro de viés, em que uma característica do aluno, por ser avaliada demasiadamente alta, influência a apreciação global.
  • 28.
    12 O julgamento nãomeditado por parte do avaliador, provocado por pressa, aversão à discriminação, ou outros motivos, penaliza os alunos injustamente avaliados. No que diz respeito aos avaliadores pode também ocorrer ambigüidade na avaliação provocada por falta de informação ou informação errônea sobre os alunos. Nem sempre o avaliador está presente para observar o comportamento dos mesmos, fato que pode provocar uma desigualdade injusta de avaliações. O método para medir o desempenho pode não ser adequado, os parâmetros especificados podem não estar de acordo com o que se espera do aluno, e a falta de feedback deixa o aluno sem noção do que se espera dele. De fato, considerando algumas definições de avaliação, pode-se perceber os aspectos amplos que permeiam a questão. Segundo Raphael (1998 p. 42) “A avaliação deve descrever até que ponto os objetivos foram alcançados, como forma de retroalimentação do processo”. Miras e Solé (1996, p. 375) também exploram este tema, afirmando que "avaliar significa examinar o grau de adequação entre um conjunto de informações e um conjunto de critérios adequados ao objetivo fixado, com o fim de tomar uma decisão". Já em Nérici (1977), a avaliação é encarada como uma etapa de um procedimento maior, que incluiria uma verificação prévia. Outra influência importante na avaliação da aprendizagem foi a de Scriven, que apresentou, em 1967, os conceitos de avaliação somativa e formativa. Esses conceitos provocaram grande impacto, principalmente entre avaliadores brasileiros, por volta da década de 70. Passaram a compreender, então, que a avaliação deveria ser somativa, voltada para a análise de resultados terminais que subsidiassem decisões e também formativa, com o objetivo de subsidiar ações de intervenção quando um curso estivesse ainda em desenvolvimento. Ribeiro (1999 p 79) escreveu, “As avaliações a que o professor procede enquadram-se em três grandes tipos: avaliação diagnóstica, formativa e somativa”. Os dois últimos termos foram criados por Scriven (1967). Cada um destes tipos de avaliação tem uma função específica, complementar das restantes, constituindo, assim, um conjunto indispensável ao professor. Pode-se dizer que os anos de 1990 se apresentaram como um período em que se intensificaram os debates sobre avaliação nas mais diferentes instâncias da vida acadêmica em que ocorrem: congressos, seminários e no interior da própria Universidade. No âmbito das políticas educacionais, observa-se que, sob a bandeira da qualidade do ensino, utilizando como referência os altos índices de fracasso escolar, são propostas inovações, mas o que se percebe é que há um descompasso entre as propostas de avaliação e as práticas efetivas dentro das instituições educativas. Encontra-se neste período visões qualitativas mais progressistas, destacando-se: a avaliação mediadora, na visão construtivista de aprendizagem defendida por Hoffmann (1993) e a abordagem diagnóstica e inclusiva proposta por Luckesi (1995).
  • 29.
    13 Todas têm umaimportância histórica considerável no cenário educacional brasileiro, porém se limitam à memorização sem internalização significante do conteúdo, ou de aferição de meros conteúdos factuais. Segundo Hoffmann (1993), hoje se discute uma perspectiva de avaliação que se opõe à prática tradicional, tendo como perspectiva uma avaliação inovadora, crítica e reflexiva, como um ato de inclusão, acolhedor e integrativo. Baseado nos novos paradigmas, se criou uma nova atitude frente à avaliação, que inclui a postura de avaliação constante, flexível e democrática, inclusive com meta avaliativa. Hoje, logo que os alunos chegam à escola, o professor deve começar a avaliá-los. Só assim poderá adquirir informações diretas, imprescindíveis e valiosas para planejar o seu trabalho. O professor deve usar todos os meios e instrumentos para que estes objetivos sejam alcançados. Compreende-se assim, que a cultura avaliativa do rendimento escolar envolve um processo circular que começa e termina com os objetivos educacionais, ver figura 1. A própria avaliação torna-se mais um momento de aprendizagem. Basicamente, a avaliação apresenta três funções: diagnosticar, controlar, e classificar. Estas três formas de avaliação estão intimamente vinculadas. Para garantir a eficiência do sistema de avaliação e a eficácia do processo ensino-aprendizagem, o professor deve fazer uso conjugado destes três modelos. Figura 1 – Avaliação e o Processo de Ensino X Aprendizagem O primeiro é a avaliação diagnóstica que pode ser dividida em diagnóstica somativa e diagnóstica formativa. Este modelo tem a função de diagnosticar no início de um curso ou período o domínio dos pré-requisitos imprescindíveis para novas aprendizagens. Para realizar esta tarefa a avaliação diagnóstica somativa utiliza testes que fornecem informações importantes referentes ao nível de proficiência. Já a diagnóstica formativa utiliza entrevistas, conversas informais, pequenos relatos que revela qual é a percepção do aluno com relação à disciplina a ser ministrada, qual o seu envolvimento com a aprendizagem dessa disciplina e seu nível de motivação para a mesma. São informações de capital importância para direcionar o curso e seu planejamento.
  • 30.
    14 A avaliação formativaé a modalidade avaliativa que acompanha permanentemente o processo de ensino-aprendizagem, sendo fundamental para a qualidade do mesmo. Esta avaliação pode servir como meio de controle de qualidade, permitindo que o professor atue na modificação do processo de ensino. Também é importante o feed-back que é fornecido ao aluno, contribuindo para o melhoramento da sua motivação e auto-estima. Na perspectiva formativa, a avaliação cumpre o papel de controle, regulação e mensuração da eficiência institucional. Nesse sentido, a avaliação busca a melhoria da instituição e dos processos de gestão no seu interior por meio da humanização do trabalho acadêmico. Assim, a discussão acerca da avaliação não se restringe ao processo avaliativo em si, mas à compreensão do contexto em que este se insere no âmbito das reformas educacionais e das mudanças políticas e econômicas mais amplas. Tal compreensão é importante na medida em que permite situar a avaliação “como um dos eixos estruturantes das políticas educativas contemporâneas” (Afonso, 2000, p 9). O terceiro é a avaliação somativa, com função classificatória, realiza-se ao final do curso. Consiste em classificar os alunos de acordo com níveis de aproveitamento previamente estabelecidos, geralmente tendo em vista sua promoção de uma série para outra, ou um grau para outro, ou a obtenção de um certificado. 2.7 Referenciais: Taxonomias, Modelos e Teorias. Existem uma série de taxonomias, modelos e teorias que estabelecem diretivas relacionadas a avaliação no processo de ensino-aprendizagem, as mais citadas são: a Taxonomia de Bloom, o modelo de Kirkpatrick, a Teoria da Avaliação Autêntica, e a Teoria das Inteligências Múltiplas. O trabalho de Kearsley (2000) relaciona mais de 50 teorias distintas de aprendizagem. Em geral, tais referenciais teóricos tentam responder a questão: “Como nós sabemos se a aprendizagem está ocorrendo?” (Garcia, 2000). Devido às restrições de espaço deste trabalho, será concentrado a seguir em apenas alguns destes referenciais. 2.7.1 Taxonomia de Bloom A taxonomia dos objetivos educacionais, também popularizada como taxionomia de Bloom, é a classificação dos tipos de aprendizagem. Foi resultado do trabalho de uma comissão multidisplinar de especialistas de várias universidades dos EUA, liderada por Benjamin S. Bloom, na década de 1950. Foram identificados três domínios educativos: o cognitivo, o emocional e o psicomotor. O terceiro não foi terminado, e apenas o primeiro foi implementado em sua totalidade. De acordo com a classificação de Bloom existem diferentes níveis ou categorias de habilidades cognitivas (Noya, 1998). O domínio cognitivo da
  • 31.
    15 taxonomia de Bloomé o modelo mais empregado para se responder ao “como avaliar”. A tabela 1 apresenta as seis categorias, da mais elementar para a mais abstrata. Tabela 1 – Níveis de Avaliação, conforme Taxonomia de Bloom Categorias Definição Exemplos Conhecimento Evocação de informações, terminologias, fatos específicos Quais as principais Teorias de Administração? Compreensão Apreensão do significado do material apreendido: interpretação e extrapolação. Após a leitura de texto sobre Gestão Participativa o aprendiz faz um resumo com idéias próprias. Aplicação Transferência de conhecimentos prévios para novas situações: uso de informações em situações concretas. Após o estudo das produções industriais brasileiras o aprendiz é capaz de identificar gráficos e caracterizá-los. Análise Decompõe-se o problema em suas par-tes, identificando-as e relacionando-as. O estudante formula hipóteses, se apóia em dados confiáveis e chaga a conclusões. Síntese A união das partes no todo. Cria, descreve e testa hipóteses. Após estudo sobre a constituição Brasileira é possível o aprendiz fazer uma síntese da mesma. Avaliação Julga acerca do valor de uma coisa, com certo propósito, usando critérios definidos. Após estudo sobre o crescimento da força de trabalho feminina no Brasil, o aprendiz toma partido, com argumentos sobre o fato. Os objetivos de conhecimento formam uma hierarquia que pode ser utilizada para avaliação do nível do aprendiz. Apesar de existir os níveis, cada elemento desta taxonomia tem seus próprios objetivos e valores. Segundo Garcia (2000), essas escalas nos darão, em última análise, uma medida do grau de consciência deste aprendiz em relação aos conteúdos e também o grau de motivação. Embora muitas das críticas feitas à Taxonomia de Bloom sejam consideradas válidas, grande número de educadores entende que seu uso pode ser muito útil para o planejamento e desenho de eventos de aprendizagem. Ademais, ela oferece um bom apoio ao esforço de compatibilizar testes de avaliação com conteúdo de ensino. 2.7.2 Modelo de Kirkpatrick Donald Kirkpatrick desenvolveu um modelo de avaliação, que é muito utilizado em programas de treinamento (Hack , 1999). Sua estrutura, auxilia na tomada de decisões e na estruturação da avaliação das atividades de aprendizado. Para tanto, ele recomenda que o processo de avaliação seja dividido em quatro níveis, como demonstrado na Tabela 2.
  • 32.
    16 Tabela 2 –Níveis para avaliação do Modelo de Kirkpatrick No que se refere a modelos de avaliação de treinamento empresarial, o seqüenciamento metodológico do modelo de Kirkpatrick tem sido o mais freqüentemente utilizado na avaliação de capacitação empresarial (Passamae Filho, 2003 p. 44) . Devido à sua simplicidade e praticidade, tem sido referência na maioria dos estudos sobre o assunto e adotado por grande número das empresas que avaliam a capacitação para o trabalho (Phillips, 1997, p. 44). O modelo de Kirkpatrik é composto por quatro níveis de avaliação que devem ser aplicados em seqüência. Assim se constitui numa forma eficaz de avaliação de programas nas empresas (Lima, 2000, p. 157). O Primeiro Nível: Avaliação de Reação No primeiro nível, o que se mede, o que se avalia, é a reação dos participantes ao programa de educação empresarial, objetivando melhorias mediante mudanças nos conteúdos, no material didático, na manutenção ou substituição de instrutores, na melhor distribuição dos horários, mudança do local do programa, etc. Ou seja, para se avaliar a reação dos participantes, procede-se a uma medição de sua opinião sobre os diferentes aspectos da ação formativa da qual participam: conteúdos, instrutores, instalações, metodologia formativa, etc. A reação positiva ao treinamento é, todavia, muito importante, visto que o futuro do programa depende dessa reação. Reação positiva e satisfação demonstrada não necessariamente garantem a aprendizagem, mas reação negativa e insatisfação, com certeza, reduzem as possibilidades de aprendizagem (Kirkpatrick, 1998, p. 20). O Segundo Nível: Avaliação de Aprendizagem O segundo nível de avaliação, no modelo de Kirkpatrik, trata da aprendizagem e busca informações que possam comprovar se os participantes melhoraram ou modificaram seus conhecimentos, habilidades ou atitudes pela ação da formação do programa. Uma avaliação de reação satisfatória (primeiro nível) não acarreta, necessariamente, uma aprendizagem satisfatória: às vezes, verdadeiros shows dos instrutores nada refletem em termos de aprendizagem todo mundo gostou mas não sobrou nada, embora reações negativas
  • 33.
    17 influenciem o processode aprendizagem. A aprendizagem, nesse nível, refere-se à absorção, pelos treinandos, de conceitos, princípios, fatos e técnicas; não inclui a utilização, ou aplicação desses princípios, fatos e técnicas no ambiente de trabalho do participante. Tal fato decorre da própria definição de aprendizagem de Kirkpatrick: “[...] mudança na forma de perceber a realidade ou aumento de conhecimentos e/ou aumento de habilidades em conseqüência do indivíduo ter participado do curso” (Lima, 2000, p. 160). Nesse sentido, “[...] a avaliação de aprendizagem empresarial deve considerar o perfil de competência profissional ou funcional definido pela organização para o participante do programa” (Lima, 2000, p. 162). O Terceiro Nível: Avaliação de Comportamento O terceiro nível é o do comportamento que investiga a extensão da mudança de conduta e de procedimentos que ocorre após a participação em um programa. É um nível de avaliação mais complexo que os anteriores, necessário, todavia, para ratificar os objetivos previamente definidos. É a fase de avaliação da conduta, de comportamento ou de transferência em que se verifica se o profissional realiza melhor o seu trabalho, após a capacitação (Truelove, 1997, p. 154). Conhecer princípios e técnicas (aprendizagem) e aplicá- las no trabalho (comportamento) é o que difere os dois níveis de avaliação apresentados (segundo e terceiro). As informações sobre comportamento podem ser obtidas de várias formas (Lima, 2000, p. 162). As recomendações de Kirkpatrick são: a) ser feita uma avaliação sistemática do desempenho no cargo antes e depois do treinamento; b) incluir, em referida avaliação, consulta sistemática aos seguintes grupos: treinando, seu superior, seus subordinados, seus pares que conhecem bem seu desempenho; c) ser feita análise estatística para comparar desempenho anterior e posterior, e relacionar as mudanças atribuíveis ao programa; d) conduzir a avaliação de desempenho posterior ao programa somente após decorrido um prazo razoável de conclusão do treinamento (de 3 meses ou mais), a fim de que os treinandos tenham condições para aplicar o que aprenderam; e) utilizar o grupo de controle (não treinado) para fins comparativos. A avaliação desse nível é mais complexa e difícil que a avaliação do nível anterior porque, entre outros requisitos, requer um estudo individualizado de cada programa. O Quarto Nível: Avaliação de Resultados O quarto e último nível é denominado o nível de resultados e objetiva medir os resultados finais do programa Esse nível é definido como a medição dos resultados que ocorrem em decorrência da participação dos treinandos no programa e esses resultados incluem “[...] incremento de produção, melhoria na qualidade, redução de custos, de acidentes, aumento nas vendas, redução da rotatividade de pessoal, aumento do lucro ou do retorno do investimento. É importante reconhecer que tais resultados representam a razão de ser dos programas de treinamento” (Kirkpatrick, 1998, p. 23). A valoração dos efeitos da
  • 34.
    18 capacitação sobre osresultados representa uma síntese do modelo. Se algum efeito pode ser observado no resultado da empresa, significa, de antemão, que os objetivos da avaliação aquilatados nos níveis anteriores foram alcançados. 2.7.3 Teoria da Avaliação Autêntica De acordo com esta teoria, testar simplesmente uma habilidade isolada ou um fato gravado não mede efetivamente as capacidades de um aprendiz (Kearsley, 2000). Um método de avaliação deve examinar as habilidades coletivas deste para poder avaliar “autenticamente” o que uma pessoa tem aprendido. Segundo a teoria da avaliação autêntica, deve-se apresentar desafios do mundo real para os alunos, os quais requerem a aplicação de habilidades e conhecimentos relevantes para cada situação. Esta teoria propõe as seguintes diretivas: a) estudantes devem desenvolver respostas, ao invés de selecioná-las entre opções pré-determinadas, b) avaliar projetos que abrangem todo o conteúdo do curso, c) ensinar os aprendizes a avaliarem seus próprios trabalhos, d) permitir a possibilidade de julgamentos múltiplos, e) deixar claros os critérios, f) elicitar pensamentos mais abstratos, além de experiência práticas, e g) relacionar a avaliação com a aprendizagem em sala de aula. Ainda segundo esta teoria, justiça não existe quando a avaliação é padronizada, impessoal e absoluta, mas sim quando ela é personalizada, natural, flexível, e pode ser modificada para abstrair habilidades e funções específicas em níveis relevantes de dificuldade. A avaliação deve identificar diferencial e limitações dos aprendizes, entretanto não deve comparar ou classificar estudantes (Garcia, 2000). 2.8 Considerações Finais Apesar de existir um intenso questionamento entre os modelos de avaliação formativa e avaliação somativa, a importância da avaliação é sempre reconhecida por diversos autores. Acredita-se que todos os educadores e autoridades da educação estão convictos que é necessário avaliar e porque não dizer, sem ela o processo ensino-aprendizagem seria incompleto. Logo, a grande questão é sempre o aprimoramento do processo avaliativo como parte de um movimento articulado com o compromisso e o desenvolvimento de uma prática pedagógica comprometida com a inclusão, com a pluralidade, com o respeito às diferenças, com a construção coletiva. E este aprimoramento passa pela escolha do instrumento de avaliação. Qual o melhor instrumento avaliativo? Sabendo que existe várias ferramentas, como: prova escrita e oral, trabalhos, seminários, lista de exercícios, dentre outros. No próximo capítulo será discutida a prova escrita como ferramenta de avaliação. A aplicação destes instrumentos de avaliação tem
  • 35.
    19 como objetivo, comojá foi discutido, é avaliar o grau de competência e habilidades dos educandos. Para isso foi discutido varias técnicas como avaliar: Taxonomia Bloom, Modelo de Kirkpatrick e Teoria da Avaliação Autêntica. A competência relaciona-se ao “saber fazer algo”, que por sua vez, envolve uma série de habilidades. Do latim habilitas, que significa “aptidão, destreza, disposição para alguma coisa”. Ao fazerem referência ao processo de avaliação de competências, que este deve se utilizar de instrumentos de avaliação que possam cumprir com a finalidade de diagnosticar o uso funcional e contextualizado dos conhecimentos, destacando-se dessa forma o caráter instrumental das competências. Se há alunos que evidenciam melhor as suas competências com um determinado tipo de instrumento, cumpre ao professor prepará-los para poderem responder o mais adequadamente possível qualquer que seja o instrumento utilizado. Há que saber dosar a utilização de técnicas relatadas e o instrumento de avaliação, racionalizando-o no sentido de potencializar os seus valores e esbater as dificuldades do seu uso. A noção de competência refere-se à capacidade de compreender uma determinada situação e reagir adequadamente frente a ela, ou seja, estabelecendo uma avaliação dessa situação de forma proporcionalmente justa para com a necessidade que ela sugerir a fim de atuar da melhor maneira possível. É a qualidade de quem é capaz de apreciar e resolver certo assunto, fazer determinada coisa; capacidade, habilidade, aptidão, idoneidade. Nesse sentido a avaliação necessita ser contextualizada pelo professor com problemas relevantes, que comprovaram as competências adquiridas pelos alunos. O que se espera do educador na avaliação de competências é que ele seja capaz de orientar o aluno na situação de suas dificuldades, analisá-las, compará-las e descobrir como progredir. Nesta perspectiva, o aluno é estimulado a praticar seu raciocínio, a criar métodos de pensar mais elaborado, a levantar hipóteses e a fazer comparações e inferências, conduzindo-o a resolver problemas com a sua forma de pensar já elaborada. Bloom, Hastings e Madaus (1975) esclarecem que a avaliação pode ser considerada como um método de adquirir e processar evidências necessárias para melhorar o ensino e a aprendizagem, incluindo uma grande variedade de evidências que vão além do exame usual de ‘papel e lápis’. É, ainda, segundo os mesmos autores, um auxílio para identificar os objetivos significativos e as metas educacionais.
  • 36.
    20 3 O INSTRUMENTODE AVALIAÇÃO “PROVA” Neste capítulo são discutidas as características dos instrumentos de medição com ênfase na ferramenta prova e apresentadas reflexões acerca da metodologia de medida. Também são discutidos e comparados os métodos TCM e TRI na análise dos resultados das avaliações de acadêmica por item (questão) ou da prova toda. Esta análise permite ao professor medir uma ou mais habilidades do aluno ou da turma. Também são abordadas as competências e habilidades necessárias para um bom desempenho dos alunos, buscado, assim, descrever sobre a produção dos instrumentos de avaliação. 3.1 Introdução “Se tivermos que elaborar provas, que sejam bem-feitas, atingindo seu real objetivo, que é verificar se houve aprendizagem significativa de conteúdos relevantes” (Moretto, 2007 p. 87) A insatisfação com os testes é tão antiga quanto eles próprios, e motivo é a associação que a maioria dos alunos fazem entre as provas e a função de “aprovar” ou “reprovar”, porém este instrumento tem muitas outras funções. Presta-se primordialmente à avaliação numérica e objetiva dos alunos, possibilitando a identificação de talentos (competências e habilidades) e o diagnóstico de deficiências. Através das provas (instrumento de medida) é possível obter preciosas informações sobre o grau cognitivo dos alunos examinados, e assim oferecer aos discentes e a seus respectivos docentes toda a orientação necessária para o melhor
  • 37.
    21 aproveitamento e desenvolvimentode suas potencialidades, reforçando os pontos fracos e valorizando os pontos fortes. Por isso a aplicação de um teste exige que o examinador atenda a determinados quesitos: o examinador deve ter bons valores éticos, bons conceitos pedagógicos e completa compreensão das propriedades do instrumento de avaliação utilizado, a fim de que sua avaliação seja científica, democrática e, acima de tudo, justa. Conhecer bem o conteúdo programático ajuda a evitar os erros mais comuns, habilitando-o para construir melhores provas, tanto no que diz respeito ao conteúdo, como na correta interpretação das notas, além de capacitá-lo para solucionar uma vasta gama de problemas pedagógicos. 3.2 A Avaliação através de Provas As provas continuam sendo um dos melhores instrumentos para avaliação pedagógica. Existem muitas evidências de que as avaliações subjetivas, tipo seminário, feitas por professores costumam ser impregnadas de elementos pessoais, que podem afetar o julgamento do educador. Segundo Campos (2005), a avaliação somativa dá uma maior ênfase aos instrumentos de avaliação como provas, privilegiando a nota como forma de verificar se o aluno alcançou os objetivos pretendidos, considerando como prioridade a assimilação de conteúdo. As notas atribuídas com base em provas escritas são muito mais imparciais e podem ser acompanhadas pelo coordenador pedagógico mais facilmente. Contra as provas pesa o fato de o aluno poder fraudar. De fato, mas a fraude e outros tipos de desonestidade são problemas causados por falhas na supervisão, portanto situa-se no âmbito da fiscalização. Um procedimento para amenizar a fraude seria a elaboração de provas de forma mais personalizadas, ou seja, com uso de mecanismos que possibilitem a geração de provas diferentes para um mesmo grupo de alunos. Os educadores que costumam se posicionar contra a aplicação de provas rotulada de tradicional, geralmente o fazem por estarem habituados a analisarem provas de tão baixa qualidade, na maioria das vezes, são plenamente justificadas. Uma das causas destes erros está na metodologia de construção, seleção e tratamento estatístico das questões (TCM e TRI). É necessário compreender que não há nada de errado em usar provas discursivas ou testes de múltipla escolha com a finalidade de acompanhar a evolução do aluno. Aliás, é importantíssimo valer-se destes meios para obter informações numéricas e formular juízos de valor, diante dos quais se tomam decisões, como foi exemplificado, portanto não se pode renunciar ao uso de provas, como se o mal estivesse nas provas em si. O mal está em não haver disciplinas adequadas nos cursos de Pedagogia, que ofereçam aos futuros educadores a bagagem necessária para que se tornem capazes de elaborar, aplicar e interpretar corretamente os resultados.
  • 38.
    22 A atitude correta,portanto, consiste em aprender como construir melhores provas, para que estas sejam capazes de aferir bem o grau de desempenho dos estudantes, possibilitando diagnosticar corretamente as necessidades dos alunos, identificando pontos fortes e fracos para, em seguida, trabalhar nestes pontos. E esta construção pode se valer das técnicas como a Taxonomia de Bloom ou Teoria da Avaliação Autêntica. 3.3 Metodologia de Medida Na maioria das universidades, cursinhos, escolas públicas e particulares usam a escala ordinal, criada há milhares de anos. Este método simples e obsoleto que consiste em atribuir notas com base na quantidade de respostas certas. Numa prova com 10 questões, a nota é igual ao número de respostas certas, podendo também haver pontuação fracionária para respostas parcialmente certas. Este problema ocorre mesmo quando se usa a escala ordinal corretamente, e muitas vezes a escala é usada de maneira inadequada, o que agrava muito a situação. Como exemplo, uma Instituição de Ensino Superior de Fortaleza adotava, anos atrás, o critério de conceitos: Insuficiente, regular, bom, ótimo e excelente para classificar a prova do aluno. Com o uso deste sistema se perde parte das informações, porque tanto o aluno que tirou 4,1 quanto o aluno que tirou 6,0 terão o mesmo conceito “Bom”. Este é um dos problemas de usar 5 estratos em vez de um sistema de escores numéricos de 0 a 100, por exemplo. O uso de estratos equivale a “arredondar” as notas. Há casos ainda mais graves, em que se usam 3 estratos: Insatisfatório, Regular e Satisfatório. Enfim, quanto menor for o número de estratos, pior fica o sistema de avaliação. Existem procedimentos estatísticos que possibilitam criar estratos consistentes, e nestes casos se pode fazer agrupamentos para finalidades diversas, mas durante o processo das notas e cálculo de médias, deve-se manter toda a informação disponível, com notas com tantas decimais quantas forem indicadas pelo professor. 3.4 Os métodos TCM e TRI A Teoria Clássica dos Testes (TCT), também conhecida (de forma mais geral) como Teoria Clássica da Medida (TCM), que teve seus fundamentos teóricos lançados no século XIX nos Estados Unidos (Cuesta, 1996). Este método necessita de um conjunto de itens (questões) que compõem a prova (instrumento de medida), ou seja, as análises e interpretações estão sempre associadas à prova como um todo, o que é característica principal da Teoria Clássica. Das respostas às perguntas ou sentenças obtém-se um escore que indica o nível de maturidade das organizações na implantação dessas práticas. De acordo com a TCM, o escore observado é composto de um escore verdadeiro (o nível real de maturidade) e um erro de medida. Assume-se que o erro é
  • 39.
    23 aleatório. A equaçãobásica da TCM (Hayes, 1992), descreve a relação entre os escores observados, os escores verdadeiros e o erro: X = T + E, onde: X é o escore observado; T, o escore verdadeiro; e E, o erro de medida. Os erros podem estar associados aos seguintes fatores: Impossibilidade de incluir um número infinito de perguntas no questionário; Impossibilidade de aplicar o questionário um número infinito de vezes e Impossibilidade de submeter os questionários a um número infinito de organizações. Na TCM são avaliadas as características psicométricas dos itens (questões), especificamente, a confiabilidade (consistência interna da escala), a análise do item e a validade do construto, conforme citado anteriormente. Contudo, uma característica dessa teoria consiste no fato de a análise psicométrica do construto ter por ênfase o instrumento de medição como um todo. Atualmente a TCM é usada em praticamente todos os vestibulares do Brasil e em vários exames psicológicos e educacionais do mundo. Vestibulares do ITA (Instituto Tecnológico de Aeronáutica), USP (Universidade de São Paulo), Unicamp (Universidade de Campinas), UNESP (Universidade Estadual Paulista), universidades federais e grandes concursos usam TCM. Uma das principais vantagens deste método é conseguir que os escores obedeçam a uma escala aproximadamente intervalar em mais de 95% dos casos e assim “enriquecendo” a informação original. Uma outra vantagem de uma escala intervalar é que possibilita realizar operações aritméticas de soma e subtração de escores, o que não é possível se a escala for ordinal. Segundo o INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira responsável) pelo ENEM (INEP,2001), a Teoria Clássica de Medida (TCM) possui uma série de estatísticas para a análise de item do tipo múltipla escolha com uma única alternativa correta. Entre elas, destacamos a porcentagem de resposta para cada uma das alternativas, o grau de dificuldade e o grau de discriminação. Essas porcentagens de resposta devem ser calculadas para o grupo de examinados como um todo e também para o grupo de examinados que tiveram os melhores escores totais (grupo superior) e para o grupo de examinados que tiveram os piores escores totais (grupo inferior). Espera-se que as porcentagens de resposta dos examinados do grupo superior, quando comparados com as porcentagens do grupo inferior, sejam maiores na alternativa correta e menores na alternativa não correta. Uma outra estatística igualmente importante para a análise de itens é o “coeficiente bisserial”. Esse coeficiente é relacionado ao coeficiente de correlação de Pearson entre a variável 0-1 e a medida de rendimento do aluno (por exemplo, a nota geral). Esse coeficiente é calculado para cada uma das alternativas do item e dizemos que um item tem bom desempenho quando esse coeficiente tem valor “alto” positivo associado à alternativa correta e valores negativos associados aos não corretos.
  • 40.
    24 Apesar da TCMser uma metodologia bastante utilizada, atualmente em várias áreas do conhecimento, particularmente em avaliação educacional, vêem crescendo o interesse pela aplicação da Teoria da Resposta ao Item (TRI), que propõe modelos com características de indivíduos que não podem ser observados diretamente. Esse tipo de variável deve ser inserido a partir de observação de variáveis secundárias que estejam relacionadas a ela. O que esta metodologia sugere são formas de representar a relação entre a probabilidade de um indivíduo dar uma certa resposta a um item e seus traços ocultos, capacidade ou habilidades na área do conhecimento avaliada. Uma das grandes vantagens da TRI sobre a Teoria Clássica de Medida é que ela permite comparação entre grupos, desde que submetidas à provas que tenham alguns itens comuns, ou ainda, a comparação entre indivíduos do mesmo grupo que tenham sido submetidos a provas totalmente diferentes. Isto porque uma das principais características da TRI é que ela tem como elementos centrais os itens, e não a prova como um todo. É possível, por exemplo, avaliar o desenvolvimento de uma determinada disciplina de um ano para o outro ou comparar o desempenho entre turmas de turnos diferentes do mesmo professor. Os primeiros modelos de Resposta ao Item surgiram na década de 30, e eram modelos em que se considerava que uma única habilidade, de um único grupo estava sendo medida por um teste onde os itens eram corrigidos de maneira classificatória. Estes modelos foram primeiramente desenvolvidos na forma de uma função ogiva normal de um parâmetro. Lord (1952) foi o primeiro a desenvolver o modelo unidimensional de 2 parâmetros, baseado na distribuição normal acumulada (ogiva normal). Após algumas aplicações desse modelo, o próprio Lord sentiu a necessidade da incorporação de um parâmetro que tratasse do problema do acerto casual. Assim surgiu o modelo de 3 parâmetros. Anos mais tarde, Birnbaum (1968) substituiu, em ambos os modelos, a função ogiva normal pela função logística, matematicamente mais conveniente, pois é uma função explícita dos parâmetros do item e da habilidade, envolvendo integração. A partir daí, outros autores aperfeiçoaram e exploraram cada vez mais os modelos de 1, 2 e 3 parâmetros. Atualmente é reconhecida como a mais poderosa ferramenta que existe para tratamento estatístico de questionários, sendo usada em alguns dos mais importantes exames educacionais dos Estados Unidos e da Europa. Devido à grande importância desta ferramenta e ao imenso leque de possibilidades que ela nos oferece, o uso de TRI pelo SAEB (Sistema Nacional do Ensino Básico) foi anunciado como reportagem de capa na revista Nova Escola em 1997. Como exemplo, vamos supor que desejamos comparar o nível de conhecimento entre alunos de duas séries distintas (7ª e 8ª séries do ensino fundamental, por exemplo). Na TCM essa comparação somente será possível caso seja aplicada a mesma prova para as duas turmas. Na TRI, são necessárias apenas algumas questões em comum nas provas aplicadas às duas
  • 41.
    25 séries. Outras vantagens:Maior confiabilidade nos desempenhos indicados pelas notas, maior eficiência na detecção de alunos com dificuldade de aprendizado, mais exatidão para a orientação vocacional, prognósticos mais confiáveis em simulados de vestibulares, proporção mais realista entre notas e conhecimentos ou entre notas e habilidades, possibilidade de construir, em poucos segundos, dezenas de provas diferentes a partir do mesmo banco de itens, assegurando equivalência de conteúdo e de dificuldade, possibilidade de aplicar provas com níveis de dificuldade e conteúdo personalizados para cada aluno sem demandar mais tempo do que seria necessário para uma prova coletiva tradicional, gerar escores em escala com vários aspectos de escala de proporção, corrigir distorções nos valores extremos, predizer as probabilidades de cada aluno acertar cada item e assim conseguir identificar eventuais fraudes (“cola”) em caso de muita disparidade, dentre outras. O TRI foi usado para avaliação de rendimento escolar no estado de São Paulo. A aplicação do TRI no estudo, construção e validação de testes psicológicos e educacionais tem sido muito utilizada por vários pesquisadores e instituições (INEP, 2002). 3.5 Competência e Habilidade Capacidade de articular, mobilizar e colocar em ação valores, conhecimentos e habilidades necessárias para o desempenho eficiente e eficaz de atividades requeridas pela natureza do trabalho. (Enem, 2005) O surgimento do termo competências surgiu no contexto de industrialização que ocorreu em alguns paises como Inglaterra, Estados Unidos e França. Esses países apresentaram dificuldades em integrar seus sistemas educativo e produtivo. Desta maneira, o modelo de competências surgiu como uma proposta para a educação profissional, formulado sob influência do setor produtivo, como uma decorrência das mudanças no mundo do trabalho que apontavam para a necessidade de novas características do trabalhador. Este tema sempre havia sido defendido por educadores, para melhorar a formação do trabalhador. A partir desta necessidade passou a ser uma bandeira dos empresários, na busca de um profissional com maior autonomia, capacidade de resolver problemas novos e iniciativa própria. Uma competência é um conhecimento ou habilidade que são críticos para a geração de produtos ou resultados essenciais (McLagan, 1997). Porém, o conceito de competência adotado pelo IBSTPI (International Board of Standards for Training, Performance and Instruction - www.ibstpi.org) envolve uma série de conhecimentos, habilidades e atitudes relacionadas, que ajudam o profissional a desempenhar bem as atividades de uma determinada função, de acordo com os padrões esperados. Complementado, Todo cidadão tem direito de
  • 42.
    26 aprender, mas elenão aprende só com o currículo, mas com a capacidade que tem de construir sua própria vida, relacionando-se com a família, os amigos, os colegas de trabalho. A competência é o que o estudante aprende e não o que o professor ensina. Entende-se como aluno competente aquele que tem domínio de várias habilidades como: calcular, ler, interpretar, tomar decisões, responder por escrito, pesquisar, anotar, dentre outras. Estas habilidades permitem a solução de problemas de aritmética, mas se saímos do contexto de problema e se consideramos a complexidade envolvida no desenvolvimento de cada uma dessas habilidades, pode-se valorizá-las como competências que, por sua vez, requerem outras tantas habilidades. Para dizer de um outro modo, a competência é uma habilidade de ordem geral, enquanto a habilidade é uma competência de ordem particular, específica. A solução de um problema, por exemplo, não se reduz especificamente aos cálculos que implica, o que não significa dizer que o cálculo não seja uma condição importante. Igualmente, ainda que escrever a resposta não corresponda a tudo que está envolvido na solução de um problema, é uma habilidade essencial. Ora, uma coisa é a competência do professor para expor um tema, outra é sua habilidade para conquistar o interesse dos alunos e envolvê-los nas propostas de sala de aula. Por isso, esta expressão ‘gestão da sala de aula’ é hoje muito discutida na educação. O professor gestor tem a competência para a gestão da sala de aula e tem também a visão do gestor educacional, percebendo a escola como um todo. 3.5.1 Características das Competências Novaes (2001) destaca três características para a definição de competências: •••• Conjunto de atributos - mostram os atributos gerais indispensáveis para o desempenho efetivo de profissionais, considerados excelentes, e que são subjacentes às competências, ou seja, conhecimentos, práticas e atitudes. Neste conjunto desconsidera-se, porém, o contexto em que as competências são aplicadas; •••• Conjunto estruturado holístico e integrado - combina a perspectiva de um conjunto de atributos com o contexto. A competência é relacional, é uma combinação complexa de atributos (conhecimentos, atitudes, valores e habilidades) necessários para o desempenho profissional em situações específicas. •••• Conjunto de tarefas - a competência é vista como um conjunto de tarefas independentes, e que se apresentam bem detalhadas, não havendo interesse
  • 43.
    27 pelas relações queexistem entre elas. A competência é analisada pela observação direta do desempenho; O que se percebe, porém, é que no geral entende-se como competências apenas as atividades listadas no perfil do aluno. Essa interpretação dificulta enormemente a configuração das competências e capacidades numa dimensão educacional, a qual nos pressiona a ir além do atendimento imediato ao mercado de trabalho. Desta maneira, é necessário que a análise pedagógica destas atividades revele possibilidades de um currículo que, além do saber fazer, insira as dimensões dos saberes e de um saber agir de forma responsável, profissional e humano. Assim, por exemplo, a competência de prevenção na profissão da enfermeira requer, além dos conhecimentos, práticas e atitudes, capacidades de relacionar causas e conseqüências, discernir situações de perigo eminente, organizar os dados relacionados ao usuário, comunicar-se com outros membros da equipe responsável pelo cuidado com a saúde e, sobretudo, o profissionalismo pautado pela ética. 3.5.2 Tipos de Competências Segundo a Fundamentação Teórico-Metodológica do ENEM (2005) existem três formas de competência: •••• Competência como condição prévia do sujeito, herdada ou adquirida: É comum definir competência como capacidade de um organismo. Saber respirar, mamar, por exemplo, são capacidades herdadas. Nascemos com competência comunicativa, isto é, herdamos nossa aptidão para a linguagem. Ao mesmo tempo, temos de adquirir competência em uma ou mais línguas, pois essas não são herdadas, mas aprendidas e se constituem patrimônio de nossa cultura e de nossa possibilidade de comunicação. Competência, nesse primeiro sentido, significa, muitas vezes, o que se chama de talento, dom ou extrema facilidade para alguma atividade. •••• Competência como condição do objeto, independente do sujeito que o utiliza: Refere-se á competência da máquina ou do objeto. Por exemplo, a competência ou habilidade de um motorista não tem relação direta com a potência de seu automóvel. O mesmo acontece com relação aos computadores e seus usuários. Uma coisa é nossa condição de operar um certo programa. Outra é a potência do computador, sua velocidade de processar informações, memória, etc. Na escola, essa forma de competência está presente, por exemplo, quando julgamos um professor pela ‘competência’ do livro que adota, da escola em que leciona, do bairro onde mora.
  • 44.
    28 •••• Competência relacional.Essa terceira forma de competência é interdependente, ou seja, não basta ser muito entendido em uma matéria, não basta possuir objetos potentes e adequados, pois o importante aqui é o "como esses fatores interagem". A competência relacional expressa esse jogo de interações. É comum na escola um professor saber relatar bem um problema que está acontecendo em sala de aula, mas na própria aula não saber resolver situações relacionadas com a indisciplina, espaço ou tempo. Numa partida de futebol, para fazer gol, não basta que o jogador saiba chutar a gol, fazer embaixadas, correr com a bola no pé, é necessário que saiba coordenar tudo isso no momento da partida. No caso de uma prova, a qualidade das questões (competência do objeto) não é condição suficiente para que ela atinja os objetivos do professor, é necessário fazer uma boa leitura (competência do sujeito), considerando as reações da turma, o ritmo, as observações, o tempo, o comportamento, dentre outras (competência relacional). Já o primeiro agrupamento de competências transversais, constitui-se: caracterizar, descrever, destacar, identificar, reconhecer, selecionar ou situar. Caracterizam-se, de um modo geral, por um tipo de tomada de decisão ou pela mobilização de recursos que atribuem identidade a algo em um contexto dinâmico, aberto, em que outros fatores ou aspectos modificam-se no jogo das transformações do sistema ou do todo a que se referem. Essas competências implicam, pois, no contexto da tarefa solicitada, uma decisão sobre o que se relaciona ou pertence a certo objetivo ou meta a ser alcançada. São, por isso, indicadores ou sinais da presença de algo que queremos valorizar identificando, caracterizando, reconhecendo, selecionando ou destacando. Segundo o documento do INEP – Brasília (2005) (Exame Nacional do Ensino Médio – ENEM - Fundamentação Teórico-Metodológica), a equipe de autores dividiu as competências em cinco grupos: domínio da linguagem (DL), compreender fenômenos (CF), enfrentar situações-problemas (SP), construir argumentos (CA) e elaborar propostas (EP) e vinte e uma habilidades. Exemplo de uma habilidade: Dada a descrição discursiva ou por ilustração de um experimento ou fenômeno, de natureza científica, tecnológica ou social, “identificar” variáveis relevantes e “selecionar” os instrumentos necessários para a realização ou interpretação do mesmo.
  • 45.
    29 Tabela 3 –Análise das competências transversais Competências Transversais caracterizar,descrever,destacar,reconhecer,selecionar,situar analisar,confrontar,comparar,relacionar compreender,contextuar,ordenar,organizar calcular,interpretar,ler,quantificar,traduzir Intervir,prever,propor Fonte: Adaptado - Documento ENEM 2005. Existem outros estudos sobre competência, como em Fleury (2001): “um saber agir responsável e reconhecido que implica em mobilizar, integrar e transferir os conhecimentos, recursos, habilidades”. Para Ramos (2002), a competência “é concebida como o conjunto de saberes e capacidades incorporadas por meio da formação e da experiência, somados à capacidade de integrá-los, utilizá-los e transferi-los em diferentes situações”. Para Zarifian (2001), é “o tomar iniciativa e o assumir responsabilidade diante de situações com as quais depara”. Despresbiteris (2001) define competência como “um conjunto identificável de conhecimentos (saberes), práticas (saber-fazer) e atitudes (saber-ser) que mobilizados podem levar a um desempenho satisfatório”. Nas palavras de Campos (2003), “competências são capacidades intelectuais, afetivas, sociais e morais que possibilitam o agir de um sujeito, dando-lhe as condições necessárias para a sua realização e servindo como subsídios para esse agir, o qual deverá se manifestar por meio das habilidades”. A proposta de Bliss, Monk e Ogborn (1983) destaca a presença de três componentes considerados primordiais: a institucional, a humana e a situacional. Isto porque carece de qualquer sentido falar em um processo educacional baseado em competências sem ter uma clareza de que natureza é a escola ou o curso que estamos tratando, qual é o construtor de alunos que imaginamos formar, e para ser ou fazer o quê estamos educando esses alunos. Avançando no detalhamento da visão de cada uma desses componentes, se considera fundamental, no caso institucional, que o professor, os objetivos do curso e a abordagem pedagógica estejam devidamente afinados com a proposta, o que não significa dizer que outros fatores tais como o ambiente escolar, a infra-estrutura, segurança, dentre outros, não sejam também importantes. Existem duas grandes subdivisões abrangentes quando se pensa em competências em termos de objetivos: uma relativa ao trabalho e outra relativa à prática pedagógica. A avaliação baseada em competências e habilidades, proposta pelo MEC, tem a intenção de diagnosticar como o aluno está preparado para atender os objetivos da área produtiva. Percebe-se também que, para elaborar uma avaliação por competências é necessário que haja,
  • 46.
    30 antes de qualquercoisa, um comprometimento do professor no sentido de elaborar uma avaliação contextualizada e voltada para a formação do individuo, levando em consideração não só os conhecimentos como seus valores e atitudes. Na tabela 4, tem-se uma relação de algumas capacidades, competências e habilidades a serem desenvolvidas na área de programação. Tabela 4 – Disciplina de Algoritmos e Programação Computadores Capacidades Competências Habilidades 1. Compreender o conceito de Algoritmo 2. Reconhecer a importância de se fazer um projeto 3. Conhecer as estruturas de controle e decisão 4. Compreender o funcionamento das organizações de arquivos e os tipos de acesso aos mesmos 1. Compreender os conceitos envolvidos 5. Conhecer metodologias de projeto de programas orientadas a dados, a processos e Orientação a Objeto 1. Reconhecer as fases do processo de desenvolvimento de um programa Informar-se 2. Identificar necessidades de um programa 2. Identificar o tipo de aplicação em que uma organização de arquivo pode ser usada 1. Definir a estratégia de solução de um projeto 2. Definir a especificação funcional do programa 1. Definir estratégias para solução de um problema 3. Definir a especificação estrutural dos dados Analisar/Organizar 2. Especificar dados 1. Especificar dados simples (constantes e variáveis) e estruturas de dados básicas (arrays, registros) 3.6 Instrumento Prova Com base no documento do ENEM (2005), pode-se verificar a preocupação de seus autores em se divorciar das provas tradicionais. Está escrito no documento que a verificação tradicional do aprendizado, geralmente, testa a retenção pelo aluno de determinados conceitos ou de sua capacidade de aplicação imediata e estrita deles, enquanto o projeto ENEM apresenta situações em que o conhecimento adquirido revela-se em contexto real e apresenta os elementos factuais ou mesmo teóricos de que o aluno possa necessitar para, a partir de um domínio conceitual básico, chegar à compreensão e explicação de fenômeno ou processo natural, tecnológico e social ou de manifestação artístico-cultural. Não existe, competição entre os testes tradicionais e a avaliação de desempenho, como a do ENEM. O desafio está em encontrar o equilíbrio entre eles: enquanto que o teste tradicional responde à pergunta “O que o aluno sabe?” e se preocupa com as competências como memorizar, identificar, listar e
  • 47.
    31 relacionar; a avaliaçãodo desempenho responde à questão “Em que medida o aluno é capaz de utilizar aquilo que sabe?” e mobiliza competências como classificar, comparar, analisar e avaliar. De acordo com Murphy (1995), é necessário propor tarefas interativas e diversificadas, que os alunos considerem como necessárias e significativas para se atingirem os objetivos pretendidos: avaliar e aprofundar capacidades individuais. Um outro ponto importante no processo de avaliação é a forma de como utilizar e elaborar o instrumento de medição. Isto é, como foram elaboradas e apresentadas as questões, se elas estão bem claras, específicas e compreensíveis, dessa forma auxiliando o aluno na compreensão da questão. Como a medição é um processo quantitativo, que mede a circunstância, os erros podem ser vistos como uma forma negativa a proposição de se incentivar o aluno. Enquanto a prova é um processo essencialmente qualitativo, e que vai de encontro aos objetivos pré-estabelecidos respeitando padrões e critérios definidos, a avaliação é um elemento formativo, pois serve como fator de incentivo e de evolução para alunos e professores. Dentre os vários instrumentos de medição de desempenho acadêmico, a prova, é uma das ferramentas com mais competência para atingir os objetivos educacionais. A classificação destes instrumentos de medição é baseada na forma de coleta dos dados junto ao corpo discente, e esta coleta cria uma grande expectativa de se obter bons resultados que retratem o mais fiel possível a realidade. “Para isso, devemos considerar dois importantes aspectos, definir bem o que queremos avaliar e selecionar um instrumento que melhor possa atender a coleta dos dados para atender o objetivo que se deseja alcançar” (Haydt, 2000). Baseado na afirmação de Haydt (2000), um exemplo prático do uso da prova: um professor precisa avaliar um determinado conteúdo. Com base na taxionomia de Bloom (1956), o professor estabelece alguns objetivos cognitivos dentro das categorias de conhecimento, compreensão e síntese. Para verificar se os objetivos foram atendidos nas categorias de conhecimento e compreensão, foi escolhida a técnica de testagem, sendo aplicado o instrumento de prova objetiva. Para avaliar a capacidade de síntese o professor selecionou o instrumento de prova dissertativa. 3.6.1 Detalhando os instrumentos Dos instrumentos de avaliação escrita destacam-se: o teste, o prova objetiva e a prova subjetiva. 1) A testagem O teste é o instrumento de avaliação que apresenta maior precisão nas informações obtidas, além de atender o critério de objetividade, que faz com que o examinador das questões possa valorizar as respostas, já que elas foram previstas na elaboração do teste. Um
  • 48.
    32 teste é desenvolvidopelo professor com questões elaboradas conforme o conteúdo e os objetivos propostos. De outra forma, o teste pode ser padronizado, quando organizado e elaborado perante testes e medidas que foram experimentados em grupos de controle. A vantagem do teste padronizado é que ele possui normas e tabelas que facilitam a interpretação de seus resultados. Dentro dos testes padronizados existem três tipos de testes, os testes de aptidão que medem as habilidades, os testes de personalidade e interesse, que verificam a capacidade intelectual, interesses, atitudes e formas de reação com o ambiente, demonstrando a sua personalidade, e por último temos os testes de aproveitamento, que são aqueles que medem se o aluno assimilou e adquiriu um determinado conhecimento como resultado do ensino (Haydt, 2000). 2) Questões Objetivas O fato da prova se chamar “objetiva”, não é pela maneira de como são dadas às respostas, mas sim pelo processo de computação de escores utilizado. O principal elemento da questão de uma prova é a sua natureza, pois é na validade dela que os resultados demonstram uma boa amostragem das habilidades e conhecimentos do conteúdo aplicado. Para que isto ocorra da melhor maneira possível é bom que ela seja elaborada, organizada e orientada da seguinte forma: •••• As questões devem ser elaboradas a partir de conteúdos relevantes vistos em aula; •••• As questões devem ter seu nível de dificuldade balizado entre o nível da classe e a dificuldade desejada; •••• A elaboração das questões deve ser discriminativa ao que foi estudado, ou seja, os itens não podem ser nem tão fáceis e nem tão difíceis de forma a não representar o que foi apreendido; •••• As questões devem ser elaboradas com uma linguagem clara, objetiva e sucinta fazendo com que a questão seja compreensível e evitando assim ambigüidades; •••• Colocar instruções e/ou exemplos dos tipos de categorias (resposta curta, lacuna, certo/errado, acasalamento ou combinação e múltipla escolha) selecionados, de forma a orientar e familiarizar o aluno com as questões aplicadas; •••• Não copiar literalmente o que foi aplicado em sala ou ainda de outra fonte de consulta como livros ou manuais disponibilizados para estudo; •••• Colocar a disposição das questões em ordem de dificuldade crescente, apresentando primeiro as questões mais fáceis e depois as mais difíceis; •••• Agrupar as questões conforme o tipo de categoria utilizado e o mesmo conteúdo;
  • 49.
    33 •••• Inserir aofinal do enunciado de cada questão o seu valor, e se possível a porcentagem; •••• Evitar os indícios da resposta da questão em uma outra questão. Outro fator a ser considerado é que deve ser dado o tempo apropriado para responder as questões, pois os testes visam certificar o nível de aprendizado e não a velocidade com que se respondem as questões (Haydt, 2000). 3) Questões dissertativas As provas de dissertação são aquelas onde o aluno é colocado a responder uma ou mais questões com suas próprias palavras. Está técnica de avaliação avalia algumas habilidades intelectuais do aluno através da sua expressão, que é a capacidade de expressar tudo aquilo definido nas categorias do domínio cognitivo especificado por Boom (1956) a chamada Taxionomia de Objetivos Educacionais. A categoria mais comum é aquela de perguntas objetivas que exigem como resposta a lembrança de algum fato ou dado específico, como nomes, datas ou locais, que para a sua formulação são usadas expressões como “o que; quem; quando; qual; e onde”. Outra categoria é aquela que exige uma resposta curta, porém, bem elaborada e consistente, que para a sua formulação são usadas expressões como “relacione, enumere e defina”. E por último se tem a categoria onde se exige uma resposta complexa, consistente e de extensão variável, que para a sua formulação são usadas expressões como “descreva, explique, resuma, compare, analise e interprete”. A prova dissertativa é defendida por alguns autores, dentre eles Moretto (2007), como sendo a avaliação mais proveitosa para medir o aprendizado e construção do conhecimento do aluno. Também é a mais usada pelos professores universitários, segundo pesquisa realizada (Capítulo 4). Para uma boa formulação de questões dissertativas é recomendado que elas sejam planejadas com antecedência, que elas atendam os objetivos educacionais propostos, que os itens estejam colocados de forma clara e exata, de maneira que o aluno interprete a pergunta para saber o que exatamente responder, que as questões estejam formuladas de acordo com o tempo disponível para a realização da prova e que não sejam utilizadas questões onde o aluno escolha o que ele deseja responder (Haydt, 2000). Como a avaliação é o resultado obtido de medições e comparações do processo ensino-aprendizagem, é imprescindível que os instrumentos de medidas sejam confiáveis já que são através deles que os alunos são julgados. As características de um bom instrumento de avaliação, de acordo com (Haydt, 2000), são: •••• Validade: mede o que se propõe a medir e permite generalizações apropriadas sobre as habilidades dos estudantes, inclusive as habilidades tecnológicas como o uso da Internet; •••• Consistência: requer que os professores definam claramente o que esperam da avaliação, independentemente da matéria ou do aluno, sabendo-se que os
  • 50.
    34 professores têm queconviver com um publico alvo muito heterogêneo na sala de aula; •••• Coerência: apresenta conexão com os objetivos educacionais e a realidade do aluno; •••• Abrangência: envolve todo o conhecimento e habilidades necessárias ao conteúdo explorado; •••• Clareza: deixar claro o que é esperado do estudante; não confundir nem incluir respostas; •••• Equidade: deve contemplar igualmente todos os estudantes, levando em conta as características e valores de sua comunidade. O Instrumento de Medida tem como objeto verificar o desempenho do aluno e a melhoria do aprendizado através de informações fornecidas pela avaliação. É necessário e imprescindível para obter os melhores resultados, que a elaboração do instrumento de avaliação seja planejado através de uma análise de objetivos de competências e habilidades. Concluindo, a avaliação só é válida se os instrumentos de medição forem confiáveis, e os dados coletados retornarem para os alunos em forma de benefícios para a melhoria das habilidades e competências. 3.7 Considerações Finais Neste capítulo foi abordada a importância da prova no processo ensino-aprendizagem e como este instrumento de avaliação permite a identificação de competências e habilidades e o diagnóstico de deficiências. A Prova é o instrumento de avaliação preferido na avaliação somativa, privilegiando a medida de forma a verificar se o aluno assimilou o conteúdo proposto. Apesar das restrições de muitos educadores, não há nada de errado em usar provas com a finalidade de acompanhar a evolução do aluno. Aliás, é uma importante ferramenta do professor para obter informações e formular estratégias para melhorar o processo ensino- aprendizagem. Também foi abordado a Metodologia de Medida usada nas instituições de ensino. Este método atribui nota com base na quantidade de respostas certas, na maioria das instituições se utilizam da escala ordinal. Como ferramenta de análise dos resultados das provas tem-se os métodos TCM e TRI. O método TCM necessita de um conjunto de itens (questões) que compõem a prova (instrumento de medida), ou seja, de análises e interpretações que estão sempre associadas à prova como um todo, o que é característica principal desta teoria.
  • 51.
    35 Uma das principaisvantagens deste método (TCM) é conseguir que os escores obedeçam a uma escala aproximadamente intervalar em mais de 95% dos casos e assim “enriquecendo” a informação original. Atualmente vêem crescendo o interesse pela aplicação da Teoria da Resposta ao Item (TRI), que propõe modelos com características de indivíduos que não podem ser observados diretamente. É possível, por exemplo, avaliar o desenvolvimento (habilidade) de uma determinada disciplina de um ano para o outro ou comparar o desempenho entre turmas de turnos diferentes do mesmo professor. Em suma, a abordagem de medida se baseia na avaliação que tem como objetivo medir as competências e as habilidades dos alunos. O modelo de competências surgiu como uma proposta para a educação profissional, formulado sob influência do setor produtivo, como uma decorrência das mudanças no mundo do trabalho que apontavam para a necessidade de novas características do trabalhador. Baseado nesta necessidade entende-se como aluno competente aquele que tem domínio de várias habilidades como: calcular, ler, interpretar, tomar decisões, responder por escrito, pesquisar, anotar, dentre outras. Outro ponto importante no processo de avaliação é a forma de como utilizar e elaborar o instrumento de medição. Isto é, como foram elaboradas e apresentadas as questões, para medir as competências e habilidades, se elas estão bem claras, específicas e compreensíveis, dessa forma auxiliando o aluno na compreensão da questão. Dentre os vários instrumentos de medição de desempenho acadêmico, destaca-se a prova como uma das ferramentas com mais competência para atingir os objetivos educacionais. Para verificar se os objetivos foram atendidos nas categorias de conhecimento e compreensão, foi escolhida a técnica de testagem, sendo aplicado o instrumento de prova objetiva. Para avaliar a capacidade de síntese o professor selecionou o instrumento de prova dissertativa. Dos instrumentos de avaliação escrita destacam-se: o teste, o prova objetiva e a prova subjetiva. O teste é o instrumento de avaliação que apresenta maior precisão nas informações obtidas, além de atender o critério de objetividade e padronização. Já a prova Objetiva se chama “objetiva”, não pela maneira de como são dadas às respostas, mas sim pelo processo de computação de escores utilizado. Já a prova subjetiva é constituída de questões dissertativas são aquelas onde o aluno é colocado a responder uma ou mais questões com suas próprias palavras. Está técnica de avaliação avalia algumas habilidades intelectuais do aluno através da sua expressão, que é a capacidade de expressar tudo aquilo definido nas categorias do domínio cognitivo especificado por Boom (1956), a chamada Taxionomia de Objetivos Educacionais. A prova dissertativa é defendida por alguns autores, dentre eles Moretto (2007)
  • 52.
    36 e também pelaTeoria da Avaliação Autêntica, como sendo a avaliação mais proveitosa para medir o aprendizado e construção do conhecimento do aluno. Concluindo, vimos que o instrumento de avaliação tem como objetivo medir as competências e habilidades e é isso que a sondagem entre professores revela no Capítulo 4. Os professores se manifestaram propícios a utilizar uma ferramenta computacional que possa ajudá-los a avaliar as competências e habilidades de seus alunos.
  • 53.
    37 4 FERRAMENTAS DEELABORAÇÃO DE AVALIAÇÕES Neste capítulo é apresentada à análise de uma pesquisa junto ao professores sobre as necessidades de ferramentas computacionais para ajudá-los no processo de avaliação de competências e habilidades e, em seguida, é realizada uma análise das ferramentas de automação da elaboração de provas encontradas no mercado. A idéia é, com base nas informações coletadas dos professores, analisar as ferramentas disponíveis no mercado e avaliar o quanto uma ferramenta pode ajudar um professor na tarefa de elaboração de avaliações do tipo prova e/ou exercícios. Com base nestas informações é feito um estudo comparativo dos vários softwares analisados. 4.1 Introdução Nestes tempos onde a Internet é uma das grandes sensações do mundo globalizado, compartilhar informações, a comunicação entre os pares e a produtividade é exigência do mercado. Na educação não é diferente, o computador é uma ferramenta que viabiliza a concretização dos objetivos educacionais e principalmente serve de apoio nas tarefas dos professores, entre elas, a elaboração de instrumentos de medida. Segundo Viana (1989), “Os instrumentos de medida facilitam as observações que os professores realizam do desempenho do estudante”. 4.2 Pesquisa sobre como o Professor elabora suas Avaliações Foi realizada, em janeiro de 2007, uma sondagem de necessidade e uso do computador por professores. Visou-se mensurar as atividades praticadas no computador pelos professores, no que se refere às competências de elaboração de instrumento de medição, bem como,
  • 54.
    38 identificar deficiências pelosmesmos nos instrumentos utilizados. Neste questionário foram feitas 13 (treze) perguntas com um total de 30 (tinta) itens que abrangem o objeto deste estudo, a 30 (trinta) educadores, todos os professores universitários, porém de áreas de conhecimento (disciplinas) distintas, bem como de sexos diferentes (20 (vinte) homens e 10 (dez) mulheres) e idades bem variadas. A maioria do levantamento foi realizada nos campus de uma universidade particular de Fortaleza, por ser a própria instituição onde leciona o autor deste trabalho. Justifica-se o fato por se ter acesso a conhecimento da organização desta instituição. Todos os professores entrevistados foram identificados e na sua totalidade responderam prontamente o questionário de respostas objetivas com algumas com justificativa. As questões formuladas foram agrupadas em 5 (cinco) categorias, para melhor analisar as informações extraídas do questionário. Foram utilizados números, tabelas e gráficos e divididas os conteúdos assim: a) o uso do computador, b) ferramenta específica para elaboração de provas, c) tempo gasto e habilidades necessárias, d) compartilhamento de informações e interesses e e) expectativas sobre um software específico. a) O uso do computador A pergunta “Você utiliza o computador para ajudá-lo na elaboração da prova?”, foi quase uma unanimidade a resposta “SIM”. Dos 30 professores, 29 (96,7%) recorrem à informática para ajudá-los na elaboração de suas avaliações. b) Ferramenta específica para elaboração de provas A tabela 5 demonstra que o professor utiliza os recursos de um Editor de Texto para auxiliá-lo nas suas tarefas de criar, editar, formatar, arquivar, imprimir as provas, dentre outras. Porém, nenhum professor (0%) elabora com ferramenta específica, no universo pesquisado. Tabela 5 – Recursos de um Editor de Texto Objeto Sim (%) Não (%) Você utiliza editor de texto para elaborar suas provas? 96,7 3,3 No caso de usar editor de texto, você arquiva estas provas para servirem como referências para provas futuras? 90,0 10,0 Para elaborar sua prova, você usa algum software especialista, tipo Prova Fácil, para ajudá-lo? 0,0 100,0 c) Tempo gasto e habilidades necessárias
  • 55.
    39 Neste item seconstata, através do tempo gasto, as dificuldades encontradas pelos professores no ato de desenvolver instrumentos de avaliação. De acordo com o gráfico 1, 60% dos professores consomem 2 (duas) ou mais horas nesta tarefa. Gráfico 1 – Tempo gasto pelo professor na elaboração de prova A competência que mais consome tempo é a de criação de novas questões, este resposta é compartilhada por 100% dos entrevistados, compreendendo as habilidades de (análise, interpretação, sintetização, etc.). O controle para não repetição de questões, foi considerado por 60% (18 dos 30) dos professores uma tarefa demorada e em terceiro lugar “a procura das questões arquivadas” com 43,3%. Considera-se que este processo é demorado devido a falta de recursos do processador de texto. O professor precisa abrir arquivo por arquivo, em alguns casos. Uma outra informação relevante é o gasto de tempo por parte de 33,3% dos professores para personalizar questões, procedimento perfeitamente automatizado. Ver gráfico 2. Gráfico 2 – Habilidades necessárias no ato de elaboração de questões 40% 43% 10% 7% 1 hora 2 horas 3 horas Mais de 3 horas Habilidades Necessárias 0 5 10 15 20 25 30 35 Habilidades No.deProfessores Fazendo questões novas Tentando não repedir a questão Personalizando as questões Formatando a prova Procurando questões arquivadas Montando a questão com Imagens Procurando questões em livros, etc
  • 56.
    40 As respostas indicadasno gráfico 3, relatam a preferência dos professores por tipo de questões, escolhendo as questões do tipo aberta e em segundo lugar as de questões de múltipla escolha. Gráfico 3 – Preferência do Professor quanto ao tipo de questão d) Compartilhamento de informações e interesses Nesta sondagem foi contemplada a coordenação pedagógica visando a percepção do interesse no acompanhamento pedagógico das avaliações. A pergunta “A coordenação pedagógica acompanha as avaliações”, 46,7% (14 de 30 professores) informaram que não existe acompanhamento. Os demais enviam as provas para a coordenação, por e-mail ou uma cópia da prova. Quanto ao interesse em compartilhar as questões formuladas pelo autor com outros professores, tem-se um dado bastante satisfatório: 70% dos professores estão dispostos a compartilhar com outros professores as suas questões, listas de exercício e prova (gráfico 4). 26 14 7 4 0 5 10 15 20 25 30 Aberta M ultiescolha Verdade ou Falso Relacionamento Tipos de Questões Preferência do Professor
  • 57.
    41 Interesse em trabalharcom o reuso 70% 30% Sim Não Gráfico 4 - Interesse em compartilhar e colaborar com o reuso e) Expectativas sobre um software específico Com relação à utilização de uma ferramenta (software) que o ajudasse a elaborar suas avaliações, praticamente 100% dos entrevistados mostraram-se interessados em trocar o processador de texto por um software especialista. Gráfico 5 - Expectativas de Funcionalidades Num Software A esse grande interesse, atribui-se o fato de querer mais controle e produtividade no processo de elaboração de exercícios e provas. O “Controle de questões já usadas” foi apontado por 27 (91,3%) dos 30 professores como o item de maior preocupação na hora da elaboração da prova. O segundo mais importante foi “poder procurar provas arquivadas”, em um software especialista seria possível avisar, por ter ferramentas de buscas. A terceira característica mais importante apontada na pesquisa foi “Gerar Provas Personalizadas”, com questões sorteadas, por exemplo. Outras funções importantes foram: “Estatísticas de utilização” com (56,5%), “Controle de dificuldades” (52,2%), dentre outras. Ver Gráfico 4. 0 5 10 15 20 25 30 No.deProfessores Expectativas de Funcionalidades Num Software Cadastro de questões c/imagens Exportar para editor de texto Controle de questões já usadas Gerar Provas Personalizadas Prova para varias instituições Poder procurar provas arquivadas Estatísticas e relatórios Integração c/outros professores Certificar ou não uma questão Ter recursos gráficos Parametro de dificuldade da prova
  • 58.
    42 Reforçando a necessidadede uma fermenta ágil, configurável e produtiva a pergunta “Quando você utiliza mais de uma prova na sua avaliação, para evitar cooperação (cola) entre os alunos, você controla o nível destas várias provas?”, obteve-se 56,7% (17 de 30 professores) de sim e 43,3% de não. Dos 30 professores questionados, 7 (sete), ou seja 23,3% informaram que não controla a “Repetição de questões”, 12 (40%) dos professores controlam pela memória, 5 (cinco), 16,7% sempre fazem questões novas e o restante 20% usam de outros meios. Isso provavelmente se deve ao fato do Processador de Texto não automatiza estes procedimentos. 4.3 Ferramentas de Apoio ao Professor Considerando as respostas do levantamento de dados junto a professores, foi feito um estudo sobre ferramentas de apoio a professores na elaboração de provas. Nesta seção, faz-se uma abordagem sobre os vários instrumentos. O primeiro uso do computador na educação ocorreu nos anos cinqüenta. Entretanto, naquela época, não havia microcomputadores e por isso o uso do computador era muito restrito. Com a invenção dos microcomputadores nos anos setenta a informática difundiu-se nas escolas. Nos últimos anos o professor descobriu que o Editor de Texto poderia auxiliá-lo na elaboração das suas provas, com foi visto em questionário aplicado. Com o apoio das instituições de ensino promoveram-se cursos, muitos sem ônus para o professor, daí porque esta ferramenta passou a ser muito popular entre os professores. Porém, o software Editor de Texto não foi desenvolvido e nem adaptado para este fim, o professor é que se adaptou a ele. Contudo, hoje os professores estão mais exigentes e procuram outras soluções mais voltadas para suas atividades, e esta insatisfação fica evidente na presente pesquisa. Os avanços tecnológicos têm contribuído muito para a melhoria da avaliação, seja com a utilização pelo professor de um software especialista para ajudá-lo na elaboração de provas, seja pela TV digital que está sendo usada em um projeto inovador de formação, informação e orientação ao professor. No estado do Amazonas, por exemplo, professores obtêm cursos de formação, inclusive de avaliação, através de um sistema de TV digital totalmente interativo (Genus, 2007). Também existem as ferramentas de controle de atividades docentes que têm a finalidade de facilitar a vida do professor. Este tipo de ferramenta ajuda o professor nas suas atividades como elaboração, organização e gerenciamento de suas tarefas. Além da ajuda ao professor, esse tipo de software também facilita e agiliza as tarefas que envolvem a secretaria da instituição de ensino, como as prestações de contas. Ainda, as funções de tal software facilitam o desempenho de tarefas como o cadastro de alunos e turmas, o registro dos planos de aula e do conteúdo ministrado; o controle de atividades, avaliações, notas e freqüência. Ele também oferece ao professor diversas opções de análise dos rendimentos de cada turma ou e
  • 59.
    43 cada aluno. Exemplosdeste tipo de software são: o Q-Acadêmico, desenvolvido pelo MEC, o Sophia, Siscona, dentre outros. 4.4 Análise dos Softwares de elaboração de prova Baseado no resultado da sondagem (questionário), o professor informou quais são as funções importantes que ele deseja encontrar em uma ferramenta de Elaboração de Provas. De posse destes dados, foram analisadas várias ferramentas do mercado, porém, baseado nas funcionalidades foram selecionados 7 (sete) softwares que serão apresentados a seguir. 4.4.1 Professor Tech II Desenvolvido por João Paulo C de Mesquita (Professor e Analista de Sistemas). É um software nacional, desenvolvido com tecnologia internacional, para professores de quaisquer disciplinas desde a educação infantil até cursos de doutorado. Com ele o professor é capaz de gerar provas, trabalhos e exercícios rapidamente e com qualidade, podendo imprimi-los e/ou exportá-los para formatos como: DOC (Document) e PDF (Portable Document Format). O Software cria e organiza provas, trabalhos, exercícios e questões. Com o Professor Tech II a escola ou o professor serão capazes de criar e organizar provas, trabalhos, exercícios (com gabarito) e questões (VF, CE, Múltipla Escolha ou Subjetivas) rapidamente e com qualidade, podendo imprimi-los e/ou exporta-los para formatos como: .doc do Word, .PDF do Acrobat. No total são 8 formatos diferentes. O Professor Tech II também vem com Cadastro de Professores, Cadastro de Escolas e com questões exemplo de algumas disciplinas cadastradas. A seguir, algumas características importantes do software, sejam por divulgação comercial ou em teste do demo: •••• Uma cópia poderá ser usada por vários professores mesmo que sejam de disciplinas diferentes. •••• Funciona em rede (é necessário adquirir a licença para funcionamento em rede). •••• Compartilha questões entre professores através da importação e exportação de questões. •••• Suporta questões de verdadeiro ou falso, certo ou errado, múltipla escolha e subjetivas. •••• Permite a inclusão de imagens, tabelas, formatação de fonte e etc, no cadastro de questões. •••• Permite formatação da prova, trabalho ou exercício após sua geração.
  • 60.
    44 •••• Permite ocadastro de modelos de instruções para ser usado em provas, trabalhos ou exercícios. •••• Permite o cadastro de modelos de cabeçalhos para ser usado em provas, trabalhos ou exercícios. •••• Exporta provas, trabalhos ou exercícios para 8 formatos diferentes •••• Possui sofisticada ferramenta de pesquisa/filtragem de provas, trabalhos e exercícios. Pode-se ter uma idéia das suas interfaces pelas ilustrações abaixo, figuras 2 e 3. Figura 2 – Tela Pincipal do Tech II Figura 3 – Tela de Provas do Tech II 4.4.2 Prova Fácil Este é um dos programas mais conhecidos no mercado brasileiro, sendo encontrado no endereço www.provafacil.com.br. Este software permite que o professor personalize o formato da sua prova, evitando dessa forma que se tenha que formatar sempre que elaborar uma nova prova. Ver figuras 4, 5 e 6. Algumas das principais características desta ferramenta: •••• Opção para inserir além de bitmaps, gif e jpg; •••• Opção de colar uma imagem diretamente da área de transferência para o campo imagem da questão; •••• Selecionar fontes e tamanhos diferentes para a prova; •••• Funcionamento em rede; •••• Opção para formatação de quebra de página individual em cada questão; •••• Exportar a prova para vários formatos;
  • 61.
    45 •••• Permite apersonalização da prova; •••• Cadastro de perguntas e respostas com figuras; •••• Opção para salvar a prova e imprimir em outro computador. Figura 4 – Tela Principal do Prova Fácil Figura 5 – Cadastro de Perguntas do Prova Fácil Figura 6 – Cadastro de Provas do Prova Fácil 4.4.3 Super Professor Este software disponibiliza quatro versões: Escola, Escola Multi-Usuário, Ensino Fundamental e Professor, em seu site www.superprofessorweb.com.br. A sua propaganda informa que nenhuma outra ferramenta permite aumentar tanto a rapidez e a qualidade na preparação de provas, sem abrir mão de metodologia e princípios pedagógicos. Informa também que o software otimiza o trabalho de horas em alguns minutos. Ver figuras 7 e 8. Características do produto: •••• Pode inserir da questão com imagens; •••• Pesquisa por: provas, período, assuntos, dentre outos; •••• Formata e exportar para vários Editor de Texto;
  • 62.
    46 •••• Integração comoutros professores da mesma escola; •••• Monta provas configuráveis pelo professor; •••• Vários recursos gráficos; •••• Permite classificar as questões por dificuldade. Figura 7 – Cadastro de Provas do Super Professor Figura 8 – Visualização da Prova no Super Professor 4.4.4 SisProva - Software para gestão automatizada de provas. É um software desenvolvido para automatizar o processo de elaboração de provas e exercícios complementares, utilizado para o aprendizado dos alunos. Consistem em um acervo de perguntas e respostas organizado por matéria, série, grau de dificuldade, etc. Suporte: Jairo Fusinato - fusina245@yahoo.com.br. Ver Figuras 9 e 10. Características gerais da ferramenta: •••• Agilidade na elaboração de provas e exercícios, proporcionando tempo para preparação de aulas; •••• Auxílio na correção de Provas e Exercícios; •••• Personaliza provas; •••• Possibilita a continua atualização do acervo; •••• Editor de fórmulas e gráfico; •••• Controla a dificuldade da questão; •••• Tem um visual do Windows Explorer e pode procurar provas arquivadas; •••• Exporta prova para Editores de Texto; •••• Fácil Instalar e configurar software; •••• Fácil manutenção.
  • 63.
    47 Figura 9 –Cadastro de Questões do SisProva Figura 10 – Gerenciamento de Provas do SisProva 4.4.5 D7-Teacher O D7 TEACHER é um software de alto nível, desenvolvido para ambiente Windows, que tem por finalidade o gerenciamento e a agilização das atividades de um professor, como por exemplo: criar provas, corrigir provas, controlar notas, etc. além de possuir questões já cadastradas. O D7 TEACHER é uma ferramenta indispensável para o professor moderno, que deseja estar em dia com os avanços tecnológicos mundiais, disposto a adequar a sua forma de trabalhar aos padrões atuais. Este sistema pode ser utilizado por professores universitários, por professores do ensino fundamental e médio, de cursos pré-vestibulares, cursos de inglês e cursos de informática, etc. O site da empresa é www.d7sistemas.com. O D7-Teacher permite o cadastro de várias informações, tais como: Cadastros: •••• Questões: São cadastradas as questões para provas, exercícios e trabalhos. Elas podem ser: abertas, múltipla escolha, de completar, enumerar, verdadeiro ou falso e gráfica. E também, nesta janela será definido o seu grau de dificuldade; •••• Tabelas: São cadastradas as características de cada questão. Nesta janela deve ser informado: Nível e Período; Curso; Matéria e Assunto; Fonte. Isto também para, que depois, torne mais fácil a tarefa de selecionar questões para serem usadas nas suas atividades; •••• Alunos: Nesta janela são cadastrados os alunos, a Instituição, a Classe (Turma) e selecionado o Curso, Nível e Período dos alunos; •••• Provas: Este módulo o avaliador monta sua prova com todos os recursos disponíveis desta ferramenta, como: matéria, assunto, as questões, formata a prova, disponibiliza a resposta, gráficos, estatísticas, dentre outros recursos. Ver Figuras 11. Relatórios e Acessórios:
  • 64.
    48 •••• Provas (comresposta/sem resposta); •••• Gabaritos (professor / aluno); •••• Notas (geral / acima da média / média / abaixo da média); •••• Estatística (gráficos); •••• Editor de Equações: São elaboradas quaisquer tipos de equações, que poderão ser usadas nas questões e para ajudar na rotina do professor; •••• Editor gráfico: É usado para colocar imagens de acordo com a necessidade do professor; Figura 11 - Cadastro de Questões do D7-Teacher 4.4.6 Questcomp Esta ferramenta QuestComp, que permite a avaliação do processo de ensino- aprendizagem via web através da elaboração e realização de provas, questionários e entrega de trabalhos. Este recurso permite o acompanhamento do desempenho individual e coletivo dos usuários possibilitando ao professor verificar os conteúdos que os alunos apresentam maior dificuldade (Abrão, 2003). Inicialmente um administrador precisa criar os grupos e cadastrar os usuários especiais (professores). Estes usuários terão permissão para criar as avaliações e atribuí-las ao seu grupo de usurários. O administrador também tem poderes para fazer modificações e adicionar ou remover questões em qualquer prova no sistema. O aluno deverá se cadastrar no sistema deverá fornecer seus dados pessoais para contato e escolher no momento do cadastro em qual grupo deseja ingressar. Ao cadastrar uma prova, o professor deve especificar quais grupos de alunos terão acesso a ela e, também, deve definir informações como valor total da prova e número máximo de questões. O professor também deve cadastrar as questões de cada prova definindo se a questão é aberta ou de múltipla escolha, podendo anexar objetos multimídia (som, imagem, vídeo). Também se pode especificar um valor individual para cada questão, a data inicial e final que a questão ficará disponível e o tempo máximo que o aluno terá para resolvê-la.
  • 65.
    49 Questões dissertativas deverãoser corrigidas pelo professor e poderão ser consideradas erradas (com valor zero), certas (com valor total) ou parcialmente certas (com um valor fracionado). Questões de múltipla escolha são corrigidas automaticamente pelo sistema. O aluno por sua vez, pode optar em responder qualquer prova que esteja disponível para ele e pode interrompê-la no intervalo entre uma questão e outra. Se a questão for interrompida antes que o servidor receba uma resposta, a questão pode ser anulada pelo servidor por questões de segurança. Questionários: O sistema também permite que questionários para pesquisa de opinião sejam criados, oferecendo ao professor, a possibilidade de definir qual grupo poderá responder o questionário. No momento do cadastro das questões o usuário pode definir como deverão ser coletadas as respostas. Os tipos de respostas permitidas são: caixa de seleção única (radio), caixa de múltipla seleção (checkbox), lista de itens (select), campo de texto (text) e caixa de texto (textarea). A Figura 12 mostra o formulário de cadastro de uma pergunta. O aluno terá a opção de preencher os questionários sempre que novas questões forem colocadas à disposição do aluno. Desta maneira, o professor poderá adicionar novos itens ao questionário durante o decorrer do curso. Figura 12 – Cadastro de Questões do Questcomp Gráficos: A ferramenta possui gráficos que permitem a análise do desempenho dos alunos em cada prova e informações que auxiliam na identificação das questões que os alunos tiveram mais dificuldade. 4.4.7 Offshore Soil Mechanics (CT4350) A Delft University of Technology, através do Departamento de Geo-Engineering Section coordenado pelo Dr Heeres, disponibiliza no site www.geo.citg.tudelft.nl/software.php o software CT4350 (Offshore Soil Mechanics). Esta ferramenta de avaliação gera provas aleatórias baseado em um banco de dados interno. As questões estão ligadas a Mecânica dos Solos.
  • 66.
    50 Figura 13 –Tela Principal do CT4350 O processo é simples, depois de ter baixado o programa o usuário executa o programa, como mostra Figura 13. Digita o nome, um número de matrícula e o e-mail. Automaticamente o software ativa o botão PRINT. Clicando é gerado uma prova com questões personalizada para o estudante. 4.5 Comparativos entre Softwares Analisados A seguir apresenta-se um quadro comparativo entre os diversos instrumentos de avaliação versus os recursos indicados como essenciais para automatizar o momento de elaboração de provas. Os recursos avaliados são: (i) Cadastro de questões com imagens, (ii) Exportar para editor de texto, (iii) Controle de questões já usadas, (iv) Gerar Provas Personalizadas, (v) Prova para varias instituições, (vi) Poder procurar provas arquivadas, (vii) Estatísticas de utilização e relatórios diversos, (viii) Integração com outros professores de outras regiões, (ix) Certificação (ou não) da questão, (x) Ter recursos gráficos, (xi) Parâmetro de dificuldade da prova. Foram avaliados 7 (sete) diferentes instrumentos de avaliação. Os resultados demonstrados na Tabela 6 é uma comparação entre características apontadas pelos professores e os recursos disponibilizados pelos instrumentos de avaliação de softhouse.
  • 67.
    51 Tabela 6 –Instrumentos X Recursos Instrumentos de Avaliados i ii iii iv v vi vii viii ix x xi 1-Professor Tech II √ √ √ √ √ √ √ √ √ 2-Prova Fácil √ √ √ √ √ √ 3-Super Professor √ √ √ √ √ √ √ √ 4-SisProva √ √ √ √ √ √ 5-D7-Teacher √ √ √ √ √ √ √ √ 6-Questcomp √ √ √ √ 7-Offshore Soil Mechanics √ √ √ √ Algumas habilidades importantes, para o desempenho do professor, não estão contempladas na maioria dos softwares, são elas: controle de questões já usadas, prova para varias instituições, certificação de questões, e parâmetro de dificuldade da prova. 4.6 Considerações Finais Pode-se concluir que o processo de elaboração de prova pode ser semi-automatizado, o que simplifica a tarefa do professor. O mercado de informática para educação disponibiliza muitas ferramentas na Internet para auxiliar o educador a elaborar suas provas. Na seção 4.4.7, foi apresentado o software CT4350 que consolida esta tendência à automação de exercícios e provas, para isso, o aluno acessa o site e baixa o programa, e após executar o programa, digita seu nome, matricula e e-mail e o instrumento gera uma prova. Este processo pode ser melhorado, permitindo ao aluno em qualquer lugar e a qualquer hora possa acessar a Internet e, após se identificar, receber por e-mail sua prova e transmiti-la de volta pelo mesmo processo. Assim a ferramenta, orientada pelo professor, pode controlar o tempo, dificuldade, quantidade de questões dentre outros parâmetros. Este trabalho tem como proposta atender os requisitos que ainda não foram preenchidos, segundo relatos (respostas) dos professores, bem como, melhorar os que já foram citados. No Capítulo 5 apresenta-se a especificação de um software mais adequado ao contexto compartilhado e integrado na elaboração de provas, deficiência encontrada na maioria dos softwares.
  • 68.
    52 5 O SOFTWARESAPECA Este capítulo apresenta a ferramenta para elaboração de provas e exercícios, via Web, denominada SAPECA (Sistema de Apoio ao Professor na Elaboração Colaborativa de Avaliação). São vistas as características avançadas desta ferramenta, bem como, as contribuições relevantes para a elaboração das provas. O Projeto SAPECA é dividido em: arquitetura, estrutura física e acesso ao sistema. Veremos a seguir uma visão geral da ferramenta. 5.1 Considerações Preliminares Com as mudanças tecnológicas na educação o professor percebeu a necessidade de mudar, e esta postura ficou clara pelas respostas obtidas através de questionário. Tais respostas indicam que os professores não desejam ficar isolados em seus computadores pela utilização de instrumentos sem agregados pedagógicos, tais como simples editores de textos, para a elaboração de provas. O SAPECA surgiu para ocupar um espaço de suporte ao professor através da facilitação e melhoria da qualidade de seus instrumentos de avaliação. No capítulo 4 foram analisados e apresentados sete instrumentos de avaliação, no entanto nenhum deles atendeu as necessidades básicas. Analisando os questionários ministrados foi possível perceber o interesse dos professores em construir provas mais integradas ao sistema educacional brasileiro, verificando o nível em que outras instituições estão trabalhando e seus conteúdos programáticos. Com o uso de um processador de palavras a integração fica difícil, até dentro da própria instituição aonde o docente está lecionando.
  • 69.
    53 Este instrumento especialistapode abrir novos horizontes para professores, principiando pelas características básicas manifestadas na pesquisa apresentada no capítulo 4, e continuando com recursos avançados como, por exemplo: e-mail automático das provas para o coordenador pedagógico; ou mesmo um aviso de questões inseridas por um professor para outros professores da mesma disciplina. O SAPECA foi desenvolvido para atender as necessidades dos professores, tomando por base a coleta de informações apresentadas no Capítulo 4. Além desses dados coletados, foi importante a análise dos softwares similares que revelam a falta de recursos para suprir as expectativas dos professores. Uma das expectativas é o aspecto de compartilhar questões num grupo de professores da mesma área ou disciplina, o que valoriza o aspecto colaborativo que se pretende dar ao SAPECA. Dentre as funcionalidades desejáveis, formuladas oriundas de coletas de dados realizadas entre professores, é possível destacar: a. Permitir que o professor tenha um controle maior de suas provas, tanto as que foram ministradas anteriormente como as que estão sendo ministradas no tempo presente. b. Poder compartilhar as suas questões e suas provas com outros professores da mesma instituição ou de outras instituições. c. Poder acessar a ferramenta de qualquer lugar aonde haja a internet. d. Permitir ao coordenador pedagógico o acompanhamento das provas com facilidade. e. Poder elaborar questões específicas para uma disciplina. f. Ter a possibilidade de varias soluções para uma mesma questão. A ferramenta também disponibiliza a elaboração de provas de forma manual ou de forma automática, através de parâmetros selecionados pelo professor. Neste último caso o sistema sorteia as questões, permitindo ou não a repetição da questão, fornecendo também uma grande variedade de recursos. O SAPECA também é capaz de elaborar um grupo de provas de mesmo grau de dificuldade, mesmo tempo estimado para resolução, e mesma quantidade de questões, em poucos minutos, mediante a utilização de um banco de dados de questões do próprio professor ou de outros professores cadastrados. Dentre os outros recursos idealizados que foram disponibilizados no software SAPECA estão: a. Armazenar um grande número de questões com suas respectivas respostas.
  • 70.
    54 b. Tendo emmãos essa série de questões, criadas de acordo com a sua necessidade, torna-se muito rápida a criação de provas, bastando apenas selecioná-las e adicioná-las. c. Permitir cadastrar questões de todos os tipos, como: múltipla escolha, verdadeiro ou falso e questões abertas, entre outras. d. Impressão da mesma prova em ordem sorteada ou obedecendo os critérios pedagógicos da mais fácil para a mais difícil (Capítulo 3). e. Impressão da prova corrigida, visando facilitar sua conferência ou disponibilizar para o aluno; f. Possibilidade de adicionar textos de observação. g. Possibilidade de adicionar imagem, em qualquer formato para Windows, em cada questão. h. Selecionar fontes e tamanhos de textos diferentes para a prova. i. Opção para formatação de quebra de página individual em cada questão. j. Certificação por questão. 5.2 O Projeto SAPECA O projeto SAPECA é uma aspiração antiga do autor que não se conformava em ter que usar ferramentas ineficientes para a tarefa de elaboração de provas. Através de pesquisas realizadas foi possível obter a constatação de que a insatisfação é compartilhada pela maioria dos atores desta atividade. 5.2.1 Contexto O SAPECA é uma ferramenta de criação sistemática de conteúdos, desenvolvida para auxiliar o professor na elaboração de instrumentos avaliativos. Pode ser usada por todos os professores do fundamental a pós-graduação. O SAPECA, na fase de sua especificação, passou por questionamentos e análises relevantes para a definição de seu projeto final. De acordo com a técnica chamada de “Análise de Pontos por Função”, uma aplicação de software, vista sob a ótica do usuário (professor), é um conjunto de funções ou atividades que beneficiam a realização de suas tarefas através de automação e gestão da informação. Um desenvolvimento de software constitui-se então de um conjunto de atividades realizadas para desenvolver, controlar, validar e dar manutenção a um software produto. A
  • 71.
    55 figura 14 retrataa seqüência destas atividades expressa o modelo clássico do Ciclo de Vida de um Software. Figura 14 – Ciclo de Vida de um Software Para a implementação do projeto SAPECA fez-se necessária a definição de um modelo de processos. Este modelo adotado torna visíveis os elementos do processo e como estes se relacionam. Um modelo de processos bem definido permite que elementos possam ser reutilizados em outros projetos; é possível citar, por exemplo, um Cadastro de Usuários. De fato, a arquitetura de processos define os tipos de objetos que podem ser criados em um processo de software. Com base nesta arquitetura, os processos de software específicos podem ser desenvolvidos e executados. No caso do SAPECA, por exemplo, constam no seu modelo: professores em interação com o software, consultas a provas, banco de dados de questões, etc. Um processo de software é a definição de um conjunto completo de atividades necessárias para transformar os requisitos do usuário num conjunto consistente de módulos que representam um produto de software. A presença de um processo bem definido e bem especificado é um aspecto determinante de diferenciação entre projetos bem-sucedidos e projetos mal-sucedidos. Os padrões de projeto de software, ou padrões de desenho de software, também muito conhecidos pelo termo original em inglês “Design Patterns”, descrevem soluções para problemas recorrentes no desenvolvimento de sistemas de software orientado a objeto. Um padrão de projeto estabelece um nome e define o problema, a solução, quando aplicar esta solução e quando administrar as necessárias correções. Uma outra técnica bastante utilizada na fase de especificação é a diagramação do fluxo de informações que o software irá gerenciar. Em Engenharia de Software existem diversas ferramentas computacionais para a diagramação do fluxo da informação. Estas ferramentas permitem uma melhor visualização deste fluxo, bem como facilitam possíveis correções. Segundo Bauer (1972), “O estabelecimento e uso dos sólidos princípios da engenharia possibilita um software economicamente viável, que seja confiável e que funcione eficientemente”. Dentre as ferramentas existentes têm-se: UML (Unified Modeling Language), DFD (Diagrama de Fluxo
  • 72.
    56 de Dados), Fluxogramatradicional, OMT (Object Modeling Technique), MER (Modelo de Entidades e Relacionamentos), FDD (Desenvolvimento Dirigido por Funcionalidades), dentre outras. O SAPECA foi desenvolvido baseando-se nestas características expostas, tais como: fácil visualização, boa documentação de fácil acesso, fluxo de informação com poucos símbolos, tecnologia já reconhecida, dentre outros conceitos que podem ser considerados pontos fortes para o bom desenvolvimento do software aqui exposto. Para melhor visualizar o projeto SAPECA, foi utilizado o modelo de DFD, baseando-se em características especificas e adequadas ao sistema que tem como público alvo professores. Um DFD é uma ferramenta de modelagem que nos permite imaginar um sistema como uma rede de processos funcionais, interligados por “dutos” e “tanques de armazenamento de dados”. (Yourdon, 1975) Como resultado do modelo é possível que se visualize com clareza: a) processos que são executados manualmente ou automaticamente; b) fluxos de dados entre os processos; c) fluxos de dados entre processos e depósito de dados e d) fluxos de dados entre processos e entidades. O modelo proposto para o SAPECA contempla vários processos de tratamento de dados, bem como a integração entre estes processos. É uma ferramenta totalmente desenvolvida para que o professor tenha o maior conforto possível no trato da elaboração da sua avaliação. A figura 15 mostra o digrama simplificado do modelo de funcionamento do SAPECA. Figura 15 – Diagrama Funcional do SAPECA Como este projeto foi desenvolvido utilizando a linguagem Delphi em sua versão 7.0, sendo inicialmente elaborado para o uso em ambiente Desktop, a ferramenta já dispõe,
  • 73.
    57 possivelmente, de todasas funções necessárias para operacionalizar os processos de elaboração de instrumentos de avaliação tais como: cadastro de questões, cadastro de tabelas (instituições, titulação, disciplina, pensamento e áreas), cadastro manual e automático de provas, emissão de relatórios, entre outras funcionalidades. E onde falhou? A falha do SAPECA na versão Desktop ocorreu através da falta de um ambiente adequação aos requisitos de compartilhamento e integração da informação, podendo funcionar bem em um computador isolado ou em uma rede local (LAN). O acesso remoto exigiria do cliente muitos conhecimentos intermediários e avançados de tecnologia da informação tais como: conhecimento do número do IP (Internet Protocol) para que pudesse acessar, ou através de um Terminal Server (serviço de terminal) de tecnologia Microsoft, ou via VNC (Virtual Network Computing) que é um protocolo desenhado para possibilitar interfaces gráficas remota. Uma outra o opção é utilizar uma tecnologia disponibilizada na web denominada Logmein, acessando através de um navegador de internet o endereço www.logmein.com e baixando um programa disponibilizado no referido site que será instalado no comutador onde está o SAPECA para dar-lhe acesso remoto. A integração é requisito nuclear do projeto onde o compartilhamento de questões é de fundamental importância, segundo pesquisa aplicada aos professores. Vejamos algumas recursos do SAPECA Desktop, na figuras 17 mostra a tela principal com o menu: Arquivo, Tabelas, Cadastros, Habitual, Relatórios e Ajuda. A figura 18 retrata o cadastro de professores com os dados: código, nome, senha, CPF, endereço, e-mail, etc. Na figura 19 é o procedimento de cadastro de questões como: descrição, dificuldade, último uso, área, disciplina, imagem, etc. e por fim a figura 20 que é o local de montagem da prova. Figura 16 – Tela Principal do SAPECA Figura 17 – Cadastro de Professores do SAPECA
  • 74.
    58 Figura 18 –Cadastro de Questões do SAPECA Figura 19 – Cadastro de Provas do SAPECA Todos os princípios das tecnologias de projeto e de banco de dados, serviram para a implementação do SAPECA On Line. 5.2.2 O que é o SAPECA On Line? O SAPECA On Line é um software aplicativo da área educacional, que foi concebido com a tarefa de ser, além das funções de ferramenta de elaboração de provas, um instrumento integrador para a comunidade educacional. O compartilhamento de questões via Web é um passo importante deste projeto, e não está ligado a nenhuma instituição, pessoa ou empresa. O SAPECA On Line foi criado para somar esforços a outras iniciativas no sentido de melhorar a avaliação do professor e, principalmente, contribuir para diminuir os desequilíbrios entre provas de mesma disciplina, mas de professores diferentes, que podem encontrar-se em instituições, estados ou regiões geográficas diferentes. O acesso ao instrumento de avaliação é através de um navegador de internet, acessando o endereço www.sapecaonline.com.br. 5.2.3 Arquitetura O SAPECA On Line é uma ferramenta desenvolvida para automatizar uma série de operações, tais como: formação, integração, armazenamento, disponibilização, compartilha- mento, controle, criticas, dentre várias outras funções. Neste processo é esperado um caminho onde o professor possa verificar a evolução na qualidade dos dados, informações e conhecimentos armazenados. O usuário principal deste sistema de repositório de dados é o professor; e o beneficiário, na outra ponta do processo, é o aluno. Este instrumento de gerenciamento de conteúdos foi desenvolvido para auxiliar na fixação dos mesmos através de provas e exercícios e pode ser utilizado em todos os níveis educacionais e qualquer lugar, com o uso do serviço da Web conforme mostrado na figura 20, gerado pelo MS Visio. O instrumento pode ser utilizado através de qualquer navegador com acesso a Internet, bastando que o usuário professor aponte o navegador para o endereço
  • 75.
    59 www.sapecaonline.com.br, chamando assima página de inicial. A requisição do usuário é enviada ao servidor Web, que neste caso é o IIS (Internet Information Services) da Microsoft, que recebe os pedidos em através do protocolo http e os repassa para a aplicação. De posse da requisição ele pode ou não repassar, dependendo da natureza da requisição, para o banco (MS SQL Server) via iBatis. O iBatis recebe um objeto ou vários e os transforma em chamadas ao banco através do modelo de entidade relacionamento. O banco trata este pedido (incluir, excluir, altera, consultar, etc) e retorna a resposta para o iBatis. O iBatis é um ferramenta de Mapeamento Objeto-Relacional que pode ser utilizada por programas escritos em linguagens .NET ou em outras linguagens. Ele une objetos com procedimentos de armazenamento de declarações SQL usando descritores XML. O IBatisS e o SAPECA funcionam bem no ambiente do framework .Net. Figura 20 – Arquitetura SAPECA 5.2.4 Estrutura Estática O Diagrama de Classes é um dos diagramas UML que melhor descreve um grupo de classes e interfaces refletindo importantes entidades do domínio de regras de negócios do sistema, e o relacionamento entre as classes e as interfaces. Boa parte da estrutura foi aproveitada do projeto SAPECA (Desktop) e desta forma não se usou o MER. Na figura 21 é apresentado o Diagrama de Entidade Relacionamento (DER).
  • 76.
    60 +Professor() +Apelido : string +Cidade: string +CodigoEmail : string +Disciplina : Disciplina +Email : string +Endereço : string +Estado : string +Instituicao : string +InstituicaoEndereco : string +IntituicaoTelefone : string +Nome : string +ProfessorID : int +Site : string +Titulacao : Titulacao +TitulacaoArea : string +Usuario : string Professor +DisciplinaID : int +Nome : string Disciplina +AssuntoID : int +DisciplinaID : int +Nome : string Assunto +Indefinido = 0 +Graduado = 1 +Mestre = 2 +Doutor = 3 +Pós-Doutor = 4 «enumeração» Titulacao +Facil = 0 +Media = 1 +Dificil = 2 +Desafio = 3 «enumeração» QuestaoDificuldade +Assunto : Assunto +DataAlteracao +DataInclusao +DataUltimoUso +Descricao : string +Dificuldade : QuestaoDificuldade +Disciplina : Disciplina +Duracao : int +Professor : Professor +Publico : bool +QuestaoID : int +Referencia : string +Solucao : string +Texto : string Questao 1 1 1 1 1 1 1 1 1 1 +DataCriacao +Disciplina : Disciplina +Observacao : string +Professor : Professor +ProvaID : int +Publico : bool +Questoes +Titulo : string Prova 1 * 1 1 1 1 -AssuntoID : int -Dificuldade : QuestaoDificuldade -DisciplinaID : int -DuracaoMaxima : int -DuracaoMinima : int -ProfessorID : int -Texto : string PesquisaQuestao 1 1 +Enviar() +Assunto : string +Corpo : string +Destinatario : string +Remetente : string Email +ValidaCadastro(entrada link : string) : string EmailMensagem Sapeca.Nucleo Sapeca.Mail ASP.NET Membership 1 1 Figura 21 – Diagrama Entidade-Relacionamento do SAPECA On Line O SAPECA também utiliza o pacote ASP.NET Membership, que é responsável pela autorização e autenticação de usuários do sistema. O ASP.NET executa sobre a plataforma IIS e permite através de linguagens de programação integradas ao .NET Framework criar páginas dinâmicas. Não sendo uma linguagem de programação ASP.NET é baseado no Framework .NET herdando todas as suas características, por isso, como qualquer aplicação .NET, as aplicações para essa plataforma podem ser escritas em várias linguagens, como o C# usado no
  • 77.
    61 SAPECA. As aplicaçõesWeb ASP.NET necessitam do Framework .NET e do servidor IIS para executar, pelo menos na plataforma Windows. 5.2.5 Acesso ao Sistema Como já foi mencionado o SAPECA é executado através de qualquer navegador com acesso à internet. As requisições dos usuários são enviadas ao mecanismo de tratamento de dados do SAPECA que consulta as bases de dados, se necessário, e retorna uma nova página aos usuários com o conteúdo desejado. Existem dois procedimentos para o acesso a comunidade SAPECA: o primeiro é através da opção “Já é um membro da Comunidade SAPECA ? Entre Aqui”, onde o usuário (professor/administrador) acessa o SAPECA digitando dados de autenticação que são usadas para chamar métodos ASP.NET Membership que retorna com a autorização de uso do sistema. O ASP.NET Membership, após consultar o banco, retorna uma autorização para o Engine SAPECA que inicializa a página requisitada. A partir daí o usuário poderá realizar as tarefas disponíveis no sistema com as restrições de seu perfil. Figura 23 mostra de forma gráfica todo o processo. Figura 22 – Acesso via login O segundo procedimento de entrada é via “Ainda não é membro? Cadastre-se”, onde o professor acessa o SAPECA On Line digitando seus dados cadastrais conforme o quadro à esquerda da figura 23. Estes dados são enviados ao iBatis para serem inseridos no servidor de banco de dados, porém tendo seu status “pendente”. Paralelamente o Engine SAPECA envia um e-mail para o professor com um código criptografado. Quando o professor chama o SAPECA On Line do e-mail o programa checa o código via iBatis e pega os dados
  • 78.
    62 do professor, alterastatus para ativado, e retorna à Engine SAPECA que inicializará a página de login. A partir de então o professor digitará seu e-mail e senha para poder realizar as tarefas disponíveis no seu perfil. Figura 23 – Acesso via cadastro No sistema de segurança do SAPECA, o código é descriptografado pelo algoritmo que controla o acesso, caso não esteja consistente é emitido uma mensagem de erro e o usuário deve clicar outra vez no link do e-mail ou copiar e colar o link direto no navegador, figura 25. Figura 24 – Tela de Erro de Acesso A partir das verificações de segurança o usuário professor ou administrador poderá realizar as tarefas disponíveis no sistema, de acorde com o caso de uso do SAPECA. Observe as figuras 25 e 26.
  • 79.
    63 Figura 25 –Caso de Uso do Administrador Figura 26 – Caso de Uso do Professor 5.3 Visão do Sistema (Professor) O software foi desenvolvido com dois perfis: o acadêmico, que tem como usuário o professor; e o administrativo, que está ligado aos usuários gestores da comunidade. Consequentemente as funcionalidades do sistema se agrupam nestes dois grupos implementados. A figura 27 mostra as funções disponíveis para este perfil que são: Minhas Questões, Minhas Provas, Pesquisa e Meu Perfil. Figura 27 – Perfil do usuário Professor 5.3.1 Minhas Questões Na Figura 28, se pode identificar que a tela das questões, e está dividida em duas seções, clicando em “Minhas Questões” e “Questões Cadastradas”.
  • 80.
    64 Figura 28 –Gerenciador de Questões do SAPECA Nas Questões Cadastradas ficam disponíveis as questões já inseridas pelo professor, mostrando descrição, disciplina, assunto e ação. Caso o professor clique em cima da descrição da questão, serão mostradas todas as informações da questão inclusive imagem e a relação de provas que já usaram esta questão. Se clicar na opção Ação, o SAPECA permitirá a edição da questão de qualquer campo. O cadastro de questões permite a criação e a manutenção de um conjunto de informações associadas a uma disciplina. Como mostra a Figura 29, este cadastro é incluído os dados como: Figura 29 – Tela de Questão do SAPECA •••• Descrição resumida da questão – É esta descrição que aparece na relação das questões no módulo prova; •••• Data da inclusão – Data da criação da questão; •••• Data da alteração – Data da última alteração da questão; •••• Nível – Permitir a classificação das questões por graus de dificuldade, atribuído pelo professor uma das 4 (quatro) dificuldades: fácil, médio, difícil e desafio;
  • 81.
    65 •••• Duração –Duração da prova em minutos atribuída pelo professor; •••• Data do último uso – Informação importante para o professor saber quando ele utilizou esta questão; •••• Disciplina – Associada à tabela de disciplinas; •••• Status Público – Informar se a questão está ou não disponível para outros professores; •••• Descrição da questão – Espaço reservado para a elaboração de diversos tipos de questões, tais como: questões discursivas, de múltipla escolha, questões do tipo V ou F, questões com lacunas a serem preenchidas e questões do tipo associação de conceitos, dentre outras. Neste item, o SAPECA disponibilizou diversos recursos para que o professor possa elaborar uma questão bem apresentada e com imagem é só clicar no ícone, Figura 30. Figura 30 – Atalho para inserir imagens Na elaboração das questões, o sistema permite que uma mesma questão seja expressa de vários modos. Também é possível elaborar questões parametrizadas através de variáveis do tipo #v em que este parâmetro permite ao professor desenvolver um grupo de provas mudando apenas os valores. Uma aplicação para este tipo de questão são as provas de física, onde o professor só necessita a mudança do valor de uma força, por exemplo. (Este recurso está sendo desenvolvido) No final do texto existe um campo chama de referência, é nele que o professor indica o autor da questão digita seja um artigo, livro, endereço de Internet, etc. Existem mais duas abas, são elas: a da solução da questão e a aba da certificação da questão que pode ser dada por professores e/ou por instituições. 5.3.2 Minhas Provas A tela das provas está dividida em duas seções “Minas provas” e “Provas Cadastradas”. No segundo item, ao entrar nesta seção fica disponível todas as provas já cadastradas pelo professor, mostrando uma visualização da prova. Nesta tela tem as várias formatações e uma opção para enviar e-mail da prova para a coordenação pedagógica (Figuras 31 e 32).
  • 82.
    66 Figura 31 –Gerenciador de Provas do SAPECA O módulo de controle de provas garante que a elaboração das provas seja feita segundo a política de controle definida pelo professor. Neste sentido o SAPECA On Line disponibiliza duas ferramentas com a mesma finalidade, mas com aplicação distinta sem esquecer a integração entre os dados da prova (Figura 32). Figura 32 – Tela de Provas do SAPECA O SAPECA foi desenvolvido com duas opções de elaboração de provas: a Prova Manual e a Prova Automática, Ambas utilizam o mesmo banco de dados e até os mesmos critérios de seleção de questões, mas com uma política de elaboração de prova diferente. O módulo de definição de políticas permite a especificação dos procedimentos que o sistema utiliza para o controle da elaboração das provas. Faz parte da política do SAPECA: a)
  • 83.
    67 o compartilhamento dasquestões, nesta modalidade será possível promover e diversificar as provas, permitindo que um professor use questões elaboradas por outros professores; b) permitir que uma mesma questão seja expressa de vários modos; c) permitir que os professores adotem estruturas de áreas diferenciadas para uma mesma disciplina; d) adotar mecanismos de proteção para as possíveis modificações feitas pelos professores, não autores, nas questões e provas. a) A prova manual Como é mostrado na figura 33, é necessário que o professor, preencha os campos chaves para a montagem da prova. Com estas informações a ferramenta poderá processar, selecionar, agrupar, organizar, salvar e exportar para um editor de texto. Os dados são: •••• Título: Local para indicar qual é a prova a ser ministrada, exemplo “Prova Final”; •••• Data da Criação: Data que foi gerada a prova; •••• Data da Aplicação: Data que o professor marcou a prova; •••• Professor: O titular da prova; •••• Disciplina: Indicar a disciplina que esta prova está ligada; •••• Observações da Prova: Campo em aberto para o professor; •••• Pensamento: Opcional (existe uma tabela); •••• Publicar: Marca ou desmarcar; Ao preencher dos campos da prova o professor tem Salvar, clicando no botão Salvar. Na seção “Adicionar Questões”, será selecionada as questões baseadas em um filtro, com os parâmetros relacionados abaixo: •••• Texto: Digitar expressões válidas. •••• Disciplina: Escolha uma disciplina. •••• Assunto: Escolha um assunto ou nenhum (todas). •••• Duração: Quantidade de minutos inicial e final, da questão. •••• Dificuldade: Indiferente, Fácil, Médio, Difícil e Desafio. •••• Credenciamento: Por um professor ou Instituição. •••• Publica: Marcar para incluir outros professores. •••• Período da Última Utilização: Data Inicial e Final.
  • 84.
    68 Depois de preencheros campos do filtro, clicar no botão “Pesquisar”. O passo seguinte é marcar as questões de seu interesse e clicar no botão “Inserir Questões Selecionadas” e salvar. O passo final é a impressão, para isso, tem um ícone do editor de texto ao lado da prova. b) A Prova Automática Os procedimentos da prova automática são bem parecidos com a prova manual, no que diz respeito aos filtros. O que diferencia é que este procedimento gera provas baseados em três paramentos. O primeiro é o professor informar a quantidade de provas que deseja gerar, o segundo é quantas questões por prova e o terceiro se deseja questões repetidas ou não. É bem verdade que o terceiro parâmetro depende de quantas questões foram selecionadas. 5.3.3 Meu Perfil No cadastro de professor (Figura 33), o SAPECA divide as informações em três grupos: Dados Gerais: Acadêmicos e Institucionais. As informações pedidas em Dados Gerais são: nome completo, apelido, foto, endereço, cidade, UF, e-mail, site e a foto. Dados Acadêmicos: Titulação, Área de trabalho, Disciplinas que lecionas, Dados Institucionais: Instituição, Endereço, Telefones e E-mails. Figura 33 – Tela de Perfil do usuário do SAPECA
  • 85.
    69 5.3.4 Pesquisa eEstatística A Pesquisa é uma ferramenta de procura e estatística ao mesmo tempo. Na sua tela de filtros é possível selecionar questões por: autores, disciplinas, assuntos, período e utilização. Desta forma é possível sabermos a curva ABC por reuso e termos idéia estatisticamente das questões mais populares entre os professores. 5.4 Visão do Sistema (Administrador) A visão do administrador é responsável por dois procedimentos importantíssimos. O primeiro é a manutenção do cadastro do professor, onde pode ativar ou desativar o seu acesso (Figura 34) isso pode ocorrer por vários motivos, dentre eles o da fraude. Figura 34 – Tela de controle de Acesso do SAPECA A segunda responsabilidade do administrador é a manutenção das tabelas de disciplina e assunto, figura 35, mediante os princípios de ética, padronização, integridade e a coerência. O professor pode interferir neste processo enviando e-mail de solicitação ao suporte o cadastro da disciplina, assunto e pensamento, bem como, ajuda operacional. A equipe do SAPECA, também está aberta a sugestões e críticas.
  • 86.
    70 Figura 35 –Tela de Manutenção das tabelas do SAPECA 5.5 Avaliação do Uso do SAPECA Para se ter a confirmação de que o trabalho teve seus objetivos alcançados, foi elaborado um questionário (Anexo B) de uso do SAPECA On Line. O público escolhido foi de 10 (dez) professores entre os que participaram da primeira pesquisa. Pelos dados recolhidos a ferramenta atendeu as expectativas dos professores. Estes resultados também servirão para o aperfeiçoamento do software. 5.6 Considerações Finais Este capítulo apresentou a ferramenta Web SAPECA On Line para auxiliar o professor na elaboração dos seus instrumentos de medida com o intuito de melhorar o ensino- aprendizagem através de provas e exercícios; podendo compartilhar e melhorar o nível das provas e questões através da ferramenta. Com o auxilio da ferramenta Visio da Microsoft foram modelados a arquitetura, estrutura estática (DER) e os casos de uso dos usuários. No decorrer deste capítulo foram detalhados os processos de autorização e de autenticação dos usuários, professor ou administrador, com a explicação detalhada do funcionamento de cada uma das várias camadas existentes entre o navegador e o banco de dados. Concluindo, foi abordado detalhadamente o funcionamento do SAPECA. Nesta abordagem foram descritos os principais processos, funções e informações, necessários ao bom funcionamento do software SAPECA. Também foram utilizadas ilustrações para demonstrar procedimentos de uma forma mais detalhada. Dentre as funções abordadas, destaca-se o acesso ao SAPECA que é feito por dois tipos de perfis: o do administrador e o do professor.
  • 87.
    71 6 CONCLUSÕES Este capítuloapresenta as conclusões deste trabalho, bem como recomendações para estudos futuros sobre a automação dos instrumentos de avaliação. O trabalho abordou o tema instrumento de avaliação na educação e discutiu-se os vários modelos de avaliação e suas características. O instrumento foco aqui estudado foi a “prova”, um dos principais instrumentos da avaliação escrita. Foram abordados os conceitos de competências e habilidades necessárias para uma boa elaboração de prova, visando os princípios que regem a criação e a operação dos instrumentos de avaliação dos alunos. Utilizou-se como metodologia para dar suporte ao projeto a coleta de dados a partir de um questionário aplicado a trinta professores universitários de várias áreas do conhecimento. Com base nas necessidades identificadas nas respostas dos professores quanto a atividade de elaboração de prova e recursos usados, foram analisados vários produtos e selecionados os sete mais funcionais. O resultado desta análise concluiu que nenhum dos produtos analisados fornece todos os mecanismos identificados como fundamentais na opinião dos professores questionados. 6.1 Resultados Alcançados Ao decidir pelo desafio de desenvolver uma ferramenta computacional que atenda ao professor na atividade de elaboração de instrumentos de avaliação, norteou-se o trabalho para um levantamento minucioso quanto as funcionalidades necessárias a uma ferramenta de apoio ao professor.
  • 88.
    72 O resultado foia criação da ferramenta SAPECA que embute recursos: visuais, funcionais e operacionais, dentro dos novos paradigmas do processo de elaboração de prova. Tornado-se a elaboração de provas, para o professor, um procedimento produtivo, fácil, agradável e de forma colaborativa com outros professores. No SAPECA, o compartilhamento (questões, provas e exercícios), a estatísticas e controle de uso, foram contemplados de forma plena. A formatação configurável, as provas automática e manual formam também resultados atingidos dentre os objetivos do trabalho. Conclui-se que o esforço desprendido tanto nas sondagens realizadas junto aos professores quanto na análise dos softwares similares, que não preenchem as necessidades, deram o embasamento necessário ao desenvolvimento da ferramenta SAPECA. Baseado nos resultados pode-se dizer que o SAPECA proporciona uma nova dinâmica no processo de avaliação. Com isso, acredita-se que este trabalho venha a contribuir para que o professor possa, a partir de agora, ter uma ótima opção de ferramenta computacional para ajudá-lo a identificar e, se necessário, corrigir as deficiências do educando. Os resultados preliminares de uso do SAPECA mostram que a ferramenta é estável, de fácil acesso, consistente, eficaz e que satisfaz seu público alvo. 6.2 Trabalhos Futuros Apesar do SAPECA ter atingido um estágio de desenvolvimento que se pode considerar um produto acabado, esta ferramenta continua em plena evolução, vislumbrado-se novos trabalhos, tais como: a. Transformação do SAPECA em um portal de maneira a agregar outros tipos de recursos, notadamente, os de comunicação (e-mail, fórum e chat), bem como informes, chamadas, artigos, dentre outros. b. Criação de um login para o aluno acessar e responder de forma on-line ou não sua prova, disponibilizada pelo professor. c. Permitir ao SAPECA a inclusão dos resultados das avaliações com a finalidade de identificar o grau real de dificuldade das questões. d. Integração do SAPECA a softwares de controle acadêmico como: Sophia, Siscona, Liceu, Q-Acadêmico, etc..
  • 89.
    73 REFERÊNCIAS BIBLIOGRÁFICAS ABRÃO, I.C.; Rayel, F.; Abrão, M. A. V. de L. QuestComp: Ambiente via Web para Auxílio na Avaliação de Ensino-Aprendizagem à Distância, PUC-Minas. Poços de Caldas, 2003. AFONSO, A. J. Avaliação educacional: regulação e emancipação: para uma sociologia das políticas avaliativas contemporâneas. São Paulo: Cortez, 2000. ALENCAR, A. V. dos S. FAVO: Ferramenta para Autenticação em Avaliações Online. Dissertação de Mestrado Profissionalizante em Ciência da Computação - Universidade Estadual do Ceará, Fortaleza, 2003. BAUER, F. L. Software Engineering Techniques; Conferência: The NATO Software Engineering Conferences. Alemanha, 1972. BIRNBAUM, A. Some latent trait models and their use in inferring and examinee’s ability. In F.M. Lord ; M.R. Novick, Statistical theories of mental test scores. Reading, MA: Addison - Wesley, 1968. BLISS, J.; MONK, M.; OGBORN, J. Qualitative Data Analysis for Educational Research: A guide to uses of systemic networks. London: Croom Helm, 1983. BLOOM, B. S.. Taxonomy of Educational objectives. Hand Book I, Nova Iorque, 1956. BLOOM, B. S.; HASTINGS, J. T.; MADAUS, G. F. Evaluación del aprendizaje. Buenos Aires: Troquel, 1975. BRASIL. Lei n. 9.394, de 23 de dezembro de 1996. Diário Oficial da República Federativa do Brasil, Brasília, v. 134, n. 248. Texto integral da lei de diretrizes e bases da educação nacional – LDB. CAMPOS, G. H. B., Avaliação em cursos online, TI Máster, 2002a. disponível em http://www.timaster.com.br/revista/colunistas/ler_colunas_emp.asp?cod=522, consultado em 12/01/2005. CAMPOS, G.; ROQUE, G. O., COUTINHO, L. M. Design didático para implementação de cursos baseados na Web, In: XIV Simpósio Brasileiro de Informática na Educação – Mini-curso, UFRJ/NCE-IM, Rio de Janeiro, 2003 CUESTA, M. Unidimensionalidade. In J. Muñiz, Psicometría. Madrid: Editorial Universitas, 1996. DEPRESBITERIS, L. Avaliando Competências na Escola de Alguns ou na Escola de todos. Rio de Janeiro, Volume 27, Número 3, Set/Dez 2001. ENEM. Fundamentação teórico-metodológica. Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2005.
  • 90.
    74 FLEURY, M. T.L. ; FLEURY, A. C. C. . Construindo o Conceito de Competência. Revista de Administração Contemporânea, 2001. GADOTTI, M. Pedagogia da Práxis. São Paulo: Editora Cortez, 1994. GARCIA, A. F. Avaliação em Instrução Baseada na Web, PUC-RioInf.MCC31/00. Rio de Janeiro, 2000. GENUS - Pesquisa, Assessoria e Estudos de Gênero. Florianópolis: 2002. http://www.genus.org.br/site/. Acesso em 02 agosto 2007. GIROUX, H. Pedagogia Radical: subsídios. São Paulo: Autores Associados, 1983. HACK, L.; TAROUCO, L. Mecanismos Complementares para a Avaliação do Aluno na Educação à Distância. SEMANA ACADÊMICA DO PROGRAMA DE PÓS-GRADUAÇÃO EM COMPUTAÇÃO DA UFRGS, 4, Agosto, 1999. HAYDT, R. C. C. Avaliação do processo ensino-aprendizagem. 6. ed. São Paulo: Ática, 2000. 159 p. (Série educação). HAYES, B. E. Measuring customer satisfaction: development and use of questionnaires. Milwaukee, Wisconsin: ASQC Quality Press, 1992. HOFFMANN, J. M. L. Avaliação e construção do conhecimento. Educação & Realidade. Porto Alegre: v. 16, n. 2, p. 53-58, jul./dez., 1997. HOFFMANN, J. M. L. Avaliação Mito & Desafio. Uma perspectiva construtiva. 23ª ed. Porto Alegre: Mediação, 1993. INEP - Instituto Nacional de Estudos e Pesquisas Educacionais. Sistema nacional de avaliação da educação básica: relatório nacional, 2001. Brasília: INEP, 2002. KEARSLEY, G. “Explorations in Learning & Instruction: The Theory Into Practice Database”. TIP Database, 2000. Disponível em: www.hfni.gsehd.gwu.edu/~tip/ KIRKPATRICK, Donald L. Evaluating training programs: The four levels. San Francisco CA: Berret-Koehler Publishers Inc., 1998. KRUSKAL, J.B. Multidimensional scaling by optimizing goodness of fit to a nonmetric hypothesis. Psychometrika, 29, 1-27, 1964. LIMA, Marco Antônio Martins. Avaliação de programas de educação empresarial: o modelo de Kirkpatrik aplicado a programa externo em pequena empresa. 2000. Dissertação (Mestrado em administração) - Universidade Estadual do Ceará, Fortaleza, 2000. LORD, F.M. A theory of test scores (Psychometric Monograph No. 7). Iowa, 1952. LUCKESI, C. C. Avaliação da aprendizagem e comunicação, Revista ABC Educativo, São Paulo, 2006.
  • 91.
    75 LUCKESI, C. C.Entrevista para a Revista Nova Escola, da Fundação Victor Civita, São Paulo, SP, na coluna "Fala Mestre", cujo tema foi "Avaliação da Aprendizagem na Escola", páginas 18-20. Revista Nova Escola, São Paulo, n. abril 2006, p. 18-20, 2006. LUCKESI, C. C. Ética e Prática Educativa, Revista ABC Educativo. São Paulo, 2005. LUCKESI. C. C. Avaliação da aprendizagem escolar. São Paulo: Cortez, 1995. MAGALHÃES NETO, F. IRME – Inspeção Radiográfica de Materiais e Equipamentos – um software educativo. Fortaleza: UECE, 2003. Dissertação de Mestrado Profissionalizante em Ciência da Computação – Universidade Estadual do Ceará, Fortaleza, 2003. MCLAGAN, P. Competencies: the next generation. Training and Development, May, 1997. MIRAS, M.; SOLÉ, I. A evolução da aprendizagem e a evolução do processo de ensino e aprendizagem in Coll. Porto Alegre: Artes Médicas, 1996. MORETTO, V. P. PROVA: um momento privilegiado de estudo, não um acerto de contas. Rio de Janeiro: Lamparina, 2007. MURPHY, S.M. Transitions in Competitive Sport: maximizing individual potential. In: Murphy, S.(ed.) Sport psychology interventions, 1995. NÉRICI, I. G. Metodologia do ensino: uma introdução. São Paulo: Atlas, 1977. NOVAES, G.T.F. Habilidades e competências: definições e problematizações. 2001. NOYA, R. Quest: Um Sistema de Avaliação Educacional para a Web. Dissertação de Mestrado, PUC, Rio de Janeiro, 1998. PASSAMAE FILHO, Paschoal. Modelo para avaliação de desempenho do Programa de Capacitação em Administração Básica para pequena empresa do SEBRAE/ES. Dissertação de Mestrado em Engenharia de Produção - Universidade Federal de Santa Catarina, Florianópolis, 2003. PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens entre duas lógicas. Porto Alegre: Artes Médicas, 1999. PHILLIPS, J. J. Handbook of training evaluation and measurements methods. Houston (Texas): Gulf Publishing, 1997. RABELO, E. H. Avaliação: Novos Tempos, Novas Práticas. Petrópolis, Rio de Janeiro: Vozes, 1998. RAPHAEL, H. S. Avaliação escolar em busca de uma compreensão. Brasília: Brasiliense, 1998. RIBEIRO, L. C. Avaliação da aprendizagem. In: RIBEIRO, Lucie Carrinho Educação hoje. 7. ed. Lisboa, Texto Editora, 1999.
  • 92.
    76 SCRIVEN, M. Themethodology of evaluation. In STAKE, R. E.(Ed). Curriculum evaluation. AERA monograph series on evaluation nº1. Chicago: Rand Mcnally, 1967. SINAES – Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. – 2. ed., ampl. – Brasília, 2004. <http://sinaes.inep.gov.br:8080/sinaes/>. Acesso em 01 maio 2007. SOUZA, M. de F. C. de. Um Ambiente de Apoio à Seleção de Software Educativo. Dissertação de Mestrado em Ciência da Computação – Universidade Federal do Ceará, Fortaleza, 2006. THORNDIKE, R. L.; HAGEN, E. P. Tests y Técnicas de Medicion en Psicologia y Educacion. Editorial Trillas, México, DF., 1975. TRUELOVE , S. Training in practice. Oxford: Blackwell Publishers, 1997. TYLER, W.R. Princípios básicos de currículo e ensino. Porto Alegre: Globo, 1978. Trad. Leonel Vallandro.Título original: Basic principles of curriculum and instruction. Chicago: The University of Chicago, 1949. VASCONCELLOS, C. dos S. Avaliação da aprendizagem: práticas de mudança por uma práxis transformadora. São Paulo: Libertad, 2003. VASCONCELLOS, C. dos S. Avaliação: concepção dialética do processo de avaliação. São Paulo: Libertad, 2005. VIANNA, H. M. Introdução à avaliação educacional. São Paulo: Brasa, 1989. VIEIRA NETO, João. Uma abordagem qualitativa em avaliação de instituições de ensino superior. Revista da rede de avaliação institucional da educação superior, ano 8, n.3, p. 229- 246, Setembro 2003. YOURDON, E. A Case Study in Structured Programming – Redesign of a Payroll System, Proceedings of the IEEE Compcon conference, 1975, New York, 1975. ZARIFIAN, P. Objetivo Competência: por uma nova lógica, São Paulo, Ed. Atlas, 2001.
  • 93.
    77 BIBLIOGRAFIA CONSULTADA BARLOW, M.Avaliação escolar: mitos e realidades / Michel Barlow; tradução Fátima Murad. – Porto Alegue: Artmed, 2006. CANTÙ, M. Dominando o Delphi 5 – A Bíblia; Tradução: João E. N. Tortello. São Paulo: Makron Books, 2000. CARDOSO, R. F. AVALWEB - Sistema Interativo de Gerência de Questões e Aplicação de Avaliações na Web, Porto Alegre: UFRGS, 2001. Dissertação de Mestrado – Universidade Federal do Rio Grande do Sul. Programa de Pós-Graduação em Computação, Porto Alegre, 2001. DE SORDI, M. R. L. A avaliação e seu potencial inovador nos processos de formação na área de Ciências Sociais Aplicadas. Revista de Educação PUC Campinas, n.15, p. 75-87, 2003. ESTEBAN, M. T. et al. Avaliação: Uma Prática em Busca de Novos Sentidos. Rio de Janeiro: DP & A Editora, 2000. FREIRE, Paulo. Pedagogia da autonomia: saberes necessários à prática educativa. 8. ed. São Paulo: Paz e Terra, 1998. LÜDKE, M; ANDRÉ, M. E. D. A pesquisa em educação: abordagens qualitativas. 6 ed. São Paulo: EPU, 1986. MACEDO, L. Competências e habilidades: elementos para uma reflexão pedagógica. Brasília: INEP, 1999. MAGELA, R. Produzindo software orientado a objetos, volume II. Rio de Janeiro: Imprita, 1998. OTSUKA, J. L.; ROCHA, H. V. Avaliação formativa em ambientes de EAD. Revista Educação, 12-14 nov. 2002. PILETTI, N. Sociologia da educação. 16. ed. São Paulo: Ática, 1997. RAMOS, M. N. A educação profissional pela Pedagogia das Competências: para além da superfície dos documentos oficiais. Educação e Sociedade, Campinas, v. 23, n. 80, p. 405- 427, 2002. SANTANNA, I. M. Por que Avaliar? Como Avaliar? Critérios e Instrumentos. Petrópolis: Vozes, 1995. SOUKUP, R. Desenvolvimento o Microsoft SQL 2000. Rio de Janeiro: Campus, 2001. STOKES, V. No longer a year behind. Learning and Leading with Technology, 2005. ZABALA, A. A Prática Educativa: Como Ensinar. Porto Alegre: Artes Médicas, 1998.
  • 94.
    78 ANEXO A -SONDAGEM SOBRE AVALIAÇÃO Caro Professor (a), Esta pesquisa tem o intuito de coletar informações sobre os procedimentos utilizados pelos professores, no momento da elaboração de suas provas e exercícios. Grato pela colaboração. 1) Você utiliza o computador para ajudá-lo na elaboração da prova? [ ] Sim [ ] Não 2) Você utiliza editor de texto para elaborar suas provas? [ ] Sim [ ] Não 3) No caso de usar editor de texto, você arquiva estas provas para servirem como referências para provas futuras? [ ] Sim [ ] Não 4) Qual a sua preferência quanto ao tipo questão: aberto ou multiescolha ou outras? [ ] Aberta [ ] Multiescolha [ ] Verdade ou Falso [ ] Relacionamento [ ] ______________ 5) Para elaborar sua prova, você usa algum software especialista, tipo Prova Fácil, para ajudá-lo? [ ] Sim [ ] Não Se sim, qual? _______________________________________________________ 6) Quando você utiliza mais de uma prova na sua avaliação, para evitar cooperação entre os alunos, você controla o nível destas várias provas? [ ] Sim [ ] Não Se sim, como? ______________________________________________________ 7) Qual o tempo médio investido, por você professor, na elaboração de uma prova (independente da quantidade de provas)? [ ] 1 hora [ ] 2 hora [ ] 3 horas [ ] Mais de 3 horas 8) Onde você gasta mais tempo na elaboração da sua prova ? (Pode e deve marcar mais de uma) [ ] Fazendo questões novas [ ] Tentando não repedir a questão [ ] Personalizando as questões [ ] Formatando a prova [ ] Procurando questões arquivadas [ ] Montando a questão com gráficos, figuras, etc. [ ] Procurando questões em livros, Internet, etc. [ ] Outras ______________________ [ ] Todas 9) Como você controla a não repetição de uma questão? [ ] Não controlo [ ] Pela memória [ ] Faço sempre questões novas [ ] Outros: _____________
  • 95.
    79 10) Você teminteresse em compartilhar com outros professores as suas listas de exercício e as questões de prova? [ ] Não [ ] Sim 11) Como a coordenação pedagógica acompanha as avaliações? [ ] Não acompanha [ ] Envio uma cópia da prova [ ] Outras __________________ 12) Você se interessaria em usar uma ferramenta (software) que ajudasse você a elaborar suas avaliações? [ ] Sim [ ] Não 13) Quais características você gostaria de encontrar no software? [ ] Cadastro de questões com imagens [ ] Exportar para editor de texto [ ] Controle de questões já usadas [ ] Gerar Provas Personalizadas [ ] Prova para varias instituições [ ] Poder procurar provas arquivadas [ ] Estatísticas de utilização e relatórios diversos [ ] Integração com professores de outras regiões [ ] Certificar ou não uma questão [ ] Ter recursos gráficos [ ] Parâmetro de dificuldade da prova Professor (a): ___________________Fone: ________________ E-Mail:_______________ Instituição: ____________________ Área: _________________ Data:________________
  • 96.
    80 ANEXO B –QUESTIONÁRIO DE AVALIAÇÃO DE USO DO SAPECA Caro Professor (a) ___________________________________________________________, com base na sua experiência com o SAPECA On Line (www,sapecaonline.com.br), gostaria que respondesse esta pesquisa de avaliação do uso do SAPECA . Grato pela colaboração. Pergunta Fraco Regular Bom Ótimo 1) Como você considera seu nível de conhecimento e familiaridade no uso de um Navegador (Browser)? 2) Como você classifica a facilidade de se cadastrar no SAPECA? 3) Em que nível o cadastro de questões acomoda todas as necessidades? 4) Qual o nível de satisfação no processo de elaboração de provas? 5) Qual o nível de automação na elaboração das provas personalizadas? 6) Como você classifica o SAPECA na integração entre professores de mesma disciplina? 7) Como você considera o nível de controle do reuso de questões? 8) Na busca de questões em sua área, como você classifica a sua satisfação com o repositório? 9) Qual seu nível de satisfação quanto às estatísticas disponíveis no SAPECA? 10) Em sua opinião, você classificaria o software SAPECA como?