GRAZIELLA ARAUJO DE OLIVEIRA LAPKOSKI
A AVALIAÇÃO DE LEITURA EM INGLÊS COMO LÍNGUA
ESTRANGEIRA NO CENTRO DE LÍNGUAS DA UFP...
ii
SUMÁRIO
ABSTRACT..........................................................................................................
iii
ABSTRACT
The Evaluation of Reading in English as a Foreign Language at UFPR
Language Center – CELIN
The starting point...
iv
RESUMO
A Avaliação de Leitura em Inglês como Língua Estrangeira no Centro de
Línguas da UFPR - CELIN
O ponto de partida...
1
1 – INTRODUÇÃO
1.1 - PRESSUPOSTO INICIAL
O que pude observar na Universidade Federal do Paraná, como aluna
da graduação ...
2
língua estrangeira, pode comprometer a validade dos resultados obtidos na
aplicação dos mesmos.
1.2 - JUSTIFICATIVA
No e...
3
professores, parece não ser suficiente para permitir que o aluno leia um texto (de
aproximadamente meia lauda) e realize...
4
fato, uma dificuldade em se trabalhar com a leitura em inglês, conforme sugerido nos
questionamentos feitos na justifica...
5
2 – PRESSUPOSTOS TEÓRICOS
2.1 - A IMPORTÂNCIA DO CONCEITO DE LEITURA
De acordo com ALDERSON, “Para elaborar um teste ou ...
6
preparados adequadamente e nem sempre esses testes refletem o que realmente se
pretende avaliar.
Assim como ALDERSON, FO...
7
mensagem, ou parte dela, passe a fazer parte do próprio leitor. E é exatamente isso
que lemos em CARRELL (1987, p. 24): ...
8
Em geral, quando lemos algum texto é porque queremos encontrar alguma
“coisa” naquilo que está escrito. Pode ser o desfe...
9
2.3 - DEFINIÇÕES
Alguns termos, embora bastante utilizados no meio educacional, nem sempre
estão claramente definidos na...
10
preparados especialmente para o propósito utilizado é que os testes de linguagem
são confiáveis, significativos e úteis...
11
elaboração de testes também, uma vez que esta é a realidade que se apresenta
neste instituto de línguas.
Mas, o que é u...
12
pretendido, sem incluir ou deixar que outros fatores possam interferir nos resultados
e/ou na interpretação dos mesmos....
13
verdadeira prática, e a adequação de um uso particular da pontuação de um teste
vai depender de muitos fatores exterior...
14
conteúdo, que se refere, como o nome diz, ao conteúdo que se pretende medir.
Muitas vezes, inadvertidamente, um teste q...
15
entre conhecimento prévio e conteúdo do texto. O fato de o aluno dominar o assunto
tratado no texto pode facilitar a le...
16
no caso da escola de línguas, a passagem de nível, mas é preciso também que ele
possa ser considerado adequado ao propó...
17
podemos eliminar totalmente os efeitos das características da atividade, nós
devemos aprender a entendê-los e controlá-...
18
Existem diferentes nomenclaturas e classificações, elaboradas por diferentes
autores. COHEN (1994, cap. 7) relaciona os...
19
Sendo assim, os tipos de teste que ALDERSON (2002) apresenta são:
Cloze test: neste tipo de teste retira-se a enésima p...
20
Cloze elide test: neste teste, em lugar de retirar palavras do texto, adicionam-se
palavras que não pertencem ao texto ...
21
DAVIES et al no “Dictionary of language testing” (2002 – p.32) considera o
item “open-ended question” como sinônimo dos...
22
3 – METODOLOGIA
3.1 - EMBASAMENTO E ESCOLHA METODOLÓGICA
De acordo com NUNAN (2003, p.3), os escritores, tradicionalmen...
23
pesquisa pode transitar entre estes quatro espaços, dependendo da direção que o
pesquisador toma no decorrer do seu tra...
24
portanto, sob alguns aspectos subjetiva e não generalizável, embora plenamente
justificável.
3.2 - LEVANTAMENTO DOS DAD...
25
pesquisa. Consciente do risco de uma interpretação tendenciosa, eu procurei fazer a
interpretação dos dados de forma cu...
26
4 – CLASSIFICAÇÃO DOS TESTES
4.1 - CLASSIFICAÇÃO DOS TIPOS DE TESTES DE LEITURA19
.
4.1.1 - Básico II - (Anexo 1)
-Prim...
27
5 – ANÁLISE DOS TESTES
5.1 - CONSIDERAÇÕES E ANÁLISE DE ITENS
Nesta seção serão feitas as considerações a respeito de p...
28
5.1.2 - Respostas curtas
Este tipo de atividade funciona como alternativa para a múltipla escolha,
porque permite que a...
29
não é a diversidade de respostas que se caracteriza como um problema, mas a
inflexibilidade de aceitação de mais de uma...
30
resposta “In the bin” como correta, uma vez que ela está de acordo com o texto e,
portanto, segue as instruções dadas.
...
31
para (1) para aquele aluno que considerasse “traditional” como a resposta correta de
(6).
5.1.4 - Verdadeiro ou Falso
Q...
32
5.1.5 - Transferir informação
Atividades de transferência de informação são freqüentemente associadas a
gráficos, diagr...
33
que pede a instrução, porque a informação pedida não é mencionada no texto. E
aqui sim vemos um sério problema de incon...
34
6 – ANÁLISE DOS QUESTIONÁRIOS
6.1 - ANÁLISE DOS DADOS OBTIDOS NOS QUESTIONÁRIOS.
Nesta seção serão analisados os questi...
35
de textos como finalidade em si. Geralmente no trabalho feito com leitura são
utilizados os clássicos da literatura bra...
36
P6 - A falta de leitura na língua materna e até mesmo o próprio hábito de leitura.
P7 - A ansiedade dos alunos em conhe...
37
3) Você costuma trabalhar sistematicamente com leitura, com seus alunos
do curso regular27
de inglês no CELIN? Sim ( ) ...
38
O problema, nesse caso, é que as turmas podem ter conteúdos diferentes e
experiências diferentes de leitura, que podem ...
39
P6 - Em sala o professor trabalha com diferences estratégias de leitura.
P7 - Acho que na prova o aluno tem que reler o...
40
P4 - Não
P5 - Sim – Na universidade e no CELIN – Metodologia de LEM e reuniões e
palestras do CELIN
P6 - Não
P7 - Não
A...
41
fora de sala de aula. Testar a habilidade dos alunos estimula os mesmos a
procurarem se desenvolver e mostra ao profess...
42
trabalhado em sala e o que eles estão acostumados a fazer. O mais
complicado é escolher um texto que seja bom para o ní...
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Graziella kapkoski
Próximos SlideShares
Carregando em…5
×

Graziella kapkoski

345 visualizações

Publicada em

educação

Publicada em: Educação
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Graziella kapkoski

  1. 1. GRAZIELLA ARAUJO DE OLIVEIRA LAPKOSKI A AVALIAÇÃO DE LEITURA EM INGLÊS COMO LÍNGUA ESTRANGEIRA NO CENTRO DE LÍNGUAS DA UFPR - CELIN Monografia apresentada à disciplina de Orientação Monográfica II como requisito parcial à conclusão do Curso de Letras Inglês, habilitação em Bacharelado, ênfase em Estudos Lingüísticos, Setor de Ciências Humanas, Letras e Artes, Universidade Federal do Paraná Orientadora: Profª. Clarissa M. Jordão CURITIBA 2005
  2. 2. ii SUMÁRIO ABSTRACT................................................................................................................iii RESUMO....................................................................................................................iv 1 – INTRODUÇÃO ......................................................................................................1 1.1 - PRESSUPOSTO INICIAL................................................................................1 1.2 - JUSTIFICATIVA ..............................................................................................2 1.3 - OBJETIVOS ....................................................................................................3 2 – PRESSUPOSTOS TEÓRICOS.............................................................................5 2.1 - A IMPORTÂNCIA DO CONCEITO DE LEITURA............................................5 2.2 - CONCEITO DE LEITURA................................................................................6 2.3 - DEFINIÇÕES...................................................................................................9 2.4 - OS TESTES: IMPORTÂNCIA E CONCEITOS..............................................10 2.5 - TESTES DE LEITURA: FATORES DE INTERFERÊNCIA............................14 2.6 - TESTES DE LEITURA: A VALIDAÇÃO NO CELIN.......................................15 2.7 - TIPOS DE TESTE (TÉCNICAS PARA TESTAR LEITURA)..........................17 3 – METODOLOGIA .................................................................................................22 3.1 - EMBASAMENTO E ESCOLHA METODOLÓGICA .......................................22 3.2 - LEVANTAMENTO DOS DADOS...................................................................24 4 – CLASSIFICAÇÃO DOS TESTES .......................................................................26 4.1 - CLASSIFICAÇÃO DOS TIPOS DE TESTES DE LEITURA...........................26 4.1.1 - Básico II ..................................................................................................26 4.1.2 - Básico IV.................................................................................................26 4.1.3 - Pré-intermediário II..................................................................................26 4.1.4 - Intermediário II ........................................................................................26 5 – ANÁLISE DOS TESTES.....................................................................................27 5.1 - CONSIDERAÇÕES E ANÁLISE DE ITENS ..................................................27 5.1.1 - Ordenar...................................................................................................27 5.1.2 - Respostas curtas ....................................................................................28 5.1.3 - Preencher lacunas ..................................................................................30 5.1.4 - Verdadeiro ou Falso................................................................................31 5.1.5 - Transferir informação..............................................................................32 5.1.6 - Múltipla escolha ......................................................................................33 6 – ANÁLISE DOS QUESTIONÁRIOS.....................................................................34 6.1 - ANÁLISE DOS DADOS OBTIDOS NOS QUESTIONÁRIOS. .......................34 7 – CONCLUSÃO .....................................................................................................56 REFERÊNCIAS.........................................................................................................60 ANEXOS ...................................................................................................................61
  3. 3. iii ABSTRACT The Evaluation of Reading in English as a Foreign Language at UFPR Language Center – CELIN The starting point of this research was the assumption that the theoretical knowledge of reading in English as a Foreign Language and of reading tests would be fundamental to English teachers development. In addition, there was the supposition that the lack of that knowledge could influence the validity of the designed tests. The main objectives of this study were to carry out a survey and an analysis of: first, the reading tests that were designed and used in an English course of a language center; second, the work with reading done in class and also, the reading tests design, in the same context. The analysis, that aimed to verify the assumptions made, showed the existence of some problems on those tests design. This could compromise the fulfillment and the correction of some activities. It was also verified that those problems could have been anticipated and even sorted out if the teachers had a greater theoretical knowledge of the subject. Besides, there was the intention of knowing if such language center teachers were conscious of the existence of some difficulties in the referred tests design and/or interpretation. The survey showed that the teachers identified a gap in their theoretical development and they were conscious of their own difficulties. Therefore, it can be concluded that those theoretical knowledge exceed a significant influence over reading tests design of English as a Foreign Language. Furthermore, the research also indicates the necessity of more studies on the related area for teachers development, promoting the improvement of these professionals performance. Key words: EFL; teacher development; reading; assessment; test design.
  4. 4. iv RESUMO A Avaliação de Leitura em Inglês como Língua Estrangeira no Centro de Línguas da UFPR - CELIN O ponto de partida dessa pesquisa foi o pressuposto de que o conhecimento teórico sobre leitura em inglês como língua estrangeira e sobre testes de leitura seria fundamental na formação de professores de inglês. Além disso, havia a suposição de que a falta desses conhecimentos poderia influenciar a validade dos testes elaborados. Os objetivos principais deste estudo eram fazer um levantamento e uma análise: primeiro, dos testes de leitura que foram elaborados e aplicados no curso de inglês de um centro de línguas; segundo, do trabalho realizado com a leitura em sala de aula e também da elaboração dos testes de leitura, no mesmo contexto. As análises, que visavam verificar as pressuposições feitas, demonstraram a existência de alguns problemas na elaboração daqueles testes. Isso poderia comprometer a resolução e a correção de algumas atividades. Verificou-se, também, que aqueles problemas poderiam ter sido antecipados e até solucionados, caso os professores tivessem maior conhecimento teórico sobre o assunto. Além disso, havia a intenção de saber se os professores daquela escola estavam cientes da existência de algumas dificuldades no trabalho realizado com a leitura em sala de aula e da influência dessas dificuldades na elaboração e/ou interpretação dos referidos testes. A pesquisa demonstrou que os professores identificavam uma lacuna na sua formação teórica e estavam conscientes das próprias dificuldades. Assim sendo, pode-se concluir que esse conhecimento teórico sobre leitura e avaliação exerce uma influência significativa na elaboração de testes de leitura em inglês como língua estrangeira. E a pesquisa indica, também, a necessidade de se possibilitar mais estudos sobre a referida área, na formação de professores, proporcionando o aprimoramento do desempenho desses profissionais. Palavras-chave: EFL; formação de professores; leitura; avaliação; elaboração de testes.
  5. 5. 1 1 – INTRODUÇÃO 1.1 - PRESSUPOSTO INICIAL O que pude observar na Universidade Federal do Paraná, como aluna da graduação da Licenciatura em Letras Português/Inglês, é que até o momento, este curso não apresenta no seu programa nenhuma matéria com um estudo direcionado especificamente para a avaliação, visando proporcionar ao futuro profissional um embasamento teórico e/ou prático para a elaboração e aplicação de avaliações formais e informais. Refiro-me, aqui, ao conceito de Douglas Brown sobre avaliação formal, como sendo “aqueles momentos designados, durante os quais administramos um instrumento preparado para os estudantes com o propósito de medir sua competência na língua” e informal, como sendo “julgamentos constantes, intencionais ou incidentais, do desempenho dos estudantes”, (BROWN, 2001, p. 384 – minha tradução). A área de ensino que trata de meios de acessar o conhecimento do aluno é bastante extensa e ainda com muito trabalho de pesquisa a ser feito. A partir da minha própria experiência quando comecei a lecionar e observando colegas desta mesma universidade, nas mesmas condições, meu interesse foi direcionado para o tipo formal de avaliação, que tradicionalmente chamamos de teste, pois percebi que quando o professor entra no mercado de trabalho, ele utiliza muitas vezes os testes elaborados por outros profissionais mais experientes, ou os que são sugeridos nos livros didáticos. Isto indica que este professor iniciante tende a utilizar os testes que, intuitivamente, considera mais adequado ao seu método de ensino, testes que nem sempre correspondem à realidade e às necessidades dos seus alunos. Apesar de entender que todas as habilidades que podem compor os testes são de extrema importância, a análise de todas elas seria abrangente demais para um trabalho monográfico como este, portanto, abordarei somente a questão dos testes em relação à leitura em língua estrangeira moderna, no curso de língua inglesa do Centro de Línguas da Universidade Federal do Paraná (CELIN). Sendo assim, parto do pressuposto de que a falta de um conhecimento teórico mais específico numa dada área, neste caso testes de leitura de inglês como
  6. 6. 2 língua estrangeira, pode comprometer a validade dos resultados obtidos na aplicação dos mesmos. 1.2 - JUSTIFICATIVA No ensino da Língua Inglesa como Língua Estrangeira existe a necessidade de trabalhar a habilidade de ler, tanto quanto a de trabalhar as outras três habilidades, de escrever, escutar e falar. Os testes de língua inglesa no CELIN são compostos, obrigatoriamente, de cinco partes, quais sejam: “Listening, Reading, Writing, Language in Use”, que é a prova escrita e “Speaking”, que é a prova oral. Sendo assim, vemos que a leitura é parte integrante e fundamental do sistema de ensino/aprendizagem adotado por este instituto. Além disso, nos últimos semestres, houve um aumento da procura pelo curso de Inglês para Compreensão de Textos Acadêmicos nessa escola. Em geral, o público deste curso era composto de pessoas com pouco ou nenhum conhecimento de inglês e que precisavam da leitura para dar continuidade à sua vida acadêmica (no mestrado, por exemplo). Recentemente passamos a ter, também, vários alunos com uma boa experiência na língua, por haver estudado inglês durante vários anos anteriormente, ou por ter morado em algum país de língua inglesa e que precisam da leitura, não só para a vida acadêmica, mas também para a vida profissional que exige uma obtenção e troca de informações cada vez mais rápida neste contexto globalizado em que vivemos. Isso indica que a necessidade da leitura é crescente e que precisamos voltar nossa atenção para esta habilidade rapidamente, se quisermos dar conta dessa demanda e, ao mesmo tempo, manter e melhorar a qualidade do nosso trabalho. No entanto, devido ao trabalho que tenho desenvolvido no curso de Compreensão de Textos e no curso de inglês como segunda língua no CELIN, percebi que na mesma medida da necessidade de trabalhar com a leitura há uma dificuldade em fazê-lo de forma sistemática, demonstrada por vários professores de inglês desta mesma escola. Isto também me foi relatado em conversas informais por alguns colegas, vindo de encontro às minhas suspeitas. O problema que geralmente é levantado em se trabalhar com a leitura em sala é o tempo, que na opinião dos
  7. 7. 3 professores, parece não ser suficiente para permitir que o aluno leia um texto (de aproximadamente meia lauda) e realize algumas atividades envolvendo a compreensão do mesmo. Este é o argumento principal dado pelos professores para deixar a leitura como tarefa de casa. Essa dificuldade de trabalhar com a leitura parece aumentar, quando surge a necessidade de preparar os testes, porque então, não é apenas uma questão de utilizar o material que já está pronto, na íntegra, mas de selecionar e preparar o material a ser utilizado1 . E o problema é decidir qual a melhor maneira de se fazer isso, como e qual texto escolher e que tipo de questão preparar.2 A partir destas considerações surgiram os questionamentos que me levaram a iniciar este trabalho:  Será que os professores de inglês do CELIN trabalham sistematicamente com leitura em sala?  Os professores do CELIN têm de fato alguma dificuldade em trabalhar com leitura?  Qual a origem dessa dificuldade em se trabalhar com leitura em sala?  Que tipo de avaliação formal de leitura está sendo usado no CELIN?  A elaboração parte de uma base teórica, ou da intuição do professor?  Que análise pode ser feita dos tipos de teste de leitura que estão sendo aplicados no CELIN? Todos estes questionamentos motivaram-me a investigar o que de fato está acontecendo na área da leitura e o que há por trás das dificuldades mencionadas. 1.3 - OBJETIVOS A habilidade de leitura, como dito anteriormente, é tão importante quanto as outras três. Não se pode desconsiderar a importância do trabalho com leitura que deve ser realizado em sala, num curso de inglês como língua estrangeira em que o teste desta habilidade seja obrigatório, como é no CELIN. Assumindo que há, de 1 Ver explicação mais detalhada sobre a vida útil dos testes no CELIN, no item 2.6. 2 É importante lembrar que, a princípio, a elaboração de testes faz parte das atribuições de todos os professores, independentemente da matéria, nível e local de trabalho. E mesmo que alguns deles não precisem executar essa atividade freqüentemente, é bom que estejam preparados para isso.
  8. 8. 4 fato, uma dificuldade em se trabalhar com a leitura em inglês, conforme sugerido nos questionamentos feitos na justificativa acima, o objetivo geral deste trabalho é tentar entender a razão da dificuldade encontrada no desenvolvimento desse trabalho com leitura, fazer uma ordenação sobre o conhecimento específico que vem sendo produzido na área de testes de leitura em inglês, para então analisar os testes de leitura, que estão sendo elaborados pelos professores do curso de inglês do CELIN. Os objetivos específicos deste trabalho são: 1. Levantamento dos tipos de testes de leitura utilizados pelos professores do curso de inglês como língua estrangeira do CELIN, nos 4 (quatro) níveis abaixo citados, nos períodos respectivamente especificados3 .  Básico II - 2º bimestre do 1º semestre de 2005  Básico IV - 2º bimestre do 1º semestre de 2005  Pré-Intermediário II - 2º bimestre do 2º semestre de 2004  Intermediário II - 2º bimestre do 1º semestre de 2005 2. Levantamento e discussão da orientação dos professores no que se refere à elaboração dos testes de leitura de língua inglesa. 3. Levantamento de referencial teórico relativo a testes, que possibilite a análise dos testes em questão. 4. Classificação e análise destes mesmos testes, com base na pesquisa teórica. 3 A explicação da escolha dos níveis será dada oportunamente, no Levantamento de Dados feito na seção 3.2.
  9. 9. 5 2 – PRESSUPOSTOS TEÓRICOS 2.1 - A IMPORTÂNCIA DO CONCEITO DE LEITURA De acordo com ALDERSON, “Para elaborar um teste ou procedimento de avaliação para leitura, nós devemos certamente apelar, mesmo que intuitivamente, para algum conceito do que significa ler textos e entendê-los.”4 (ALDERSON, 2002, pp.1 e 2 – minha tradução)5 Ele diz também, que não podemos esperar até que tenhamos conhecimento o bastante sobre uma área do conhecimento para só então começarmos a preparar os testes. Isso parece evidente, porque se tivéssemos que esperar, dificilmente começaríamos a elaborar testes, tão grande é o volume de conhecimento e, conseqüentemente, tempo de que precisaríamos dispor. No entanto, minha experiência como docente na área de leitura e os estudos que tenho feito indicam que a intuição apenas não basta. A grande responsabilidade que envolve a elaboração de um instrumento tão importante no processo de ensino/aprendizado como um teste, evidencia a impropriedade de baseá-lo apenas na intuição. O próprio ALDERSON (2002, p.2) deixa isso claro, quando propõe a questão “Como é possível testarmos se alguém entendeu um texto se nós não sabemos o que queremos dizer com ‘entender’?”. A falta desse conhecimento teórico sobre a leitura e como trabalhá-la em sala, por exemplo, leva muitos profissionais a pressupor que os alunos já sabem ler e compreender textos em língua materna e que, portanto, conhecendo o léxico mínimo necessário em uma determinada área (por exemplo, cinema, características físicas ou psicológicas, saúde, etc), trabalhado na oralidade, por exemplo, eles serão capazes de fazer a transferência da habilidade de leitura em língua materna para a língua alvo e poderão fazer a leitura e suas atividades complementares, sozinhos em casa. De maneira geral, isto indica que muitos professores acabam relegando a leitura ao segundo plano durante as aulas, porque esta é uma atividade que demanda mais tempo. O problema é que na hora do teste de leitura, nem sempre os alunos estão 4 Neste trabalho, “ler” um texto significa ser capaz de decodificar a linguagem escrita utilizada. “Entender”, ou “compreender” um texto significa ser capaz de apreender a mensagem transmitida pelo autor, de captar o significado pretendido. 5 Com exceção das citações de Foucambert, todas as outras desta seção (2) são traduções livres do original.
  10. 10. 6 preparados adequadamente e nem sempre esses testes refletem o que realmente se pretende avaliar. Assim como ALDERSON, FOUCAMBERT (1994, p.10) também defende a importância da formação teórica do professor, e o faz da seguinte maneira: “ Confundiu-se a descrição dos métodos pedagógicos com a informação sobre leitura. Os professores são profissionais que saberão fazer as escolhas que lhes convêm desde que tenham acesso à informação teórica que lhes está faltando hoje em dia. [...] [...] É indispensável que o currículo da formação inicial dos professores e os estágios de formação contínua dediquem espaços significativos a essa informação, que está disponível, porém não é divulgada.” De fato o que pude perceber na universidade, enquanto aluna, é que se faz uma grande discussão sobre os textos e seus significados, principalmente os literários, mas, no que diz respeito à leitura em inglês como língua estrangeira, pouco se discute sobre as teorias que envolvem a leitura e sua aplicação pedagógica, sobre os diferentes tipos de texto e como trabalhar com eles em sala de aula, ou como analisar os diferentes tipos de atividades que podem ser elaboradas a partir de um texto e o que elas realmente avaliam. Podemos, então, compreender de onde vem a dificuldade dos profissionais em fazer as escolhas necessárias na área da leitura, na elaboração de testes de inglês. Sem um conhecimento teórico que lhes sirva de base, resta-lhes a intuição de que ALDERSON nos fala. 2.2 - CONCEITO DE LEITURA Percebendo a importância do conhecimento teórico do conceito de leitura, o próximo passo é justamente saber com que conceito(s) de leitura trabalhar. FOUCAMBERT (1994, p.5) diz que “Ler significa ser questionado pelo mundo e por si mesmo, significa que certas respostas podem ser encontradas na escrita, significa poder ter acesso a essa escrita, significa construir uma resposta que integra parte das novas informações ao que já se é.” O que se deve apreender do que ele diz é que ler é um processo ativo por parte do leitor e não passivo, como costumava- se pensar há poucas décadas. Ler não é apenas atribuição de significado ao que está escrito, mais que isso, ler é a construção de sentido que se faz da mensagem transmitida a partir do conhecimento de mundo que se tem, para que essa nova
  11. 11. 7 mensagem, ou parte dela, passe a fazer parte do próprio leitor. E é exatamente isso que lemos em CARRELL (1987, p. 24): ...não apenas o leitor é um participante ativo no processo de leitura, fazendo predições e processando informação, mas tudo na experiência ou formação de conhecimento prévia do leitor representa um papel potencial no processo.” O leitor, portanto, é a peça principal no processo de leitura, sem o qual não há razão para o texto, nem construção de sentido possível. É a partir do leitor que um texto passa a existir, de fato, como veículo transmissor de mensagens. E, considerando que cada leitor constrói sentidos novos a partir do seu conhecimento prévio e que este conhecimento e diferente em cada leitor, podemos entender que toda leitura que se faz de um mesmo texto é particular e única. COHEN afirma que “Ler requer que o leitor supra o significado ativamente com regularidade.” (1994, p.212) Ou seja, para ler o leitor deve interagir com o texto. Todo texto pressupõe algum conhecimento prévio que vai ser necessário para que o leitor possa interagir com o conteúdo desse mesmo texto. O leitor, então, faz um “diálogo” entre o que ele já sabe e o que está lendo, criticando, complementando, aceitando, recusando, etc, e assim, ele reestrutura e constrói novas idéias, conceitos e conhecimentos. No entanto, tanto o conhecimento pressuposto quanto as construções de sentido têm uma limitação imposta pelo contexto em que o texto é lido. Se assim não fosse, os textos se tornariam inviáveis num dado momento, devido ao volume de informações, sempre crescente, que conteriam. Da mesma forma, a variação de sentidos apreendidos impossibilitaria a chegada a um sentido geral que pudesse ser partilhado pela maioria dos leitores em questão, uma vez que cada leitor poderia inferir qualquer coisa que, para ele, fizesse sentido. Nesse modelo de leitura interativa que COHEN adota a leitura “...é vista como uma interação entre o texto e o leitor,...”(1994, p.212) e a compreensão6 desse texto vai depender tanto das características do texto, como do conhecimento prévio que o leitor tem sobre o assunto abordado. Quanto maior o conhecimento prévio do assunto, mais fácil se torna a compreensão de um texto. Da mesma forma, quanto mais complexa é a abordagem de um assunto em um texto, mais conhecimento prévio se faz necessário, para uma adequada compreensão do mesmo. 6 Ver definição de “compreensão” utilizada ao longo deste trabalho na nota de roda-pé da seção 2.1, p. 5.
  12. 12. 8 Em geral, quando lemos algum texto é porque queremos encontrar alguma “coisa” naquilo que está escrito. Pode ser o desfecho de algum acontecimento, fictício ou não, a cotação da bolsa de valores, ou a opinião de quem escreveu um artigo, por exemplo. Na sala de aula, o aluno geralmente não escolhe o que quer ler, cabe então ao professor proporcionar ao aluno uma razão para ler um determinado texto. Seja qual for a situação, NUTTALL (2000, p. 3) denomina essa “coisa” que queremos encontrar de “mensagem”. O que nos interessa na leitura, portanto, é a mensagem que o autor do texto quer transmitir. Em seu livro Teaching Reading Skills in a Foreign Language, NUTTALL preocupa-se “...com o significado, especificamente com a transferência de significado de mente para mente: a transferência de uma mensagem do escritor para o leitor.” As visões de leitura que estes autores apresentam, são visões gerais, que não se concentram em aspectos específicos dos diferentes tipos de leitura existentes, em relação ao diferentes tipos de textos, por exemplo. Mas, embora amplas, são bastante adequadas aos propósitos deste trabalho, pois no que tange testes de leitura em inglês como língua estrangeira, o que basicamente nos interessa é que o aluno seja capaz de construir significados novos, através da interação com o significado pretendido pelo autor de uma mensagem7 , transmitida por meio da escrita, seja ela qual for e que possa também interagir com o texto, independentemente do tipo, na busca e elaboração das informações que sejam mais relevantes naquele momento (saber qual o tópico de um texto, qual a opinião do autor sobre o assunto, ou uma informação precisa sobre o assunto abordado, por exemplo). São essas informações que nos vão permitir analisar se um aluno será capaz de utilizar a habilidade de leitura na compreensão e construção de significados a partir de mensagens escritas em inglês. O conhecimento de algum conceito de leitura, sem dúvida, é essencial para o desenvolvimento de um trabalho com leitura em sala de aula, bem como com testes de leitura. Mas além desse conceito, outros também são fundamentais, inclusive para o desenvolvimento desta pesquisa, tais como os conceitos de mensuração, avaliação e testes. Sendo assim, antes de abordar o assunto de testes propriamente dito, estes conceitos serão vistos, através de uma definição dos mesmos. 7 Uma mensagem, no contexto da leitura, pode ser uma idéia, um sentimento, um fato, ou alguma outra coisa que uma pessoa queira compartilhar com os possíveis leitores do seu texto.
  13. 13. 9 2.3 - DEFINIÇÕES Alguns termos, embora bastante utilizados no meio educacional, nem sempre estão claramente definidos nas suas nuanças, por isso considero importante dar a definição de três deles. Segundo BACHMAN (1991, pp. 18-24): Mensuração (Measurement)8 : “Mensuração nas ciências sociais é o processo de quantificar as características de pessoas de acordo com procedimentos e regras explícitas. Esta definição inclui três aspectos distintos: quantificação, características, e procedimentos e regras explícitas.” Mensuração é geralmente baseada na observação naturalista do comportamento em um dado período de tempo, mas não vai necessariamente levar a resultados que comprovem as habilidades ou atributos específicos do comportamento do indivíduo. Por exemplo, um professor pode mensurar a habilidade oral em inglês de um amigo com quem conversa regularmente há muito tempo nesta língua e até mesmo dar uma nota para a sua produção oral, de acordo com os critérios de nivelamento que conhece, no entanto, essa mensuração não pode ser usada como prova dessa habilidade, uma vez que o professor não seguiu os procedimentos padrões exigidos por um teste de nivelamento. Devido a limitações como essa, que a mensuração apresenta, os teste de linguagem são considerados mais apropriados para garantir que a amostra de linguagem obtida de fato serve para os propósitos pretendidos. Teste (Test): “…um teste é um instrumento de medição elaborado para obter uma amostra do comportamento de um indivíduo. Como um tipo de medição, um teste necessariamente quantifica características de indivíduos de acordo com procedimentos explícitos.” A grande vantagem do teste reside na sua capacidade de obtenção de tipos de comportamento possíveis de serem interpretados como sendo evidências da habilidade testada. Por seguirem procedimentos pré-estabelecidos e por serem 8 Mensuração não é um termo muito freqüente na área de educação. Mesmo assim, para traduzir o termo “measurement” optei por “mensuração”, por ser a palavra cujo significado mais se aproxima do sentido que o termo em inglês carrega e por não haver outro termo que, além de definir melhor, seja diferente do usado para a tradução de “evaluation” (avaliação).
  14. 14. 10 preparados especialmente para o propósito utilizado é que os testes de linguagem são confiáveis, significativos e úteis. Avaliação (Evaluation): “Avaliação pode ser definida como a coleta sistemática de informações para o propósito de tomada de decisões.”9 (WEISS, 1972 – citado por BACHMAN) O termo “assessment” é empregado como sinônimo de “evaluation” e o termo correspondente em português também é “avaliação”. Uma das características da avaliação é a coleta de informações confiáveis e relevantes, mas as informações não precisam, necessariamente ser quantitativas, assim como não abrangem todos os tipos de testes, que podem ser usados com propósitos descritivos, por exemplo. Estabelecendo uma relação entre estes três termos, podemos dizer que: 1) nem toda avaliação é uma mensuração ou um teste, 2) nem toda mensuração é uma avaliação ou um teste, 3) nem todo teste é uma avaliação e 4) todo teste é necessariamente uma mensuração.10 2.4 - OS TESTES: IMPORTÂNCIA E CONCEITOS Dentro dos estudos relacionados a testes ainda existem muitos termos não claramente definidos, estabelecidos e devidamente acordados pelos estudiosos. Por isso, é preciso fazer algumas considerações com relação aos termos que serão utilizados ao longo deste trabalho. Seguindo o exemplo de Alderson em Assessing Reading, estou considerando os termos “método”, “técnica” e “formato” de teste como sendo sinônimos. Da mesma forma, utilizo os termos “item” e “questão”, indistintamente, como sendo a parte do teste que requer uma resposta do aluno, seja ela de que tipo for: completar, múltipla escolha ou resposta curta, por exemplo. É importante deixar claro também, que no contexto em que este trabalho é desenvolvido, o CELIN, quando me refiro ao professor, considero-o responsável pela 9 Weiss, C. H. Evaluation Research: Methods for Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice-Hall, 1972. (Tradução livre) 10 Para uma melhor compreensão dessa relação, ver no anexo 6 a reprodução do esquema proposto por Bachman (1991, p.23, fig. 2.1)
  15. 15. 11 elaboração de testes também, uma vez que esta é a realidade que se apresenta neste instituto de línguas. Mas, o que é um teste? Segundo BROWN (2001, p.384), teste “é um método para medir a habilidade ou o conhecimento de uma pessoa em um dado domínio. [...] É um conjunto de técnicas, procedimentos e itens que constituem um instrumento...”, que exige algum tipo de performance ou atividade por parte do aluno. E é esta performance ou atividade que será avaliada. Esta definição proposta por BROWN é abrangente e clara, mas nem por isso simples de se realizar. Alguns questionamentos ainda se fazem necessários para que percebamos a complexidade e a relevância da atividade de elaboração de testes de língua estrangeira. E é importante considerar que a análise do conhecimento que serve de base para a elaboração dos testes em geral, aplica-se também aos testes de leitura em inglês, foco deste trabalho. O primeiro questionamento a ser feito com relação aos estudos sobre testes é qual a importância de se conduzir estudos na área de testes. Esta importância é atestada por MCNAMARA (2000, p.4-5), quando ele diz: “Há muitas razões para se desenvolver uma compreensão crítica dos princípios e práticas de avaliação de língua. [...] Primeiro, testes de língua representam um papel poderoso na vida de muitas pessoas, agindo como passaportes para importantes momentos de transição na educação, em emprego, e em mudança de um país para outro. Desde que testes de língua são mecanismos para o controle institucional dos indivíduos, é claramente importante que eles devam ser entendidos, e sujeitos a exame minucioso. Em segundo lugar, você pode estar trabalhando com testes de língua em sua vida profissional como um professor ou administrador, preparando para um teste, administrando testes, ou baseando-se em informações de testes para tomar decisões para o nivelamento de estudantes para determinados cursos. Finalmente, se você está conduzindo uma pesquisa no estudo da língua você pode precisar ter medidas da proficiência de língua dos seus sujeitos. ...” A argumentação de MCNAMARA demonstra com clareza o poder que os testes dão àqueles que os utilizam. Esse poder acarreta como conseqüências naturais a responsabilidade com a justiça e o comprometimento com a qualidade dos testes, que por sua vez, levam diretamente à necessidade de expandir os conhecimentos sobre o assunto. Vem então um segundo questionamento, sobre como assegurar que os testes tenham de fato a qualidade esperada e reflitam o conhecimento do aluno nos resultados, com justiça. Para isso, existem certos critérios, que precisam ser observados na elaboração dos testes, garantindo que os mesmos avaliem o domínio
  16. 16. 12 pretendido, sem incluir ou deixar que outros fatores possam interferir nos resultados e/ou na interpretação dos mesmos. Diferentes autores apontam um número diferente de critérios, ou qualidades, como sendo mais relevantes na qualificação dos testes. Mas, três desses critérios estão presentes em toda a literatura que trata do assunto: a praticidade, a confiabilidade e a validade. Segundo Douglas BROWN, entre os vários critérios pelos quais podemos avaliar se um teste é adequado ou não, “De longe, o critério mais complexo de um bom teste é validade, o grau ao qual o teste de fato mede o que se pretende medir.” (2001, p.387 – minha tradução) E pelo vasto número de estudos que se vem conduzindo sobre esse critério, podemos perceber que ele não é o único a ter essa opinião. BACHMAN (1991, p. 24-25) diz que “Se nós temos que interpretar a pontuação num dado teste como um indicador da habilidade de um indivíduo, aquela pontuação deve ser ambas confiável e válida.” Mas que, “A qualidade mais importante da interpretação ou uso do teste é a validade, ...”. Ele considera que “Enquanto a confiabilidade é uma qualidade dos resultados do teste em si, validade é uma qualidade da interpretação e uso do teste.” Ou seja, os resultados dos testes devem ser confiáveis, mas válidas serão as interpretações e os usos que serão feitos das respostas. Uma depende do outro, isto é, para que as interpretações sejam válidas, os resultados devem ser confiáveis. Dizer isso é o mesmo que dizer que, em certa medida, a validade depende da confiabilidade, como veremos a seguir afirmado por Davis et al no Dicionário de teste de linguagem (Dictionary of language testing - 2002). Apesar dessa visão de BACHMAN de que, na verdade, o que é válido é a interpretação do resultado e o uso que se faz dele e não o teste em si, neste trabalho são os itens dos testes que serão analisados como válidos ou não, a partir dos possíveis resultados que eles podem gerar, porque a intenção é perceber que a validade de um teste pode e deve ser antecipada na elaboração do mesmo. Ainda que neste trabalho o critério da confiabilidade não esteja sendo utilizado, é importante ficar claro que ela fará parte da análise dos testes do CELIN, mesmo que implicitamente. É preciso partir do princípio de que os resultados dos testes são confiáveis, ou não haveria sentido em analisá-los quanto à validade. Mas é importante ressaltar que nem a confiabilidade, nem a validade são absolutas, “no sentido de que nós nunca podemos atingir medidas perfeitamente livres de erros na
  17. 17. 13 verdadeira prática, e a adequação de um uso particular da pontuação de um teste vai depender de muitos fatores exteriores a ele mesmo.” (BACHMAN, 1991, p.26) É o avaliador quem vai julgar o quão adequado é um teste e o resultado que ele gera, e quão confiável e válido um teste precisa ser, para o contexto em que ele é usado. Por exemplo, em uma prova de suficiência de inglês em que se queira testar a compreensão de texto, é o avaliador (elaborador do teste) quem vai decidir se uma tradução do texto, ou parte dele, pode ser considerada indício de que o candidato entendeu o texto, ou se isso apenas demonstra a habilidade de estabelecer uma correlação entre as duas línguas, sem que o candidato, necessariamente, tenha entendido o significado da mensagem transmitida. Embora a questão da validade esteja sempre em pauta nos estudos sobre testes e, implícita ou explicitamente, esteja posta na atividade de elaboração de testes em si, nem sempre ela é considerada ou é possível de ser aprofundada pelos professores em geral. E na maioria das vezes isto se dá porque nem sempre a idéia de validade está claramente definida para esses profissionais. De acordo com o “Dictionary of language testing” (2002, p.221), validade é: “ A qualidade que mais afeta o valor de um teste, anterior a, embora dependente da, confiabilidade. Uma medida é válida se faz o que ela tem a intenção de fazer, que é tipicamente agir como um indicador de um conceito abstrato (por exemplo altura, peso, tempo, etc.) que ela afirma medir. A validade de um teste de linguagem portanto é estabelecida pelo grau ao qual ele é bem sucedido em provar uma representação concreta precisa de um conceito abstrato (por exemplo proficiência, realização, aptidão). Os tipos de validade referidos mais comuns são:  conteúdo;  construto;  simultâneo;  previsível.” Existe também um outro tipo de validade chamada “face validity”, que pode ser traduzida por validade de aparência. Esta qualidade diz respeito à aparência que o teste tem da perspectiva de quem vai ser testado. Ou seja, intenção de se obter esta qualidade nos testes é convencer o aluno de que o teste está de fato testando aquilo a que se propõe (gramática, oralidade, compreensão de texto, etc). O conceito de validade é de fundamental importância neste trabalho, porque é a partir desse critério que pretendo analisar os testes de leitura em inglês elaborados pelos professores do CELIN. Mais especificamente a validade de
  18. 18. 14 conteúdo, que se refere, como o nome diz, ao conteúdo que se pretende medir. Muitas vezes, inadvertidamente, um teste que é elaborado com a intenção de medir a capacidade de compreensão de um texto acaba medindo na verdade questões lexicais e gramaticais. Nesse caso, esse teste não poderia ser considerado válido, uma vez que não vai apresentar os resultados esperados, não vai ser capaz de refletir através dos resultados as informações necessárias para a avaliação do conteúdo pretendido. Essa dificuldade de validação de testes de leitura de inglês como língua estrangeira acontece em grande parte pela falta do conhecimento teórico tanto sobre elaboração de testes, quanto de leitura, como dito anteriormente. 2.5 - TESTES DE LEITURA: FATORES DE INTERFERÊNCIA Para falarmos sobre testes de leitura, primeiro é preciso estar consciente de que os testes que os professores desenvolvem sempre representam a visão de leitura que eles têm e o seu conhecimento sobre leitura e sobre testes. Depois, é extremamente importante que os professores cuidem para não testarem apenas itens lexicais em testes de leitura, porque como ALDERSON (2002) diz, a importância do vocabulário na leitura é inegável e é inevitável que o vocabulário também seja avaliado em testes de leitura. Na elaboração de testes de leitura de inglês como língua estrangeira, devemos considerar alguns fatores que podem afetar a avaliação da leitura, e que, portanto, devem ser analisados com cuidado durante a elaboração de testes. ALDERSON (2002, cap. 3) afirma que um desses fatores é a dificuldade de um ou de ambos, do texto e do item do teste. Segundo ele, “É claramente possível fazer uma questão fácil de textos difíceis, e questões difíceis de textos fáceis.” (pp. 85-6) E nesse caso, a pontuação de um teste pode ser alta ou baixa variando com a dificuldade do texto ou do item. Um outro fator de dificuldade que ALDERSON cita é a dificuldade da linguagem usada na questão. Muitas vezes o texto é adequado, o nível da questão é apropriado, mas a linguagem usada é tão complexa ou confusa que a questão se torna difícil. ALDERSON (2002, cap.3) comenta também alguns fatores que podem dificultar a leitura dos textos de um teste. Um desses fatores diz respeito à relação
  19. 19. 15 entre conhecimento prévio e conteúdo do texto. O fato de o aluno dominar o assunto tratado no texto pode facilitar a leitura, no entanto um texto que seja muito especializado pode não estar testando a habilidade de leitura, mas o conhecimento prévio. Por outro lado, um texto que desenvolva um assunto muito especializado pode prejudicar aqueles alunos que não detém (quase) nenhum conhecimento sobre ele, porque neste caso, a dificuldade do léxico e um assunto estranho tornam-se um obstáculo à compreensão do texto. A extensão do texto pode ser um outro fator de dificuldade num teste. Não há extensão de texto melhor ou pior, mas a habilidade que pode ser avaliada pode mudar de acordo com a extensão do texto. Sendo que testes baseados em textos mais curtos podem depender mais em habilidades de processamento de sentença (conhecimento sintático, lexical, etc), enquanto que com textos mais longos, pode-se avaliar mais as habilidades de compreensão mais global e de relação entre temas, por exemplo. 2.6 - TESTES DE LEITURA: A VALIDAÇÃO NO CELIN “É importante entender que não há nenhum ‘método melhor’ para testar leitura. Nenhum único método de teste pode preencher todos os vários propósitos para os quais nós podemos testar.” (ALDERSON, 2002, p.203) No entanto, alguns tipos de teste são mais usados por questões de conveniência e eficiência (são mais rápidos e fáceis de corrigir, por exemplo), e seria ingenuidade pensar que por serem mais usados esses testes podem ser considerados válidos. O CELIN não é muito diferente de outras escolas de inglês no que diz respeito a isso, ou com relação aos conhecimentos sobre testes que os professores têm. Como ALDERSON afirma, não se deve esperar atingir a elaboração de testes perfeitos, ou descobrir o melhor teste de leitura em inglês de todos. A intenção é tentar reunir neles o máximo de qualidades possíveis, é torná-los, além de convenientes, eficientes e válidos. “O propósito da validação no teste de língua é assegurar a defensibilidade e justiça das interpretações baseadas na performance do teste.” (MACNAMARA, 2000, p.48) A responsabilidade que envolve a elaboração e aplicação de testes é muito grande. É fundamental que haja uma boa razão para a aplicação de um teste,
  20. 20. 16 no caso da escola de línguas, a passagem de nível, mas é preciso também que ele possa ser considerado adequado ao propósito e que os resultados obtidos sejam considerados justos, caso contrário, todo processo é passível de ser contestado e invalidado. De acordo com MCMAMARA (2000, p.49), “A pesquisa conduzida para validar procedimentos de testes pode acompanhar o desenvolvimento do teste, e é freqüentemente feito pelos próprios elaboradores de teste; isto é, ele pode começar antes do teste se tornar operacional. Validação idealmente continua através a vida do teste, conforme novas questões a respeito da sua validade são levantadas, normalmente no contexto da pesquisa de teste de língua.” Estas afirmações demonstram a necessidade que o professor tem de conhecer as noções teóricas básicas da elaboração de testes, ou então, como ele poderia conduzir uma análise do teste que está elaborando? Além disso, a partir do que MCNAMARA diz sobre o fato de que a validação deveria continuar ao longo da vida do teste, podemos analisar um procedimento, que, como parte do quadro de professores, percebo ser regular no CELIN. Os testes de leitura em inglês são constantemente refeitos11 , os textos são mudados com muita freqüência e, conseqüentemente, os itens dos testes também mudam. Todas essas alterações feitas a cada novo semestre não permitem que a validação de um teste atinja um grau cada vez maior e que o teste seja aperfeiçoado. A situação ideal seria elaborar os testes de leitura em inglês de tal forma que pudessem ser utilizados por mais tempo, alterando apenas os fatores que se mostrassem inadequados12 . Segundo BACHMAN e PALMER (1997) várias pesquisas sobre os efeitos dos métodos de testes na performance dos testes levam à conclusão de que “é sempre provável que as características das atividades usadas afetem a pontuação dos testes em algum grau, de tal forma que virtualmente não há nenhum teste que dê somente informações sobre a habilidade que nós queremos medir.” (p.46) Essa conclusão traz consigo uma implicação para a elaboração, desenvolvimento e uso dos testes, que os mesmos autores apresentam, afirmando que, “visto que não 11 Não só os de leitura, mas todos os testes escritos. 12 Os teste não são entregues aos alunos. Por serem considerados documentos, a posse dos mesmos é da escola. Portanto, assim como os mesmos materiais de áudio são reaproveitados no “Listening”, os textos utilizados no teste de leitura também poderiam ser mantidos por mais tempo, com opções de atividades que pudessem ser usadas alternadamente em semestres subseqüentes.
  21. 21. 17 podemos eliminar totalmente os efeitos das características da atividade, nós devemos aprender a entendê-los e controlá-los de maneira a assegurar que os testes que vamos usar têm as qualidades que desejamos e são apropriados para os usos para os quais eles são pretendidos.” (p.46) Essas idéias complementam as de MCNAMARA sobre a validade, exposta acima. Considerando tudo isso, podemos perceber que a maneira de entender e controlar tais efeitos das características das atividades é através dos procedimentos de validação de testes, isto é, das análises que podem ser feitas ao longo do desenvolvimento e ao longo da vida útil dos testes. Só assim podemos garantir que os mesmos são adequados ao uso que fazemos deles. Para entender porque e como o estudo da validação de testes pode ser importante para o CELIN, é preciso ter em mente que esta é uma escola de aplicação e, portanto, os professores de inglês que ali se encontram estão visando o seu desenvolvimento e aperfeiçoamento profissional. O papel do teste no processo de ensino / aprendizagem é fundamental, visto que os resultados dos mesmos apresentam um amplo desdobramento, afetando direta ou indiretamente, quem avalia, quem vai ser avaliado e todas as pessoas envolvidas no processo, como familiares, professores e até mesmo administradores da escola. Do CELIN os professores saem para o mercado de trabalho, multiplicando os conhecimentos adquiridos na prática, somados aos conhecimentos teóricos adquiridos na universidade, podendo, assim, ser considerado o lugar ideal para a aprendizagem e prática de desenvolvimento de um trabalho tão fundamental quanto este de elaboração de testes de leitura em inglês como língua estrangeira. 2.7 - TIPOS DE TESTE (TÉCNICAS PARA TESTAR LEITURA) Para que os testes de leitura utilizados no curso regular do CELIN possam ser melhor analisados, é preciso conhecer a nomenclatura relativa aos tipos de teste relacionados até o momento. Senão todos, pelo menos, a parte deles que se refere aos testes de leitura em inglês como língua estrangeira e que nos interessa especificamente.
  22. 22. 18 Existem diferentes nomenclaturas e classificações, elaboradas por diferentes autores. COHEN (1994, cap. 7) relaciona os seguintes métodos de testes de leitura:  Multiple-Choice  Alternatives to multiple-choice o Summary writing o Metacognitive judgements o Question selections o Multiple acceptable responses o Prior knowledge  Cloze  C-Test  Recall Protocols  Identifyin the meaning by multiple-choice  Matching  Checking off familiar words  Combining self-report with performance Apesar da relação apresentada por COHEN ser muito boa, para relacionar os tipos de testes existentes, escolhi a classificação apresentada por ALDERSON (2002), porque além de apresentar uma relação bastante abrangente, suas explicações a respeito dos testes são dadas em uma linguagem bastante acessível, mesmo para que não tem um conhecimento muito profundo sobre o assunto.13 Isso é importante neste trabalho, na medida em que uma das intenções é que ele possa ter uma utilidade prática na informação e formação de professores de inglês. ALDERSON afirma que todo exercício é um teste em potencial, e que, portanto, a diferença não está no material em si, mas no propósito para o qual ele é utilizado. Pode-se deduzir do que ele diz que não há diferença entre tipos de atividades desenvolvidas especificamente para exercício ou para teste. Os materiais, em princípio, são os mesmos e a diferença está na forma e no propósito para o qual eles são utilizados. Cada tipo de exercício é, em potencial, o item de um teste. 13 No entanto, o fato de termos que optar por um destes autores não implica dizer que a classificação a apresentada por ele é melhor que a dos outros, mas que o trabalho apresentado por ele se adapta melhor aos propósitos deste trabalho.
  23. 23. 19 Sendo assim, os tipos de teste que ALDERSON (2002) apresenta são: Cloze test: neste tipo de teste retira-se a enésima palavra do texto selecionado, sendo que ‘n’ geralmente varia entre cada 5ª e cada 12ª palavra. Uma ou duas sentenças são mantidas intactas no início e no final do texto, para estabelecer maior coesão textual. Gap-filling (Preencher de lacunas): este teste diferencia-se do anterior no fato de que as palavras retiradas são escolhidas racionalmente e não por um procedimento pseudofortuito. Procura-se deixar um mínimo de 5 a 6 palavras entre cada lacuna. Multiple-choice (Múltipla escolha): para cada pergunta são dadas várias alternativas para que se escolha uma ou mais entre elas. Este é um tipo de teste muito usado em leitura. Matching (Relacionar): deve-se fazer a correspondência entre dois jogos de informações neste teste, por exemplo, notícias de jornal e suas manchetes. Ordering (Ordenar): o objetivo é reordenar corretamente um grupo de palavras, sentenças, parágrafos ou textos, que estão colocados fora de ordem. Dichotomous (Verdadeiro ou Falso): para cada sentença relativa a um texto dado, existem duas alternativas: verdadeiro ou falso / certo ou errado / concorda ou discorda do texto; ou com uma terceira alternativa, como: não mencionado / não diz. Editing (Editar): este teste consiste de uma passagem de um texto contendo erros, que deverão ser identificados e, possivelmente, corrigidos. C-test: neste tipo de teste é retirada a metade de cada segunda palavra do texto. O número de letras pode variar um pouco se a palavra tiver número ímpar de letras e neste caso, deve-se deixar explícito que poderão estar faltando o mesmo número de letras ou uma a mais. Uma variação deste teste é retirar um número maior ou menor de letras para serem repostas.
  24. 24. 20 Cloze elide test: neste teste, em lugar de retirar palavras do texto, adicionam-se palavras que não pertencem ao texto e que devem ser identificadas e retiradas. Short-answer (Respostas curtas): esta é uma alternativa semi-objetiva para os testes de múltipla escolha. As perguntas feitas devem ser respondidas de forma breve, com poucas palavras, mas não apenas com Sim/Não ou Verdadeiro/Falso. Free-recall (Recordação livre): este é um teste em que, após ler o texto, o aluno coloca-o de lado e escreve tudo que puder lembrar desse texto. Summary (Resumir): é uma variação do “free-recall”. Neste caso, o aluno deve fazer um resumo das idéias principais do texto todo, de parte dele, ou das idéias no texto que estão relacionadas com um dado tópico. Gapped summary (Preencher lacunas em um resumo): os alunos lêem um texto e depois, um resumo desse texto, de onde foram retiradas algumas palavras, que só poderão ser recuperadas a partir da leitura e compreensão das idéias principais do texto integral. Information-transfer (Transferir informação): o objetivo deste tipo de teste é identificar no texto alvo as informações requisitadas e transferi-las, freqüentemente, para uma tabela, um mapa, um esquema, ou para uma outra forma qualquer. As informações podem ser constituídas de números, nomes, pequenas frases ou sentenças; e podem ser pontuadas objetiva ou subjetivamente. Open-ended (Questão aberta): Este tipo de questão não faz parte da lista de itens proposta por ALDERSON (2002), aqui apresentada e, por isso mesmo, ele não deixa muito claro o que entende por “open-ended questions” (questões abertas), limitando- se a colocá-las em oposição às “closed questions” (questões fechadas). No entanto, considerando a existência de itens que não poderiam ser classificados em nenhum dos tipos por ele relacionados, entendo haver a necessidade de apresentar a visão de outros autores a respeito desta questão.
  25. 25. 21 DAVIES et al no “Dictionary of language testing” (2002 – p.32) considera o item “open-ended question” como sinônimo dos itens chamados “constructed- response” (resposta construída) e “extended response” (resposta extendida), classificando não a questão em si, mas o tipo de resposta que se espera obter através da questão. Segundo esses autores este tipo de item distingue-se dos chamados “forced-choice” (escolha forçada) no fato de que neste último o aluno deve escolher uma das opções propostas e no primeiro o aluno deve formular sua própria resposta. Além disso, eles consideram alguns dos itens classificados por ALDERSON e mencionados acima, formas de respostas construídas, por exemplo: “cloze” e respostas curtas, ou formas de itens de escolha forçada. BACHMAN (1991 – p.129) estabelece uma classificação parecida com a de DAVIES et al, muda somente os termos e não o que se entende por eles e propõe dois tipos de respostas esperadas: reposta selecionadas e respostas construídas. NUTTALL (2000 - p.186) considera as questões abertas, as de múltipla escolha e as de verdadeiro ou falso como itens pertencentes a um mesmo nível de classificação. Ela afirma que nas questões abertas o aluno pode dar qualquer resposta que considerar apropriada, mas que essas questões são particularmente aplicadas a perguntas “Q”, “Como” e “Porque”. Apesar da diferença de terminologia empregada pelos estudiosos nessa classificação, com relação às vantagens e desvantagens desse tipo de item eles estão de acordo. As desvantagens são que essas questões não poderem ser avaliadas objetivamente, o que pode dificultar bastante a correção, e que nem sempre o aluno é capaz de fazer uso da segunda língua para produzir a resposta, sendo necessária a aceitação do uso da L1 na elaboração da resposta. As vantagens são a relativa facilidade de elaboração das questões, em relação às de múltipla escolha. As questões abertas podem ser usadas, praticamente, para qualquer propósito e principalmente, elas permitem que o professor tenha um acesso maior à capacidade de compreensão, elaboração e síntese, do aluno. A meu ver, essa classificação parece não estar estabelecida de forma clara para todos os autores, ainda. Mesmo assim, estou optando por utilizar a proposta de classificação das questões abertas apresentada por NUTTALL e considerá-las como mais um item de classificação nesta lista, por entender que essa proposta é a que melhor se adapta aos propósitos deste trabalho.
  26. 26. 22 3 – METODOLOGIA 3.1 - EMBASAMENTO E ESCOLHA METODOLÓGICA De acordo com NUNAN (2003, p.3), os escritores, tradicionalmente, fazem uma distinção binária entre pesquisa quantitativa, que é controlada, objetiva, generalizável e que assume a existência de fatos que são independentes e externos ao observador e ao pesquisador, e qualitativa, que considera que o conhecimento é relativo, que há um elemento subjetivo para todo conhecimento e pesquisa e que estudos holísticos e não generalizáveis também são justificáveis. Recentemente, no entanto, esta distinção tem sido considerada simplista e ingênua por alguns autores citados por NUNAN (2003, p.4-10). O primeiro deles é GROTJAHN14 (1987), que diz que esta distinção binária qualitativa/quantitativa é uma simplificação demasiada e que os estudos atuais sobre pesquisa estão levando em consideração “o método de coleta de dados (se os dados devem ser coletados experimentalmente ou não-experimentalmente); o tipo de dados produzidos pela investigação (qualitativos ou quantitativos); e o tipo de análise dos dados conduzida (se estatística ou interpretativa).”15 A combinação dessas variáveis geram dois paradigmas “puros”, que por sua vez geram seis paradigmas “híbridos”. Os paradigmas puros seriam: “exploratory-interpretive” e “analytical-nomological”. Os híbridos seriam: “experimental-qualitative-interpretive”; experimental-qualitative- statistical”; exploratory-qualitative-statistical”; “exploratory-quantitative-statistical”; “exploratory-quantitative-interpretive” e “experimental-quantitative-interpretive”. O segundo autor é VAN LIER16 (1990, pp. 34-35), que apresenta dois parâmetros de pesquisa em lingüística aplicada, quais sejam: intervenção / não intervenção e altamente seletivo / não seletivo. Estes dois parâmetros geram quatro espaços semânticos, que ele denomina de espaço “controlado”, espaço “dimensionado”, um espaço de “perguntar/fazer” e um espaço de “observação”. Uma 14 Grotjahn, R. On the methodological basis of introspective methods. In C. Faerch and G. Kasper (eds.), Introspection in Second Language Research. Clevedon Avon, England: Multilingual Matters, 1987. 15 Minha tradução. 16 van Lier, L. Ethnography: Bandaid, bandwagon, or contraband. In C. Brumfit and R. Mitchell (eds.), Research in the Language Classroom. London: Modern English Publications, 1990.
  27. 27. 23 pesquisa pode transitar entre estes quatro espaços, dependendo da direção que o pesquisador toma no decorrer do seu trabalho. BROWN17 (1988) é o terceiro autor, citado por NUNAN, que apresenta um sistema de análise de tipos de pesquisa que se divide em primário e secundário. A pesquisa do tipo primário deriva de fontes de informação primárias (por exemplo, resultados de testes de alunos que serão analisados) e a pesquisa secundária consiste em uma revisão da literatura sobre determinada área, com a síntese da pesquisa realizada por outros pesquisadores. A pesquisa primária subdivide-se em estudo de caso e estatística, que por sua vez, subdivide-se em levantamento, que investiga atitudes, opiniões ou características (freqüentemente através de questionários) e estudos experimentais, que controla as condições sob as quais são realizadas as observações. NUNAN afirma que apesar da distinção entre pesquisa qualitativa e quantitativa ser simplista e ingênua, como dizem os autores citados, essa distinção ainda persiste. Isto se dá, em parte porque esses dois enfoques representam maneiras diferentes de análise e representação do mundo e o debate sobre a natureza do conhecimento que baseia o desenvolvimento de diferentes tradições e métodos de pesquisa é filosófico. Considerados os diferentes pontos de vista sobre os métodos de pesquisa e contexto do corrente trabalho apresentado anteriormente, a escolha pela metodologia qualitativa se deu, principalmente por três motivos. Primeiro, porque a intenção desta pesquisa era fazer uma análise qualitativa de dados, com vistas a identificar as características presentes nos mesmos, usando como referencial a análise de itens de testes feita por ALDERSON (2002) e apresentada na seção 2.7. Por isso, não havia interesse em fazer uma coleta de dados abrangente, nem fazer uma análise quantitativa, que fosse generalizável. Segundo, porque há elementos subjetivos na pesquisa, como o levantamento da orientação dos professores relativa a testes, uma vez que, por mais objetivas que sejam as perguntas de um questionário como o proposto, as respostas obtidas serão sempre subjetivas. E terceiro, porque a análise tanto dos testes quanto das entrevistas será interpretativa, 17 Brown, J. D. Understanding Research in Second Language Learning: A Teacher’s Guide to Statistics and Research Design. New York: Cambridge University Press, 1988.
  28. 28. 24 portanto, sob alguns aspectos subjetiva e não generalizável, embora plenamente justificável. 3.2 - LEVANTAMENTO DOS DADOS Com base nos objetivos propostos para esta pesquisa, anteriormente descritos18 , os dados que levantados para análise foram os itens constantes nos testes de leitura em inglês do curso de língua inglesa como língua estrangeira do CELIN, relativos aos níveis: Básico II (anexo 1), Básico IV (anexo 2) e Pré- Intermediário IV (anexo 4), do primeiro semestre de 2005, e Pré-Intermediário II (anexo 3), do segundo semestre de 2004. Esta diferença de semestres é devida a uma questão ética. A prova de leitura do nível Pré-Intermediário II do primeiro semestre de 2005 foi elaborada por mim, tendo que ser necessariamente descartada, para não colocar em risco a idoneidade da pesquisa. E foram escolhidos estes quatro níveis, porque há entre cada um deles a diferença de um ano, sendo, portanto, períodos equivalentes no que se refere a tempo de curso. Para o levantamento da orientação dos professores de inglês do CELIN, foi aplicado um questionário junto às sete professoras responsáveis pela elaboração dos quatro testes em questão. (anexo 5) Este questionário levantou informações à respeito do conhecimento que estas professora têm do trabalho com a leitura e com testes de leitura, da relação entre essas dois processos, da existência ou não de alguma dificuldade em algum ou ambos os processos e em caso afirmativo tentar perceber, se possível, onde se encontra tal dificuldade. Optei pelo questionário, como forma de coleta desses dados, na tentativa de minimizar os efeitos do desconforto causado por questões envolvendo certa exposição de valores e saberes das professoras. Finalmente, é importante salientar, que como professora do CELIN e colega de todas as professoras, sujeitos dessa pesquisa, entendo não ser possível obter o distanciamento desejável na interpretação do questionário proposto, uma vez que, inserida no mesmo contexto de estudo e trabalho que elas, certa influência na análise torna-se inevitável, devido ao conhecimento de opiniões e fatos extra- 18 Ver seção 1.3.
  29. 29. 25 pesquisa. Consciente do risco de uma interpretação tendenciosa, eu procurei fazer a interpretação dos dados de forma cuidadosa, buscando o máximo distanciamento que o contexto me permitiu.
  30. 30. 26 4 – CLASSIFICAÇÃO DOS TESTES 4.1 - CLASSIFICAÇÃO DOS TIPOS DE TESTES DE LEITURA19 . 4.1.1 - Básico II - (Anexo 1) -Primeira atividade: ordenar - Os parágrafos do texto estão fora de ordem e os alunos devem numerá-los de acordo com a ordem correta do texto. - Segunda atividade: respostas curtas – São propostas três questões, do tipo “Wh- question”, que os alunos devem responder de forma breve, porém usando sentenças e não apenas frases incompletas ou palavras-chave. 4.1.2 - Básico IV - (Anexo 2) - Primeira atividade: preencher lacunas – Os alunos têm que preencher as lacunas do texto com as palavras que estão no retângulo, sendo que duas destas palavras não serão utilizadas. - Segunda atividade: verdadeiro ou falso – Os alunos devem decidir se as quatro afirmativas propostas são verdadeiras ou falsas, de acordo com o texto. 4.1.3 - Pré-intermediário II - (Anexo 3) - Atividade única: transferir informação – Os alunos devem ler o texto e completar as frases dadas com as informações encontradas no texto. 4.1.4 - Intermediário II - (Anexo 4) - Primeira atividade: respostas curtas – Os alunos devem responder brevemente cinco questões do tipo “Wh-question”. Como na primeira delas, eles também devem justificar sua resposta, esta questão pode ser classificada como uma questão aberta. - Segunda atividade: múltipla escolha – Nesta atividade os alunos devem marcas as afirmativas, cujas informações podem ser encontradas no texto. 19 Esta classificação refere-se aos testes de leitura utilizados no curso de inglês como língua estrangeira no CELIN, com base na classificação apresentada na seção 2.
  31. 31. 27 5 – ANÁLISE DOS TESTES 5.1 - CONSIDERAÇÕES E ANÁLISE DE ITENS Nesta seção serão feitas as considerações a respeito de prós e contras dos tipos de itens constantes nos testes selecionados do CELIN, seguidas de uma análise desses mesmos itens, com base no referencial teórico levantado. 5.1.1 - Ordenar De acordo com ALDERSON (2002), este tipo de teste é, a princípio, atrativo para quem prepara, porque possibilita testar a habilidade de reconhecer a coesão existente no texto, organização textual ou complexidade gramatical. No entanto, ele aponta dois problemas: primeiro, a freqüente possibilidade de haver outras ordens aceitáveis para um texto, além da ordem original do autor e que não tenha sido prevista pelo examinador. Concordo com o fato de que isso é um problema, mas como o próprio ALDERSON aponta, a solução pode ser a edição do texto para que apenas uma ordem seja possível. Segundo, as respostas parcialmente corretas seriam um problema na hora da pontuação, já que uma resposta incorreta pode afetar todas as outras. Por exemplo, a ordem de uma seqüência deveria ser 3-5-4-7- 8-2-1-6, e o aluno marca 3-5-6-4-7-8-2-1. Neste caso há apenas duas respostas corretas e embora a seqüência de cinco outras também esteja correta, elas foram todas afetadas por uma resposta errada. Neste caso o que se deve considerar? Esta é de fato uma situação complicada. O que normalmente se faz é considerar o exercício como um todo e apenas duas possibilidades para as respostas: todas certas ou todas erradas. No primeiro exercício do Básico II há somente uma ordem possível para os parágrafos, eliminando o primeiro problema levantado por ALDERSON. No entanto o segundo e mais crítico problema permanece. Qualquer engano cometido pode comprometer o exercício como um todo.
  32. 32. 28 5.1.2 - Respostas curtas Este tipo de atividade funciona como alternativa para a múltipla escolha, porque permite que as respostas do aluno sejam analisadas, para ver se ele realmente entendeu o texto. No entanto, esta não é uma atividade fácil de se preparar, visto que a objetividade da nota vai depender da relação entre a resposta dada e a esperada. O ideal é que as possíveis respostas sejam todas previstas, caso contrário a correção pode ser comprometida. Para que as respostas possam ser antecipadas, é necessário que seja feito um pré-teste. Um outro problema que este tipo de atividade apresenta é que nem sempre as questões propostas exigem a compreensão do texto, mas apenas a capacidade de encontrar a informação no texto e transpô-la para a resposta com pequenas alterações, como pronome, tempo verbal, etc. E neste caso, outras habilidades, que não compreensão, estão sendo testadas. O exercício 2 da prova do Básico II (anexo 1) apresenta dois problemas que dificultam a pontuação. O primeiro é que duas perguntas deixam margem para mais de uma resposta possível, sem correspondência entre si, isto é, não apresentam as mesmas informações. E neste caso, qual delas deve ser considerada a mais correta e que valor é possível ou necessário deduzir do total de pontos das outras respostas? Na pergunta (a)20 , “When did her life have a big change?”, podemos obter como respostas21 : ‘In 1961’, que é, provavelmente, a esperada, uma vez que o ano é mencionado; ‘When she and Keith won £152,319 on the football pools.’, que também é uma resposta possível, embora não dê a mesma informação da primeira, e ainda, mesmo que não tão óbvia, é possível uma resposta como ‘When she was married to Keith.’. Na pergunta (b)22 “What happened to her last husband?”, ambas as respostas23 ‘He killed himself.’ e ‘He died.’ podem ser obtidas e estariam corretas, mesmo que o significado delas não seja exatamente o mesmo. A única pergunta que não dá margem a respostas diferentes é a (c), cuja informação requerida está bem explícita no texto e é mencionada uma única vez. Mas é importante ressaltar que 20 (a) “Quando a vida dela sofreu uma grande mudança?” 21 ‘Em 1961.’ / ‘Quando ela e Keith ganharam £152,319 na loteria esportiva.’ / ‘Quando ela era casada com Keith.’ 22 (b) “O que aconteceu com o último marido dela?” 23 ‘Ele se matou.’ / ‘Ele morreu.’
  33. 33. 29 não é a diversidade de respostas que se caracteriza como um problema, mas a inflexibilidade de aceitação de mais de uma resposta como sendo a correta e a falta de antecipação da diversidade existente. O segundo problema, diz respeito ao que considerar como “complete answer” (resposta completa). Para a pergunta (a), devemos considerar que há diferença entre dizer ‘A vida dela sofreu uma grande mudança em 1961’ e apenas ‘Em 1961’? Por que considerar as respostas diferentes, se a informação requerida está completa em ambas? E se são a mesma coisa, é justo que as duas respostas recebam a mesma pontuação, uma vez que a interpretação do que seja uma resposta completa pode ser diferente para cada aluno? Estas são questões que precisariam ser respondidas antes da aplicação do teste. São dificuldades como estas que justificam a necessidade de um pré-teste. Embora seja muito difícil prever todas as respostas e dificuldades de realização de todos os itens de um teste, quando os próprios professores “testam” o teste, isto é, colocam-se na posição de alunos, fazendo o teste, as diferentes respostas e dificuldades ficam mais evidentes e, com isso, é possível antecipar e solucionar boa parte dos prováveis problemas tanto de realização, quanto de correção. Na prova do nível Intermediário II (anexo 4), o exercício 1 também é considerado uma atividade de respostas curtas, com exceção da pergunta feita na letra (a), em que se pede para justificar a resposta. Nas letras (b) e (e), as respostas requeridas podem ser consideradas quase uma transferência de informação, na verdade, porque os alunos têm que ser capazes apenas de encontrar a informação no texto e copiar, alterando o pronome possessivo de 1ª para 3ª pessoa do plural. Na questão (c) o aluno pode dar uma resposta mais ou menos completa, como24 : “She found it lying on the top of the rubbish bin, outside the house.”, ou “In the bin.”, e as variações possíveis entre elas. E então é preciso que o professor tenha bem definido o que ele vai considerar como certo, se a resposta mais ou a menos elaborada e no último caso, o que fazer com as informações extra, que porventura os alunos incluírem. No entanto, se o professor optar por considerar a resposta mais elaborada como sendo a correta, surge o problema de que esta informação não está explícita na instrução do exercício, que permite que se aceite a 24 “Ela achou-o estendido no topo de uma lata de lixo, fora de casa.” ou “No lixo.”
  34. 34. 30 resposta “In the bin” como correta, uma vez que ela está de acordo com o texto e, portanto, segue as instruções dadas. A pergunta formulada na letra (a) é única questão do tipo Open-ended dos testes analisados. E apesar de apresentar o problema de pontuação, comum às questões deste tipo e às de respostas curtas, ela está formulada adequadamente, exigindo que o aluno de fato entenda o que está posto no texto para respondê-la. 5.1.3 - Preencher lacunas Neste tipo de teste o professor pode ter um grande controle sobre o quê vai ser testado, se a compreensão geral, ou algum tipo de regência, por exemplo. Um possível problema é que por saber quais palavras foram retiradas do texto, nem sempre o professor considera a possibilidade de uma outra palavra poder substituir a original, mantendo o significado inalterado. Uma maneira de evitar que isso aconteça é dar três ou quatro opções para cada lacuna a ser preenchida, ou apresentar as palavras retiradas fora da ordem em que aparecem no texto, podendo acrescentar uma ou duas palavras, que não serão usadas. O cuidado que se deve tomar, neste caso, é que cada lacuna só possa ser preenchida com apenas uma das palavras dadas. Analisando a primeira questão da prova do nível Básico IV (anexo 2) percebemos que a atividade testa o conhecimento do léxico e também a regência verbal, quando o aluno tem que fazer a escolha entre os verbos “visit” e “come” e saber que este último deverá ser regido pela preposição “to” que não está presente e por isso não deve ser usado. Além disso, testa a regência nominal, na escolha entre os adjetivos “traditional”, “tropical” e “beautiful”. E neste último caso surge um problema. Em (6), tanto “beautiful” como “traditional” são possíveis e, num caso extremo, se abstrairmos o reconhecimento da localização como pertencente ao hemisfério norte, podemos também considerar “tropical” como resposta. Uma contra- argumentação pertinente a este problema seria dizer que o termo “tropical” não é uma alternativa lógica para (1), cuja resposta é “traditional”. No entanto, mesmo que não tão provável como primeira opção, “beautiful” poderia ser uma segunda opção
  35. 35. 31 para (1) para aquele aluno que considerasse “traditional” como a resposta correta de (6). 5.1.4 - Verdadeiro ou Falso Questões de aparente fácil elaboração, as questões de verdadeiro ou falso apresentam o problema de proporcionar ao aluno 50% de chance de adivinhar a resposta certa. Para diminuir este risco é necessário incluir mais opções, como, por exemplo, ‘não consta no texto’. No entanto, é preciso considerar que neste caso, estas opções podem gerar confusão, se a intenção é testar a capacidade de inferência. Na segunda atividade do teste do Básico IV (anexo 2) três das quatro sentenças podem ser consideradas bem elaboradas, no sentido de que as afirmativas não são óbvias, não podem ser respondidas sem ler o texto e não há nada implícito que possa gerar duplicidade de resposta. Entretanto, este último problema está presente na terceira sentença. A informação não pode ser inferida através do texto, podendo tanto ser verdadeira como falsa, dependendo da interpretação do aluno e, além disso, não existe uma terceira opção como ‘não se pode inferir’. O termo “only” gera esta dúvida, na medida em que as reticências postas no texto insinuam que mais coisas são vendidas, mas não deixam claro o que mais é vendido no mercado, e nem tão pouco fica claro o que pode ser considerado “special goods”. Se considerarmos a terceira sentença como sendo verdadeira, o problema da questão aumenta, pois neste caso, considerando todas as possibilidades de resposta (exceto respostas em branco) o aluno tem 4 possibilidades com 25% de chance de acerto, 2 possibilidades com 50%, 2 com 75% e 1 com 100%. Ao contrário do que se pode imaginar, pela análise feita, a idéia não é fazer com que o aluno erre, o problema reside no fato de que o aluno não precisa de fato entender, nem mesmo ler o que está escrito para acertar no mínimo 25%.
  36. 36. 32 5.1.5 - Transferir informação Atividades de transferência de informação são freqüentemente associadas a gráficos, diagramas e tabelas. Um dos problemas que elas apresentam é a possível influência cultural ou cognitiva, uma vez que nem todos os alunos estarão, necessariamente, familiarizados com este tipo de informação25 , ou conseguirão fazer a conexão entre a informação dada e a pedida. Neste caso, isso vai adicionar uma dificuldade desnecessária à atividade, fazendo com que os alunos percam muito mais tempo que o desejado tentando entender a natureza da atividade em si, sem focar na informação que deve ser obtida e que é o objetivo principal deste tipo de atividade. Outro problema possível é quando se usam textos que estão associados a elementos gráficos em situação de complementaridade. Ao se retirar uma informação, que deve ser posteriormente reposta pelo aluno, é preciso garantir que a informação esteja disponível de alguma outra maneira e que a falta da mesma não torne impossível o cumprimento da tarefa dada. A atividade proposta na prova do nível Pré-intermediário II (anexo 3) pede que o aluno complete as sentenças iniciadas com informações retiradas do texto. Essa atividade aparentemente não apresenta os problemas acima mencionados. No entanto, a instrução não deixa claro o tipo e a extensão da informação com a qual o aluno deve completar as sentenças começadas. As informações que completam as frases 3 e 4 podem ser copiadas diretamente do texto, com a opção de inclusão ou exclusão de algum detalhe. Isto não precisa ser considerado um problema, desde que o professor tenha previsto a possibilidade de cópia e esteja de acordo. As frases que completam 1 e 2 podem tanto ser copiadas como elaboradas a partir do texto, mas a abertura dada pelas frases iniciais dá margem a diferentes respostas. Se o professor antecipou todas as respostas possíveis, incluindo as cópias do texto e estabeleceu a pontuação para cada possibilidade, também não há problema na correção, embora constitua uma dificuldade para o aluno decidir quais informações deve escolher. Já a sentença 5 deve ser completada por inferência, ao contrário do 25 Isso é válido, não apenas para testes gerais, como o vestibular, mas para escolas como o CELIN, que não costumam seguir, ainda, um mesmo programa em relação aos tipos de textos trabalhados num mesmo nível. Podemos considerar o fato de que os testes passam por todos os professores do nível antes de ser aplicado, mas isso não elimina a possibilidade da assunção de alguns professores de que o tipo de texto não constitui uma dificuldade em si e não vai influenciar na compreensão do mesmo. Como exemplo dessa possibilidade remeto o leitor à fala da professora (P7), na questão 8 na seção 6 adiante (Análise do Questionário).
  37. 37. 33 que pede a instrução, porque a informação pedida não é mencionada no texto. E aqui sim vemos um sério problema de incongruência entre o enunciado e o exercício, que constitui uma dificuldade para o aluno e invalida a questão no que se refere ao seu conteúdo. 5.1.6 - Múltipla escolha Esta atividade é fartamente utilizada em testes de leitura, por possibilitar o controle do número de respostas dadas pelos alunos e também por ser de fácil e rápida correção. No entanto, o professor pode apresentar idéias nas quais os alunos nem pensariam, resultando em possibilidades enganosas, que induzam ao erro. Além disso, mesmo sem intenção deliberada, algumas alternativas apresentadas podem ser maliciosas e levar a resultados falsos com relação à real compreensão dos alunos. Uma outra dificuldade desse tipo de atividade é que ela toma muito tempo na preparação, pois as alternativas de cada questão têm que ser bem elaboradas, para que não sejam de eliminação óbvia. Ainda resta o fato de o aluno poder acertar a resposta pelo motivo errado, isto é, a linha de raciocínio seguida pelo aluno pode não ser aquela esperada pelo professor e neste caso, a questão não estará de fato medindo a compreensão desejada. Uma variante possível para tentar minimizar estas dificuldades é propor um mesmo grupo de alternativas de respostas, para diferentes questões, sem possibilidade de repetição. Neste caso, o aluno é obrigado a entender as diferentes partes do texto para responder as questões. A atividade proposta para o texto 2 do nível Intermediário II (anexo 4) apresenta o problema de ter alternativas um tanto quanto óbvias, pois trabalha com a localização das informações pedidas dentro do texto. A única alternativa que exige um pouco mais de compreensão por parte do aluno é a (b), que envolve a não tão evidente opinião de Spurlock sobre o McDonald’s.
  38. 38. 34 6 – ANÁLISE DOS QUESTIONÁRIOS 6.1 - ANÁLISE DOS DADOS OBTIDOS NOS QUESTIONÁRIOS. Nesta seção serão analisados os questionários respondidos pelos professores responsáveis pela elaboração dos testes analisados nas seções acima. Para uma melhor visualização e compreensão da discussão sobre as pergunta do questionário proposto, vou apresentar cada questão, com as respectivas respostas dadas pelas professoras, seguida da discussão. 1) Você fez alguma matéria direcionada para leitura ou para o ensino de leitura em LEM, na UFPR ou em outro curso? Sim ( ) Não ( ) Onde? ___________________________________ Qual? ____________________________________ P1 - não P2 - não P3 - não P4 - sim - No Inter Americano – Teacher Training Course (o ensino de leitura é abordado brevemente nesse curso, mas nunca na faculdade). P5 - não P6 - não P7 - não A questão 1 (Q1) visava saber um pouco sobre a formação das professoras com relação à leitura, para tentar obter uma resposta ao questionamento sobre a origem da dificuldade em se trabalhar com a leitura sistematicamente. Apenas uma professora respondeu que havia feito um curso, mas que não foi na universidade e ainda assim, a leitura só foi abordada brevemente, isto é, na verdade podemos entender que nenhuma das professoras fez matéria ou curso direcionado para a leitura ou para o seu ensino. O que podemos observar, no sistema educacional em geral é que a leitura tende a ser relegada a segundo plano no processo educacional. Nas escolas de ensino regular de primeiro e segundo graus no Paraná, atualmente, eu tenho conhecimento da existência de bem poucos trabalhos no ensino da língua materna, realizados por alguns professores isolados, voltados para a compreensão
  39. 39. 35 de textos como finalidade em si. Geralmente no trabalho feito com leitura são utilizados os clássicos da literatura brasileira e alguns outros livros de literatura paradidáticos, como se este fosse o único tipo de texto que precisasse de algum tipo de mediação do professor para uma adequada compreensão. Isso se reflete no ensino de inglês como língua estrangeira, na medida em que as instituições de ensino de inglês, cujos professores tiveram sua formação escolar no referido contexto, tendem a transferir para o ensino da língua estrangeira a mesma linha metodológica de ensino de leitura “herdada” do ensino da língua materna. Tendo minha própria formação acontecido nesse contexto posso citar como exemplo o fato de que na grade curricular do Curso de Letras da Universidade Federal do Paraná não há nenhuma matéria obrigatória voltada especialmente para a leitura, ou que trabalhe o ensino dessa habilidade. Da mesma forma, geralmente nas escolas de inglês como segunda língua há mais ênfase na oralidade e na audição, um pouco menos na escrita e quase nada na leitura. Com exceção, é claro, dos cursos de inglês com propósitos específicos (ESP-English for Specific Purposes). Sendo assim, de acordo com as respostas dadas a esta questão, pode-se deduzir que as professoras sentem dificuldade em trabalhar com a leitura em inglês porque não possuem uma base teórica mínima que norteie seu trabalho. 2) Em sua opinião, o que pode dificultar o trabalho com leitura em sala? P1 - Falta de dinamismo, os alunos não se interessam por leitura em sala porque, muitas vezes, ela é pouco dinâmica. P2 - A falta de tempo, pois temos que trabalhar tanta matéria importante além do texto e de repente gastamos mais tempo com as outras coisas. P3 - A falta de hábito de leitura, mesmo em língua materna. P4 - A expectativa que os alunos podem ter de já saírem aprendendo a ler nas primeiras aulas e a insistência em traduzir e entender todas as palavras. P5 - Em primeiro lugar, turmas heterogenias, porque nesse caso é preciso estar atento para que os alunos não se sintam desmotivados, seja os que têm mais ou menos conhecimento. Falta de vocabulário e falta de hábito de leitura por parte dos alunos são outras dificuldades.
  40. 40. 36 P6 - A falta de leitura na língua materna e até mesmo o próprio hábito de leitura. P7 - A ansiedade dos alunos em conhecer o significado de palavras isoladas antes de tentar entender o contexto global do texto, a escolha de texto que apresentem temas muito (?), vocabulário ou estruturas muito estranhas aos alunos. Partindo do pressuposto que as professoras sentem alguma dificuldade em trabalhar com a leitura em sala de aula, busquei checar se essa impressão procede, porque o trabalho que o professor faz com a leitura em sala reflete-se no teste que ele elabora. Na opinião das professoras, fatores como ansiedade, falta de hábito de leitura e falta de motivação dos alunos pode dificultar o trabalho com leitura. No entanto, podemos ver implícito o conceito de leitura como uma atividade chata, que parece fazer parte da opinião de muitos brasileiros, como na resposta da P1, que diz que a leitura é “pouco dinâmica”. Se, por um lado, pensarmos no fato de que as outras habilidades podem ser trabalhadas através de atividades dinâmicas26 como jogos, música, diálogo, etc, realmente podemos entender a visão da leitura como pouco dinâmica, uma vez que na maioria das vezes é uma atividade realizada individualmente e silenciosamente. Por outro lado, percebemos também que este “pouco dinâmica” pode ser lido como enfadonha, uma vez que os alunos não se interessam por ela. É de senso comum entre professores e estudantes de Letras que, geralmente a matéria de que os alunos menos gostam é português. E apesar de nem todos admitirem, principalmente os adultos, a maioria dos alunos não gosta de ler. Confirmando essa idéia, a P2 diz que a dificuldade é em função da falta de tempo, porque há tanta matéria importante para trabalhar além do texto, que a leitura acaba sendo deixada em segundo plano. Mas se a idéia é que o texto também é importante, por quê motivo ele não é trabalhado na mesma medida que as outras matérias importantes? E de novo temos na resposta de três professoras a idéia da falta de hábito de leitura, mesmo em língua materna, ou seja, aqui também está posto o conceito de leitura como atividade entediante e não muito importante, que se faz apenas por obrigação, seja em língua materna, seja em língua estrangeira. 26 Estou entendendo o termo “dinâmico” como algo que envolve grande atividade, agilidade, criatividade e/ou movimento.
  41. 41. 37 3) Você costuma trabalhar sistematicamente com leitura, com seus alunos do curso regular27 de inglês no CELIN? Sim ( ) Não ( ) Como? P1 - Sim – Pedindo para que dêem uma rápida olhada no texto a fim de saberem sobre o que se trata e após verificando informações mais específicas. P2 - Sim P3 - Sim – Utilizando o livro e também textos autênticos da Internet sobre o assunto das aulas. P4 - Não P5 - Sim – Geralmente levo textos que se relacionam com o tema da unidade estudada. Os exercícios que costumo aplicar são: - colocar o texto na ordem certa - preencher lacunas com palavras que foram retiradas do texto - perguntas e discussões P6 - Sim – aproveitando os textos no próprio livro didático. P7 - Sim – Gosto de associar leitura e produção oral. Peço que os alunos leiam textos diferentes e troquem informações, respondam questões p/ aumentar o vocabulário, dêem a opinião sobre algum tema. Incluí esta questão na tentativa de saber qual o sistema de trabalho com leitura das professoras e qual a idéia que elas fazem sobre este trabalho. Apenas uma admitiu não trabalhar sistematicamente com leitura. De acordo com as respostas, mesmo que intuitivamente, algumas professoras parecem explorar a leitura de forma pertinente, como a P5, que leva texto extra e propõe atividades diversificadas e a P7, que aproveita o texto como base para trabalhar outras habilidades. No entanto, pode-se observar que não há um programa básico estabelecido para o ensino da habilidade de leitura em inglês. Cada professora usa os conhecimentos que tem e faz aquilo que considera o melhor para os seus alunos. 27 Na elaboração do questionário, chamei de “curso regular” do CELIN o curso de inglês como língua estrangeira, que abrange as quatro habilidades, de escrita, audição, oral e de leitura, uma vez que neste instituto de línguas também são ofertados outros cursos de inglês, como Inglês para Compreensão de Textos Acadêmicos, Tópicos para Conversação, Inglês Comercial, entre outros.
  42. 42. 38 O problema, nesse caso, é que as turmas podem ter conteúdos diferentes e experiências diferentes de leitura, que podem ter como resultado, turmas com habilidade de leitura muito diferentes num mesmo nível do curso. Para entender melhor é interessante contextualizar o problema. Para isso, vamos tomar como exemplo o nível Básico II. No primeiro bimestre são trabalhados três temas gerais, que são: viagem, vida urbana e alimentos. Cada um destes temas é subdividido em sub-temas. O tema viagem, por exemplo, tem como sub-temas férias, roupas, diferentes lugares e atividades e clima. Dois destes sub-temas trabalham com leitura, o primeiro e o último, mas nada impede que os professores, por qualquer motivo que seja, deixem de trabalhar as leituras do livro didático e trabalhem com outras relativas aos outros dois sub-temas, ou com apenas um. Da mesma forma que um professor pode optar por não trabalhar com leitura em algum dos três temas. Essas diferenças de temas e quantidade de leitura, somadas às diferenças de metodologia no trabalho realizado com os textos por cada professor e aos tipos diferentes de texto que podem ser utilizados, vão estar refletidas no nivelamento díspar da habilidade de leitura das turmas, uma vez que seria impossível abranger num único teste os diferentes enfoques possivelmente dados à leitura. 4) Como o trabalho com a leitura em sala pode influenciar no desempenho do aluno na prova de leitura? P1 - Ajudando-os a buscar o que há de mais relevante no texto, preparando-os para desafios e ensinando-os a “Aprender a aprender”. P2 - O aluno se acostuma com a leitura de textos em línguas estrangeiras e adquire mais segurança na hora da prova. P3 - Durante as aulas o prof. dá dicas de leitura, aponta para estratégias, o que ajuda na hora de compreender um texto. P4 - Principalmente com relação ao tempo, pois o aluno pode ir direto às questões relevantes, sem perder tempo traduzindo o texto todo. P5 - Penso que quanto mais o aluno está em contato com a língua escrita, mais ele acumula habilidade em ler, conseguindo identificar tipos diferentes de texto, sendo capaz de prever e relacionar dados do texto. Além disso, a prática de leitura freqüente aumenta o vocabulário dos alunos.
  43. 43. 39 P6 - Em sala o professor trabalha com diferences estratégias de leitura. P7 - Acho que na prova o aluno tem que reler o texto quantas vezes for necessário e levantar hipóteses coerentes para as questões para as quais não tem resposta exata. Podemos trabalhar com releitura pedindo que o aluno aponte o que no texto o leva a determinada conclusão e pedir que levante hipóteses. Por experiência no trabalho com leitura em sala de aula, não só no curso de inglês como língua estrangeira, mas também no curso de compreensão de textos em inglês no CELIN, parto do princípio de que o trabalho com leitura na sala de aula influencia o desempenho do aluno na prova de leitura de inglês, tanto positiva quanto negativamente. Exemplos de fatores que influenciam positivamente são: o aluno estar acostumado a trabalhar com leitura em sala, estar familiarizado com os tipos de itens elaborados para o teste, estar familiarizado com o tema abordado no texto e conseqüentemente com o léxico empregado, e muitos outros. E o oposto desses exemplos, logicamente, podem ser considerados fatores de influência negativa. Minha intenção ao fazer esta pergunta era saber se as professoras estavam conscientes dessa influência. E parece que estão, mesmo que nem todas percebam de que espécie ela é. De certa forma, este era o resultado esperado, uma vez que sem um conhecimento específico maior sobre as duas áreas, leitura e testes de leitura em língua estrangeira, pode ser difícil estabelecer a relação de influência de uma sobre a outra. 5) Você fez alguma matéria na universidade ou em outro curso que tenha abordado as diferentes maneiras de acessar o conhecimento do aluno, ou como selecionar e preparar testes de língua estrangeira? Sim ( ) Não ( ) Onde?_____________________________________ Qual? _____________________________________ P1 - Sim – UFPR – Língua Inglesa Oral IV e algumas pedagógicas podem ter ajudado um pouco nisso. P2 - Não P3 - Não
  44. 44. 40 P4 - Não P5 - Sim – Na universidade e no CELIN – Metodologia de LEM e reuniões e palestras do CELIN P6 - Não P7 - Não A intenção desta questão era averiguar se as professoras possuíam alguma formação relativa a testes. O resultado mostra que muito pouco se fala sobre testes, embora se fale um pouco mais que sobre leitura. Minha experiência como ex-aluna da licenciatura, mostra que as ementas das matérias citadas nas respostas não são tão fixas assim. Quando fiz Língua Inglesa Oral IV, realmente foi abordada a questão de testes, embora não aprofundada, porque este não é o objetivo da matéria. Mas em Metodologia de LEM as avaliações não foram sequer mencionadas. Talvez na tentativa de compensar um pouco essa falta, a coordenação pedagógica do CELIN sempre aborda a questão dos testes em reuniões pedagógicas. 6) Qual a importância de se testar a habilidade de leitura em um curso regular de língua estrangeira? P1 - Preparar alunos para testes de vestibular, mestrado e de proficiência, bem como ajudá-los a buscar informações necessárias em relação a interesses pessoais de forma mais autônoma. P2 - Na vida prática o aluno deve ser capaz de interpretar os vários tipos de textos presentes em jornais, revistas, livros etc e se isto não for praticado ou avaliado eles não terão acesso a esta habilidade. P3 - A maioria dos alunos brasileiros vai precisar da leitura em língua estrangeira, para o trabalho, pesquisas, etc. P4 - Para saber se o aluno é capaz de compreender o inglês na forma escrita e selecionar o que é mais relevante (uma idéia geral) P5 - (não respondeu) P6 - A maioria dos alunos precisa no futuro da leitura de textos em Inglês. P7 - Enquanto as demais habilidades (produção oral e escrita, compreensão oral) dependem muito do trabalho em sala, a leitura pode se desenvolver muito
  45. 45. 41 fora de sala de aula. Testar a habilidade dos alunos estimula os mesmos a procurarem se desenvolver e mostra ao professor as dificuldades dos alunos. Com esta questão, eu pretendia perceber as opiniões pessoais que fundamentam o trabalho de cada professora, já que essas crenças exercem grande influência no trabalho realizado. De acordo com as respostas da Q2, podemos dizer que as professoras trabalham sistematicamente com leitura, embora esta seja uma tarefa monótona e difícil, conforme as respostas da Q3. Mas, se é difícil e chato, por que trabalhar com leitura? A resposta dessa pergunta fica evidente nas respostas da Q6: por obrigação; porque é um mal necessário. Por um lado, existe a percepção de que a leitura em inglês está sendo cada vez mais necessária em todos os meios profissionais e educacionais. A maioria das professoras entende que cada vez mais áreas de atuação, seja no campo educacional ou profissional, exigem um certo domínio da leitura em inglês, resultando a necessidade de avaliação dessa habilidade, como forma de mensurar esse conhecimento adquirido. Por outro lado, há um outro motivo que, embora não tão evidente, sustenta essa obrigação de forma muito mais intensa. No CELIN os professores não podem escolher as habilidades que vão trabalhar e, conseqüentemente, testar. Por uma questão de unificação do trabalho, todas as turmas de um mesmo nível devem aplicar os mesmos testes, ou não seria possível estabelecer os parâmetros de nivelamento da instituição. Além disso, nas reuniões de orientação pedagógica de inglês, a assessora, Jeanne Marie Fédder Paraná e a antiga e a atual coordenadora, Mariza Riva de Almeida e Clarissa Menezes Jordão, respectivamente, sempre deixam evidente que é fundamental trabalhar com as quatro habilidades (oral, audição, escrita e leitura) no ensino de língua estrangeira. Essa é a orientação de ensino seguida pela escola, portanto, os professores devem trabalhar e testar os alunos nas quatro habilidades. 7) Quando você preparou seu primeiro teste, você se sentia preparada(o) para isso? Se não, o que faltou? P1 - Não. Faltou orientação de uma pessoa com mais experiência e uma noção maior sobre os prováveis problemas que o teste poderia ter. P2 - ... Não é difícil preparar os exercícios, pois sabemos o que está sendo
  46. 46. 42 trabalhado em sala e o que eles estão acostumados a fazer. O mais complicado é escolher um texto que seja bom para o nível e que tenha a ver com o assunto trabalhado. P3 - Não, experiência e certa orientação. P4 - Não. Faltou saber o que era mais importante para ser cobrado na prova. Também não me sentia preparada para elaborar diferentes tipos de exercício que acessassem diferentes habilidades. A correção também não ficava muito clara (os critérios, como deveria ser). P5 - Não. Senti dificuldade em escolher um texto em um nível de dificuldade adequado para a turma. Além disso, fiquei indecisa na distribuição da nota: o devia ser mais ou menos levado em consideração, o que exigia mais ou menos conhecimento do aluno. P6 - Sim, mas descobri a falta de preparo quando houve uma discussão em grupo sobre os exercícios preparados p/ a 1ª prova. P7 - Sim. Como vimos na Q6, há o sentido de necessidade e de obrigação no trabalho realizado com a leitura. A intenção desta questão era verificar o conhecimento relacionado a testes de que as professoras dispunham na elaboração do primeiro teste sob sua responsabilidade. Embora eu estivesse considerando a elaboração de testes em geral, e não especificamente os de leitura, algumas professoras assumiram que eu me referia à leitura, devido ao conhecimento que tinham de que este trabalho é voltado para esta área. Este fato, no entanto, não exerce influência sobre a análise das respostas, uma vez que a primeira prova que algumas delas prepararam pode ter sido a de leitura mesmo, como explicado a seguir. Para uma maior compreensão da relevância desta questão, é preciso entender que no CELIN os professores de cada nível são todos responsáveis pela elaboração dos testes que serão aplicados em suas turmas. Isto é, os professores das turmas de nível 1 são responsáveis pela elaboração dos testes que serão aplicados neste nível, e isso se repete em todos os níveis de inglês. Dentro dos níveis, por sua vez, os professores fazem uma divisão de tarefas, de forma que um ou mais professores ficam responsáveis pela elaboração do teste de uma das quatro

×