Este documento descreve o desenvolvimento e avaliação de usabilidade de um protótipo educativo multimídia para a disciplina de português. O protótipo foi desenvolvido usando o modelo ADDIA (análise, desenho, desenvolvimento, implementação e avaliação) e testado por peritos e usuários. Os resultados mostraram que o protótipo é fácil de aprender e usar, com poucos erros, e satisfaz os usuários. O protótipo está pronto para ser aplicado no ensino e aprendizagem.

1. 1
Teresa Vasconcelos e
J. António Moreira
15 de julho de 2013
O DESENHO, DESENVOLVIMENTO E AVALIAÇÃO DA
USABILIDADE DE UM PROTÓTIPO EDUCATIVO MULTIMÉDIA
PARA A DISCIPLINA DE PORTUGUÊS

2. 2
Análise, Desenho e Desenvolvimento do Protótipo Multimédia Educativo
Introdução
Problema, objetivos, metodologia e procedimentos da investigação
Análise
Desenho
Usabilidade
Avaliação da usabilidade
Conclusões
Apresentação do estudo

3. Introdução
3
Os recursos educativos multimédia têm o potencial de fornecer acesso à educação para
todos, por isso, o desenvolvimento de um protótipo adaptado a um número muito elevado
de estudantes e que seja potenciador da aprendizagem é um grande desafio.
A usabilidade, especificamente os testes conduzidos com utilizadores, constitui uma
importante modalidade de avaliação de qualquer produto multimédia, sobretudo no caso
de software educativo, porque estes testes permitem detetar problemas que, de outro
modo, não seriam facilmente encontrados pelo designer do protótipo.

4. 4
O Projeto: “QIMTERATIVO DE PORTUGUÊS”
Para criar um curso, ou um módulo de um curso, Allen (2007, 2006, 2003) e Clark
(2000) referem cinco passos essenciais: Analisar; Desenhar; Desenvolver;
Implementar e Avaliar.
Figura 1 - Adaptado de Allen, 2003 e Clark, 2000

5. 5
O Projeto
O “QIMTERATIVO DE PORTUGUÊS” tem por objetivos:
aumentar a frequência de utilização dos QIM;
potenciar uma exploração mais diversificada dos QIM;
propiciar momentos pedagógicos atrativos para os alunos;
avaliar a conceção, desenvolvimento e implementação de um protótipo multimédia;
analisar se os materiais estruturados nos QIM (protótipo multimédia /elaborados pelos professores),
promovem o alcance das metas de aprendizagem definidas para a disciplina de Português.

6. 6
Ponto de Partida
Constatámos:
(i) ensino centrado na transmissão de conhecimentos desligados da realidade
social e tecnológica;
(ii) necessidade de capacitar os professores para o desenvolvimento de
mudanças na disciplina de Português;
(iii) falta de recursos pedagógicos para QIM.

7. 7
A metodologia utilizada no processo de criação do protótipo multimédia
QIMTERATIVO de Português foi a Development Research
(i) Investigação
Preliminar;
(ii)
Fundamentação
Teórica,
(iii) Testagem
das soluções no
terreno
(iv)
Documentação
sistemática, aná
lise e reflexão
sobre o
processo de
conceção.
Refinamento dos problemas, soluções e métodos
Metodologia de Investigação

8. 8
Análise - Instrumentos de recolha de dados
População-Alvo (Professores de Português)
Todos os Professores de Português do AEA
Inquérito por questionário. Foram validados
20 inquéritos.
Grelhas de observação.
Entrevistas não-estruturadas (focus group).

9. 9
Análise
Grupo de estudo (Professores de Português)
Pré-requisitos:
• Nível de qualificação na utilização das ferramentas de Tecnologias de
Informação e Comunicação (TIC);
• Possuírem alguns conhecimentos na utilização dos Quadros Interativos
Multimédia;
• A utilização dos QIM na prática docente (uso deste software no processo de
ensino-aprendizagem).

10. 10
Desenho
O Desenho é o processo onde pretendemos especificar a
forma e sequência dos conteúdos a serem
apresentados, definir o conteúdo do projeto, determinar a
estrutura das atividades e apresentar tarefas conducentes à
avaliação.

11. 11
Desenho
1. Definição dos objetivos.
2. Recolha e seleção de conteúdos.
3. Definição da interface
4. Criação da versão “alpha”.
5. Avaliação Heurística.
Passos seguidos no desenho do protótipo:

12. 12
Desenho do protótipo
O desenvolvimento do protótipo multimédia teve como linhas orientadoras o modelo de
investigação e desenvolvimento ADDIA:
Analisar
Desenhar
Desenvolver
Implementar Avaliar
Este modelo consiste num processo dinâmico e interativo entre as fases que o constituem
permitindo o constante melhoramento através da avaliação contínua do processo de design.

13. 13
Desenho - O Protótipo de Português
Menu de
Navegação
pelos
vários
conteúdos
Título da disciplina
Conteúdo
Formativo

14. Desenho - Protótipo
a) Estrutura
b) Navegação
c) Interface e layout
d) Rapidez de acesso
e) Níveis de interatividade
f) Informação
14

15. Usabilidade
Usabilidade é a “facilidade de utilização” ou o conhecimento necessário para fazer algo
funcionar.
Nielsen (1993) indica cinco critérios para medir a usabilidade:
• Fácil de aprender
• Eficiente para usar
• Fácil de lembrar
• Pouco sujeito a erros
• Agradável de usar
15

16. 3 grandes objetivos do Protótipo
Objetivos do Protótipo Multimédia
Educativo – Allen (2007)
Experiências
de
aprendizagem
significativas
Experiências
de
aprendizagem
memoráveis
Experiências
de
aprendizagem
motivadoras
Resultados Mesuráveis
16

17. Usabilidade
• Avaliação Heurística: realizada por peritos, segundo parâmetros
definidos (10 heurísticas). Esta avaliação foi feita à versão alpha do
protótipo no final da fase de desenho.
• Avaliação com utilizadores: realizada com uma amostra de utilizadores
cujo perfil é semelhante ao do público-alvo. Este teste foi realizado na fase
de desenvolvimento.
17

18. • Para avaliar as 10 heurísticas (da Xerox - Heuristic Evaluation - A
System Checklist de Deniese Pierotti) foram efetuadas 68 subquestões
às quais os peritos poderiam responder Sim, Não ou Não Avaliado.
• Em cada uma destas subquestões o perito poderia, ainda, efetuar um
comentário.
A usabilidade
18

19. A Avaliação heurística
Resultados obtidos na avaliação heurística ao protótipo
Gráfico 1 - Distribuição das respostas das 10 heurísticas (versão alpha)
19

20. Desenvolver
Com base nos resultados das fases de análise e desenho,
nesta etapa foi produzida a versão beta do protótipo
multimédia educativo.
Após a correção dos erros apontados pelos peritos, detetados
na avaliação heurística, o designer instrucional avaliou o seu
protótipo através de testes de usabilidade com utilizadores.
20

21. Avaliação da Usabilidade
Recolha de dados:
• inquérito por questionário (guião de participação) constituído por três partes:
a. identificação das características dos participantes
b. guião de utilização do protótipo com uma série de tarefas a realizar
c. questionário com treze questões de resposta fechada e uma de resposta
aberta
d. observação, de forma a aferir os resultados dos utilizadores na
execução de tarefas definidas (registo numa grelha), a duração da
realização do teste e o registo de ocorrências durante o teste (erros,
dúvidas, etc.). 21

22. Avaliação da Usabilidade
Condições de realização do teste de usabilidade
• O Monitor
De acordo com Rubin (1994) será necessário abordar o como, o
quando, o onde, a quem, o porquê e o quê do teste de usabilidade.
• Número de Participantes Cinco participantes são capazes de
expor cerca de 80 por cento dos erros de um protótipo (Nielsen,
2000) no entanto a nossa amostra foi constituída por (n=7, média
de idades de 40,1% anos).
22

23. Avaliação da Usabilidade
Os utilizadores que participaram no teste da usabilidade do
protótipo deveriam ter as mesmas características dos
utilizadores finais, estudadas na fase da análise.
Podemos classificar estas características quanto a:
• atributos pessoais (idade, género, habilitações
académicas, etc.);
• quanto à experiência dos utilizadores.
23

24. Avaliação da Usabilidade - Realização do teste de usabilidade
Os procedimentos gerais para testes de usabilidade de acordo com Dumas
e Redish (1993) e Rubin (1994) são os seguintes:
(i) planificação do teste;
(ii) seleção e recrutamento dos participantes;
(iii) preparação dos materiais para além do software que se pretende testar;
(iv) realização do teste de usabilidade;
(v) diálogo com o participante;
(vi) compilação e análise de dados e
(vii)relatório final.
24

25. Avaliação da Usabilidade - Recolha e tratamento dos dados
Todos os problemas encontrados apresentaram um grau de severidade
cosmético ou sem importância, concretamente nas heurísticas um, três,
cinco e nove - resultados do teste de avaliação da usabilidade
considerando uma escala de 0 (sem importância) a 4 (catastrófico).
Tabela 2 - Grau de severidade dos problemas de usabilidade
25

26. Avaliação da Usabilidade - Recolha e tratamento dos dados
Tabela 1 - Análise estatística das respostas às dez heurísticas (versão alpha)
26

27. Avaliação da Usabilidade - Recolha e tratamento dos dados
Tabela 3 - Avaliação da versão beta do protótipo
27

28. Avaliação da Usabilidade - Análise dos dados
Considerando os cinco critérios apresentados por Nielsen (1993) para medir a
usabilidade e com base nos resultados obtidos podemos concluir que o
protótipo é:
• Fácil de aprender (Easy to learn): as participantes, em
média, terminaram as tarefas em 37 minutos, quando o tempo previsto era de
50 minutos. Apenas uma participante necessitou de 45 minutos. 95,3%
Sentiram-se sempre à-vontade a interagir com o protótipo enquanto 4,6%
revelaram, por vezes, algumas dificuldades.
28

29. Avaliação da Usabilidade - Análise dos dados
• Eficiente para usar (Efficiency):a avaliação à realização das tarefas foi
muito positiva, com uma aprovação média de 78 pontos em 100. Todos os
participantes indicaram que a informação fornecida pelo protótipo foi sempre
fácil de entender e que a informação disponibilizada pelo protótipo foi útil para
completar as tarefas.
• Fácil de lembrar (Memorability): este critério não pôde ser avaliado
convenientemente porque o teste só foi realizado uma única vez. No entanto,
sendo que uma das condições para que o protótipo seja fácil de memorizar é
ter um bom design, a avaliação obtida neste parâmetro (81%) permite-nos
pensar que o protótipo possui estas características.
29

30. Avaliação da Usabilidade - Análise dos dados
• Pouco sujeito a erros (Errors): 71% das utilizadoras conseguiram
sempre recuperar dos erros que cometeram. Pela observação direta
pudemos constatar que os erros que existiram deveram-se,
principalmente, a distrações (fechar janela do browser em vez do
separador, por exemplo).
• Agradável de usar (Satisfaction): 86% das participantes
conseguiram sempre completar eficazmente as tarefas e, na
globalidade, ficaram totalmente satisfeitas.
30

31. Avaliação da Usabilidade - Análise dos dados
Apesar desta avaliação da usabilidade ter sido francamente
positiva, um produto deste tipo poderá sempre sofrer
ajustes. Futuramente, poderemos atualizar a aplicação
complementando-a com novos módulos, caso as
características do público-alvo se alterem.
31

32. Conclusão
A necessidade de realizarmos os testes de avaliação de usabilidade evidencia uma clara
vantagem de reconhecimento de potenciais erros no protótipo multimédia, que podem ser
identificados e corrigidos pelos peritos e pelos utilizadores.
A multiplicidade de instrumentos de recolha de dados permitiu-nos certificar o desenho do
nosso protótipo.
Após a avaliação do “QIMTERATIVO de Português” junto de peritos (versão alpha) e de
utilizadores (versão beta) podemos comprovar que é fácil de aprender, fácil de usar e
satisfaz os utilizadores (Smith & Mayes, 1996), pelo que está pronto a ser aplicado com o
público-alvo e em contexto de ensino e de aprendizagem.
32

33. 33
Muito Obrigada pela Vossa Atenção!
Apesar de fazermos a apologia do QIM em detrimento de outras
tecnologias, pensámos que caberá ao docente a seleção daquela que se
coadune melhor em função do público-alvo, dos conteúdos a abordar, das
estratégias a seguir e das atividades a implementar dentro do espaço sala de
aula.