Este documento resume: 1) A avaliação da usabilidade e acessibilidade de um protótipo educacional multimídia para a formação de reclusas chamado F.R.e.e. utilizando testes de usabilidade e avaliação heurística. 2) O desenvolvimento do protótipo seguiu o modelo ADDIA de análise, design, desenvolvimento, implementação e avaliação. 3) Os resultados apontaram que 95% das sub-heurísticas avaliadas não apresentaram problemas, enquanto 5% tiveram problemas menores de us

1. Avaliação
da
Usabilidade
e
da
Acessibilidade
do
Protó4po
Mul4média
Educa4vo
F.R.e.e.
(Formação
Reclusas
em
e-­‐learning)
INSTITUTO PIAGET
Campus Académico de Vila Nova de Gaia
Escola Superior de Educação Jean Piaget – Arcozelo
(Decreto-Lei n.º 468/88, de 16 de Dezembro)
Mestrado em Tecnologias da Informação e Comunicação Especialização em
Comunicação Multimédia
Celes4no
Gomercindo
Ribeiro
de
Magalhães
Vila Nova de Gaia, 20 de julho de 2012

2. Estrutura do Estudo
• Introdução
• Capítulo 1: Formação de Reclusos e Desenvolvimento de Protótipos
Multimédia
• Capítulo 2: Usabilidade
• Capítulo 3: Acessibilidade
• Capítulo 4: Caracterização das metodologias utilizadas
• Capítulo 5: Criação e Desenvolvimento do Protótipo Multimédia
Educativo F.R.e.e.
• Capítulo 6: Apresentação e Análise dos Resultados
• Conclusão

4. Introdução
• ( e-Pris ) tem como objetivo avaliar a viabilidade de formação via
e-learning nos serviços prisionais em Portugal.
• Valorizar a inclusão digital como contributo para uma melhor
reinserção social da população reclusa, criando um modelo de
intervenção integrado e estruturado (pedagógico e estratégico)
suscetível de replicação/disseminação.
• Formação em e-learning poderá ser uma solução sólida, pois
permitirá promover uma formação adaptada e dirigida ao tipo de
público.

5. Objetivos
Objetivo geral: apresentação dos procedimentos e materiais que
envolveram a criação do protótipo multimédia F.R.e.e. – “Técnicas de
Procura de Emprego” e condução dos testes de usabilidade e de
acessibilidade ao protótipo multimédia e a análise dos resultados.
Os objetivos específicos:
• Caraterizar o público-alvo da formação.
• Definir o contexto em que os utilizadores estão inseridos.
• Avaliar a usabilidade do protótipo.
• Avaliar a acessibilidade do protótipo.

6. Criação do Protótipo Multimédia
• O modelo ADDIA é um processo de design interativo formativo,
onde os resultados da avaliação formativa de cada fase podem
levar o designer de volta para qualquer fase anterior.
• Objetivo centrado no utilizador e não na abordagem tradicional
do formador (centrada na instrução), para que a aprendizagem seja
eficaz.

7. O
modelo
ADDIA
(adaptado
de
Clark,
2000)

8. Analisar
Análise
Necessidades
de Formação
Características
do Público-Alvo
As tarefas
Restrições
adaptado
de
Clark
(2000)

9. Desenhar
Desenho
Objetivos da
Formação
Integração das
TIC
Interface
Avaliação
Fontes de
Informação
Estratégias
de Ensino
e
Motivação
Currículo
adaptado
de
Clark
(2000)

10. Desenvolver
Desenvolvimento Mensagem
Instrucional
adaptado
de
Clark
(2000)

11. Conteúdo Formativo
Pesquisa e duração do Pacote Formativo
Menu de
Navegação pelos
vários conteúdos
Forma de apresentação
do conteúdo: texto,
imagens, animações,
vídeo, flipbook.
T í t u l o d o P a c o t e
Formativo

12. Usabilidade
• A usabilidade traduz-se no facto de ser (i) fácil de usar e (ii) fácil
de aprender a usar, bem como no grau de (iii) satisfação sentido
pelo utilizador.
• O design centrado nos utilizadores é um dos aspetos mais
importantes dos pacotes formativos de aprendizagem online. Tendo
esta premissa em mente, o utilizador torna-se o centro no
desenvolvimento do design dos cursos.

13. Usabilidade
Utilizamos cinco critérios para medir a usabilidade:
• Fácil de aprender: a capacidade com que os utilizadores
conseguem realizar tarefas básicas quando usam o protótipo pela
primeira vez.
• Eficiente para usar: após os utilizadores terem aprendido o
funcionamento do protótipo, conseguem facilmente localizar a
informação de que precisam.
• Fácil de lembrar: depois de algum tempo sem utilizar o protótipo,
conseguem facilmente recordar o seu funcionamento.
• Pouco sujeito a erros: os utilizadores cometem poucos erros
durante a utilização do protótipo e, caso aconteça, estes possuem
um grau de gravidade baixo e são de fácil correção.
• Agradável de usar: os utilizadores sentem-se satisfeitos com a
utilização do protótipo.

14. Usabilidade
Para avaliar a usabilidade do protótipo, foram utilizados
dois métodos:
• Avaliação heurística: realizada à versão alpha do
protótipo multimédia educativo no final da fase de
desenho e por peritos da área, segundo as heurísticas
definidas;
• Teste de Usabilidade: realizado por um grupo de
utilizadores com características semelhantes às do
público-alvo, realizado na fase de desenvolvimento.

15. Avaliação heurística
• A avaliação heurística envolveu uma revisão do protótipo
multimédia educativo por avaliadores que não tiveram
participação no projeto.
• Cada avaliador especialista apresentou os seus comentários
individualmente, de acordo com as heurísticas definidas.
• A avaliação heurística do protótipo multimédia foi realizada por três
avaliadores, o que, segundo Nielsen (1994), e atendendo à relação
custo/benefício, encontra-se dentro do número suficiente de
avaliadores que permite identificar a maior parte dos erros de
usabilidade.

16. Avaliação heurística
Heurísticas (Nielsen,1994):
1. Tornar o estado do sistema visível
2. Falar a linguagem do utilizador
3. Utilizador controla e exerce livre-arbítrio
4. Consistência e Adesão a Normas
5. Evitar erros
6. Reconhecimento em vez de Memorização
7. Flexibilidade e Eficiência
8. Desenho de ecrã estético e minimalista
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
10. Dar Ajuda e Documentação

17. Teste de Usabilidade
• Realizado no ciclo de desenvolvimento, o teste de
usabilidade certifica a usabilidade do protótipo
multimédia educativo antes da sua distribuição.
• O objetivo foi verificar como o protótipo multimédia
educativo se enquadra em relação aos:
– padrões de usabilidade,
– padrões de utilização e
– padrões educacionais.

18. Teste de Usabilidade
• Nos testes de usabilidade realizados a recolha dos dados foi através
de um inquérito por questionário.
• O questionário (Guião de Participação) encontra-se subdividido em 3
partes:
Parte 1 – Questionário Pessoal
Parte 2 – Consulta e Navegação pelo protótipo
Parte 3 – Questionário composto por 13 questões de resposta fechada
e uma de resposta aberta.

19. Acessibilidade
• Acessibilidade na Web é sinónimo de possibilidade de todos
acederem, de forma igual, ao protótipo multimédia educativo.
• Em conformidade com o World Wide Web Consortium (W3C),
acessibilidade significa que “pessoas com deficiências possam usar
a Web”, isto é, “percebam, naveguem e interajam com a Web”.
• A acessibilidade é definida por três níveis de prioridade:
i. aspetos que os criadores de conteúdos Web têm que cumprir;
ii. aspetos que os criadores de conteúdos Web devem cumprir
iii. aspetos que os criadores de conteúdos Web podem cumprir.

20. Acessibilidade
• Escolher um método ou uma técnica para a realizar dependeu dos objetivos
com que o fizemos para determinar, por exemplo, o seu nível de conformidade.
• Os níveis de conformidade atribuídos dependem da verificação das
prioridades assim:
– nível de conformidade "A” , se foram satisfeitos todos os pontos de
verificação de prioridade 1;
– nível de conformidade "AA", se foram satisfeitos todos os pontos de
verificação das prioridades 1 e 2 e
– nível de conformidade "AAA", se foram satisfeitos todos os pontos de
verificação das prioridades 1, 2 e 3.
• Os testes de acessibilidade realizados foram baseados nas recomendações
WCAG 2.0 da W3C.

21. Metodologia
• “metodologia de desenvolvimento”
• caracteriza-se não apenas pelo desenvolvimento de intervenções,
mas pela sua característica de que estas intervenções contêm
reclamações teóricas específicas sobre ensinar e aprender,
refletindo um compromisso ao estabelecer as relações entre teoria,
protótipos criados e a prática educativa.
• refere-se à investigação e ao desenvolvimento de intervenções
nas práticas educativas, a partir da construção de protótipos
multimédia educativos, possibilitando o delineamento de
conhecimentos sobre os processos de desenvolvimento e de
aprendizagem.

22. Análise
de
problemas
prá4cos
(inves4gador
e
profissionais
no
terreno)
Desenvolvimento
de
soluções
no
quadro
de
um
referencial
teórico.
Avaliação
e
testagem
de
soluções
no
terreno.
Documentação
e
reflexão
que
possa
conduzir
a
inves4gação
futura.
Refinamento
de
problemas,
soluções
e
métodos.
ANÁLISE DESENHO TESE
AVALIAÇÃO
Representação
esquemá4ca
da
metodologia
de
desenvolvimento
segundo
Cou4nho;
Chaves
(2001),
(adaptada)
DESENVOLVIMENTO

23. Apresentação e Análise dos Resultados
• Avaliação heurística: durante a avaliação heurística foram
recolhidos dados quantitativos – número de transgressões
observadas em cada uma das heurísticas – e dados qualitativos,
através dos comentários efetuados pelos avaliadores.
Sim Não Não Avaliado
1. Tornar o estado do sistema visível 100% 0% 0%
2. Falar a linguagem do utilizador 95% 0% 5%
3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%
4. Consistência e Adesão a Normas 100% 0% 0%
5. Evitar erros 83% 0% 17%
6. Reconhecimento em vez de Memorização 97% 0% 3%
7. Flexibilidade e Eficiência 92% 0% 8%
8. Desenho de ecrã estético e minimalista 94% 0% 6%
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar
dos erros
67% 0% 33%
10. Dar Ajuda e Documentação 80% 13% 7%
% de Respostas
Heurísticas

24. Apresentação e Análise dos Resultados
• Das dez heurísticas avaliadas, duas apresentaram
problemas. As heurísticas estão subdivididas em 62 sub-
heurísticas.
• As heurísticas e respetivas sub-heurísticas com
problemas foram classificadas de acordo com o grau de
severidade do problema encontrado.
• Das 62 sub-heurísticas observadas, três (cerca de 5%)
apresentaram problemas de menor usabilidade e 59
(cerca de 95%) foram referenciadas como não
apresentando qualquer tipo de problema.

25. Apresentação e Análise dos Resultados
• Teste de Usabilidade: para a recolha de dados dos
testes de usabilidade foram utilizadas/os:
– Inquérito por questionário, feito em papel e
entregue às participantes no início da sessão;
– Observação, os dados e informações foram
registados em Grelhas de Observação (tempo gasto
na realização das tarefas, tempo gasto para concluir o
teste e registo das classificações obtidas pelas
participantes).

26. • A
seleção
dos
u4lizadores
que
realizaram
os
testes
de
avaliação
da
usabilidade
foi
feita
tendo
em
conta
dois
critérios:
caracterís+cas
pessoais
(idade,
género,
habilitações)
e
experiência
tecnológica
(u4lização
de
computador,
u4lização
de
documentos
mul4média,
u4lização
da
Internet,
conhecimentos
dos
conteúdos).
• Devido
ao
elevado
grau
de
especificidade
do
nosso
público-­‐alvo,
não
nos
foi
possível
sa4sfazer
todas
as
caracterís4cas
apresentadas
mas
tentamos
selecionar
os
u4lizadores
com
o
maior
número
de
caracterís4cas
em
comum
com
este.
Caracterís+ca Público-­‐alvo
U+lizadores
“Moodle”
U+lizadores
FRee
“Técnicas
de
Procura
de
Emprego”
Média
de
idades 35,6
anos 14,2
anos 17,8
anos
Género 100%
Feminino 100%
Feminino 100%
Feminino
Habilitações
académicas
3.º
Ciclo:
33%
Secundário:
60%
Ensino
Superior:
7%
8.º
ano
concluído:
100%
10.º
ano
concluído:
100%

27. Apresentação e Análise dos Resultados
• Relativamente aos testes de usabilidade dos protótipos e
tendo em atenção as respostas apresentadas nos inquéritos
por questionário feitos, consideramos uma escala onde a
resposta “Nunca” corresponde a 0 e a resposta “Sempre”
corresponde a 2.
Parâmetros Questões
Média Protótipo
Multimédia
"Técnicas de
Procura de
Emprego"
Média Pré-
Versão Protótipo
Multimédia
"Moodle"
1. O ambiente gráfico do protótipo é agradável? 1,8 2
2. A informação no protótipo encontra-se bem organizada? 2 2
3. A linguagem utilizada é simples e clara? 1,8 1,6
4. Sentiu-se à-vontade a usar o protótipo? 1,8 1,6
5. O protótipo permite uma fácil navegação? 1,6 1,8
6. Foi fácil encontrar a informação que precisou? 2 1,8
7. O protótipo tem as funcionalidades e capacidades que esperava? 2 2
8. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8 2
9. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2 2
10. A informação fornecida pelo protótipo foi fácil de entender? 2 2
11. Conseguiu completar eficazmente o seu trabalho? 1,8 2
12. Na globalidade ficou satisfeito com o seu trabalho? 1,8 2
Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8 1,8
Design
Facilidades de utilização
Funcionalidades
Aprendizagem
Satisfação

28. Apresentação e Análise dos Resultados
Critérios
Protótipo Multimédia FRee "Técnicas
de Procura de Emprego"
Pré-Versão Protótipo Multimédia "Moodle"
Fácil de aprender
Média de 46 min na realização do teste
(60 min)
80% das utilizadoras mostraram-se à
vontade com a utilização do protótipo
Média de 16 min na realização do teste (60
min)
100% das utilizadoras mostraram-se à
vontade com a utilização do protótipo
Eficiente para usar
80% de sucesso na realização das
tarefas propostas.
100% de sucesso na realização das tarefas
propostas.
Maioria das utilizadoras indicou que a informação disponibilizada pelo protótipo
multimédia foi fácil de entender e útil para a realização das tarefas propostas.
Fácil de lembrar
Para medir convenientemente este critério precisaríamos de realizar o teste mais do que
uma vez, o que não aconteceu.
Pouco sujeito a erros
80% das utilizadoras conseguiram recuperar dos erros cometidos (pela observação
direta pudemos constatar que os erros que existiram deveram-se a distrações (fechar
janela do browser em vez do separador, por exemplo)).
Agradável de usar
80% das utilizadoras ficaram satisfeitas
com o seu trabalho.
100% das utilizadoras ficaram satisfeitas com
o seu trabalho.

29. Apresentação e Análise dos Resultados
• Acessibilidade: Total Validator.
• O principal objetivo foi permitir que o protótipo
multimédia educativo passasse os testes de
acessibilidade para a prioridade 1 (nível de
conformidade A). Submetemos o protótipo multimédia
educativo ao validador automático e obtivemos o
seguinte resultado:

30. Apresentação e Análise dos Resultados
• O único erro apresentado, refere-se a um erro de sintaxe no xhtml,
nomeadamente, atributos que foram utilizados unicamente para criar
uma apresentação visual e está relacionado com a ferramenta
utilizada para a criação do protótipo multimédia educativo.

31. Apresentação e Análise dos Resultados
• Aplicamos também o validador da W3C, para validar o
protótipo multimédia educativo, não tendo obtido qualquer
erro, encontrando-se o protótipo multimédia educativo em
conformidade com as normas de avaliação da acessibilidade.

32. Considerações Finais
• Respondendo aos objetivos do nosso estudo:
• iniciamos com a caraterização do público-alvo, formandas do
estabelecimento prisional, e definimos o contexto em que estão
inseridas. Isto permitiu identificar as necessidades de
aprendizagem, definir os objetivos de ensino e as
restrições envolvidas.
• desenhamos o protótipo no quadro de um referencial teórico
e fizemos a avaliação com os peritos.
• desenvolvemos o protótipo e avaliamos a usabilidade com
utilizadores semelhantes ao público-alvo.
• avaliamos a acessibilidade.

33. Considerações Finais
• Respondendo aos objetivos do nosso estudo:
• É fácil de aprender
• É eficiente para usar
• É fácil de lembrar
• É pouco sujeito a erros
• É agradável de usar

34. Considerações Finais
• A fase da implementação não foi realizada, uma vez que a
formação às reclusas no âmbito do projeto de investigação ( e-
Pris ), onde o protótipo será utilizado, não coincidiu em tempo útil
com a redação desta dissertação.

35. Considerações Finais
• a avaliação de um protótipo multimédia educativo não
pode ser vista como algo fechado e exato, não existindo
nenhuma fórmula “mágica” que nos permita criar e
desenvolver um protótipo multimédia educativo cem por
cento eficaz. No entanto, a avaliação da sua usabilidade
e da sua acessibilidade permitirá que seja utilizado com
maior probabilidade de sucesso por parte dos
utilizadores finais.