O documento descreve a avaliação da usabilidade e acessibilidade de um protótipo multimídia sobre técnicas de procura de emprego. Foram realizadas uma avaliação heurística por peritos e testes de usabilidade com utilizadores, tendo sido encontrados alguns problemas em menos de 5% das heurísticas avaliadas. Os resultados indicam que o protótipo possui uma boa usabilidade e conformidade com os níveis A e AA de acessibilidade.
1. AVALIAÇÃO
DA
USABILIDADE
E
DA
ACESSIBILIDADE
DO
PROTÓTIPO
MULTIMÉDIA
F.R.e.e.:
TÉCNICAS
DE
PROCURA
DE
EMPREGO
Celes=no
Magalhães
José
Alberto
Lencastre
Universidade
do
Minho
2. O
Projeto
O
Projeto
e-‐Learning
em
Estabelecimentos
Prisionais
(
e-‐
Pris
)
tem
por
obje=vo
avaliar
a
viabilidade
de
formação
via
e-‐Learning
em
contexto
prisional,
contribuindo
para
diminuir
fatores
de
risco
e
exclusão
social
e
uma
melhor
(re)inserção
social
da
população,
fomentando
a
igualdade
de
oportunidades
e
de
género.
I
3. O
Projeto
O
problema
Inexistência
de
produtos
no
mercado
cer=ficados
e
adaptados
à
formação
"a
distância”
via
e-‐Learning
adequados
às
caracterís=cas
e
necessidades
das
potenciais
formandas.
I
4. O
Projeto
Os
obje.vos
• iden=ficar
as
caraterís=cas
do
público-‐alvo
• desenhar
e
criar
um
protó=po
mul=média
educa=vo
adequado
à
formação
“a
distância”
via
e-‐learning
de
adultos
em
contexto
prisional
• avaliar
a
usabilidade
e
a
acessibilidade
do
protó=po
I
5. Modelo
ADDIA
• O
modelo
ADDIA
é
um
processo
de
design
intera=vo
forma=vo,
onde
os
resultados
da
avaliação
forma=va
de
cada
fase
alimentam
a
fase
seguinte
mas
podem
levar
o
designer
de
volta
para
qualquer
fase
anterior.
• Obje=vo
centrado
no
u=lizador
e
não
na
abordagem
tradicional
do
formador
(centrada
na
instrução),
para
que
a
aprendizagem
seja
eficaz.
II
8. Desenho
Adaptado
de
Clark
(2000)
IV
Desenho
Objetivos da
Formação
Integração das
TIC
Interface
Avaliação
Fontes de
Informação
Estratégias
de Ensino
e
Motivação
Currículo
10. Desenho
Algumas
preocupações
na
construção
do
protó=po:
a) Estrutura
b) Navegação
c) Interface
e
layout
d) Rapidez
de
acesso
e) Níveis
de
intera=vidade
f) Informação
IV
11. • Fácil de aprender: a capacidade com que os utilizadores
conseguem realizar tarefas básicas quando usam o protótipo
pela primeira vez.
• Eficiente para usar: após os utilizadores terem aprendido o
funcionamento do protótipo, conseguem facilmente localizar a
informação de que precisam.
• Fácil de lembrar: depois de algum tempo sem utilizar o
protótipo, conseguem facilmente recordar o seu
funcionamento.
• Pouco sujeito a erros: os utilizadores cometem poucos erros
durante a utilização do protótipo e, caso aconteça, estes
possuem um grau de gravidade baixo e são de fácil correção.
• Agradável de usar: os utilizadores sentem-se satisfeitos com a
utilização do protótipo.
V
Usabilidade
12. Para avaliar a usabilidade do protótipo, foram
utilizados dois métodos:
• Avaliação heurística: realizada por peritos à
versão alpha do protótipo na fase de desenho;
• Teste de usabilidade: realizado por um grupo
de utilizadores com características semelhantes
às do público-alvo, realizado na fase de
desenvolvimento.
V
Usabilidade
13. • A avaliação heurística envolveu uma análise do
protótipo por 3 peritos que não tiveram
participação no projeto. Segundo Nielsen (1994) é
o número suficiente de avaliadores que permite
identificar a maior parte dos erros de usabilidade.
• Cada perito avaliou individualmente, de acordo
com as heurísticas definidas.
V
Avaliação
heurís=ca
14. Heurísticas (Nielsen,1994):
1. Tornar o estado do sistema visível
2. Falar a linguagem do utilizador
3. Utilizador controla e exerce livre-arbítrio
4. Consistência e Adesão a Normas
5. Evitar erros
6. Reconhecimento em vez de Memorização
7. Flexibilidade e Eficiência
8. Desenho de ecrã estético e minimalista
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
10. Dar Ajuda e Documentação
V
Avaliação
heurís=ca
15. Recolha dos dados através de um inquérito por
questionário dividido em 3 partes:
1. Parte 1 – Questionário Pessoal
2. Parte 2 – Consulta e Navegação pelo protótipo
3. Parte 3 – Questionário composto por 13 questões
de resposta fechada e uma de resposta aberta.
V
Teste
de
usabilidade
16. • Em conformidade com o World Wide Web Consortium (W3C),
acessibilidade significa que “pessoas com deficiências possam
usar a Web”, isto é, “percebam, naveguem e interajam com a
Web”.
• A acessibilidade é definida por três níveis de prioridade:
i. aspetos que os criadores de conteúdos Web têm que
cumprir;
ii. aspetos que os criadores de conteúdos Web devem cumprir
iii. aspetos que os criadores de conteúdos Web podem cumprir.
VI
Acessibilidade
17. • Os níveis de conformidade atribuídos dependem da verificação das
prioridades assim:
– nível de conformidade "A” , se foram satisfeitos todos os pontos de
verificação de prioridade 1;
– nível de conformidade "AA", se foram satisfeitos todos os pontos de
verificação das prioridades 1 e 2 e
– nível de conformidade "AAA", se foram satisfeitos todos os pontos
de verificação das prioridades 1, 2 e 3.
• Os testes de acessibilidade realizados foram baseados nas
recomendações WCAG 2.0 da W3C.
VI
Acessibilidade
18. Apresentação e Análise dos Resultados
• Avaliação heurística: durante a avaliação heurística foram
recolhidos dados quantitativos – número de transgressões
observadas em cada uma das heurísticas – e dados qualitativos,
através dos comentários efetuados pelos avaliadores.
Sim Não Não Avaliado
1. Tornar o estado do sistema visível 100% 0% 0%
2. Falar a linguagem do utilizador 95% 0% 5%
3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%
4. Consistência e Adesão a Normas 100% 0% 0%
5. Evitar erros 83% 0% 17%
6. Reconhecimento em vez de Memorização 97% 0% 3%
7. Flexibilidade e Eficiência 92% 0% 8%
8. Desenho de ecrã estético e minimalista 94% 0% 6%
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar
dos erros
67% 0% 33%
10. Dar Ajuda e Documentação 80% 13% 7%
% de Respostas
Heurísticas
VII
19. Apresentação e Análise dos Resultados
• Das 10 heurísticas, subdivididas em 62 sub-heurísticas,
duas apresentaram problemas.
• Os problemas foram classificadas de acordo com o grau
de severidade.
• Das 62 sub-heurísticas, três (cerca de 5%)
apresentaram problemas de usabilidade
• 59 (cerca de 95%) foram referenciadas como não
apresentando qualquer tipo de problema.
VII
20. Apresentação e Análise dos Resultados
• Teste de usabilidade com utilizadores: para a recolha
de dados foram utilizadas/os:
– Inquérito por questionário, em papel e entregue às
participantes no início da sessão;
– Observação, os dados e informações foram
registados em Grelhas de Observação (tempo gasto
na realização das tarefas, tempo gasto para concluir o
teste e registo das classificações obtidas pelas
participantes).
VII
21. • A
seleção
dos
u=lizadores
que
realizaram
os
testes
de
avaliação
da
usabilidade
foi
feita
tendo
em
conta
dois
critérios:
– caracterís.cas
pessoais
(idade,
género,
habilitações),
e
– experiência
tecnológica
(u=lização
de
computador,
u=lização
de
documentos
mul=média,
u=lização
da
Internet,
conhecimentos
dos
conteúdos).
• Devido
ao
facto
do
público-‐alvo
se
encontrar
em
reclusão
prisional,
não
foi
possível
u=lizar
uma
amostra
proveniente
do
grupo.
A
solução
encontrada
foi
escolher
um
grupo
com
o
maior
número
de
caracterís=cas
semelhantes.
VII
Apresentação e Análise dos Resultados
22. Apresentação e Análise dos Resultados
• Relativamente aos testes de usabilidade dos protótipos e tendo em
atenção as respostas apresentadas nos inquéritos por questionário,
consideramos uma escala onde a resposta “Nunca” corresponde a 0
e a resposta “Sempre” corresponde a 2.
VII
Parâmetros Questões
Média Protótipo
Multimédia
"Técnicas de
Procura de
Emprego"
1. O ambiente gráfico do protótipo é agradável? 1,8
2. A informação no protótipo encontra-se bem organizada? 2
3. A linguagem utilizada é simples e clara? 1,8
4. Sentiu-se à-vontade a usar o protótipo? 1,8
5. O protótipo permite uma fácil navegação? 1,6
6. Foi fácil encontrar a informação que precisou? 2
7. O protótipo tem as funcionalidades e capacidades que esperava? 2
8. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8
9. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2
10. A informação fornecida pelo protótipo foi fácil de entender? 2
11. Conseguiu completar eficazmente o seu trabalho? 1,8
12. Na globalidade ficou satisfeito com o seu trabalho? 1,8
Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8
Design
Facilidades de utilização
Funcionalidades
Aprendizagem
Satisfação
23. Apresentação e Análise dos ResultadosVII
Critérios
Protó.po
Mul.média
FRee
"Técnicas
de
Procura
de
Emprego"
Fácil
de
aprender
Média
de
46
min
na
realização
do
teste
(60
min)
80%
das
u=lizadoras
mostraram-‐se
à
vontade
com
a
u=lização
do
protó=po
Eficiente
para
usar
80%
de
sucesso
na
realização
das
tarefas
propostas.
Maioria
das
u=lizadoras
indicou
que
a
informação
disponibilizada
pelo
protó=po
mul=média
foi
fácil
de
entender
e
ú=l
para
a
realização
das
tarefas
propostas.
Fácil
de
lembrar
Para
medir
convenientemente
este
critério
precisaríamos
de
realizar
o
teste
mais
do
que
uma
vez,
o
que
não
aconteceu.
Pouco
sujeito
a
erros
80%
das
u=lizadoras
conseguiram
recuperar
dos
erros
come=dos
(pela
observação
direta
pudemos
constatar
que
os
erros
que
exis=ram
deveram-‐se
a
distrações
(fechar
janela
do
browser
em
vez
do
separador,
por
exemplo)).
Agradável
de
usar
80%
das
u=lizadoras
ficaram
sa=sfeitas
com
o
seu
trabalho.
24. Apresentação e Análise dos Resultados
• Acessibilidade: Total Validator.
• O principal objetivo foi permitir que o protótipo passasse
os testes de acessibilidade para a prioridade 1 (nível
de conformidade A).
• Submetemos o protótipo multimédia educativo ao
validador automático e obtivemos o seguinte resultado:
VII
25. Apresentação e Análise dos Resultados
• O único erro apresentado, refere-se a um erro de sintaxe no xhtml,
nomeadamente atributos que foram utilizados unicamente para criar
uma apresentação visual e está relacionado com a ferramenta
utilizada para a criação do protótipo multimédia educativo.
VII
26. Apresentação e Análise dos Resultados
• Aplicamos também o validador da W3C não tendo obtido
qualquer erro.
VII
27. • Respondendo aos objetivos do nosso estudo:
• iniciamos com a caraterização do público-alvo, formandas do
estabelecimento prisional, e definimos o contexto em que estão
inseridas. Isto permitiu identificar as necessidades de
aprendizagem, definir os objetivos de ensino e as restrições
envolvidas.
• desenhamos o protótipo no quadro de um referencial teórico e
fizemos a avaliação com os peritos.
• desenvolvemos o protótipo e avaliamos a usabilidade com
utilizadores semelhantes ao público-alvo.
• avaliamos a acessibilidade.
VIII
Considerações
finais
28. • Respondendo aos objetivos do nosso estudo:
• É fácil de aprender
• É eficiente para usar
• É pouco sujeito a erros
• É agradável de usar
VIII
Considerações
finais
29. • a avaliação de um protótipo multimédia educativo não
pode ser vista como algo fechado e exato, não existindo
nenhuma fórmula “mágica” que nos permita criar e
desenvolver um protótipo multimédia educativo cem por
cento eficaz. No entanto, a avaliação da sua usabilidade e
da sua acessibilidade permitirá que seja utilizado com
maior probabilidade de sucesso por parte dos utilizadores
finais.
VIII
Considerações
finais