O documento descreve a avaliação da usabilidade e acessibilidade de um protótipo multimídia sobre técnicas de procura de emprego. Foram realizadas uma avaliação heurística por peritos e testes de usabilidade com utilizadores, tendo sido encontrados alguns problemas em menos de 5% das heurísticas avaliadas. Os resultados indicam que o protótipo possui uma boa usabilidade e conformidade com os níveis A e AA de acessibilidade.

1. AVALIAÇÃO
DA
USABILIDADE
E
DA
ACESSIBILIDADE
DO
PROTÓTIPO
MULTIMÉDIA
F.R.e.e.:
TÉCNICAS
DE
PROCURA
DE
EMPREGO
Celes=no
Magalhães
José
Alberto
Lencastre
Universidade
do
Minho

2. O
Projeto
O
Projeto
e-­‐Learning
em
Estabelecimentos
Prisionais
(
e-­‐
Pris
)
tem
por
obje=vo
avaliar
a
viabilidade
de
formação
via
e-­‐Learning
em
contexto
prisional,
contribuindo
para
diminuir
fatores
de
risco
e
exclusão
social
e
uma
melhor
(re)inserção
social
da
população,
fomentando
a
igualdade
de
oportunidades
e
de
género.
I

3. O
Projeto
O
problema
Inexistência
de
produtos
no
mercado
cer=ficados
e
adaptados
à
formação
"a
distância”
via
e-­‐Learning
adequados
às
caracterís=cas
e
necessidades
das
potenciais
formandas.
I

4. O
Projeto
Os
obje.vos
• iden=ficar
as
caraterís=cas
do
público-­‐alvo
• desenhar
e
criar
um
protó=po
mul=média
educa=vo
adequado
à
formação
“a
distância”
via
e-­‐learning
de
adultos
em
contexto
prisional
• avaliar
a
usabilidade
e
a
acessibilidade
do
protó=po
I

5. Modelo
ADDIA
• O
modelo
ADDIA
é
um
processo
de
design
intera=vo
forma=vo,
onde
os
resultados
da
avaliação
forma=va
de
cada
fase
alimentam
a
fase
seguinte
mas
podem
levar
o
designer
de
volta
para
qualquer
fase
anterior.
• Obje=vo
centrado
no
u=lizador
e
não
na
abordagem
tradicional
do
formador
(centrada
na
instrução),
para
que
a
aprendizagem
seja
eficaz.
II

6. Modelo
ADDIA
Modelo
ADDIA
(adaptado
de
Clark,
2000)
II

7. Análise
III
(adaptado
de
Clark,
2000)

8. Desenho
Adaptado
de
Clark
(2000)
IV
Desenho
Objetivos da
Formação
Integração das
TIC
Interface
Avaliação
Fontes de
Informação
Estratégias
de Ensino
e
Motivação
Currículo

9. Desenho
Layout
do
protó.po
Técnicas
de
Procura
de
Emprego
IV

10. Desenho
Algumas
preocupações
na
construção
do
protó=po:
a) Estrutura
b) Navegação
c) Interface
e
layout
d) Rapidez
de
acesso
e) Níveis
de
intera=vidade
f) Informação
IV

11. • Fácil de aprender: a capacidade com que os utilizadores
conseguem realizar tarefas básicas quando usam o protótipo
pela primeira vez.
• Eficiente para usar: após os utilizadores terem aprendido o
funcionamento do protótipo, conseguem facilmente localizar a
informação de que precisam.
• Fácil de lembrar: depois de algum tempo sem utilizar o
protótipo, conseguem facilmente recordar o seu
funcionamento.
• Pouco sujeito a erros: os utilizadores cometem poucos erros
durante a utilização do protótipo e, caso aconteça, estes
possuem um grau de gravidade baixo e são de fácil correção.
• Agradável de usar: os utilizadores sentem-se satisfeitos com a
utilização do protótipo.
V
Usabilidade

12. Para avaliar a usabilidade do protótipo, foram
utilizados dois métodos:
• Avaliação heurística: realizada por peritos à
versão alpha do protótipo na fase de desenho;
• Teste de usabilidade: realizado por um grupo
de utilizadores com características semelhantes
às do público-alvo, realizado na fase de
desenvolvimento.
V
Usabilidade

13. • A avaliação heurística envolveu uma análise do
protótipo por 3 peritos que não tiveram
participação no projeto. Segundo Nielsen (1994) é
o número suficiente de avaliadores que permite
identificar a maior parte dos erros de usabilidade.
• Cada perito avaliou individualmente, de acordo
com as heurísticas definidas.
V
Avaliação
heurís=ca

14. Heurísticas (Nielsen,1994):
1. Tornar o estado do sistema visível
2. Falar a linguagem do utilizador
3. Utilizador controla e exerce livre-arbítrio
4. Consistência e Adesão a Normas
5. Evitar erros
6. Reconhecimento em vez de Memorização
7. Flexibilidade e Eficiência
8. Desenho de ecrã estético e minimalista
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar dos erros
10. Dar Ajuda e Documentação
V
Avaliação
heurís=ca

15. Recolha dos dados através de um inquérito por
questionário dividido em 3 partes:
1. Parte 1 – Questionário Pessoal
2. Parte 2 – Consulta e Navegação pelo protótipo
3. Parte 3 – Questionário composto por 13 questões
de resposta fechada e uma de resposta aberta.
V
Teste
de
usabilidade

16. • Em conformidade com o World Wide Web Consortium (W3C),
acessibilidade significa que “pessoas com deficiências possam
usar a Web”, isto é, “percebam, naveguem e interajam com a
Web”.
• A acessibilidade é definida por três níveis de prioridade:
i. aspetos que os criadores de conteúdos Web têm que
cumprir;
ii. aspetos que os criadores de conteúdos Web devem cumprir
iii. aspetos que os criadores de conteúdos Web podem cumprir.
VI
Acessibilidade

17. • Os níveis de conformidade atribuídos dependem da verificação das
prioridades assim:
– nível de conformidade "A” , se foram satisfeitos todos os pontos de
verificação de prioridade 1;
– nível de conformidade "AA", se foram satisfeitos todos os pontos de
verificação das prioridades 1 e 2 e
– nível de conformidade "AAA", se foram satisfeitos todos os pontos
de verificação das prioridades 1, 2 e 3.
• Os testes de acessibilidade realizados foram baseados nas
recomendações WCAG 2.0 da W3C.
VI
Acessibilidade

18. Apresentação e Análise dos Resultados
• Avaliação heurística: durante a avaliação heurística foram
recolhidos dados quantitativos – número de transgressões
observadas em cada uma das heurísticas – e dados qualitativos,
através dos comentários efetuados pelos avaliadores.
Sim Não Não Avaliado
1. Tornar o estado do sistema visível 100% 0% 0%
2. Falar a linguagem do utilizador 95% 0% 5%
3. Utilizador controla e exerce livre-arbítrio 58% 25% 17%
4. Consistência e Adesão a Normas 100% 0% 0%
5. Evitar erros 83% 0% 17%
6. Reconhecimento em vez de Memorização 97% 0% 3%
7. Flexibilidade e Eficiência 92% 0% 8%
8. Desenho de ecrã estético e minimalista 94% 0% 6%
9. Ajudar o utilizador a reconhecer, diagnosticar e recuperar
dos erros
67% 0% 33%
10. Dar Ajuda e Documentação 80% 13% 7%
% de Respostas
Heurísticas
VII

19. Apresentação e Análise dos Resultados
• Das 10 heurísticas, subdivididas em 62 sub-heurísticas,
duas apresentaram problemas.
• Os problemas foram classificadas de acordo com o grau
de severidade.
• Das 62 sub-heurísticas, três (cerca de 5%)
apresentaram problemas de usabilidade
• 59 (cerca de 95%) foram referenciadas como não
apresentando qualquer tipo de problema.
VII

20. Apresentação e Análise dos Resultados
• Teste de usabilidade com utilizadores: para a recolha
de dados foram utilizadas/os:
– Inquérito por questionário, em papel e entregue às
participantes no início da sessão;
– Observação, os dados e informações foram
registados em Grelhas de Observação (tempo gasto
na realização das tarefas, tempo gasto para concluir o
teste e registo das classificações obtidas pelas
participantes).
VII

21. • A
seleção
dos
u=lizadores
que
realizaram
os
testes
de
avaliação
da
usabilidade
foi
feita
tendo
em
conta
dois
critérios:
– caracterís.cas
pessoais
(idade,
género,
habilitações),
e
– experiência
tecnológica
(u=lização
de
computador,
u=lização
de
documentos
mul=média,
u=lização
da
Internet,
conhecimentos
dos
conteúdos).
• Devido
ao
facto
do
público-­‐alvo
se
encontrar
em
reclusão
prisional,
não
foi
possível
u=lizar
uma
amostra
proveniente
do
grupo.
A
solução
encontrada
foi
escolher
um
grupo
com
o
maior
número
de
caracterís=cas
semelhantes.
VII
Apresentação e Análise dos Resultados

22. Apresentação e Análise dos Resultados
• Relativamente aos testes de usabilidade dos protótipos e tendo em
atenção as respostas apresentadas nos inquéritos por questionário,
consideramos uma escala onde a resposta “Nunca” corresponde a 0
e a resposta “Sempre” corresponde a 2.
VII
Parâmetros Questões
Média Protótipo
Multimédia
"Técnicas de
Procura de
Emprego"
1. O ambiente gráfico do protótipo é agradável? 1,8
2. A informação no protótipo encontra-se bem organizada? 2
3. A linguagem utilizada é simples e clara? 1,8
4. Sentiu-se à-vontade a usar o protótipo? 1,8
5. O protótipo permite uma fácil navegação? 1,6
6. Foi fácil encontrar a informação que precisou? 2
7. O protótipo tem as funcionalidades e capacidades que esperava? 2
8. A informação disponibilizada pelo protótipo foi útil para completar as tarefas? 1,8
9. Conseguiu utilizar o protótipo sem necessitar de conhecimentos anteriores? 1,2
10. A informação fornecida pelo protótipo foi fácil de entender? 2
11. Conseguiu completar eficazmente o seu trabalho? 1,8
12. Na globalidade ficou satisfeito com o seu trabalho? 1,8
Erros 13. Quando fez uma seleção errada no protótipo, este permitiu-lhe voltar atrás e recomeçar? 1,8
Design
Facilidades de utilização
Funcionalidades
Aprendizagem
Satisfação

23. Apresentação e Análise dos ResultadosVII
Critérios
Protó.po
Mul.média
FRee
"Técnicas
de
Procura
de
Emprego"
Fácil
de
aprender
Média
de
46
min
na
realização
do
teste
(60
min)
80%
das
u=lizadoras
mostraram-­‐se
à
vontade
com
a
u=lização
do
protó=po
Eficiente
para
usar
80%
de
sucesso
na
realização
das
tarefas
propostas.
Maioria
das
u=lizadoras
indicou
que
a
informação
disponibilizada
pelo
protó=po
mul=média
foi
fácil
de
entender
e
ú=l
para
a
realização
das
tarefas
propostas.
Fácil
de
lembrar
Para
medir
convenientemente
este
critério
precisaríamos
de
realizar
o
teste
mais
do
que
uma
vez,
o
que
não
aconteceu.
Pouco
sujeito
a
erros
80%
das
u=lizadoras
conseguiram
recuperar
dos
erros
come=dos
(pela
observação
direta
pudemos
constatar
que
os
erros
que
exis=ram
deveram-­‐se
a
distrações
(fechar
janela
do
browser
em
vez
do
separador,
por
exemplo)).
Agradável
de
usar
80%
das
u=lizadoras
ficaram
sa=sfeitas
com
o
seu
trabalho.

24. Apresentação e Análise dos Resultados
• Acessibilidade: Total Validator.
• O principal objetivo foi permitir que o protótipo passasse
os testes de acessibilidade para a prioridade 1 (nível
de conformidade A).
• Submetemos o protótipo multimédia educativo ao
validador automático e obtivemos o seguinte resultado:
VII

25. Apresentação e Análise dos Resultados
• O único erro apresentado, refere-se a um erro de sintaxe no xhtml,
nomeadamente atributos que foram utilizados unicamente para criar
uma apresentação visual e está relacionado com a ferramenta
utilizada para a criação do protótipo multimédia educativo.
VII

26. Apresentação e Análise dos Resultados
• Aplicamos também o validador da W3C não tendo obtido
qualquer erro.
VII

27. • Respondendo aos objetivos do nosso estudo:
• iniciamos com a caraterização do público-alvo, formandas do
estabelecimento prisional, e definimos o contexto em que estão
inseridas. Isto permitiu identificar as necessidades de
aprendizagem, definir os objetivos de ensino e as restrições
envolvidas.
• desenhamos o protótipo no quadro de um referencial teórico e
fizemos a avaliação com os peritos.
• desenvolvemos o protótipo e avaliamos a usabilidade com
utilizadores semelhantes ao público-alvo.
• avaliamos a acessibilidade.
VIII
Considerações
finais

28. • Respondendo aos objetivos do nosso estudo:
• É fácil de aprender
• É eficiente para usar
• É pouco sujeito a erros
• É agradável de usar
VIII
Considerações
finais

29. • a avaliação de um protótipo multimédia educativo não
pode ser vista como algo fechado e exato, não existindo
nenhuma fórmula “mágica” que nos permita criar e
desenvolver um protótipo multimédia educativo cem por
cento eficaz. No entanto, a avaliação da sua usabilidade e
da sua acessibilidade permitirá que seja utilizado com
maior probabilidade de sucesso por parte dos utilizadores
finais.
VIII
Considerações
finais

30. Obrigado pela vossa atenção!
celestino.magalhaes@gmail.com