Teste avaliacao usabilidade software

(48) 3285 5615 / 9645 5506
contato@qualister.com.br

•  Terceirização de profissionais
•  Consultoria de teste Avaliação
de

•  Avaliação de usabilidade usabilidade:
teoria

•  Automação de testes
•  Testes de performance e
prá4ca

•  Treinamentos

www.qualister.com.br

Quer saber mais?

Estes
são
apenas
alguns
slides
do
curso

avaliação
de
usabilidade
oferecido
pela
Qualister

Para
maiores
informações
visite
nosso
site:

h?p://www.qualister.com.br/cursos


Direitos autorais

Importante er
produção de qualqu
proibida a cópia e re
–  É resentação incluindo,
parte do conteúdo desta ap
, imagens, gráficos e
mas não limitado a, textos
é protegida pelas leis
tabela s. Esta apresentação no
opriedade de Cristia
de Copyright e são pr e Treinamento
Caetano e Qualister Consultoria
LTDA.

r, copiar, guardar em
–  Não é permitido modifica
ugar, vender ou
banco de dados público, al
apresentação,
republicar qualquer parte desta
o explícita do autor.
sem prévia permissã

o deste material,
–  Quando ho uver permissão de us e
bibliográfica conform
é ob rigatória a referência
as normas vigentes.


Instrutor

Cristiano Caetano
Email: cristiano.caetano@qualister.com.br
Apresentações: slideshare.net/cristianocaetano
Blog: cristianocaetano.wordpress.com
É certificado CBTS pela ALATS. Diretor técnico da Qualister com mais de 10 anos de experiência, já
trabalhou na área de qualidade e teste de software para grandes empresas como Zero G, DELL e HP
Invent. É colunista na área de Teste e Qualidade de software do site linhadecodigo.com.br e autor dos
livros "CVS: Controle de Versões e Desenvolvimento Colaborativo de Software" e "Automação e
Gerenciamento de Testes: Aumentando a Produtividade com as Principais Soluções Open Source e
Gratuitas". Participante ativo da comunidade de teste de software brasileira, é o criador e mantenedor
do portal TestExpert: A sua comunidade gratuita de teste e qualidade de software
(www.testexpert.com.br).


Twitter

twitter.com/c_caetano


Sobre a Qualister

•  Fundação: 2007.
•  Sobre a Qualister: A Qualister é uma empresa nacional, constituída a partir da união
de profissionais qualificados e certificados na área de testes e qualidade de software,
com o objetivo de integrar, implementar e implantar soluções com base nas melhores
práticas do mercado e normas internacionais.
•  Colaboradores: A Qualister é composta por colaboradores pós-graduados e
certificados na área de testes (CBTS, CSTE) com larga experiência na indústria de
Tecnologia da Informação.
•  Área de atuação: A Qualister é uma empresa especializada em serviços de
qualidade e teste de software. Tem como linhas de atuação consultoria em teste/
qualidade de software, outsourcing (terceirização dos serviços através da alocação
de profissionais) e treinamentos.


Parcerias internacionais

Soluções para automação, profilling e gestão de testes

Soluções para testes de performance

Soluções de apoio a avaliação de usabilidade


Agenda

•  Introdução
•  Testes com usuários
•  Técnicas preditivas
•  Técnicas objetivas
•  Técnicas prospectivas
•  Ferramentas de apoio
•  Exercícios práticos


Tópico

Introdução


O que há de errado nestes objetos

10


O que há de errado com esse aplicativo

11


O que é usabilidade

O
que
é
usabilidade?

12



Facilidade de
Aprendizado

Facilidade de
Uso
Facilidade de
Memorização

Usabilidade

Prevenção de Satisfação do
Erros Usuário

13



Usabilidade
refere-‐se
à
capacidade
de
uma
aplicação
ser

compreendida,
aprendida,
u4lizada
e
atra4va
para
o
usuário,
em

condições
especíﬁcas
de
u4lização.

(ISO/IEC
9126)

14



Quem
é
o
Usuário?

•  O
usuário
é
qualquer
pessoa
que
entre
em
contato
com
o
sistema,
seja
o

operador,
o
mantenedor,
o
instrutor,
o
consumidor,
em
qualquer
4po
de

a4vidade.

•  O
usuário
pode
ser
enquadrado
em
diversas
dimensões,
tais
como:

–  O
usuário
como
sujeito
em
testes
de
usabilidade
e
proto4pagem,
onde
o

foco
é
saber
qual
a
qualidade
da
performance
do
sujeito
com
relação
a
um

sistema
par4cular
ou
a
uma
caracterís4ca
deste
sistema;

–  O
usuário
com
alguém
que
tem
preferências,
par4cularmente
com
produtos

comerciais;

–  O
usuário
experiente
em
assuntos
especíﬁcos,
como
provedor
de

informações
(experiência
anterior
do
usuário).

15



O
que
o
usuário
quer?

•  O
usuário
deseja
que
o
aplica4vo
que
ele
está
usando
ajude-‐o
a
concluir

as
suas
tarefas
co:dianas
(trabalho,
escola,
etc.)

•  Para
isso,
o
usuário
deve
alcançar
três
obje4vos
através
do
aplica4vo,
em

ordem
de
importância:

1.  Eficácia
–
o
usuário
alcança

quando
conclui
uma
tarefa.

2.  Eficiência
–
o
usuário
alcança

quando
completa
a
tarefa

com
mínimo
tempo
e

esforço.

3.  Sa:sfação
–
o
usuário

alcança
quando
ele
se
sente

gra4ficado
em
usar
o

aplica4vo.

16



Segundo
Cybis
(2000),
os
efeitos
nega4vos
da
falta
de
usabilidade
de
um

aplica4vo
podem
ser
sen4dos
diretamente
sobre
o
usuário
e
a
sua
tarefa,

geralmente
como:

–  Sobrecarga
percep4va
(dificuldade
de
leitura).

–  Sobrecarga
cogni4va
(desorientação
ou
hesitação)

–  Sobrecarga
^sica
(dificuldade
de
acionamento)

Classificação
Descrição

Aspecto
da
interface
no
qual
o
usuário
esbarra
diversas
vezes,
sem

conseguir
suplantá-‐lo.
Uma
barreira
pode
fazer
com
que
o
usuário

Barreira
desista
de
usar
uma
função
do
aplica4vo.
Esse
fato,
dependendo
do

contexto,
pode
fazer
com
que
o
sistema
se
torne
comercialmente

inviável.

Aspecto
da
interface
no
qual
o
usuário
esbarra,
mas
consegue
contorná-‐
Obstáculo
lo.
Essa
u4lização
de
uma
via
alterna4va
de
acesso
à
função
pode

acarretar
perda
de
desempenho,
gerando
prejuízos.

Aspecto
da
interface
que
não
impede
a
consecução
da
tarefa,
e
nem
faz

Ruído
com
que
o
usuário
tenha
que
contorná-‐lo,
mas
que
diminui
o

desempenho
dele
no
sistema.

17



Interfaces
com
baixa
usabilidade
trazem
diversos

problemas
ao
usuário,
tais
como:

1.  Requerem
treinamento
excessivo;

2.  Desmo4vam
a
exploração
do
aplica4vo;

3.  Confundem
os
usuários;

4.  Induzem
os
usuários
ao
erro;

5.  Geram
insa4sfação
junto
aos
usuários;

6.  Diminuem
a
produ4vidade;

7.  Não
trazem
o
retorno
de
inves4mento
previsto.

18


Usabilidade e negócios

•  Preece
(2007)
mostra
que
um
aplica4vo
que
é
adequadamente

projetado
para
o
seu
domínio
proporciona
vantagens
dentro
da

empresa
em
que
ele
é
u4lizado,
tais
como:

–  Custos
reduzidos

–  Aumento
do
rendimento
do
trabalho

–  Número
reduzido
de
faltas
ao
trabalho

•  Se
um
aplica4vo
proporciona
mais
rendimento
aos
trabalhos
de
uma

empresa,
ele
será
naturalmente
preferido
a
outro
aplica4vo
similar.

•  Além
disso,
o
aplica4vo
que
alcançar,
primeiro,
um
nível
de

usabilidade
adequado,
alcança
vantagem
sobre
os
outros
produtos

similares.

19



•  Nielsen
(2000)
aponta
uma
correspondência
direta
entre
a

usabilidade
de
um
site
e
o
seu
rendimento
para
a
empresa
que
o

mantém.

–  Em
empresas
de
e-‐commerce,
a
usabilidade
é
ainda
mais
importante:

o
site
é
a
empresa,
efe4vamente.

–  Além
disso,
na
Web,
as
empresas
concorrem
pelo
tempo
e
pela

atenção
do
usuário.
E
é
muito
fácil
passar
de
uma
empresa
para
a

outra:
basta
digitar
um
endereço
eletrônico,
e
se
passa
para
outro

site.

–  Pesquisas
apontam
que
um
usuário,
quando
não
consegue
usar
os

serviços
de
um
site,
passa
no
máximo
10
segundos
antes
de
passar

para
o
site
concorrente.

•  Ainda
segundo
Nielsen
(2007),
uma
empresa
pode
dobrar
a
taxa
de

conversão
de
seu
site
se
4ver
um
projeto
de
usabilidade
adequado.

20



$
Vantagem
competitiva!
Menores custos de
desenvolvimento!

Fidelização do
cliente!
Redução do
tempo de projeto!

Menores custos
em manutenção e
suporte!

21



•  Uma
métrica
u4lizada
para
avaliar
a
rentabilidade
de
um
inves4mento
em

tecnologia
é
o
ROI
(Return
of
Investments).
ROI
é
o
bene^cio
que
se

obtém
para
cada
unidade
inves4da
em
tecnologia
durante
um
certo

período
de
tempo.
A
sua
fórmula
é
dada
por:

ROI=(BeneKcios/Custos)x100

•  O
inves4mento
em
usabilidade
é,
em
geral,
a
estratégia
aplicada
ao

desenvolvimento
de
projetos
que
produz
mais
ROI.
O
retorno
médio,

segundo
o
site
www.seisdeagosto.com,
é
da
ordem
de
8€
para
cada
1€

inves4do
em
usabilidade.

•  Clare-‐Marie
Karat,
na
IBM,
demonstrou
como
inves4r
60,000
dólares
em

usabilidade
durante
o
processo
de
desenvolvimento
de
um
aplica4vo

implicou
na
economia
de
6,000,000
dólares
durante
o
primeiro
ano
de

vida
do
produto.

22


DCU – Design Centrado no Usuário

•  Durante
muito
tempo,
a
visão
hegemônica
da
empresa
é
que
todo
o
usuário
é

um
expert
em
informá:ca,
e
subentende-‐se
a
sua
ap4dão
para
lidar
com

sistemas
complexos.

–  O
conceito
u4lizado
era
o
common
sense
dos
desenvolvedores
e
líderes
de
equipe:

uma
visão
de
profissionais
da
computação,
única,
que
embarca
uma
série
de

conceitos
prontos
e
subjacentes.

–  Durante
muito
tempo,
de
fato,
os
usuários
eram
os
profissionais
de
computação,
ou

de
alguma
área
correlata.

•  Atualmente,
existe
uma
gama
variada
de
usuários,
de
crianças
e
adolescentes

com
nenhuma
formação
em
informá4ca
(mas
muita
curiosidade
e
capacidade
de

aprender)
até
pessoas
idosas,
com
dificuldades
de
visão
e
audição.
Passando,

claro,
pelos
especialistas
em
informá4ca...

–  O
common
sense
dos
desenvolvedores
e
líderes
de
equipe
já
não
reflete
a
realidade

dos
usuários,
que
se
tornou
pluralista.

–  Tristemente,
muitas
empresas
não
consideram
os
anseios
e
necessidades
dessa
gama

de
usuários,
advindos
da
popularização
da
informá4ca.

23



Design Tradicional Design Centrado no Usuário


• 

• 
• 
• 

• 
#
Pouco
tempo
para
desenvolvimento
da

usabilidade.

Testes
na
fase
ﬁnal
do
desenvolvimento.

Ênfase
nos
aspectos
funcionais
do
aplica4vo.

Design
do
aplica4vo
geralmente
conduzido

pelos
desenvolvedores.

Usuários
não
são
consultados.

• 

• 

• 

• 
€#
Equilíbrio
entre
funcionalidade
e

usabilidade.

Design
do
aplica4vo
geralmente

conduzido
por
especialistas
em

usabilidade.

Testes
conduzidos
durante
todo
o
ciclo
de

desenvolvimento

Usuários
são
consultados
e
par4cipam
do

processo.

24



•  Gould
e
Lewis
(1985)
postulam
três
princípios
para
efetuar

o
Design
Centrado
no
Usuário:

–  Foco
inicial
em
Usuários
(Personas)
e
Tarefas

–  Avaliação
empírica
(com
usuários)
da
usabilidade

do
produto

–  Design
Itera4vo
-‐
O
produto
deve
ser
projetado,

modiﬁcado
e
testado
repe4damente,
a
cada
fase

do
ciclo
de
desenvolvimento.

25



•  Foco
inicial
em
Usuários
(Personas)
e
Tarefas:

–  Personas:
segundo
Cybis
(2007)
,
a
persona
“descreve
o
perﬁl
de

uma
pessoa
ﬁc5cia
envolvida
com
o
produto.
Trata-‐se,
então,
de

inventar
um
conjunto
de
pessoas
(3
ou
4)
que
estejam
dentro
da

população
de
usuários
pretendidos
e
de
descrevê-‐las
em

detalhes.”

Fulano de Tal é um professor de ensino médio,
e tem 40 anos. Ele usa serviços de internet com
frequência, como banco virtual, compras em
lojas online, entre outros. É uma pessoa que
gosta de controlar os seus gastos
detalhadamente.

26



•  Avaliação
empírica
(com
usuários)
da
usabilidade
do
produto:

–  Para
garan4r
a
simplicidade
da
interface,
é
necessário
conduzir

avaliações
de
usabilidade:

•  Erros
come4dos
–
violação
de
bons
princípios
de
usabilidade.

•  Conhecimento
e
experiência
prévia
do
usuário
–
o
que
ele
conhece

que
pode
aumentar
a
sua
curva
de
aprendizado.

–  Os
usuários
interagem
com
o
aplica4vo
em
situações
muito

próximas
do
co4diano.

–  Ao
ﬁnal,
é
solicitado
ao
usuário
que
relate
a
sua
experiência
e
as

sugestões
para
o
aplica4vo,
através
de
um
ques4onário
ou
de
uma

entrevista.

27



•  Design
Itera:vo:

–  O
design
itera4vo
faz
com
que
o
aplica4vo
seja
testado
e
validado

(inclusive
junto
com
os
usuários)
a
cada
ciclo
de
iteração.

–  Desde
a
análise
de
requisitos,
as
avaliações
de
usabilidade
devem

ser
conduzidas
(através
de
protó4pos
não
funcionais).

–  Esse
4po
de
abordagem
evita
alguns
problemas:

•  Retrabalho;

•  Gastos
extras
com
pessoal
e
recursos;

•  Erros
detectados
apenas
ao
ﬁnal
do
ciclo
de
desenvolvimento,

quando
erros
conceituais
se
tornam
de
di^cil
resolução.

28


Quando são realizadas as avaliações

•  Quanto
à
etapa
do
ciclo
de
projeto:

Avaliação Formativa

Análise de Teste e
Implementação Manutenção
Requisitos Implantação

É realizada ao longo de
todo o ciclo de design, e
acompanha o
desenvolvimento da
interface.

29


Quando são realizadas as avaliações

•  Quanto
à
etapa
do
ciclo
de
projeto:

Avaliação Formativa
Avaliação Somativa

Análise de Teste e
Implementação Manutenção
Requisitos Implantação

É realizada ao longo de É realizada somente ao
todo o ciclo de design, e final do ciclo de design,
acompanha o quando o aplicativo está em
desenvolvimento da vias de ser (ou já foi)
interface. lançado.

30


Quem realiza as avaliações

•  Quanto
aos
executores
das
avaliações:

Especialistas Inspeções por Especialistas:
Realização de inspeções,

€# €#
€# baseadas no background do
especialista, e em bons
princípios de usabilidade.

31


Quem realiza as avaliações

•  Quanto
aos
executores
das
avaliações:

Inspeções por Especialistas:
 
Especialistas
Realização de inspeções,

€# €# ƒ#
€# baseadas no background do
especialista, e em bons
princípios de usabilidade.

€# ƒ#  Testes com Usuários:
 Observação de usuários

€#  interagindo, de fato, com o

€# 
aplicativo avaliado. Possibilita
ƒ# descobrir falhas de usabilidade
e colher sugestões.

 €# ƒ#  €#
Usuários

32


Como a avaliação é realizada

Técnicas Técnicas Preditivas: são utilizadas para
Preditivas
prever problemas que os usuários
típicos do sistema provavelmente terão
Avaliação Percurso
(uso de especificações, maquetes ou
Checklists
Heurística Cognitivo protótipos).

33



Preditivas
Checklists

Técnicas Técnicas objetivas: são utilizadas para
Objetivas compreender melhor como os usuários
utilizam o aplicativo em seu ambiente
natural, e como o uso daquele sistema
Testes Testes de
Empíricos
Think-Aloud
Comunicabilidade se integra em outras atividades.

34



Preditivas
Checklists

Técnicas Técnicas objetivas: são utilizadas para
Objetivas compreender melhor como os usuários
utilizam o aplicativo em seu ambiente
natural, e como o uso daquele sistema se
Testes Testes de
Empíricos
Think-Aloud
Comunicabilidade integra em outras atividades.

Técnicas Técnicas Prospectivas: são
Prospectivas
utilizadas para medir o grau de
satisfação do usuário, além das
Questionário Questionário
suas sugestões e reclamações.
Pré-Teste Pós-Teste

35


Tópico

Técnicas preditivas:
•  Avaliação Heurística: Bastien e Scapin
•  Avaliação Heurística: Nielsen
•  Conformidade com diretrizes e padrões
(checklists)


Inspeção por especialistas

•  Avaliar
por
inspeção
signiﬁca
u4lizar
uma
série
de
métodos
de
avaliação

através
dos
quais
os
avaliadores
inspecionam
ou
examinam
aspectos
de

uma
interface
de
usuário
relacionados
a
usabilidade
(Silveira
2007).

•  A
avaliação
por
inspeção
ocorre
quando
deseja-‐se
aferir
problemas
de

usabilidade
em
um
projeto
de
interface
existente,
a
ﬁm
de
analisá-‐los
e

apontar
recomendações
para
consertá-‐los,
dentro
do
escopo
do
projeto.

•  Técnicas
principais:

–  Avaliação
heurís4ca

–  Conformidade
com
diretrizes
e
padrões
(checklists)

37


Inspeção por especialistas – Análise heurística

•  O
método
de
avaliação
heurís4ca
é
um
método
analí4co
que

visa
iden4ficar
problemas
de
usabilidade
conforme
um

conjunto
de
diretrizes
ou
heurís:cas
(Nielsen,
1994).

•  Ele
se
baseia
em
melhores
prá4cas
definidas
por
profissionais

experientes
e
especialistas
em
IHC,
ao
longo
de
diversos
anos

de
trabalho
nesta
área.

•  Não
envolve
usuários,
e
deve
ser
realizado
por
avaliadores

especialistas.

•  Em
geral,
recomenda-‐se
que
3
a
5
especialistas
realizem
uma

avaliação
heurís4ca.

•  Este
método
é
bastante
rápido,
e
de
menor
custo
que
a
maior
parte

dos
métodos
de
avaliação
amplamente
difundidos.

38


Inspeção por especialistas – Análise heurística

•  Existem
várias
heurís4cas,
desenvolvidas
por

especialistas,
que
podem
ser
u4lizadas
nesse
4po
de

análise.
Como
exemplos
dessas
heurís4cas,
podemos

citar
as
criadas
por:

Bastien e Scapin (1995) Nielsen (1994)


Análise heurística – Bastien e Scapin

•  Coerência:
refere-‐se
à
forma
na
qual
as
escolhas
na
concepção
da

interface
são
conservadas
idên4cas
em
contextos
idên4cos,
e

diferentes
para
contextos
diferentes.

C
D

Análise heurística – Bastien e Scapin

•  Signiﬁcado
dos
Códigos
e
Denominações:
diz
respeito
a
adequação

entre
o
objeto
ou
a
informação
apresentada
ou
pedida,
e
sua

referência.

C D

Análise heurística – Nielsen

•  Correspondência
entre
o
sistema
e
o
mundo
real

O
sistema
deve
falar

a
língua
do
usuário,
com
palavras,
expressões
e
conceitos
que
lhe
são

familiares.
O
proje4sta
deve
seguir
as
convenções
do
mundo
real,

fazendo
com
que
a
informação
apareça
em
uma
ordem
natural
e
lógica.

C
42

D

Análise heurística

Como a Avaliação Heurística funciona?

Seleção dos
Avaliação Individual Avaliação Conjunta
Problemas

Aferir a interface Discussão sobre os Discussão com o
através das heurísticas problemas encontrados Cliente
na Avaliação Individual
Atribuição de
Anotar problemas Consolidação dos
Prioridades
encontrados resultados

Atribuir grau de Atribuição de soluções
severidade aos problemas.

Relatório conjunto
Geração de Relatório
Individual


Tópico

Testes com usuários:
•  Planejamento
•  Avaliadores
•  Laboratório
•  Métricas e indicadores
•  Questões éticas


Testes com usuários

•  Os
testes
com
usuários
são
aplicados
quando
se
procura

saber
qual
a
opinião
deste
sobre
a
interação
com
o

sistema.
Os
usuários,
em
todas
as
técnicas,
são
os

principais
sujeitos
da
avaliação
(sendo
o
objeto
o
aplica4vo

avaliado).

•  A
atuação
do
avaliador
se
limita
a
coletar
os
dados
que
o

usuário
disponibiliza,
para
em
um
momento
posterior

interpretá-‐los,
iden4ﬁcando
os
problemas
da
interface
do

aplica4vo.

•  Nesse
contexto,
a
sa4sfação
dos
usuários
é
aferida
de

forma
direta,
por
meio
de
dados
subje4vos.

45


Planejamento de uma avaliação - DECIDE

Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma

avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,

2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.

D E C I D E

46



Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma

avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,

2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.

D E C I D E

Determinar os objetivos gerais que a avaliação deverá tratar. Trata-se
de responder as perguntas gerais: Quais são os objetivos gerais da
avaliação? Quem quer realizá-la e por quê?

47



Para
organizar
as
decisões
que
devem
ser
tomadas
com
respeito
a
uma

avaliação
de
usabilidade,
propõe-‐se
u4lizar
o
esquema
DECIDE
(Preece
et
al.,

2002),
para
ajudar
no
planejamento
e
realização
de
uma
avaliação.

D E C I D E

Explorar perguntas específicas a serem respondidas. Trata-se de
decompor as perguntas gerais em perguntas específicas ao sistema a
ser avaliado, considerando-se os usuários-alvo e suas atividades. Estas
perguntas são necessárias para permitir efetivamente que os objetivos
da avaliação sejam atingidos.

48


Quantidade de participantes

Figura 8. Gráfico de Custo X Benefício de Execução de Testes

49


Tarefas

•  O
avaliador
deve
determinar
as
tarefas
a
serem
executadas
durante
o
teste,

que
poderão
fornecer
indicadores
sobre
estes
obje4vos.

•  As
tarefas
devem
ser
vpicas,
no
sen4do
de
serem
tarefas
tão
realistas
quanto

se
possa
prever
sobre
o
uso
a
ser
feito
do
sistema.

•  Na
deﬁnição
das
tarefas,
o
avaliador
deve
tomar
cuidado
com
o
tempo

previsto
para
cada
tarefa
e
para
o
teste.

•  Normalmente
o
tempo
de
execução
de
uma
tarefa
deveria
ser
de
no
máximo
20

minutos;

•  Deveria
se
manter
o
tempo
de
teste
inferior
a
uma
hora
para
não
ser
muito

cansa4vo
para
o
par4cipante
(Preece
et
al.,
2002).

50


Métricas e indicadores

•  Geralmente,
as
avaliações
de
usabilidade
são
bastante
subje4vas,
não

u4lizando
modelagem
matemá4ca
ou
métodos
formais,
a
não
ser
em

ambiente
acadêmico.

•  As
métricas
na
usabilidade
são
subje4vas,
sem
valores
de
grandezas.
Os

indica4vos
estão
relacionados
ao
comportamento
do
usuário
durante
o

teste.

•  Algumas
variáveis
são
considerados
como
sendo
de
bastante

importância
para
aferir
a
usabilidade
(Preece,
2007):

–  Memorização

–  Número
de
Erros

–  Sa4sfação
do
Usuário

–  Aprendizagem

–  Eﬁciência

51



Indicadores
de
Usabilidade
(ISO
9241-‐11)

52



Aprendizagem:

• Testes
com
usuários
iniciantes.

• Métricas:

•  Sucesso/falha
na
tarefa

•  Gravidade
dos
erros
(barreira,
obstáculo,
ruído).

•  Tempo
gasto
sem
fazer
qualquer
a4vidade
(mouse
parado
ou
correndo
a
esmo.

Eﬁciência:

•  Testes
com
usuários
experientes.

•  Métricas:

•  Tempo
para
realizar
tarefas

•  Número
de
erros
come4dos

•  Gravidade
dos
erros
(barreira,
obstáculo,
ruído).

53



Memorização

•  Testes
com
usuários
ocasionais

•  Métricas:

•  Tempo
de
conclusão
da
tarefa

•  Número
de
vezes
em
que
o
usuário
u4lizou
ajuda
externa
(sistema
de
ajuda,

Google,
etc.)

•  Tempo
em
que
o
usuário
ﬁcou
sem
executar
a4vidade
durante
a
tarefa
(cursor

do
mouse
parado,
ou
vagando
a
esmo).

Sa:sfação
do
Usuário

•  Testes
com
todos
os
perﬁs
de
usuários,
aplicação
de
ques4onários.

•  Métricas:

•  Escala
de
sa4sfação
do
usuário
(1.
Desaprovo
Totalmente
à
5.
Gostei

Completamente).

•  Número
e
teor
das
sugestões
do
usuário
no
ques4onário
pós-‐teste.

•  Número
de
comentários
nega4vos
e
posi4vos
captados
em
áudio
durante
a

gravação
do
teste.

54



Perguntas a serem respondidas através das métricas de usabilidade:

–  Por que o usuário não sabe?
–  Por que o usuário erra?
–  Por que o usuário demora?
–  Por que ele não percebe?
–  Por que ele não entende?
–  Por que ele esquece?
–  Por que ele não aprende?
–  Como resolver os problemas detectados?


Dados de apoio

Nos
testes
de
usabilidade,
o
ponto-‐chave
é
a
observação
das
ações
dos

usuários.
Para
tornar
mais
fácil
essa
avaliação,
pode
dispor-‐se
de
fontes

adicionais
de
informação:

•  Logs:
é
interessante
gravar
com
algum
aplica4vo
auxiliar
os
logs
das
teclas
pressionadas
e

da
movimentação
do
mouse
(número
de
cliques,
posição
do
cursor,
etc.).

•  Telas
de
interação:
alguns
sowwares
fazem
a
captura
de
telas
(e
geram
vídeos
destas),
o

que
se
torna
importante
para
ver
onde
o
usuário
“se
perde”,
ou
não
compreende
a
sua

tarefa
(toma
o
caminho
errado,
explora
a
interface
“sem
rumo”,
etc.)

•  Vídeo:
capta
as
emoções
do
usuário,
através
dos
seus
gestos
e
sua
expressão
corporal.

•  Áudio:
o
áudio
é
uma
boa
fonte
de
dados,
pois
os
comentários
que
eles
fazem
entre
si
são

uma
importante
fonte
de
informações
sobre
a
usabilidade
do
aplica4vo.

56


Testes com usuários - Local

Os
testes
de
usabilidade
com
a
presença
do
usuário
podem,
quanto
ao

local,
ser
feitos
de
três
formas
dis4ntas:

Em Laboratório
Os testes em laboratório têm a vantagem de serem feitos em um
ambiente controlado. No entanto, um ambiente “formal” de avaliação
pode fazer com que o usuário se sinta tolhido, e não faça o teste de
usabilidade de maneira adequada.

Ambiente do Usuário (Presencial)
O teste de usabilidade conduzido nessas condições tem a vantagem de
deixar o usuário mais à vontade, usando um ambiente ao qual ele já está
acostumado. Porém, nem sempre o avaliador tem a disponibilidade de se
deslocar, e perde-se um pouco do controle sobre as condições do teste.

Ambiente do Usuário (Remoto)
Nesse teste, o usuário sente-se ainda mais à vontade, porque não tem a
presença “inquisitorial” do avaliador a seu lado, mas o experimento
perde muito em relação ao controle do experimento.

57


Testes com usuários – Aspectos éticos

•  Aspectos
é4cos
de
uma
avaliação
de
usabilidade:

–  No
Brasil,
a
Resolução
nº
196/96
deﬁne:

•  É
pesquisa
com
seres
humanos
toda
a
inves4gação
que
envolva
direta
ou

indiretamente
seres
humanos,
incluindo
o
manejo
de
informações
por
ele
geradas

(incluindo
toda
a
avaliação
de
sowware
que
envolva
o
usuário).

•  Deﬁne
que
toda
a
pesquisa
com
seres
humanos
envolve
riscos,
que
podem
causar

danos
^sicos,
morais,
intelectuais,
sociais
ou
culturais
ao
ser
humano.

–  Devem
ser
garan:das
então
as
seguintes
condições
ao
usuário:

•  Consen4mento
informado
e
esclarecido
do
par4cipante.

•  Preservação
do
anonimato.

•  Garan4a
de
bem-‐estar
dos
par4cipantes.

•  Proteção
de
grupos
vulneráveis.

58


Testes com usuários – Aspectos éticos

Para
garan4r
a
proteção
aos
usuários
e
o
atendimento
a
exigências
é4cas
as

seguintes
diretrizes
foram
propostas
(Preece
et
al.,
2002):

•  Explicar
aos
par4cipantes
os
obje4vos
do
estudo
sendo
feito
e
exatamente
como

deverá
ser
a
par4cipação
deles.
Deve-‐se
deixar
claro
o
processo
de
teste,
o
tempo

aproximado
do
teste,
o
4po
de
dado
sendo
coletado
e
ainda
como
os
dados
serão

analisados.

•  Deixar
claro
as
expecta4vas
de
anonimato
dos
usuários,
deixando
claro
que
dados

par4culares
iden4ficados
durante
o
teste
não
serão
divulgados.

•  Cer4ficar-‐se
de
que
os
usuários
entendem
que
a
qualquer
momento
podem

interromper
o
teste,
caso
desejem.

•  Sempre
que
trechos
de
depoimentos
dos
usuários
forem
u4lizados
eles
devem
ser

anônimos
e
deve-‐se
re4rar
descrições
ou
trechos
que
permitam
a
iden4ficação
do

usuário.
Nestes
casos,
deve-‐se
requisitar
autorização
prévia
do
usuário
e
de

preferência
mostrar-‐lhe
o
relato
a
ser
divulgado.

59


Tópico

Técnicas objetivas:
•  Card Sorting
•  Teste Empírico Tradicional
•  Protocolos Think-Aloud
•  Protocolos Post-Event
•  Teste de Comunicabilidade


Tópico

Técnicas prospectivas:
•  Questionários


Técnicas prospectivas

•  Caracteriza-‐se,
como
o
próprio
nome
sugere,
pela
par4cipação
dos

usuários
na
avaliação
de
alguma
interface
através
de
suas
experiências,

opiniões
e
preferências.

•  Baseiam-‐se
nas
aplicações
de
ques4onários,
segundo
Cybis
(2000),
para

avaliar
a
sa4sfação
de
usuários
de
algum
4po
de
sistema.

•  Ques4onários
podem
ser
úteis
de
diferentes
maneiras
dentro
do

desenvolvimento
de
interfaces,
como,
por
exemplo,
para:

•  Determinação
do
grau
de
sa4sfação
dos
usuários
com
relação
à
interface;

•  Estruturação
das
informações
sobre
problemas
de
usabilidade
iden4ﬁcados

por
usuários.

•  Veriﬁcação
de
problemas
anteriormente
presumidos,
por
meio
de
inspeções

predi4vas
(análises
heurís4cas,
checklists).


Técnicas prospectivas

•  O
obje4vo
principal
dos
ques4onários
é
descobrir
como
os
usuários
e

suas
tarefas
se
integram
no
sistema,
e
como
é
possível
torná-‐las
mais

fáceis.

•  Enquanto
um
ques4onário
pré-‐teste
tem
perguntas
que
revelam

caracterís4cas
dos
usuários,
ques4onários
pós-‐teste
podem
obter

informações
relevantes
sobre
as
tarefas.

•  O
ques4onário
abaixo
pode
auxiliar
na
formulação
de
outros,
mais

especíﬁcos:

1.  O
usuário
considera
a
tarefa
realmente
necessária
em
seu
co4diano?

2.  Como
o
usuário
realiza
a
tarefa?

3.  Quais
os
passos
que
o
usuário
julga
necessários
para
completar
a
tarefa?

4.  Há
algum
gargalo
que
torna
a
tarefa
mais
di^cil
de
ser
realizada?

5.  Como
tornar
a
tarefa
mais
fácil?


Técnicas prospectivas: Questionários – Tipos de questões

•  Questão
aberta

–  As
perguntas
do
4po
abertas
é
possível
obter
respostas
discursivas
dos

usuários
referentes
a
determinado
assunto
através
do
preenchimento
de
uma

nota.
Esse
4po
de
pergunta
depreende
tempo
para
análise
e
tabulação
dos

dados

•  Questão
fechada

–  As
perguntas
do
4po
fechadas,
o
usuário
tem
um
conjunto
de
possíveis

respostas
preestabelecidas
a
escolher.
Dessa
forma,
ele
expressa
sua
opinião

concordando
ou
discordando
de
aﬁrma4vas
dadas


Técnicas prospectivas: Questionários – Questões fechadas

•  Escala
passo
a
passo

–  O
usuário
escolhe
uma
opção
entre
uma
série
delas,
geralmente
expressa
por

números

ou
adje4vos

•  Escala
compara:va

–  Induz
o
usuário
a
confrontar
elementos
de
uma
solução
de
interface
proposta

com
outros
da
mesma
categoria


Técnicas prospectivas: Questionários – Questões fechadas

•  Escala
LIKERT

–  Indica
o
grau
de
concordância
ou
discordância
dos
usuários
com
relação
às

aﬁrmações
dadas

•  Escala
diferencial
semân:ca

–  Permite
ao
usuário
assinalar
sua
opinião
num
subconjunto
de
alterna4vas

entre
pontos
extremos
de
adje4vos
opostos


Técnicas prospectivas: Questionários

Entre
os
ques4onários
reconhecidos
como
conﬁáveis
e
validados
pela
extensão

do
seu
uso,
desenvolvidos
especiﬁcamente
para
medir
a
sa4sfação
dos

usuários,
destacamos
os
apresentados
a
seguir:

QUIS:
QuesGonnaire
for
User
InteracGon
SaGsfacGon
-‐

h?p://lap.umd.edu/quis/

WAMMI:
Web
Local
Analysis
and
Inventory
of
Measure
–

h?p://www.wammi.com/

SUMI:
SoSware
Usability
Measurement
Inventory
–

h?p://sumi.ucc.ie/


Técnicas prospectivas: Questionários
•  Para fazer um questionário adequado, seja ele pré ou pós-teste, é necessário que tenhamos alguns
cuidados no tocante à criação das questões (Rubin, 2003):

•  Saber exatamente o que perguntar: cada pergunta dentro do questionário deve ter a sua razão de
ser, e deve estar perfeitamente alinhada com os objetivos do teste.

•  Perguntas relacionadas ao que não é possível observar diretamente: dê maior destaque para as
perguntas que têm a ver com as preferências subjetivas. Não coloque questões a respeito de eficiência
e eficácia que podem ser mais bem respondidas através da observação direta do avaliador sobre as
tarefas do usuário.

•  Manter as questões com simplicidade: minimize as respostas que necessitam de respostas em
extenso, como perguntas abertas. Em vez disso, utilize questões fechadas e escalas. Questões
fechadas eliminam as vantagens que os usuários com boa habilidade de expressão escrita podem ter
sobre os usuários com escrita pobre.

•  Usar um teste piloto para refinar o questionário: como é difícil produzir um questionário inequívoco
e imparcial (especialmente se você está muito familiarizado com o assunto), é imperativo que você
realize um teste piloto do questionário. O teste de questionário-piloto, que deverá coincidir com o teste
de usabilidade piloto, lhe dará a direção para saber se as questões estão conduzindo às informações
corretas. Peça aos participantes perguntas específicas sobre o questionário em si, como "As perguntas
estavam confusas?" Além disso, procure para perguntas tendenciosas e questões que conduza a
testemunha para uma única resposta possível.


Tópico

Ferramentas de apoio


Ferramentas de apoio

70


Ferramentas de apoio - StoryBoarding

?
?

?
?

1.  Carlos precisa de um 2.  “Mas onde está o alarme, 3.  Carlos fica confuso por um
lembrete para o horário do afinal?” instante, mas tem uma ideia:
seu medicamento. Vai “Será que o alarme está no
registrar no PNotes... menu do botão direito?”

TENSO
4.  “Nada a perder, não é 5.  “Cadê o bendito alarme? 6.  Carlos fica bastante
mesmo?”, ele pensa. Não tem alarme em lugar contrariado, e acha que o
Carlos resolve tentar... algum dessa interface!!!” aplicativo é inútil... “Um
despertador seria melhor!”

71


Ferramentas de apoio – Card Sorting

•  Ferramentas
para
o
Card
SorGng
são
interessantes
porque
tornam
o
processo
de

avaliação
mais
rápido
e
conﬁável,
dispensando
o
uso
da
cartolina
e
do
pincel

atômico
e
eliminando
quase
que
totalmente
o
trabalho
braçal
na
técnica.

•  Algumas
ferramentas
disponíveis:

–  Op4mal
Sort
–
h?p://www.op4malsort.com

–  Web
Sort
–
h?p://websort.net

–  UXSort
–
h?p://www.uxsort.com

72


Dúvidas?

•  Contato:
–  Email: cristiano.caetano@qualister.com.br


Teste avaliacao usabilidade software

Mais conteúdo relacionado

Destaque

Semelhante a Teste avaliacao usabilidade software

Teste avaliacao usabilidade software