Relatório teste formal de usabilidade - RioCard

737 visualizações

Publicada em

Este projeto tem como objetivo principal verificar como o usuário consegue desenvolver as tarefas e identificar os possíveis problemas de arquitetura de informação, encontrabilidade de informações e outras deficiências de usabilidade do sistema de recarga online do vale­-transporte eletrônico da cidade do Rio de Janeiro, o RioCard.
Prof. Luiz Agner - PUC-Rio
Pós-graduação em Ergodesign de Interfaces e Arquitetura de Informação (2015-1).

Publicada em: Educação
2 comentários
3 gostaram
Estatísticas
Notas
Sem downloads
Visualizações
Visualizações totais
737
No SlideShare
0
A partir de incorporações
0
Número de incorporações
3
Ações
Compartilhamentos
0
Downloads
8
Comentários
2
Gostaram
3
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Relatório teste formal de usabilidade - RioCard

  1. 1.  
  2. 2. 1                                                              SUMÁRIO    RESUMO EXECUTIVO​………………………………………………….  3  1  INTRODUÇÃO​…………………………………………………………....  4  1.1  O que é o RioCard?​……………………………………………………..  4  1.2  Quem pode comprar o vale transporte?​…………………………...  4  1.3  Objeto avaliado​…………….……………………………………………  4  2  METODOLOGIA DO TESTE​………………………………………..…..  7  2.1  Objetivos​…………………………………………………………….……  7  2.2  Público­alvo e definição de amostra​………………………………..  7  2.3  Ambiente, tipo de teste e equipamento​………………………..….  7  2.4  Papéis da equipe​…………………………….………………………….  7  2.5  Métricas de avaliação​………………………………………………….  7  2.6  Cenários e tarefas​……………………………………………………...  8  2.7  Questionário Pré­teste​…………………………………………….…..  8  2.8  Questionário Pró­teste​…………………………………………....…..  9  2.9  Pré­testes​…………………………………………………………….…..  9  2.10  Roteiro​…………………………………………………………………….  10  3  APRESENTAÇÃO DE DADOS​…………………….…………………..  11  3.1  Perfil dos participantes​………………………………………………..  11  3.2  Métricas das tarefas​…………………………………………………...  11  3.3  Dados do questionário pós­teste​……………………………………  13  3.4  Perguntas discursivas​………………………………………………..  15 
  3. 3. 2      3.5  Comentários em destaque​……………………………………………  17  4  ANÁLISE E RECOMENDAÇÕES​……………………………………..  18  4.1  Gráfico de heurísticas violadas​……………………………………..  18  4.2  Principais descobertas por tarefa​…………………………………..  22  4.3  Recomendações de curto prazo​…………………………………….  25  4.4  Recomendações de médio prazo​……………………………………  25  4.5  Recomendações de longo​……………………………………………  32  5  CONCLUSÃO​……………………………………………………………  33  6  LIÇÕES APRENDIDAS​…………………………………………………  34    APÊNDICE A ­ ROTEIRO ­ TESTE DE USABILIDADE – SISTEMA                    RIOCARD​…………………………………………..………...    36    APÊNDICE B ­ TERMO DE AUTORIZAÇÃO ­ TESTE DE                  USABILIDADE – SISTEMA RIOCARD​………………………………..    37    APÊNDICE C ­ QUESTIONÁRIO PRÉ­TESTE ­ PESQUISA DE                USABILIDADE DO PORTAL RIOCARD​ …………….......................    39    APÊNDICE D ­ QUESTIONÁRIO PÓS­TESTE ­ PESQUISA DE                USABILIDADE DO PORTAL RIOCARD​……………………..............    42    ANEXO A ­ ANÁLISE DOS TESTES ­ PARTICIPANTE A​………....  46    ANEXO B ­ ANÁLISE DOS TESTES ­ PARTICIPANTE B​ ………...  48    ANEXO C ­ ANÁLISE DOS TESTES ­ PARTICIPANTE C​ ……..….  53    ANEXO D ­ ANÁLISE DOS TESTES ­ PARTICIPANTE D​ ………...  56    ANEXO E ­ ANÁLISE DOS TESTES ­ PARTICIPANTE E​ …………  58    ANEXO F ­ IMAGENS DO SISTEMA​………………………………....  60 
  4. 4. 3      RESUMO EXECUTIVO    Este projeto tem como objetivo principal verificar como o usuário consegue                      desenvolver as tarefas e identificar os possíveis problemas de arquitetura de                      informação, encontrabilidade de informações e outras deficiências de usabilidade do                    sistema de recarga online do vale­transporte eletrônico da cidade do Rio de Janeiro,                          o RioCard.     Para a realização dos testes foram elaborados um roteiro, um termo de autorização                          e ciência, um questionário pré­teste e um questionário pós­teste. Para validarmos                      esses instrumentos realizamos um pré­teste, onde constatou­se a necessidade de                    reformular algumas questões dos questionários de pré e pós­teste e estipular o                        tempo para a realização de cada tarefa.      No total foram realizados 3 pré­testes e 6 testes, com o descarte de 1 teste. Para                                análise e classificação dos dados foram utilizados os 10 princípios de heurística de                          Nielsen e como resultados obtemos vários comentários dos participantes, métricas                    das tarefas e recomendações de curto, médio e longo prazo.     Logo, os principais problemas encontrados apontam a equivalência entre o sistema                      e o mundo real, a prevenção de erros e o reconhecimento ao invés de lembrar como                                princípios de heurística mais violados. Além disso, detectamos também problemas                    de arquitetura de informação, rotulagem, e iteração do site. Já as recomendações                        expõem justamente soluções para os problemas apresentados como a reformulação                    de todos os formulários do sistema e dos termos utilizados no menu de navegação                            do site, a exibição na tela inicial das principais funcionalidades do sistema e a                            criação de mecanismos de ajuda e acessibilidade para o usuários.           
  5. 5. 4      1  ​    INTRODUÇÃO    1.1 O que é o RioCard?    O RioCard é o sistema de bilhetagem eletrônica do Estado do Rio de Janeiro. Ele                              utiliza a tecnologia de cartões smartcard sem contato, que funcionam por rádio                        freqüência, permitindo estabelecer uma comunicação com o equipamento que faz a                      leitura dos cartões, o validador, para débito da tarifa e liberação da roleta ou recarga                              de créditos.  O cartão RioCard funciona como um vale­transporte eletrônico, que substitui o                      dinheiro, facilitando o problema de falta de troco e diminuindo o tempo de embarque                            dos passageiros.    1.2 Quem pode comprar o vale transporte?    Qualquer pessoa física ou jurídica pode comprar o cartão, bastando possuir CPF,                        CNPJ ou CEI. Usuários cadastrados no site do vale­transporte RioCard podem                      comprar o Vale­Transporte Convencional Riocard recarregável. Usuários não                cadastrados no site podem comprar o Vale­Transporte Rápido RioCard                  (pré­carregado) nas lojas RioCard e na rede de agências do Itaú     Dentro do sistema de compra do Riocard, o comprador é a entidade responsável                          pela compra de recargas, solicitação de novos cartões, cancelamentos, entre outras                      atividades      1.3  Objeto avaliado    Sistema de recarga online do vale​­transporte eletrônico da cidade do Rio de Janeiro,                          o RioCard (www.cartaoriocard.com.br). 
  6. 6. 5                             
  7. 7. 6      Tela de comprador pessoa física ("Para Você")                     
  8. 8. 7      2​    METODOLOGIA DO TESTE    2.1  Objetivos  Nosso teste de usabilidade teve como objetivo verificar o modo que o usuário                          consegue realizar as tarefas, identificando no processo os possíveis problemas de                      arquitetura de informação, encontrabilidade de informações e outras deficiências de                    usabilidade.    2.2  Público­alvo e definição da amostra  Usuários novatos: recém cadastrados e que ainda não tem familiaridade com o                        sistema. A amostra foi de 6 usuários, abordados no campus da PUC, e apenas 1                              teste invalidado.    2.3  Ambiente, tipo de teste e equipamentos  Teste de usabilidade avaliativo, realizado no Pilotis ­ PUC, utilizando um notebook                        com navegador Chrome, Camtasia para captura da tela e rosto do usuário, além de                            um iPad para gravar tudo.    2.4  Papéis da equipe  Decidimos intercalar os papéis, para que todos tivessem a oportunidade de                      desempenhar as seguintes funções: moderador, anotador, operador de câmera e                    observador. Cada teste foi revisto por dois membros da equipe, para coletar                        destaques e comentários de diferentes perspectivas.    2.5  Métricas de avaliação  Avaliamos o tempo de execução de cada tarefa e a quantidade de informações                          relevantes levantadas pelos usuários durante a realização do teste.           
  9. 9. 8      2.6  Cenários e Tarefas    Cenário  Está começando o mês e você precisa recarregar seu RioCard para se deslocar até                            ao trabalho com base na média de gastos realizados nos meses anteriores.    Tarefa 1  Acesse o site do RioCard e realize o login no sistema.   Tempo estimado: 5 minutos.    Tarefa 2  Modifique o número do apartamento cadastrado no seu perfil para 404.   Tempo estimado: 1 minuto.    Tarefa 3  Verifique as recargas realizadas em meses anteriores.  Tempo estimado: 5 minutos.     Tarefa 4  Realize a recarga de seu cartão com base no valor da última recarga.   Tempo estimado: 5 minutos.     O tempo de realização de cada tarefa foi definido através dos resultados obtidos nos                            pré­testes realizados.    2.7  Questionário Pré­Teste    Divimos o questionário em três partes, com o objetivo de saber um pouco mais sobre                              o perfil do usuário :    ● Parte 1 – Seu perfil geral: onde constavam questões sobre o nome do                          participante, profissão, idade, gênero e nível de escolaridade. 
  10. 10. 9        ● Parte 2 – Sua experiência com a tecnologia e a Internet: duas questões                          sobre o nível de experiência do participante com computadores e notebooks.    ● Parte 3 – Sua relação com o portal RioCard: questões sobre segurança,                        navegação e frequência de uso no site RioCard.    2.8  Questionário Pós­teste    O questionário pós­teste foi dividido em duas partes, com o objetivo de colher as                            informações ainda frescas sobre a experiência do usuário com a ferramenta, além                        do feedback sobre o teste em si.     A primeira parte reúne questões de múltipla escolha, para que o usuário avalie o site                              RioCard de acordo com:    ● A utilização e navegação;  ● Localização do participante;  ● O conjunto de termos e expressões utilizadas;  ● A encontrabilidade das informações.    Já a segunda parte tratou de questões discursivas que apontavam de forma direta, a                            opinião do participante sobre o site e sobre o método de pesquisa utilizado    2.9  Pré­testes    Foram realizados dois pré­testes baseados no plano de teste inicial, buscando                      verificar o tempo de realização para cada tarefa e a confirmação das tarefas.    O primeiro pré­teste foi realizado no local de trabalho do participante utilizando um                          notebook com navegador Chrome, Camtasia e um smartphone para gravação de                     
  11. 11. 10      áudio e vídeo. Já o segundo pré­teste foi realizado na residência do participante                          utilizando os mesmos equipamentos.    Após a realização dos pré­testes foram obtidas as seguintes respostas:    ● Alteração no primeiro parágrafo do Roteiro, para que o mesmo ficasse mais                        curto;  ● Reformulação das tarefas, com o acréscimo de mais uma tarefa;  ● Confirmação do tempo de realização para cada tarefa;  ● Reformulação de uma questão do questionário pré­teste.     Para validar as alterações foi realizado mais um pré­teste final.    2.10  Roteiro    O roteiro do teste foi lido no início de todos os pré­testes e testes juntamente com a                                  entrega do termo de autorização e ciência para os participantes. O texto descrevia                          brevemente o site RioCard, o objetivo do teste de usabilidade e quais seriam os                            procedimentos realizados pelo usuário.  O material na íntegra pode ser conferido no Apêndice A.                         
  12. 12. 11      3​   APRESENTAÇÃO DE DADOS    3.1 Perfil dos usuários    ● Participante A: ​Sexo masculino, 16­20 anos, Ensino Superior Incompleto,                  pouca experiência com computadores. Não é usuário do site.    ● Participante B: Sexo masculino, 30­34 anos, Ensino Superior Completo, alta                    experiência com computadores. É usuário do site.    ● Participante C: ​Sexo feminino, 40­44 anos, Ensino Superior Incompleto,                  experiência moderada com computadores. Não é usuária do site.    ● Participante D: Sexo masculino, 25­29 anos, Ensino Superior Incompleto,                  experiência alta com computadores. É usuário do site.     ● Participante E: ​Sexo feminino, 25­29 anos, Ensino Superior Incompleto,                  experiência moderada com computadores. Não é usuária do site.    3.2  Métrica das tarefas    Tarefa 1​: Acesse o site do RioCard e realize o login no sistema.       Tempo em minutos para a execução da Tarefa 1.   
  13. 13. 12      O tempo estimado para a execução da tarefa foi de 5 minutos. Todos os                            participantes conseguiram concluir em menor tempo.    A localização do Login pelos usuários foi rápida. A maior dificuldade encontrada por                          eles foi efetivamente realizar o acesso com os dados de usuário. A compreensão do                            captcha e a digitação dos dados corretamente pelos participantes tornaram o                      processo lento para alguns participantes.    Tarefa 2​: Modifique o número do apartamento cadastrado no seu perfil para "404".     Tempo em minutos para a execução da Tarefa 2.    Apenas 2 dos 5 participantes conseguiram concluir a tarefa em menor tempo que o                            estimado, que foi de 1 minuto.    Por conter um atalho na página inicial do sistema a alteração dos dados cadastrais                            foi ágil e sem dificuldades.    Tarefa 3​: Verifique as recargas realizadas em meses anteriores.    Tempo em minutos para a execução da Tarefa 3 
  14. 14. 13        O participante B foi o único a atingir o tempo estimado de 5 minutos e o participante                                  D chegou próximo disso.    Tarefa 4​: Realize a recarga de seu cartão com base no valor da última recarga.     Tempo em minutos para a execução da Tarefa 4    O participante C teve grande dificuldade na navegação do menu do site e, portanto,                            fez o dobro do tempo estimado para a tarefa, que era de 5 minutos.      3.3  Dados do questionário pós teste    A utilização geral do portal RioCard é:        Navegar no Portal RioCard é:   
  15. 15. 14        A utilização dos menus do portal RioCard é:          Identificar a sua própria localização dentro do portal RioCard é:        O conjunto de termos e expressões utilizados no portal RioCard é:        Encontrar as informações que você precisa no portal RioCard é:       
  16. 16. 15      3.4  Perguntas discursivas    1) O que você menos gostou no portal RioCard?    Participante A​: "No menu existem palavras com significados próximos,                  podendo gerar confusão".    Participante B​: "Primeiro a dificuldade de realizar uma simples recarga. E                      segundo, o login".    Participante C​: "As palavras que compõem os menus deveriam ser mais                      simples e diretas".  Participante D: "Quando você clica em voltar, para sair da tela atual, o site                            não retornou para o menu em que estava, o que gerou um pouco de                            confusão".    Participante E:​ "Achei um pouco confusas as opções de menu".          2)  O que você mais gostou no portal RioCard?    Participante A​: “A estrutura do site simples e objetiva”.    Participante B​: “Nada. Odeio ter que usar este site”.    Participante C​: “A facilidade em poder comprar sem enfrentar filas”.    Participante D​: “No geral as informações são claras, você vê nos links as                          ações que quer executar, então fica bem intuitivo”.    Participante E​: “Tinha todas as informações que precisei”.          3)  O que você poderia sugerir aos designers para mudar no portal RioCard?  
  17. 17. 16        Participante A: “Utilização de algum vocabulário mais distinto e o lembrete                      de que no login existe diferença entre letra maiúscula e a minúscula”.    Participante B: “Deveria ter menos dependencia da web. Sugiro um                    aplicativo para celular com saldo, recargas, histórico, infos das linhas que eu pego,                          link para reclamações, número 1746, etc”.    Participante C: “Mais simplicidade, clareza e objetividade nos menus                  utilizando palavras conhecidas pelo o usuário”.    Participante D: “Executar uma das tarefas não foi muito fácil, pois neste                        ponto o site não foi muito claro, isto poderia ser alterado”.    Participante E:​ “Mais clareza nas informações”           4)  Avalie o próprio método do teste de usabilidade:    Participante A:​ “Bem eficaz”.    Participante B:​ “Ótimo”.    Participante C: “O teste é muito interessante e pode ajudar as empresas a                          melhorarem sua interfaces, para facilitar a vida do usuário”.    Participante D: “O teste é muito bom, pois avalia e analisa a linha de                            pensamento do usuário final que de fato utilizirá o site no dia­a­dia”.    Participante E:​ “Positivo, bom”.       
  18. 18. 17      3.5  Comentários em Destaque    Participante A:  "As vezes ele (site) tem algumas palavras que são sutis a diferença de uma para                              outra e você acaba entrando no lugar errado."    Participante B:  “As vezes eu prefiro deixar de colocar crédito para não ter que entrar aqui (site                              RioCard)... É muito ruim, muito ruim mesmo."    Participante C:  “É uma interface pobre...alguém pode passar despercebido pela informação que                    está procurando.”    Participante D:  “Tem que tentar adivinhar o que preencher nos campos, o site não te ajuda nisso.”    Participante E:  “Achei estranho [...],  poderia estar mais evidente que era relatório de recargas.”                           
  19. 19. 18      4​   ANÁLISE E RECOMENDAÇÕES    4.1  ​Principais descobertas por tarefa    Tarefa 1​ ( Acesse o site do RioCard e realize o login no sistema. ):       Recorte da tela de login do sistema    Os participantes tiveram problemas com o preenchimento da senha, pois não havia                        indicador da quantidade de caracteres.    Comentário de um participante sobre a dificuldade em inserir e gravar a sua senha:                            "Eu fico tentando logar e nunca consigo. Tenho que deixar a senha anotada porque                            é uma senha louca que ele pede e eu nunca vou lembrar...E além disso ele (o                                sistema) fica mandando eu trocar toda hora."                  
  20. 20. 19      Tarefa 2 ​( Modifique o número do apartamento cadastrado no seu perfil para 404):    Recorte da tela de Pós Login    Para concluir a tarefa era necessário clicar em Alterar em duas etapas para                          finalmente chegar ao formulário de edição.    O participante poderia acessar seus dados através da tela inicial (Pós login) quanto                          na tela de Usuários, mas se deparava com nomenclaturas diferentes.    Tarefa 3 ​(Verifique as recargas realizadas em meses anteriores):      Recorte da tela de Relatórios 
  21. 21. 20        Notamos que o site utiliza pouco o termo Recarga, muito utilizado pelos participantes                          e uma das principais funções do sistema. Em seu lugar foi usado o termo "Compra                              de créditos" que não era intuitivo para os usuários.    Alguns usuários não conseguiram concluir esta tarefa, pois o histórico de recargas                        ficava na área Relatórios, e não em Pedidos ou Compra de créditos.     Durante a busca pela opção de visualizar as recargas anteriores alguns participantes                        encontraram algumas dificuldades no sistema, como a falta de clareza no                      preenchimento de alguns campos. O comentário ​"Tô tentando adivinhar como insiro                      essa data aqui" ​exemplifica bem a sensação do usuário ao se deparar com este                            problema​.      Recorte da tela de Relatórios/ Recargas Pendentes e Efetuadas    Na tela acima, o sistema não oferece informações claras, dicas de preenchimento                        dos campos e opções de facilidade de uso, deixando o usuário bastante confuso.                          Podemos usar como exemplo o comentário de um dos participantes ao visualizar                        esta tela: ​"Porque já não tem a lista dos meus cartões? Eu tenho que colocar o                                ponto?".    Tarefa 4 ​(Realize a recarga de seu cartão com base no valor da última recarga.): 
  22. 22. 21        Recorte da Tela de Pedidos/Compra de Créditos de 1 até 05 cartões    O formulário é confuso, a identificação do usuário atribuída pelo sistema (001) não                          era clara para o usuário e além disso não entendia bem a diferença de "Valor do                                Cartão" para "Valor de Carga".  No final do pedido, ao clicar em Finalizar e imprimir boleto, era necessário buscar                            novamente o ícone de impressora em uma relação de pedidos para só assim realizar                            a impressão.    Recorte da Tela de Finalizar Pedido e Imprimir boleto 
  23. 23. 22      Em seguida, ao clicar no ícone de impressora, surgia um lightbox com um aviso que                              confundia e deixava os usuários inseguros. Eles não sabiam como sair da tela, ou o                              que fazer para visaliizar o boleto, porque não era exibido um botão de fechar.      Recorte LightBox com o aviso.  Além deste problemas encontrados, antes mesmo de acessar o fomulário, um                      participante ficou procurando um atalho pra facilitar e agilizar a tarefa e se sentiu                            frustado ao não encontrar, como podemos ver no comentário a seguir: ​"Fiquei                        esperando que tivesse um link para visualizar a última recarga realizada no sistema".    4.2​  Gráficos de heurísticas violadas    Para avaliação dos problemas relatados pelos participantes do teste utilizamos os 10                        Princípios Heurísticos de Nielsen.               
  24. 24. 23      Tarefa 1:        Como demonstrado no gráfico acima, metade dos princípios violados é quanto à                        prevenção de erros. Os participantes dos testes reclamaram da complexidade da                      senha e da impossibilidade de saber se está digitando certo ou não.      Tarefa 2:      A quantidade de ocorrência dos princípios violados ficou equilibrada e estão em sua                          maioria associadas à falta de acesso rápido às informações mais importantes, além                        de opções rápidas para usuários experientes.     
  25. 25. 24      Tarefa 3:        Os mais variados tipos de princípios foram afetados nessa tarefa. Em resumo, a                          maior dificuldade dos usuário foi em encontrar o que procuravam, que era o histórico                            de recargas efetuadas.      Tarefa 4:       
  26. 26. 25      O gráfico demonstra as dificuldades dos usuários em utilizar o sistema para realizar                          uma recarga, encontrar essa opção no menu e no preenchimento dos campos de                          texto.    Avaliação Geral do Sistema:      4.3  ​Recomendações de curto prazo  Problema  Durante a realização de algumas tarefas, surge para o usuário um banner popup                          com informações fora de contexto e sem nenhuma opção de fechar.    Recomendação  Sugerimos a ​remoção de todos os banners em popup, ​mas se este recurso tiver                            que ser usado, que seja exibido apenas uma vez, e com um botão de fechar.    4.4​  Recomendações de médio prazo    Problema   A linguagem utilizada no sistema em geral é confusa. A nomenclatura dos menus, os                           
  27. 27. 26      termos e as expressões não são claras e dificultam a busca das informações.    Recomendação​:  O sistema deve apresentar um vocabulário condizente com a realidade do usuário.                        Por exemplo, os usuários estão acostumados com a palavra recarga e o sistema                          utiliza a palavra crédito. Sugerimos a realização de um cardsorting para verificar e                          validar os termos mais utilizados pelos os usuários, facilitando a compreensão do                        sistema.    Exemplo do termo usado pelo sistema para a opção de realizar a recarga do cartão.    Problema  O termo recarga, citado por alguns usuários durante o teste, é pouco usado no                            sistema e não existe uma opção de menu para esta função. Para o usuário acessar                              esta funcionalidade ele precisa percorrer os sub­itens do menu, o que dificulta o                          acesso a este serviço.    Recomendação  O serviço de recarga é uma das principais funcionalidades do sistema, portanto,                        deve ser facilmente localizada pelos usuários tanto através do menu quanto na                        página inicial.      Problema  O sistema não informa qual cartão está cadastrado no CPF do usuário. Para fazer                            uma consulta o usuário precisa saber a numeração do cartão inseri­la manualmente.   
  28. 28. 27      Recomendação  Exibir para o usuários todos os cartões cadastrados na sua conta, e oferecer opção                            para selecionar o cartão que deseja ser consultado.       Exemplo do campo de consulta de cartões.      Problema  No item “Extrato” localizado no menu superior direto, o usuário é direcionado para                          uma tela com um passo­a­passo de “Como consultar o seu Extrato”, sem opção de                            voltar. Se o usuário voltar pelo navegador ele é deslogado do sistema. Não fica claro                              para o usuário a função do menu superior direito, se os links tem a função de ajuda                                  ou de atalhos.    Recomendação  Uma opção de voltar deve sempre estar presente em todas as páginas. Se objetivo                            do menu superior direito for de ajudar o cliente a encontrar uma funcionalidade o                            ideal é que seja exibido também um link direto para esta função do sistema. Além                              disso, é recomendado uma melhor integração entre os menus do site.    
  29. 29. 28        Recorte da tela de “Extrato”, acessada pelo menu superior direito.      Problema  A organização do menu e a taxonomia do site não são claras e objetivas. Como por                                exemplo, um usuário não identificou no menu nenhum item referente a recarga optou                          clicar no menu "Início" para acessar um atalho desta funcionalidade. Além disso, a                          área de “Pedidos” do menu não possui o item de histórico de pedidos, presente                            apenas em “Relatório”.    Recomendação  Reestruturar o menu do sistema e sua taxonomia, melhorando o agrupamento dos                        itens e o rótulos dos mesmos.      Menu principal do sistema.    Problema  O campo “Consulta de pedido” não informa como deve ser preenchido, se deve ser                            inserida uma data ou um número de pedido, além de não sinalizar uma máscara                            com o formato de preenchimento. Ao usuário preencher o campo com uma data                          surge a mensagem "Pedido inexistente", fazendo com que o usuário fique confuso,                        não entendendo se o formato da data estava errado ou se não houveram pedidos                            realizados nos últimos 90 dias.    
  30. 30. 29      Recomendação  O usuário precisa saber qual informação o sistema espera. Um “placeholder” no                        campo de texto é uma forma de auxílio evitando re­trabalho e frustração por parte do                              usuário.      Recorte da tela de “Consultar Pedidos Pagos”, com a mensagem exibida após o preenchimento do                              campo com uma data.         Exemplo de um campo de formulário com dica de preenchimento e placeholder.         Problema  Na tela de compra de créditos, após clicar em “Finalizar e imprimir o boleto”. O                              boleto não é exibido e não fica claro como acessá­lo.    Recomendação  Melhorar os ícones de forma que seja mais fácil para o usuário identificá­los. Além                            disso, sugerimos que ao clicar no botão a compra seja efetivamente finalizada e o                            boleto exibido com a opção de imprimir. 
  31. 31. 30        Problema  Na tela de “Alterar dados cadastrais” o sistema não permite que o usuário edite os                              campos antes de clicar no botão "Alterar". O usuário precisa clicar em alterar em                            duas etapas, para só então ver o formulário com os campos.    Recomendação  Pode ser fornecida a opção de editar os campos clicando diretamente sobre eles, e                            poder salvar as alterações em seguida. Essa funcionalidade permite agilizar o                      processo evitando várias etapas.      Problema  O formulário de compra de créditos exibe “001” no campo de “identificação do                          usuário”, causando confusão para o usuário.      Recorte da Tela de Compra de Créditos de 1 até 05 cartões.    Recomendação:  A sugestão é que o sistema ofereça informações que seja familiares para usuário,                          neste caso o ideal seria usar o próprio nome do usuário, ou seu CPF, ou seu login                                  ou até mesmo o número de seu cartão.     Problema  Os botões não oferecem feedback visual de mouseover ou mousedown, deixando o                       
  32. 32. 31      usuário sem saber se o sistema computou o clique.    Recomendação  Quando o participante clica em um botão o destaque do mouseover é imperceptível.                          Sugerimos, dar um destaque maior para a mudança de estado do sistema, com a                            alteração da cor e do tamanho (peso) do botao na tela.      Problema  Alguns usuários sentiram falta de um link ou ação de copiar o valor da última                              recarga. Além disso, como forma de atalho, um usuário acessou a opção "Copiar                          pedido anterior". No entanto, sem a posse do número do pedido, o usuário precisou                            consultar a lista de pedidos feitos e memorizar os dados.    Recomendação:   Sugerimos que sistema exiba inicialmente no campo de “Valor de Carga” o último                          valor recarregado pelo usuário, facilitando assim o processo de recarga.      Problema  Os usuários encontram dificuldades com o preenchimento do formulário de login e                        senha.    Recomendação: Sugerimos a reformulação de todos os formulários do sistema para                      possuam dicas de preenchimento e máscaras nos campos, sinalização de campos                      obrigatórios e mensagens de erro e sucesso claras.             
  33. 33. 32      4.5  ​Recomendações de longo prazo    Problema  Serviços secundários são exibidos para o usuário logo na primeira tela.    Recomendação  Por se tratar da primeira tela que o usuário visualiza após estar logado é                            interessante que sejam exibidas as ​principais funcionalidades do sistema e os                      serviços mais acessados, facilitando assim a encontrabilidade de informações e o                      acesso do usuário.                                             
  34. 34. 33      5 ​ CONCLUSÃO    O serviço do RioCard se propõe a agilizar a rotina de um passageiro num transporte                              público em seu dia­a­dia, porém o sistema de recargas deixa de lado esta agilidade                            uma vez que não oferece facilidade de utilização para os seus usuários, devido a                            vários problemas de usabilidade tais como os apontados neste trabalho.    Apesar de ser necessária uma avaliação mais extensa sobre o sistema, acreditamos                        que para melhorar a usabilidade seria necessário uma reestruturação da arquitetura                      de informação do site além de incluir dois itens muito importantes como um sistema                            de busca de conteúdo interno e página de ajuda, que não estão presentes no site                              atual.    Fora isso, grande parte dos problemas se deram pela dificuldade de compreender a                          informação apresentada. A linguagem dos textos e a comunicação devem ser de                        fácil entendimento e compatíveis com a realidade dos usuários.                                 
  35. 35. 34      6​ LIÇÕES APRENDIDAS    ● Os usuários se mostraram inibidos ao preencher o questionário de pós­teste.                      Mesmo os que tiveram dificuldade na utilização da interface informaram no                      questionário que acham fácil a utilização e navegação do sistema. O termo de                          autorização também causava certa inibição.    ● O texto do roteiro precisa ser bem direto ao ponto e com linguagem adequada                            para que o usuário não se disperse.    ● Os questionários de pré e pós teste poderiam ter sido preenchidos no próprio                          computador ou tablet, ao invés do papel, facilitando a coleta dos dados.    ● Como algumas entrevistas foram feitas em campo (sem pré­seleção dos                    usuários) tivemos que contar com alguns imprevistos como usuário com                    pressa, em posição desconfortável e desvio de atenção por uma chamada no                        celular.    ● Checar as gravações após cada teste realizado para se certificar de que o                          áudio e vídeo ficaram registrados perfeitamente, ajustando o equipamento                  caso algum problema tenha ocorrido.    ● Podemos perceber uma incoerência entre os resultados do questionário                  pós­testes para as perguntas sobre a navegação do site e os termos e                          expressões utilizadas. Na primeira, a maioria dos participantes indicou como                    fácil e na segunda, como difícil. Acreditamos que isso se deve em parte a                            insistência dos usuários em cumprir a tarefa e, concluindo­a em sucesso,                      acaba se esquecendo do quão difícil foi. Deve­se questionar e entender a                        opinião do usuário nesse ponto, relembrando da sua dificuldade,                  aprofundando, assim, os pontos a serem melhorados. 
  36. 36. 35      ● Os tempos previstos para a execução das tarefas foram baseados no                      resultado dos testes piloto. Estes foram muito importante pra calibrar a                      previsão do tempo necessário. No entanto, devido a quantidade reduzida de                      testes piloto realizados, a média prevista pra cada tarefa acabou não                      refletindo a realidade da maioria dos usuários. Faz­se necessário a realização                      de um número razoável de testes piloto pra tentar chegar o mais próximo                          possível do tempo dos participantes.                                                   
  37. 37. 36      APÊNDICE A   ROTEIRO ­ TESTE DE USABILIDADE – SISTEMA RIOCARD    Esse teste de usabilidade tem como objetivo principal verificar como o usuário                        consegue desenvolver as tarefas e identificar os possíveis problemas de arquitetura                      de informação, encontrabilidade de informações e outras deficiências de usabilidade,                    avaliando a interface do sistema de recarga online do vale­transporte eletrônico da                        cidade do Rio de Janeiro, o RioCard (​www.cartaoriocard.com.br​).  E lembre­se somente o sistema será avaliado!!  O teste será composto de três tarefas que deverão ser realizadas no site do                            Sistema RioCard, onde solicitaremos que você “pense em voz alta” e explique o                          caminho que irá percorrer durante a navegação.  Este teste será gravado em áudio e vídeo através do sistema Camtasia e de                            celulares, solicitaremos o preenchimento de dois questionários no início e no final do                          teste, além de uma entrevista no final. Porém, essas informações serão                      disponibilizados apenas em documentos e eventos acadêmicos com exceção do seu                      nome que não serão disponibilizados.  Você tem total liberdade para desistir do teste a qualquer momento e realizar                          perguntas ao administrador do teste agora ou a qualquer momento.  Neste teste, temos um moderador que fará as perguntas e um observador que                          anotará algumas questões para análise posterior.  Este roteiro será lido para todos os participantes deste teste, para que todos                          os participantes sigam as mesmas instruções.    Desde já agradecemos a atenção.               
  38. 38. 37      APÊNDICE B   TERMO DE AUTORIZAÇÃO ­ TESTE DE USABILIDADE – SISTEMA RIOCARD    CIÊNCIA E AUTORIZAÇÃO    Ref.: Teste de Usabilidade do site RioCard    Objetivo ​– O objetivo desta pesquisa é levantar dados e informações sobre a                          utilização do site RioCard para a tarefa final da disciplina Teste formal de                          Usabilidade (Especialização em Ergodesign e Arquitetura da Informação ­ PUC­Rio).    Importante – O procedimento do qual você participará visa somente a testar o uso                            da interface do site RioCard e as nomenclaturas utilizadas no mesmo. Lembre­se, o                          objetivo é avaliar o site, e não o seu conhecimento. Você não está sendo testado!    Protocolo verbal – Durante o teste, você é solicitado a “pensar em voz alta”,                            explicando o caminho percorrido e a sua estratégia de navegação.    Informações coletadas – Vamos coletar e gravar informações sobre o modo como                        você utiliza o portal. Nós vamos solicitar o preenchimento de questionários e você                          será entrevistado. O teste e a entrevista serão registrados em áudio e em vídeo. As                              informações coletadas (suas e de outros participantes) serão utilizadas para a                      apresentação da tarefa final da disciplina.    Autorização para gravação – O seu trabalho com o site RioCard e sua entrevista                            serão gravados. Assinando este documento, você autoriza o autor a utilizar suas                        declarações, sua voz e sua imagem (mas não o seu nome) apenas na tarefa da                              disciplina Teste formal de Usabilidade.    Liberdade para desistência – Você pode parar para descansar a qualquer                      momento. Também pode desistir do teste no momento que você quiser.   
  39. 39. 38      Liberdade para perguntar – Se você tiver perguntas a fazer, pode questionar o                          administrador do teste agora. Ou fazê­lo a qualquer momento.  Nome (por extenso): ________________________________________    Data: ______/ _______/ _______    Assinatura: ________________________________________________                                                   
  40. 40. 39      APÊNDICE C   QUESTIONÁRIO PRÉ­TESTE ­ PESQUISA DE USABILIDADE DO PORTAL                RIOCARD     Questionário pré­teste – Pesquisa de usabilidade do portal RioCard    Data: _____/ _____/                            Local do teste: _____________________      Parte 1 – Seu perfil geral      Seu Nome: _______________________________________________________    Tel. Celular: ____________________ Tel. Fixo: __________________________    Profissão que exerce: ____________________________________    Gênero:  Masc     Fem     Idade:   (   ) 16­20     (   ) 20­24    (   ) 25­29  (   ) 30­34  (   ) 35­39  (   ) 40­44   (   ) 45­49   (   ) 50­54    (   ) 55­59   (   ) 60­64   (   ) 65­69   (   ) 70 ou mais.     Nível de escolaridade:      (   ) Ensino fundamental completo   (   ) Ensino fundamental incompleto   (   ) Ensino médio completo   (   ) Ensino médio incompleto   (   ) Ensino superior completo   (   ) Ensino superior incompleto 
  41. 41. 40          Parte 2 – Sua experiência com a tecnologia e a Internet  Avalie sua experiência com os computadores em geral:  (   ) Nenhuma experiência                          (   ) Experiência moderadamente alta  (   ) Alguma experiência                             (   ) Experiência alta  (   ) Experiência moderada    Avalie sua experiência com ​notebooks​:   (   ) Nenhuma experiência   (   ) Alguma experiência   (   ) Experiência moderada   (   ) Experiência moderadamente alta   (   ) Experiência alta    Parte 3 – Sua relação com o portal RioCard    Você utiliza o portal RioCard para realizar recargas em seu cartão de transporte?                          Sim                Não    Em caso positivo, quais outros serviços você utiliza no site RioCard?  __________________________________________________________________  __________________________________________________________________  __________________________________________________________________    Como você considera sua experiência com a navegação no site RioCard?    (   ) Nenhuma experiência  (   ) Alguma experiência  (   ) Experiência moderada  (   ) Experiência moderadamente alta  (   ) Experiência alta    Você considera o site do RioCard seguro?    (   ) Sim 
  42. 42. 41      (   ) Não                      (   ) Não sei responder    Em uma média anual, com que frequência você utiliza o site RioCard?  (   ) Mensalmente  (   ) De 2 em 2 meses  (   ) De 3 em 3 meses  (   ) Semestralmente  (   ) Não tenho uma frequência de uso anual                                                 
  43. 43. 42      APÊNDICE D  QUESTIONÁRIO PÓS­TESTE ­ PESQUISA DE USABILIDADE DO PORTAL                RIOCARD    Questionário pós­teste ​–​ Pesquisa de usabilidade do portal RioCard    Data: _____/ _____/        Seu nome: ____________________________________    Este questionário visa a reunir as suas impressões sobre o portal RioCard.   Por favor, marque somente uma alternativa em cada pergunta:    1. A utilização geral do portal RioCard é:    ( ) Muito fácil    ( ) Fácil  ( ) Nem fácil nem difícil  ( ) Difícil  ( )Muito difícil    2. Navegar no portal RioCard é:    ( ) Muito fácil    ( ) Fácil  ( ) Nem fácil nem difícil  ( ) Difícil  ( ) Muito difícil    3. Utilizar os ​menus​ do portal RioCard é:    ( ) Muito fácil    ( ) Fácil 
  44. 44. 43      ( ) Nem fácil nem difícil  ( ) Difícil  ( ) Muito difícil  4. Identificar a sua própria localização dentro do portal RioCard é:    ( ) Muito fácil    ( ) Fácil  ( ) Nem fácil nem difícil  ( ) Difícil  ( ) Muito difícil    5. O conjunto de termos e expressões utilizado no portal RioCard é:  ( ) Muito fácil    ( ) Fácil  ( ) Nem fácil nem difícil  ( ) Difícil  ( ) Muito difícil    6. Encontrar as informações que você precisa no portal RioCard é:  ( ) Muito fácil    ( ) Fácil  ( ) Nem fácil nem difícil  ( ) Difícil  ( ) Muito difícil    7. O que você menos gostou no portal RioCard?  ___________________________________________________________    ___________________________________________________________    ___________________________________________________________   
  45. 45. 44      ___________________________________________________________          8. O que você mais gostou no portal RioCard?    ___________________________________________________________    ___________________________________________________________    ___________________________________________________________    ___________________________________________________________      9. O que você poderia sugerir aos designers para mudar no portal RioCard?    ___________________________________________________________    ___________________________________________________________    ___________________________________________________________    ___________________________________________________________      Por favor, deixe a pergunta a seguir para responder no final do teste.      10. Avalie o próprio método do teste de usabilidade.    
  46. 46. 45      ___________________________________________________________    ___________________________________________________________    ___________________________________________________________    __________________________________________________________                                                   
  47. 47. 46      ANEXO A   ANÁLISE DOS TESTES ­ PARTICIPANTE A    Tarefa 1     Problema: O site não informa qual o tipo de caractere que deve ser preenchido no                              campo de senha.  5: Prevenção de erro;    Tarefa 3    Primeira tentativa:  Clicou em voltar após concluir a ultima tarefa > Manutenção    Segunda tentativa:  Pedidos > Consultar pedidos pagos >  O site exibe que não há nenhum pedido cadastrado e o usuário conclui que finalizou                              a tarefa.      Tarefa 4    Primeira tentativa:  menu Pedidos > menu Relatórios > Recargas pendentes e efetuadas > Selecionou                        Efetuadas > Digitou o número do cartão > Visualizou as recargas    Segunda Tentativa:  entrou no menu Pedidos > Compra de crédito de 1 a 5 cartões > Digitou o valor >                                    Clicou em avançar > Clicou em confirmar > Clicou em finalizar e imprimir o boleto >                                Usuário conclui que finalizou a tarefa.   
  48. 48. 47      Problema: O usuário ficou confuso em relação ao campo de identificação do usuário                          estar exibindo 001.  2: Equivalência entre o sistema e o mundo real; 4: Consistência e padrões;      Comentários pós­teste    "Algumas coisinhas poderiam ficar legais, como aparecer que o "Caps lock" faz                        alguma diferença na tela de login e senha."    Problema: O sistema não informa se a tecla Caps lock está pressionada e não tem                              opção de exibir a senha que está sendo utilizada.  5: Prevenção de erro; 9: Auxílio ao usuário para reconhecer, diagnosticar e                        recuperar­se de erros;      "As vezes ele (site) tem algumas palavras que são sutis a diferença de uma para                              outra e você acaba entrando no lugar errado."    Problema: A linguagem utilizada no sistema e geral é confusa, além de itens de                            menu pouco claros.  2: Equivalência entre o sistema e o mundo real; 6: Reconhecer em vez de relembrar.                     
  49. 49. 48      ANEXO B  ANÁLISE DOS TESTES ­ PARTICIPANTE B     Questionário Pré­teste    ​"Tem outra função?" ­ O Usuário não sabia que o site oferecia outros serviços além                                do de recarga.    "Nossa, nunca pensei nisso" ­ Reação do usuário ao perguntarmos se ele                        considerava o site seguro.    Tarefa 1    "Fudeu!"​ ­ Reação do usuário ao ser solicitado para realizar o login no sistema.    "Eu fico tentando logar e nunca consigo. Tenho que deixar a senha anotada porque                            é uma senha louca que ele pede e eu nunca vou lembrar...E além disso ele (o                                sistema) fica mandando eu trocar toda hora. " ­ ​Usuário tem dificuldade de lembrar a                              senha devido a regras do sistema.  5: Prevenção de erro;    "Nada a ver esse login aqui embaixo. Eu já sabia porque uma vez eu fiquei                              procurando um maior tempão esse tela de login e não achava."    "As regras são horríveis...Pior "coisa" de senha que eu já vi."­ ​Usuário comentando                          sobre o cadastro da senha.    "Esse captcha é muito ruim! Fico torcendo para sair estes número e poder dá para                              ler".    Tarefa 2    
  50. 50. 49      "O site é tão ruim que eu mesmo que se mudasse eu acho que eu não ia querer                                    mudar o endereço"    "Nossa não tem nada a ver! Por tem um negócio que você não faz nunca no box                                  principal?"  4: Consistência e padrões;    "Ué eu vou clicar aqui em "Alterar" e não alterei nada?" ­ Usuário ficou surpreso de                                não encontrar os campos para fazer a edição dos dados.    Tarefa 3     "​Caraca! Nunca fiz isso." ­ ​Reação do usuário ao ser solicitado para realizar a                              tarefa.    Primeira tentativa:  Usuário acesso o menu cartões > consultar cartão > inseriu o número do cartão dele                              ("Porque já não tem a lista dos meus cartões?" Eu tenho que colocar o ponto?)  5: Prevenção de erro;     "Esse site me dá muita raiva!"    Segunda tentativa:  Clicou no menu "Inicio"   "Porque que ele quer que eu fique atualizando os meus dados? Eu já vi esse banner                                de outra vez"  ​­ Reação do usuário ao visualizar o banner da página inicial.    Clicou no menu 'Comprador"    Terceira tentativa:  "Vou sair clicando em tudo para ver se eu acho alguma coisa parecida com isso"   
  51. 51. 50      Usuários > Cartões > Pedidos > Relatório>     "Opa é aqui, tem um negócio de extrato aqui! ​­ Usuário clicou no menu Extrato no                                topo superior direito e acho que ia encontrar o que procurava.    "Será que eu vou ter que logar de novo?" ­ Comentario do usuário ao perceber que                                esta em outra área do sistema.   1: Visibilidade do status do sistema;    "Meu deus aquilo é uma ajuda! E não tem nenhuma cara de ajuda isso aqui (menu                                superior direito)"  5: Prevenção de erro;    "Nossa! Meu deus do céu..." ­ Usuário inconformado ao ler a orientação da ajuda e                              seguir os passos.    Quarta Tentativa:    Usuário clicou no menu "Relatórios"> "Ah aqui! Cliquei sem querer!"     Usuário clicou em "Extrato do comprador" e acreditou que completou a tarefa e                          comentou "Aqui ele só mostra os últimos 90 dias….Mas eu gostaria de estar vendo o                              meu extrato completo".    Tarefa 4 :     "Eu sempre faço de um jeito, ai como eu vim daquela tela eu já estou perdido"  6: Reconhecer em vez de relembrar;    Clicou em Inicio > Comprar créditos  "Porque não tem comprar créditos aqui (menu)? É o principal tinha que estar."  3: Controle do usuário e liberdade; 
  52. 52. 51        "Não dá para solicitar segunda­via do cartão pelo site. Eu já tentei e não dá."    "Esse formulário aqui eu não entendo nada!" ­ Tela de inserir o valor do crédito a ser                                  recarregado.  6: Reconhecer em vez de relembrar;    "Eu não sei o que é esse 001 aqui!.. Não faço ideia do que é isso" ­ Tela de inserir o                                          valor do crédito a ser recarregado.  3: Controle do usuário e liberdade;    "Eu me enrolo para achar o site porque o nome do cartão é Bilhete Unco Carioca e o                                    nome so site é cartão RioCard. Qual o nome do "treco" afinal? ...Eu fico um tempão                                procurando o site".    Usuário sentiu falta de ser identificado qual tipo de cartão ele possui.  2 ­ Equivalência entre o sistema e o mundo real;      "Porque o número do pedido está em vermelho? Eu não quero saber o número do                              pedido, quero saber quanto eu estou recarregando." ­ Tela de confirmação do                        pedido.    "Cadê o boleto? Eu esperava aparecer o boleto aqui!" ­ Após clicar em 'finalizar e                              imprimir o boleto'.   1: Visibilidade do status do sistema;    "Que isso agora, gente" ­ Banner sobre fraudes no sistema. "Como fecha isso?"                          "Achei que o boleto estivesse atrás, ele abriu em outra aba."  6: Reconhecer em vez de relembrar;     
  53. 53. 52      Comentários pós­testes  "As vezes eu prefiro deixar de colocar crédito para não ter que entrar aqui…. É muito                                ruim, muito ruim mesmo."    "Acho que seria ser mais fácil recarregar o cartão e comprar um novo cartão"    Usuário sugeriu que a recarga poderia ser feita por outros meios, banca de jornal,                            aplicativo    "O sistema podia ser mais direto ao ponto" "Você fica inseguro de fazer o negócio"                              "O login é chato de fazer""O processo é ruim."    "Podiam deixar o site menos confuso no sentido de reabastecer o cartão"                                       
  54. 54. 53      ANEXO C  ANÁLISE DOS TESTES ­ PARTICIPANTE C    Tarefa 1     Primeira tentativa​:  Clicou em Login (no menu superior do site) >> digitou o usuário e a senha    Segunda tentativa:  Digitou novamente a senha ( o site apresentou a seguinte mensagem “o Login não                            confere.”)    Anotação do observador:  Apesar de encontrar dificuldade na inserção da senha com os caracteres especiais,                        como por exempol @, a participante informou que o acesso e fácil como os sites                              que ela está acostumada a acessar.    Princípio de heurística violado: ​4 ­ Consistência e padrões; 5 ­ Prevenção de erros; 6                              ­ reconhecimento ao invés de lembrar.    Tarefa 2    Comentários durante o teste   “Não encontrei o endereço”.    Primeira tentativa:  Clicou em Usuários >> Consultas e alteração>> Manutenção do usuário (clicou no                        nome do usuário)    Anotação do observador:  A participante ficou perdida na tela, sem conseguir localizar aonde ela poderia alterar                          o cadastro e pediu para repetir a pergunta. 
  55. 55. 54        Segunda tentativa:  Clicou na aba Início>> Consultas e alteração>>Manutenção do usuário    Anotação do observador:  A participante ficou perdida na tela novamente, sem conseguir localizar aonde ela                        poderia alterar o cadastro e pediu para repetir a pergunta novamente.    Terceira tentativa:  Clicou na aba Início>> Alterar dados cadastrais >> clicou em alterar >> alterou o                            número do apartamento >> Clicou em confirmar    Princípio de heurística violado: 2: Equivalência entre o sistema e o mundo real.    Tarefa 3    Comentários durante o teste   “Como não tá aparecendo assim a palavra recarga eu vou em cartões”.  “ Eu acho que a palavra Recarga tinha que estar mais explícita na tela, porque essa                                palavra não tem aqui, tem pessoas que não vão em Relatórios…”    Primeira tentativa:  Clicou em Cartões     Anotação do observador:  A participante não localizou nenhuma opção para a tarefa.    Segunda Tentativa:  Clicou em Pedidos     Anotação do observador:  A participante não localizou nenhuma opção para a tarefa. 
  56. 56. 55      Terceira Tentativa:  Clicou em Relatórios >> Clicou em recargas pendentes e efetuadas >> selecionou o                          filtro Todas> inseriu o número do cartão >> Concluiu a tarefa    Princípio de heurística violado: 2: Equivalência entre o sistema e o mundo real.    Tarefa 4    Comentários durante o teste  “Comprar créditos, seria comprar Recarga, a palavra está errada?”  “Eu pensei também de outra forma, que poderia ter um link avisando (...) com o                              pedido da última recarga..”    Primeira tentativa:  Clicou em Início >> Comprar créditos de 1 a 5 cartões >> Inseriu o valor da recarga                                  >> Clicou em Avançar >> Concluiu a tarefa    Anotação do observador:  A participante ficou confusa em relação ao campo de identificação do usuário estar                          exibindo 001. Ficou procurando um link para realizar a recarga com o último valor de                              recarga efetuada.    Princípio de heurística violado: ​1 ­ Visibilidade do estado do sistema; ​2: Equivalência                          entre o sistema e o mundo real; ​3 ­ Controle e liberdade do usuário; 8 ­ Estética e                                    design minimalista.               
  57. 57. 56      ANEXO D  ANÁLISE DOS TESTES ­ PARTICIPANTE D     Tarefa 1   O participante clicou em Login, preencheu os campos sem dificuldade e finalizou a                          tarefa.  Comentário: “Bem tranquilo, não tive dificuldades.”      Tarefa 2  O participante localizou o link “Alterar dados cadastrais” na tela inicial, revisou os                          dados, clicou em alterar, fez a mudança no campo “Complemento” e finalizou a                          tarefa.  Comentário: “Sem problemas, foi bem fácil.”    Tarefa 3  O usuário voltou à tela inicial (após fazer uma rápida verificação no item                          “Comprador”, exibido após a alteração dos dados cadastrais), clicou em “Comprar                      créditos” e depois “Consultar pedidos pagos”. Teve muita dificuldade no campo de                        consulta do pedido anterior, tentando preencher datas em diferentes formatos, mas                      na verdade deveria ser inserido ali um número de pedido. Ao ver a mensagem de                              “Pedido inexistente”, acreditou que não haviam pedidos anteriores ao período de 90                        dias e deu a tarefa como encerrada.    Problema: O campo [Consulta de pedido] não diz se é pra preencher com uma data                              ou número de pedido, além de não sinalizar com uma máscara o formato.  Heurística: 5. Prevenção de erros  Comentário: "tô tentando adivinhar como insiro essa data aqui"    Problema: A área de [Pedidos] não possui o item de histórico de pedidos, presente                            apenas em [Relatório]   Heurística: 6. Reconhecimento ao invés de lembrança 
  58. 58. 57        Problema: Ao preencher o campo com uma data, ao invés do número do pedido,                            surge a mensagem "Pedido inexistente". O usuário fica confuso, se o formato da                          data estava errado ou se não houveram pedidos realizados nos últimos 90 dias.   Heurística: 9. Ajude os usuários a reconhecer, diagnosticar e sanar erros.  Comentário: "agora eu não sei se não existem pedidos anteriores ou se o campo                            ainda tá errado"    Tarefa 4  O usuário retornou ao menu inicial, clicou em “Comprar créditos”, “Compra de                        créditos de 1 até 05 cartões”, preencheu o valor da carga e finalizou o pedido. Por                                fim, conseguiu localizar com facilidade o botão de impressão.  Comentário: “Essa tarefa também foi bem tranquila.”    Comentários pós­teste    "Tem que tentar adivinhar o que preencher nos campos, o site não te ajuda nisso."                               
  59. 59. 58      ANEXO E  ANÁLISE DOS TESTES ­ PARTICIPANTE E    Tarefa 1  O participante não teve nenhuma dificuldade pra realizar o login, seja pra localizar o                            link de “login”, seja pra inserir os dados de acesso.    Tarefa 2  O usuário localizou rapidamente o link “Alterar dados cadastrais” na página inicial.                        Na tela seguinte, ele tentou fazer a edição do número do apartamento clicando                          sobre o texto. Após ver que dessa forma não era possível fazer, clicou no botão                              “Alterar”, fez a troca o que foi pedido na tarefa e concluiu.    Problema: O sistema não permite a edição ágil dos campos cadastrados diretamente                        na tela.  Heurística: 7. ​Flexibilidade e eficiência de utilização.  Comentário: ​"Em alguns sites quando clico no campo normalmente dá pra alterar"    Tarefa 3  Primeiramente o usuário clicou no menu “Cartões” quando procurava o extrato de                        compras efetuadas. Em seguida, clicou corretamente no item Relatórios e no link de                          extrato. Os passos seguintes foram sem dificuldade.    Problema: O menu não é organizado de forma que seja fácil pro usuário identificar                            seus itens.  Heurística: ​2.Relacionamento entre a interface do sistema e o mundo real  Comentário: “Poderia estar mais evidente o relatório de recargas”.    Tarefa 4  Como não encontrou nenhum item no menu que tivesse, na sua opinião, uma                          relação clara com a compra de recargas, clicou para ir para a página inicial pra                              acessar um atalho. Na intenção de poupar trabalho clicou em “​Copiar pedido                       
  60. 60. 59      anterior” sendo que não possuía o número do pedido. Tentou repetir a etapa                          clicando em “Consultar pedidos pagos”, sendo impedido de prosseguir pelo mesmo                      motivo que antes.   O participante conseguiu em seguida localizar a opção correta pra fazer a compra de                            créditos e prosseguiu sem dificuldades até o momento de imprimir o boleto. Após                          clicar no ícone de impressão é exibido um aviso em vez do boleto. A mensagem não                                foi lida, o usuário clicou na imagem e conseguiu visualizar o boleto.    Problemas:   Usuário não identificou no menu algum item referente a compra de recarga;                        clicou no link "Início" pra acessar um atalho.  Como forma de atalho, o usuário acessou a opção "Copiar pedido anterior".                        No entanto, sem a posse do número do pedido, o usuário precisou consultar a lista                              de pedidos feitos e memorizar os dados.  Ao concluir o pedido não é exibido a imagem do boleto do cliente. É                            necessário clicar na imagem com instruções para abrir o pdf.  Heurísticas violadas:   2. Correspondência entre o sistema e o mundo real  6. Reconhecimento em vez de recordação  8. Estética e Design minimalista  Comentário: “O menu não é claro e foi difícil achar o botão de compra”.                       
  61. 61. 60      ANEXO F  IMAGENS DO SISTEMA    Tela inicial         
  62. 62. 61      Tarefa 1 ­ Login                             
  63. 63. 62      Tarefa 1 ­ Tela de início                             
  64. 64. 63      Tarefa 2 ­ Passo 1                             
  65. 65. 64      Tarefa 2 ­ Passo 2                             
  66. 66. 65      Tarefa 2 ­ Conclusão       
  67. 67. 66      Tarefa 3 ­ Passo 1               
  68. 68. 67      Tarefa 3 ­ Passo 2       
  69. 69. 68      Tarefa 3 ­ Conclusão       
  70. 70. 69      Tarefa 4 ­ Passo 1       
  71. 71. 70      Tarefa 4 ­ Passo 2       
  72. 72. 71      Tarefa 4 ­ Passo 3       
  73. 73. 72        Tarefa 4 ­ Passo 4       
  74. 74. 73      Tarefa 4 ­ Conclusão       
  75. 75. 74      Tarefa 4 ­ Impressão do boleto (banner sem botão fechar)   

×