Relato de uma Avaliação
         de Experiência
     considerando o Estado
             Afetivo
Ewerton Menezes
   Lara Piccolo
Cláudia Tambascia
Agenda

• Introdução
• Aplicativos de TV Interativa avaliados
• Artefato de avaliação
• Metodologia
• Resultados
• Conclusões e Trabalhos futuros
INTRODUÇÃO
Motivação
• Criar interfaces fáceis de aprender, eficientes e eficazes não é
  mais o único desafio dos projetistas de interação
• Forte relação entre sistema cognitivo e afetivo durante a
  interação
• O julgamento positivo de uma determinada interface pode ser
  atribuído também à qualidade afetiva da interface.
• Tractinsky e Norman evidenciaram a relação entre os artefatos
  esteticamente atraentes e eficiência e eficácia na interação.
• Complementar o método de avaliação de Qualidade da
  Experiência em ambiente de TV.
Avaliação afetiva
• Avaliação do estado afetivo e sua associação com o design é
  um campo que tem atraído bastante atenção na área de IHC.
• Diversas abordagens possíveis:
   • Medidas fisiológicas (suor, batimentos cardíacos, expressões faciais)
   • Linguagem e comportamento
   • Auto relato (Questionários, entrevista, escala de imagens)
• SAM (Self-Assessment Manikin)
   • Usado por Chorianopoulos para avaliar as três dimensões afetivas
                                                          Pleasure

                                                          Arousal

                                                          Dominance
APLICATIVOS AVALIADOS
                (SMTVI)
Comércio eletrônico
• Os produtos anunciados são organizados em
   categorias e subcategorias;
• Permite buscas por palavras-chave;
• Simula o pagamento com cartão de crédito e
   transferências de crédito.




                                               Tela de confirmação de
                                                       compra




               Tela de categoria de produtos
Jogos
• Cinco aplicativos de jogos adaptados para a TV:
                 Fantasmas                  Snake




         Damas               Campo Minado           Memória
ARTEFATO DE AVALIAÇÃO
Repertório de imagens
• Antes de ser usado nas avaliações, o repertório usado passou por
   um processo de validação:
    • 48 pessoas participaram de
       uma pesquisa on-line em que
       associaram uma palavra ou
       expressão as imagens;
    • Apenas as imagens que
       apresentaram um conjunto
       coerente de expressões
       associadas foram mantidas;
• 4 associadas a estados
   afetivos positivos;
• 2 associadas a estados
   afetivos neutros;
• 3 associadas a estados
   afetivos negativos;
METODOLOGIA
Metodologia
• 1ª Fase: Inspeção de usabilidade
   • Inspeção por especialistas das interfaces visando encontrar os pontos
     críticos de interação e dá insumos à elaboração dos roteiros de tarefas.
• 2ª Fase: Avaliação de usabilidade
   • Realização tarefas em um ambiente similar uma sala de estar; Uso do
     protocolo think-aloud; Gravação do áudio e vídeo para posterior análise;
     Entrevista guiada; participantes com perfil diversificado;
   • Comércio eletrônico: Foi avaliado com 30 usuários que realizaram 4
     tarefas sorteadas aleatoriamente de uma lista de 14 tarefas que
     englobavam as principais funcionalidades do aplicativo. Houve
     mensuração do tempo de realização das tarefas e questionários
     avaliando a percepção de dificuldade de cada tarefa.
   • Jogos: Os jogos foram avaliados por 5 usuários que escolheram dois dos
     cinco jogos disponíveis e foi realizada uma avaliação qualitativa
Avaliação afetiva
• Em determinados momentos da interação os participantes
  foram requisitados a escolher a imagem do repertório que
  melhor representasse seu estado afetivo e associar uma
  palavras ou expressão a ela
• Comércio eletrônico
   • As imagens foram escolhidas ao final de cada atividade
• Jogos
   • As imagens eram escolhidas ao
     terminar de interagir com cada
     jogo escolhido.
RESULTADOS
Comércio eletrônico
• 130 imagens foram selecionadas durante os testes
   • 63% associadas a estados positivos
   • 37% associadas a estados negativos ou neutros
• As tarefas que inspiraram estados afetivos positivos foram
  realizadas com um Tempo Médio menor que as tarefas que
  geraram estados afetivos neutros ou negativos.
• As tarefas menos complexas não estimularam uma
  resposta afetiva significativa ao passo que as mais
  complexas apresentaram grande variação
Comércio eletrônico - Nuvens de palavras
                                               Situações de
 Situações sem grandes                          dificuldade
   dificuldade mas que                          superadas
     não empolgaram




Confusão, dúvida e
                                                 Situações de pouco
tempo de execução
                                                 esforço mais ainda
maior que o tolerável
                                                     sim confusas




Aplicação decepcionou                         Aplicação surpreendeu
 o usuário provocando                             positivamente o
      retrabalho                                      usuário
Comércio eletrônico - Análises
• A entrada de dados na TV por meio do controle remoto
  influenciou negativamente a usabilidade da aplicação e as
  tarefas que exigiam grandes entradas de dados tiveram um
  desempenho afetivo pior que as demais
• As tarefas alinhadas aos objetivos dos participantes (comprar)
  obtiveram uma avaliação positiva mesmo com alguns
  problemas de usabilidade
• Os problemas de usabilidade relacionados a consistência,
  prevenção a erros e compatibilidade com o mundo real foram
  os que mais provocaram estados afetivos negativos
Jogos
                    - Mais escolhida pelos participantes.
                    - Situações de dificuldades superadas.
Espera-se que a     - Frases dos usuários: “Legal, mas difícil de jogar”, “Se sentiu
qualidade afetiva   desafiado” e “Deu vontade de jogar mais para aprender”.
dos jogos seja
                    - Associada ao sentimento de conquista e superação
mais intensa e      - Selecionada nos jogos com marcação de tempo e nas
variada que a       damas, que permitia dois jogadores simultaneamente.
aplicação de
comércio            - Escolhida por um usuário que teve uma resposta
eletrônico          extremamente positiva em relação ao jogo.



                    - Assciada em interações que geração confusão pela falta de
                    consistência e coerência na interface.


                    - Indicou tédio durante o jogo.
                    - Usuário começou o jogo animado, e no final devido à
                    demora em terminar a partida e falta de atributos lúdicos no
                    jogo perdeu o interesse.
CONCLUSÕES E
TRABALHOS FUTUROS
Conclusões e trabalhos futuros
• Avaliação afetiva experimental e simplificada;
• Evidenciou incômodos da interação que passaram despercebidos como
   problemas de usabilidade tradicionais.
• A associação da imagem selecionada com uma palavra ou expressão
   ajudou validar o significado da escolha e clarificar a análise.
• Mesmo com a validação do repertório ainda houve ambiguidade no
   significado das imagens
• Correlação entre tempo esperado e realizado de execução da tarefa
• Associação entre elementos de design com o estado afetivo
Dúvidas ?

Ewerton Menezes – emenezes@cpqd.com.br
Lara Piccolo – lpiccolo@cpqd.com.br
Cláudia Tambascia – claudiat@cpqd.com.br

Avaliação de Experiência Considerando o Estado Afetivo

  • 1.
    Relato de umaAvaliação de Experiência considerando o Estado Afetivo Ewerton Menezes Lara Piccolo Cláudia Tambascia
  • 2.
    Agenda • Introdução • Aplicativosde TV Interativa avaliados • Artefato de avaliação • Metodologia • Resultados • Conclusões e Trabalhos futuros
  • 3.
  • 4.
    Motivação • Criar interfacesfáceis de aprender, eficientes e eficazes não é mais o único desafio dos projetistas de interação • Forte relação entre sistema cognitivo e afetivo durante a interação • O julgamento positivo de uma determinada interface pode ser atribuído também à qualidade afetiva da interface. • Tractinsky e Norman evidenciaram a relação entre os artefatos esteticamente atraentes e eficiência e eficácia na interação. • Complementar o método de avaliação de Qualidade da Experiência em ambiente de TV.
  • 5.
    Avaliação afetiva • Avaliaçãodo estado afetivo e sua associação com o design é um campo que tem atraído bastante atenção na área de IHC. • Diversas abordagens possíveis: • Medidas fisiológicas (suor, batimentos cardíacos, expressões faciais) • Linguagem e comportamento • Auto relato (Questionários, entrevista, escala de imagens) • SAM (Self-Assessment Manikin) • Usado por Chorianopoulos para avaliar as três dimensões afetivas  Pleasure  Arousal  Dominance
  • 6.
  • 7.
    Comércio eletrônico • Osprodutos anunciados são organizados em categorias e subcategorias; • Permite buscas por palavras-chave; • Simula o pagamento com cartão de crédito e transferências de crédito. Tela de confirmação de compra Tela de categoria de produtos
  • 8.
    Jogos • Cinco aplicativosde jogos adaptados para a TV: Fantasmas Snake Damas Campo Minado Memória
  • 9.
  • 10.
    Repertório de imagens •Antes de ser usado nas avaliações, o repertório usado passou por um processo de validação: • 48 pessoas participaram de uma pesquisa on-line em que associaram uma palavra ou expressão as imagens; • Apenas as imagens que apresentaram um conjunto coerente de expressões associadas foram mantidas; • 4 associadas a estados afetivos positivos; • 2 associadas a estados afetivos neutros; • 3 associadas a estados afetivos negativos;
  • 11.
  • 12.
    Metodologia • 1ª Fase:Inspeção de usabilidade • Inspeção por especialistas das interfaces visando encontrar os pontos críticos de interação e dá insumos à elaboração dos roteiros de tarefas. • 2ª Fase: Avaliação de usabilidade • Realização tarefas em um ambiente similar uma sala de estar; Uso do protocolo think-aloud; Gravação do áudio e vídeo para posterior análise; Entrevista guiada; participantes com perfil diversificado; • Comércio eletrônico: Foi avaliado com 30 usuários que realizaram 4 tarefas sorteadas aleatoriamente de uma lista de 14 tarefas que englobavam as principais funcionalidades do aplicativo. Houve mensuração do tempo de realização das tarefas e questionários avaliando a percepção de dificuldade de cada tarefa. • Jogos: Os jogos foram avaliados por 5 usuários que escolheram dois dos cinco jogos disponíveis e foi realizada uma avaliação qualitativa
  • 13.
    Avaliação afetiva • Emdeterminados momentos da interação os participantes foram requisitados a escolher a imagem do repertório que melhor representasse seu estado afetivo e associar uma palavras ou expressão a ela • Comércio eletrônico • As imagens foram escolhidas ao final de cada atividade • Jogos • As imagens eram escolhidas ao terminar de interagir com cada jogo escolhido.
  • 14.
  • 15.
    Comércio eletrônico • 130imagens foram selecionadas durante os testes • 63% associadas a estados positivos • 37% associadas a estados negativos ou neutros • As tarefas que inspiraram estados afetivos positivos foram realizadas com um Tempo Médio menor que as tarefas que geraram estados afetivos neutros ou negativos. • As tarefas menos complexas não estimularam uma resposta afetiva significativa ao passo que as mais complexas apresentaram grande variação
  • 16.
    Comércio eletrônico -Nuvens de palavras Situações de Situações sem grandes dificuldade dificuldade mas que superadas não empolgaram Confusão, dúvida e Situações de pouco tempo de execução esforço mais ainda maior que o tolerável sim confusas Aplicação decepcionou Aplicação surpreendeu o usuário provocando positivamente o retrabalho usuário
  • 17.
    Comércio eletrônico -Análises • A entrada de dados na TV por meio do controle remoto influenciou negativamente a usabilidade da aplicação e as tarefas que exigiam grandes entradas de dados tiveram um desempenho afetivo pior que as demais • As tarefas alinhadas aos objetivos dos participantes (comprar) obtiveram uma avaliação positiva mesmo com alguns problemas de usabilidade • Os problemas de usabilidade relacionados a consistência, prevenção a erros e compatibilidade com o mundo real foram os que mais provocaram estados afetivos negativos
  • 18.
    Jogos - Mais escolhida pelos participantes. - Situações de dificuldades superadas. Espera-se que a - Frases dos usuários: “Legal, mas difícil de jogar”, “Se sentiu qualidade afetiva desafiado” e “Deu vontade de jogar mais para aprender”. dos jogos seja - Associada ao sentimento de conquista e superação mais intensa e - Selecionada nos jogos com marcação de tempo e nas variada que a damas, que permitia dois jogadores simultaneamente. aplicação de comércio - Escolhida por um usuário que teve uma resposta eletrônico extremamente positiva em relação ao jogo. - Assciada em interações que geração confusão pela falta de consistência e coerência na interface. - Indicou tédio durante o jogo. - Usuário começou o jogo animado, e no final devido à demora em terminar a partida e falta de atributos lúdicos no jogo perdeu o interesse.
  • 19.
  • 20.
    Conclusões e trabalhosfuturos • Avaliação afetiva experimental e simplificada; • Evidenciou incômodos da interação que passaram despercebidos como problemas de usabilidade tradicionais. • A associação da imagem selecionada com uma palavra ou expressão ajudou validar o significado da escolha e clarificar a análise. • Mesmo com a validação do repertório ainda houve ambiguidade no significado das imagens • Correlação entre tempo esperado e realizado de execução da tarefa • Associação entre elementos de design com o estado afetivo
  • 21.
    Dúvidas ? Ewerton Menezes– emenezes@cpqd.com.br Lara Piccolo – lpiccolo@cpqd.com.br Cláudia Tambascia – claudiat@cpqd.com.br