1) O documento descreve o Framework de Avaliação da Interação Humano Computador (FAVIHC), que foi aplicado em um estudo de caso no Projeto SAMBA de TV Digital Interativa. 2) O FAVIHC integra técnicas de engenharia de software, usabilidade, semiótica e experiência do usuário para verificação e validação de sistemas interativos. 3) O estudo de caso mostrou que o FAVIHC auxiliou no processo de desenvolvimento, identificação de problemas e melhoria do produto de acordo com as necessidades dos usuários.

1. Laboratório de estudos do Usuário e da Qualidade do Uso de Sistemas F AV IHC – Framework de AValiação da Interação Humano Computador, estudo de caso na Televisão Digital Albert Schilling Gomes, M.Sc. Elizabeth Furtado, D.Sc

2. Agenda Contexto Objetivo do trabalho Apresentação do FAVIHC Estudo de caso Resultados obtidos Contribuições Trabalhos futuros

3. TV Digital interativa: uma oportunidade para a Inclusão Digital ; Projeto - Sistema Brasileiro de Televisão Digital [ SBTVD, 2005 ], nossas primeiras experiências em desenvolvimento e avaliação de TVD; Dentre as contribuições da UNIFOR, foi especificado e aplicado um Processo de Avaliação de Sistemas Interativos – UPi-Test [Schilling, 2005] [Schilling et al 2005]. Contexto

4. Projeto Samba Projeto grande e complexo; 30 pessoas, 02 organizações brasileiras, 04 européias e 02 universidades; Sem processo definido. Mas, com ciclo de vida Iterativo e incremental Inclusão social e digital; Publico alvo carente (recursos, acesso a tecnologia, oportunidades etc); Pacote de trabalho específico para as atividades de testes.

5. Upi-Test: Necessidade de Realiamento Baseado no RUP (processo e artefatos específicos); Sem flexibilidade para inclusão de outras atividades de avaliação; Nenhuma adesão a modelos de qualidade com foco na usabilidade do produto; Sem rigor na diferenciação das atividades de verificação e validação.

6. Sendo assim, era necessário Adaptar o processo UPi-Test ao framework conceitual de avaliação da interação humano computador; Realizar um estudo de caso, aplicando o framework nas aplicações desenvolvidas para o projeto SAMBA e; Fazer uma análise crítica dessa aplicação.

7. F AV IHC F ramework conceitual de AV aliação da IHC

8. Características do F AV IHC Desassociação de processos de desenvolvimento específicos tornando-o mais genérico; Desassociação de artefatos avaliados; Consideração de técnicas de avaliação das engenharias de Software, Usabilidade, Semiótica, assim como, técnicas de Experiência do Usuário e abordagens lúdicas de avaliação; Adesão ao modelo de qualidade definido na ISO/IEC 9126 .

9. Verificação: Estamos construindo certo o produto? [Boehm, 1981]; Tem o propósito de revisar os produtos (casos de uso, protótipos, sistema etc.) quanto ao atendimento a padrões, requisitos, layouts, heurísticas, entre outros. Validação: Estamos construindo o produto certo? [Boehm, 1981]; Tem o propósito de confirmar se os produtos atendem às necessidades e requisitos dos usuários (clientes). Fundamentação do F AV IHC

10. Fundamentação do F AV IHC Áreas Tipo Técnicas Eng. de Software Verificação Revisões técnicas Validação Teste sistêmico Eng. de Usabilidade Verificação Avaliação Heurística Percurso cognitivo Revisão de guidelines Inspeção de consistência Validação Teste de usabilidade Eng. Semiótica Verificação Inspeção Semiótica Validação Avaliação da Comunicabilidade User Experience Validação Encenação Registro de atividades Experience prototyping

11. Fundamentação do F AV IHC Modelo de qualidade da ISO/IEC 9126: Qualidade Interna influencia influencia depende de depende de Qualidade Externa Qualidade em Uso Contextos de Uso Contextos de Uso Contextos de Uso

12. Componentes do F AV IHC

13. Resumo das atividades de V&V aplicadas no SAMBA: F AV IHC no SAMBA Necessidades Sistema Produtos Requisitos e Soluções de Projetos Revisar individualmente Revisar em grupo Realizar workshop Realizar encenações Realizar brainstorm 1 2 3 4 5 Revisar protótipos de baixa fidelidade Realizar avaliação heurística dos protótipos de alta fide. Validar personas com painéis Validar cenários com vídeo ilustrado Validar cenários com encenações 6 7 8 9 10 Realizar workshop Observar o uso Aplicar questionário Realizar grupo focal Realizar inspeção “ad hoc” de usabilidade 13 14 15 16 17 Realizar inspeção “ad hoc” de usabilidade Realizar teste funcional 11 12

14. F AV IHC no SAMBA: Atividades de V&V Necessidades Sistema Produtos Requisitos e Soluções de Projetos Qualidade Interna Qualidade Interna Qualidade Externa Qualidade em uso Revisar individualmente Revisar em grupo Realizar workshop Realizar encenações Realizar brainstorm 1 2 3 4 5

15. F AV IHC no SAMBA: Atividades de V&V Revisão individual dos usuários finais ( personas ), cenários de uso ( storyboard ). Revisão em grupo dos usuários finais ( personas ), cenários de uso ( storyboard ). [Madeira & Furtado, 2007] Necessidades 1 2

16. F AV IHC no SAMBA: Atividades de V&V Validação dos cenários e contexto de uso com encenações Workshop de validação dos usuários finais (personas) e cenários de uso (storyboard) Brainstorm de validação dos resultados Necessidades 3 4 5

17. Resumo das atividades de V&V aplicadas no SAMBA: F AV IHC no SAMBA: Atividades de V&V Necessidades Sistema Produtos Requisitos e Soluções de Projetos Qualidade Interna Qualidade Interna Qualidade Externa Qualidade em uso Revisar individualmente Revisar em grupo Realizar workshop Realizar encenações Realizar brainstorm 1 2 3 4 5 Revisar protótipos de baixa fidelidade Realizar avaliação heurística dos protótipos de alta fide. Validar personas com painéis Validar cenários com vídeo ilustrado Validar cenários com encenações 6 7 8 9 10

18. F AV IHC no SAMBA: Atividades de V&V Revisão dos protótipos de baixa fidelidade Avaliação heurística dos protótipos de alta fidelidade 6 7 Requisitos e Soluções de Projetos

19. F AV IHC no SAMBA: Atividades de V&V Validação das personas com painéis Validação dos cenários com vídeo ilustrado Validação dos cenários com encenações Edição do vídeo ilustrado Requisitos e Soluções de Projetos 8 9 10

20. Resumo das atividades de V&V aplicadas no SAMBA: F AV IHC no SAMBA: Atividades de V&V Necessidades Sistema Produtos Requisitos e Soluções de Projetos Qualidade Externa Qualidade Interna Qualidade Interna Qualidade em uso Revisar protótipos de baixa fidelidade Realizar avaliação heurística dos protótipos de alta fide. Validar personas com painéis Validar cenários com vídeo ilustrado Validar cenários com encenações 6 7 8 9 10 Realizar inspeção “ad hoc” de usabilidade Realizar teste funcional 11 12 Revisar individualmente Revisar em grupo Realizar workshop Realizar encenações Realizar brainstorm 1 2 3 4 5

21. F AV IHC no SAMBA: Atividades de V&V Aplicação Photo Gallery “ antes” da Verificação Aplicação Photo Gallery “ depois” da Verificação Inclusão de labels Formatação dos textos Inclusão de realce Inclusão de setas indicativas Relatório técnico com os resultados da inspeção “ ad hoc” de usabilidade . 11 Produtos

22. Exemplos de “ bugs ” encontrados: Duplicação de páginas; Botões inoperantes; Tempo de resposta; Ausência de funcionalidades; Textos e imagens perdidas. F AV IHC no SAMBA: Atividades de V&V Relatório técnico com os resultados dos testes funcionais dos produtos gerados Teste Funcional em um ambiente simulado Produtos 12

23. Resumo das atividades de V&V aplicadas no SAMBA: F AV IHC no SAMBA: Atividades de V&V Necessidades Sistema Produtos Requisitos e Soluções de Projetos Qualidade em uso Qualidade Interna Qualidade Interna Qualidade Externa Realizar workshop Observar o uso Aplicar questionário Realizar grupo focal Realizar inspeção “ad hoc” de usabilidade 13 14 15 16 17 Revisar protótipos de baixa fidelidade Realizar avaliação heurística dos protótipos de alta fide. Validar personas com painéis Validar cenários com vídeo ilustrado Validar cenários com encenações 6 7 8 9 10 Revisar individualmente Revisar em grupo Realizar workshop Realizar encenações Realizar brainstorm 1 2 3 4 5 Realizar inspeção “ad hoc” de usabilidade Realizar teste funcional 11 12

24. Exemplos de “ ajustes ” finais: Alinhamentos; Tamanho de fontes; Tradução de alguns labels; Criação de um novo template de conteúdo. F AV IHC no SAMBA: Atividades de V&V Inspeção “ ad ho c” em grupo 13 Sistema

25. F AV IHC no SAMBA: Atividades de V&V Observação do uso ( checklist ) Aplicação de Questionário Workshop de apresentação das aplicações Realização de Grupo Focal Sistema 14 17 15 16

26. Resultados obtidos Ampliação do entendimento dos usuários e do ambiente em que estariam envolvidos e utilizariam o sistema; Sugestões de melhorias e problemas identificados; Opiniões dos usuários, respostas dos questionários, fotos, vídeos utilizados na melhoria do produto; Expectativas dos usuários alinhadas ao SAMBA. Para a melhoria do produto:

27. Resultados obtidos O framework auxiliou no processo de conhecimento dos usuários e de suas necessidades desde o início do ciclo de vida do sistema, além de favorecer a integração de uma equipe multidisciplinar ; As atividades de avaliação realizadas desde o início do processo de desenvolvimento diminuíram o retrabalho; O framework incentivou equipes de avaliadores a utilizarem diferentes técnicas de avaliação ; Utilização de técnicas de avaliação sobre experiências do usuário , diminuíram os riscos de o projeto não atender às necessidades dos usuários. Para a melhoria do processo:

28. Definição de um framework que considera atividades de Ver & Val com diferentes objetivos de qualidade ( interna, externa e em uso – ISO/IEC 9126 ); Mapeamento de técnicas de avaliação com as áreas de Eng. de Software, Eng. de Usabilidade, Eng. Semiótica e User Experience ( tabela 1 ); Definição e demonstração de técnicas “lúdicas” de avaliação, a exemplo de Encenações, Vivências com materiais alternativos e Diários; Elaboração de uma lista de técnicas de V&V com pontos positivos e negativos baseados nas experiências relatadas neste trabalho (descrito na dissertação). Contribuições

29. Trabalhos futuros Desenvolver um ambiente web de suporte ao framework; Elaborar uma estratégia de análise e seleção das técnicas de avaliação adequadas para um determinado projeto; Analisar a aderência do framework proposto aos modelos CMMI e MPsBr.

30. Publicações relacionadas ao F AV IHC FURTADO, E., CARVALHO, F. A. G., SCHILLING, A., FALCÃO, D., SOUSA, K., FAVA, F. Projeto de Interfaces de Usuário para a Televisão Digital Brasileira , SIBGRAPI 2005 – Simpósio Brasileiro de Computação Gráfica e Processamento de Imagens. Natal, RN, 2005. FURTADO, E., F. CARVALHO, K. SOUSA, SCHILLING, A., FALCÃO, D. e FAVA, F . Interatividade na Televisão Digital Brasileira: Estratégias de Desenvolvimento das Interfaces , Simpósio Brasileiro de Telecomunicações. São Paulo: SBC, 2005. SCHILLING, Albert; MADEIRA, Kelma; DONEGAN, Paula; SOUSA, Kênia; FURTADO, Elizabeth; FURTADO, Vasco. An Integrated Method for Designing User Interfaces Based on Tests, In: ICSE 2005 – Workshop on Advancesi in Model-Based Software Testing. Missouri, 2005. SCHILLING, Albert. Upi Test – Um Processo de Avaliação de Interface Baseado na Integração das Engenharias de Software, Usabilidade e Semiótica . 100f. Monografia (Graduação). Orientação: Elizabeth Furtado. Universidade de Fortaleza - UNIFOR, CCT, Fortaleza, 2005. SOUSA, Kênia; SCHILLING, Albert; FURTADO, Elizabeth . Integrating Usability, Semiotic, and Software Engineering into a Method for Evaluating User Interfaces , In: DASSO, Aristides; FUNES, Ana.(Org.). Verification, Validation and Testing in Software Engineering. San Luis, Idea Group Inc. 2007. FURTADO, E., SCHILLING, A., FAVA, F., CAMARGO, L. Promoting Communication and Participation Through Enactments of Interaction Design Solutions - A study case for validating requirements for Digital TV . In: International Conference on Enterprise Information Systems - ICEIS, Barcelona, 2008. FURTADO, E., SCHILLING, A., CAMARGO, L. Stories and Scenarios Working with Culture-Art and Design in a Cross-Cultural Context . In: International Conference on Enterprise Information Systems - ICEIS, Milão, Itália, 2009.

31. Laboratório de estudos do Usuário e da Qualidade do Uso de Sistemas Obrigado! Daniel, Albert, Lana, Fabrício, Kelma, Marília, Patrícia, Beth e Pedro