A contribuição da história oral e dos testes de campo  na pesquisa de arquitetura de informação Luiz AGNER Laboratório de Ergonomia e Usabilidade Pesquisa de doutorado, PUC-Rio
Apresentação Designer e ilustrador Tecnologista em informações do IBGE Professor (UniverCidade-Rio) Doutorando em Design (PUC-Rio)
Objeto
Introdução “ O IBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e – principalmente - informação em conhecimento.”
Introdução
Problema
Problema Comunidade do Orkut - “para todos os pesquisadores, universitários ou não, que: sentem calafrios quando precisam procurar algum dado no site; sabem que o lema do site é "quem procura NUNCA acha!"; sabem que é mais fácil descobrir qualquer informação lendo borra de café do que acessando o site; na hipótese de encontrar a planilha desejada, ela provavelmente fará seu computador trancar; reconhecem o mérito dos pesquisadores do instituto mas quase nunca acham os dados pesquisados por eles.”
Pesquisa de AI (ROSENFELD e MORVILLE)
Pesquisa de AI Contexto (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos
Pesquisa de AI Contexto Conteúdo (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos Documentos, formatos/tipos, objetos, metadados, estrutura existente
Pesquisa de AI Contexto Usuários Conteúdo (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos Perfil dos usuários, identificação das audiências, tarefas, necessidades, comportamento de busca de informação, experiência, vocabulário Documentos, formatos/tipos, objetos, metadados, estrutura existente
Arquitetura de informação Definições de AI AI é a atividade que combina a aplicação de esquemas de navegação, de organização e de rotulagem dentro de um sistema informacional. AI é o Design estrutural de um espaço de informação com o objetivo de facilitar as tarefas e o acesso intuitivo aos conteúdos.
Arquitetura de informação AI é a arte e a ciência de estruturar e classificar  websites  e intranets para auxiliar as pessoas a encontrar e a gerenciar informação.  AI é uma disciplina emergente e uma comunidade de prática profissional.   (Morville)
Arquitetura de informação Papéis do arquiteto: Clarificar a missão e a visão do  site  fazendo o balanceamento entre necessidades da organização e as necessidades de seus usuários. Determinar qual o conteúdo e a funcionalidade que o  site  conterá. Especificar como usuários encontrarão informação no  site , por meio da definição da sua organização, navegação, rotulagem e sistemas de busca.
Arquitetura de informação Componentes da AI: Sistemas de Organização   – como é apresentada a organização e a categorização do conteúdo. Sistemas de Rotulação   – signos verbais (terminologia) e visuais (icônicos). Sistemas de Navegação   – formas de o usuário se mover através do espaço. Sistemas de Busca   – define as perguntas que o usuário pode fazer e o conjunto de respostas do banco de dados.
Ciência da informação
O método Concepções filosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003). Existem duas grandes abordagens: a  quantitativa  e a  qualitativa .
O método Abordagem quantitativa -  caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos.  O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes.  Os critérios são a verificação, a demonstração, os testes e a lógica matemática.
O método Abordagem qualitativa  - não emprega instrumentos estatísticos como base para a análise.  É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais.  Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa  visão holística .
O método Há domínios quantificáveis e outros qualificáveis. Segundo RICHARDSON (1999), as investigações que se voltam para uma  análise qualitativa  têm como objeto de estudo situações  complexas  ou bastante  particulares  (como é o caso do objeto de estudo deste trabalho).  Estudos que empregam a metodologia  qualitativa  podem descrever a complexidade dos problemas, analisar a interação de variáveis, compreender e classificar processos dinâmicos vividos por grupos sociais, e contribuir no processo de mudança.
O método História oral Testes de usabilidade no campo
História oral A história oral - como método de pesquisa - se revela importante instrumento para compreensão das construções das estratégias de ação e das representações, de grupos ou de indivíduos, em uma dada sociedade. FERREIRA, Marieta (coord.)  “Entrevistas: abordagens e usos da história oral”.  Ed.FGV, 1994.
História oral É utilizada no registro da história de grandes empresas e de organizações governamentais. O registro oral mostra-se a única possibilidade de recuperar um passado que - apesar de recente - deixou poucos traços.  DIAS, José L. Mattos. “Entrevistas: abordagens e usos da história oral”.  Ed.FGV, 1994.
História oral Permite abordar o mundo fechado da burocracia “de dentro”, rachando a fachada de neutralidade e de racionalidade, que busca isolá-lo do público “externo”.  Motta, Marly Silva. “Entrevistas: abordagens e usos da história oral”.  Ed.FGV, 1994.
História oral Privilegia a recuperação do vivido conforme concebido por quem o viveu.  É um diálogo entre entrevistado e entrevistadores, uma construção e uma interpretação do passado, atualizada através da linguagem falada.  Não é fator negativo o fato de o depoente poder “distorcer” a realidade, ter “falhas” de memória ou “errar” em seu relato. (ALBERTI).
História oral A escolha de entrevistados não é orientada por critérios quantitativos (amostragens), mas pela posição do entrevistado no grupo ou por sua experiência.  Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer depoimentos significativos.  O processo de seleção de entrevistados se aproxima da antropologia, tomados não como unidades estatísticas mas como unidades qualitativas.
História oral 16 entrevistas (2004 – 2007).   Técnicos Conteudistas Designers Gerentes Profissionais de atendimento ao usuário
História oral “ (...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)” Alcides Braga – Administrador da Loja Virtual
História oral “ (...) O que a Internet permitiu (...) é justamente colocar, democraticamente, este maior banco de dados sobre o Brasil à disposição de todo o público. (...) Então, acho, é mais um papel de cumprimento da missão do IBGE - em levar a informação à sociedade.” Francisco Alchorne - Jornalista
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Conteúdo
Testes de usabilidade O  feedback  vivo de usuários operando tarefas reais Processo empírico de aprender a partir dos usuários, sobre a usabilidade de um produto, observando-os durante a sua utilização. (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).
Testes de usabilidade Registrados em vídeo ou em áudio, usuários interagem com o sistema, em condições controladas, para checar o sucesso das interfaces, observando dados comportamentais.
Testes de usabilidade NIELSEN propôs testes com melhor relação custo-benefício, utilizando entre quatro e cinco usuários  dispensa das  gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.
Testes de usabilidade Participantes: Os objetivos específicos de cada teste definem os participantes e as tarefas executadas.  Os participantes devem representar usuários reais: membros do grupo que utiliza ou que vai utilizar o produto.  Os participantes devem executar tarefas reais.
Testes de campo Laboratório portátil: Notebook Internet Explorer 6. Webcam. Mouse. Headphone  com microfone Software  de captura de telas  Câmera digital   Gravador analógico Acesso wireless à Internet  Questionários e documentação
Testes de campo Vantagens:   ir ao usuário em vez de convidá-lo a vir até ele;  observar o ambiente real onde o usuário trabalha ou vive;  observar o usuário com todas as interrupções e distrações do ambiente;  verificar os artefatos criados pelos usuários para as tarefas;  pode acessar documentações específicas.
Testes de campo Locais – Campi universitários do Rio, residências e locais de trabalho  dos pesquisadores. Variáveis controladas  – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes  – Inúmeras, típicas dos testes de campo.
Testes de campo Locais – Campi universitários do Rio, residências e locais de trabalho  dos pesquisadores. Variáveis controladas  – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes  – Inúmeras, típicas dos testes de campo.
Testes de campo Locais – Campi universitários do Rio, residências e locais de trabalho  dos pesquisadores. Variáveis controladas  – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes  – Inúmeras, típicas dos testes de campo.
Tarefa 1 “ A partir da home page do portal IBGE, identifique em que estado do Brasil reside a maior concentração de pessoas idosas (com mais de 60 anos)”.
Tarefa 2 “ A partir da home page do portal IBGE, descubra em que bairro da cidade de Recife reside a maior concentração de cidadãos da terceira idade”.
Testes de campo Exemplo de registro Protocolos de verba- lização - concorrente - retrospectivo
Análise dos dados Após o registro e a categorização das descobertas, procurou-se determinar a causa dos problemas de usabilidade, avaliou-se seu impacto individual e recomendaram-se soluções.  O resultado do processo levou ao estabelecimento de um conjunto de  critérios heurísticos específicos  para a avaliação do portal IBGE.
Análise dos dados Estes critérios heurísticos foram consubstanciados em uma lista de verificação ( checklist ). Checklist  foi submetida a validação junto à uma equipe com grande experiência no desenvolvimento do portal IBGE.
Participantes
Participantes
Participantes
Participantes
Participantes
Participantes
Participantes
Resultados
Resultados
Resultados
Resultados
Resultados
Resultados
Avaliação da técnica Participante 10  – Achou “ótimo”. Considerou o procedimento de “pensar alto” para gravação válido pois às vezes “fazemos coisas sem perceber”. Participante 20  – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas.  Participante 22   – Avaliou como “bastante completo”. Considera que há diferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”. Participante 26  –  Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.
Conclusões parciais Os problemas relacionam-se largamente à ineficiência dos mecanismos de busca, à taxonomia aparentemente ilógica ou incompleta, à falta de clareza dos rótulos e links, e aos problemas de redação – todos problemas típicos de arquitetura de informação.
Obrigado. Luiz Agner [email_address] www.agner.com.br
Divulgação de livro ERGODESIGN  E ARQUITETURA DE INFORMAÇÃO: Trabalhando Com o Usuário Ed. Quartet, 2006 Luiz Agner Saraiva, Submarino e 2AB

Palestra - Arquitetura de Informação e Usabilidade

  • 1.
    A contribuição dahistória oral e dos testes de campo na pesquisa de arquitetura de informação Luiz AGNER Laboratório de Ergonomia e Usabilidade Pesquisa de doutorado, PUC-Rio
  • 2.
    Apresentação Designer eilustrador Tecnologista em informações do IBGE Professor (UniverCidade-Rio) Doutorando em Design (PUC-Rio)
  • 3.
  • 4.
    Introdução “ OIBGE é o órgão oficial de estatísticas do país, que transforma dados em informação e – principalmente - informação em conhecimento.”
  • 5.
  • 6.
  • 7.
    Problema Comunidade doOrkut - “para todos os pesquisadores, universitários ou não, que: sentem calafrios quando precisam procurar algum dado no site; sabem que o lema do site é "quem procura NUNCA acha!"; sabem que é mais fácil descobrir qualquer informação lendo borra de café do que acessando o site; na hipótese de encontrar a planilha desejada, ela provavelmente fará seu computador trancar; reconhecem o mérito dos pesquisadores do instituto mas quase nunca acham os dados pesquisados por eles.”
  • 8.
    Pesquisa de AI(ROSENFELD e MORVILLE)
  • 9.
    Pesquisa de AIContexto (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos
  • 10.
    Pesquisa de AIContexto Conteúdo (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos Documentos, formatos/tipos, objetos, metadados, estrutura existente
  • 11.
    Pesquisa de AIContexto Usuários Conteúdo (ROSENFELD e MORVILLE) Objetivos da organização, políticas, cultura, tecnologia e recursos humanos Perfil dos usuários, identificação das audiências, tarefas, necessidades, comportamento de busca de informação, experiência, vocabulário Documentos, formatos/tipos, objetos, metadados, estrutura existente
  • 12.
    Arquitetura de informaçãoDefinições de AI AI é a atividade que combina a aplicação de esquemas de navegação, de organização e de rotulagem dentro de um sistema informacional. AI é o Design estrutural de um espaço de informação com o objetivo de facilitar as tarefas e o acesso intuitivo aos conteúdos.
  • 13.
    Arquitetura de informaçãoAI é a arte e a ciência de estruturar e classificar websites e intranets para auxiliar as pessoas a encontrar e a gerenciar informação. AI é uma disciplina emergente e uma comunidade de prática profissional. (Morville)
  • 14.
    Arquitetura de informaçãoPapéis do arquiteto: Clarificar a missão e a visão do site fazendo o balanceamento entre necessidades da organização e as necessidades de seus usuários. Determinar qual o conteúdo e a funcionalidade que o site conterá. Especificar como usuários encontrarão informação no site , por meio da definição da sua organização, navegação, rotulagem e sistemas de busca.
  • 15.
    Arquitetura de informaçãoComponentes da AI: Sistemas de Organização – como é apresentada a organização e a categorização do conteúdo. Sistemas de Rotulação – signos verbais (terminologia) e visuais (icônicos). Sistemas de Navegação – formas de o usuário se mover através do espaço. Sistemas de Busca – define as perguntas que o usuário pode fazer e o conjunto de respostas do banco de dados.
  • 16.
  • 17.
    O método Concepçõesfilosóficas e epistemológicas diferentes sustentam paradigmas metodológicos diferentes (GRESLER, 2003). Existem duas grandes abordagens: a quantitativa e a qualitativa .
  • 18.
    O método Abordagemquantitativa - caracteriza-se pela formulação de hipóteses, definições operacionais de variáveis, quantificação na coleta de dados e utilização de tratamentos estatísticos. O modelo quantitativo estabelece hipóteses que exigem uma relação entre causa e efeito e apóia conclusões em dados estatísticos, comprovações e testes. Os critérios são a verificação, a demonstração, os testes e a lógica matemática.
  • 19.
    O método Abordagemqualitativa - não emprega instrumentos estatísticos como base para a análise. É utilizada quando se busca descrever a complexidade de determinado problema - não envolvendo manipulação de variáveis ou estudos experimentais. Ela contrapõe-se à abordagem quantitativa, uma vez que busca levar em consideração todos os componentes de uma situação e suas interações e influências recíprocas, numa visão holística .
  • 20.
    O método Hádomínios quantificáveis e outros qualificáveis. Segundo RICHARDSON (1999), as investigações que se voltam para uma análise qualitativa têm como objeto de estudo situações complexas ou bastante particulares (como é o caso do objeto de estudo deste trabalho). Estudos que empregam a metodologia qualitativa podem descrever a complexidade dos problemas, analisar a interação de variáveis, compreender e classificar processos dinâmicos vividos por grupos sociais, e contribuir no processo de mudança.
  • 21.
    O método Históriaoral Testes de usabilidade no campo
  • 22.
    História oral Ahistória oral - como método de pesquisa - se revela importante instrumento para compreensão das construções das estratégias de ação e das representações, de grupos ou de indivíduos, em uma dada sociedade. FERREIRA, Marieta (coord.) “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  • 23.
    História oral Éutilizada no registro da história de grandes empresas e de organizações governamentais. O registro oral mostra-se a única possibilidade de recuperar um passado que - apesar de recente - deixou poucos traços. DIAS, José L. Mattos. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  • 24.
    História oral Permiteabordar o mundo fechado da burocracia “de dentro”, rachando a fachada de neutralidade e de racionalidade, que busca isolá-lo do público “externo”. Motta, Marly Silva. “Entrevistas: abordagens e usos da história oral”. Ed.FGV, 1994.
  • 25.
    História oral Privilegiaa recuperação do vivido conforme concebido por quem o viveu. É um diálogo entre entrevistado e entrevistadores, uma construção e uma interpretação do passado, atualizada através da linguagem falada. Não é fator negativo o fato de o depoente poder “distorcer” a realidade, ter “falhas” de memória ou “errar” em seu relato. (ALBERTI).
  • 26.
    História oral Aescolha de entrevistados não é orientada por critérios quantitativos (amostragens), mas pela posição do entrevistado no grupo ou por sua experiência. Entrevistados estão entre os que participaram, viveram, presenciaram ou se inteiraram de ocorrências e que possam fornecer depoimentos significativos. O processo de seleção de entrevistados se aproxima da antropologia, tomados não como unidades estatísticas mas como unidades qualitativas.
  • 27.
    História oral 16entrevistas (2004 – 2007). Técnicos Conteudistas Designers Gerentes Profissionais de atendimento ao usuário
  • 28.
    História oral “(...) A busca no portal é [realizada pela] pessoa que está fazendo uma pesquisa, que vai ali ter uma resposta no [site] Cidades@. Ou uma criança que vai lá no site Teen e consegue fazer o levantamento dele. Agora, na Loja Virtual, você já tem um perfil de empresas, de consultorias, de pesquisadores (...)” Alcides Braga – Administrador da Loja Virtual
  • 29.
    História oral “(...) O que a Internet permitiu (...) é justamente colocar, democraticamente, este maior banco de dados sobre o Brasil à disposição de todo o público. (...) Então, acho, é mais um papel de cumprimento da missão do IBGE - em levar a informação à sociedade.” Francisco Alchorne - Jornalista
  • 30.
  • 31.
  • 32.
  • 33.
  • 34.
  • 35.
  • 36.
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
  • 42.
  • 43.
    Testes de usabilidadeO feedback vivo de usuários operando tarefas reais Processo empírico de aprender a partir dos usuários, sobre a usabilidade de um produto, observando-os durante a sua utilização. (RUBIN, 1994; DUMAS & REDISH, 1994; BARNUM, 2002).
  • 44.
    Testes de usabilidadeRegistrados em vídeo ou em áudio, usuários interagem com o sistema, em condições controladas, para checar o sucesso das interfaces, observando dados comportamentais.
  • 45.
    Testes de usabilidadeNIELSEN propôs testes com melhor relação custo-benefício, utilizando entre quatro e cinco usuários dispensa das gravações em laboratórios, para se encaixar dentro dos orçamentos das empresas.
  • 46.
    Testes de usabilidadeParticipantes: Os objetivos específicos de cada teste definem os participantes e as tarefas executadas. Os participantes devem representar usuários reais: membros do grupo que utiliza ou que vai utilizar o produto. Os participantes devem executar tarefas reais.
  • 47.
    Testes de campoLaboratório portátil: Notebook Internet Explorer 6. Webcam. Mouse. Headphone com microfone Software de captura de telas Câmera digital Gravador analógico Acesso wireless à Internet Questionários e documentação
  • 48.
    Testes de campoVantagens: ir ao usuário em vez de convidá-lo a vir até ele; observar o ambiente real onde o usuário trabalha ou vive; observar o usuário com todas as interrupções e distrações do ambiente; verificar os artefatos criados pelos usuários para as tarefas; pode acessar documentações específicas.
  • 49.
    Testes de campoLocais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores. Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
  • 50.
    Testes de campoLocais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores. Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
  • 51.
    Testes de campoLocais – Campi universitários do Rio, residências e locais de trabalho dos pesquisadores. Variáveis controladas – Acesso wireless, hardware, software, público-alvo, tarefas. Variáveis intervenientes – Inúmeras, típicas dos testes de campo.
  • 52.
    Tarefa 1 “A partir da home page do portal IBGE, identifique em que estado do Brasil reside a maior concentração de pessoas idosas (com mais de 60 anos)”.
  • 53.
    Tarefa 2 “A partir da home page do portal IBGE, descubra em que bairro da cidade de Recife reside a maior concentração de cidadãos da terceira idade”.
  • 54.
    Testes de campoExemplo de registro Protocolos de verba- lização - concorrente - retrospectivo
  • 55.
    Análise dos dadosApós o registro e a categorização das descobertas, procurou-se determinar a causa dos problemas de usabilidade, avaliou-se seu impacto individual e recomendaram-se soluções. O resultado do processo levou ao estabelecimento de um conjunto de critérios heurísticos específicos para a avaliação do portal IBGE.
  • 56.
    Análise dos dadosEstes critérios heurísticos foram consubstanciados em uma lista de verificação ( checklist ). Checklist foi submetida a validação junto à uma equipe com grande experiência no desenvolvimento do portal IBGE.
  • 57.
  • 58.
  • 59.
  • 60.
  • 61.
  • 62.
  • 63.
  • 64.
  • 65.
  • 66.
  • 67.
  • 68.
  • 69.
  • 70.
    Avaliação da técnicaParticipante 10 – Achou “ótimo”. Considerou o procedimento de “pensar alto” para gravação válido pois às vezes “fazemos coisas sem perceber”. Participante 20 – Considerou o método utilizado “perfeitamente válido” e um “modelo aplicável” em outras pesquisas. Participante 22 – Avaliou como “bastante completo”. Considera que há diferenças no ato de navegar, quando as ações estão sendo gravadas e que, fora do ambiente de teste, sua navegação seria “mais ágil”. Participante 26 – Relatou inibição pelo fato de ser observada. Sentiu-se “pressionada” e isto “interferiu de forma negativa na sua performance”.
  • 71.
    Conclusões parciais Osproblemas relacionam-se largamente à ineficiência dos mecanismos de busca, à taxonomia aparentemente ilógica ou incompleta, à falta de clareza dos rótulos e links, e aos problemas de redação – todos problemas típicos de arquitetura de informação.
  • 72.
    Obrigado. Luiz Agner[email_address] www.agner.com.br
  • 73.
    Divulgação de livroERGODESIGN E ARQUITETURA DE INFORMAÇÃO: Trabalhando Com o Usuário Ed. Quartet, 2006 Luiz Agner Saraiva, Submarino e 2AB