SlideShare uma empresa Scribd logo
1 de 33
Baixar para ler offline
1
Teresa Vasconcelos e
J. António Moreira
15 de julho de 2013
O DESENHO, DESENVOLVIMENTO E AVALIAÇÃO DA
USABILIDADE DE UM PROTÓTIPO EDUCATIVO MULTIMÉDIA
PARA A DISCIPLINA DE PORTUGUÊS
2
Análise, Desenho e Desenvolvimento do Protótipo Multimédia Educativo
Introdução
Problema, objetivos, metodologia e procedimentos da investigação
Análise
Desenho
Usabilidade
Avaliação da usabilidade
Conclusões
Apresentação do estudo
Introdução
3
Os recursos educativos multimédia têm o potencial de fornecer acesso à educação para
todos, por isso, o desenvolvimento de um protótipo adaptado a um número muito elevado
de estudantes e que seja potenciador da aprendizagem é um grande desafio.
A usabilidade, especificamente os testes conduzidos com utilizadores, constitui uma
importante modalidade de avaliação de qualquer produto multimédia, sobretudo no caso
de software educativo, porque estes testes permitem detetar problemas que, de outro
modo, não seriam facilmente encontrados pelo designer do protótipo.
4
O Projeto: “QIMTERATIVO DE PORTUGUÊS”
Para criar um curso, ou um módulo de um curso, Allen (2007, 2006, 2003) e Clark
(2000) referem cinco passos essenciais: Analisar; Desenhar; Desenvolver;
Implementar e Avaliar.
Figura 1 - Adaptado de Allen, 2003 e Clark, 2000
5
O Projeto
O “QIMTERATIVO DE PORTUGUÊS” tem por objetivos:
aumentar a frequência de utilização dos QIM;
potenciar uma exploração mais diversificada dos QIM;
propiciar momentos pedagógicos atrativos para os alunos;
avaliar a conceção, desenvolvimento e implementação de um protótipo multimédia;
analisar se os materiais estruturados nos QIM (protótipo multimédia /elaborados pelos professores),
promovem o alcance das metas de aprendizagem definidas para a disciplina de Português.
6
Ponto de Partida
Constatámos:
(i) ensino centrado na transmissão de conhecimentos desligados da realidade
social e tecnológica;
(ii) necessidade de capacitar os professores para o desenvolvimento de
mudanças na disciplina de Português;
(iii) falta de recursos pedagógicos para QIM.
7
A metodologia utilizada no processo de criação do protótipo multimédia
QIMTERATIVO de Português foi a Development Research
(i) Investigação
Preliminar;
(ii)
Fundamentação
Teórica,
(iii) Testagem
das soluções no
terreno
(iv)
Documentação
sistemática, aná
lise e reflexão
sobre o
processo de
conceção.
Refinamento dos problemas, soluções e métodos
Metodologia de Investigação
8
Análise - Instrumentos de recolha de dados
População-Alvo (Professores de Português)
Todos os Professores de Português do AEA
Inquérito por questionário. Foram validados
20 inquéritos.
Grelhas de observação.
Entrevistas não-estruturadas (focus group).
9
Análise
Grupo de estudo (Professores de Português)
Pré-requisitos:
• Nível de qualificação na utilização das ferramentas de Tecnologias de
Informação e Comunicação (TIC);
• Possuírem alguns conhecimentos na utilização dos Quadros Interativos
Multimédia;
• A utilização dos QIM na prática docente (uso deste software no processo de
ensino-aprendizagem).
10
Desenho
O Desenho é o processo onde pretendemos especificar a
forma e sequência dos conteúdos a serem
apresentados, definir o conteúdo do projeto, determinar a
estrutura das atividades e apresentar tarefas conducentes à
avaliação.
11
Desenho
1. Definição dos objetivos.
2. Recolha e seleção de conteúdos.
3. Definição da interface
4. Criação da versão “alpha”.
5. Avaliação Heurística.
Passos seguidos no desenho do protótipo:
12
Desenho do protótipo
O desenvolvimento do protótipo multimédia teve como linhas orientadoras o modelo de
investigação e desenvolvimento ADDIA:
Analisar
Desenhar
Desenvolver
Implementar Avaliar
Este modelo consiste num processo dinâmico e interativo entre as fases que o constituem
permitindo o constante melhoramento através da avaliação contínua do processo de design.
13
Desenho - O Protótipo de Português
Menu de
Navegação
pelos
vários
conteúdos
Título da disciplina
Conteúdo
Formativo
Desenho - Protótipo
a) Estrutura
b) Navegação
c) Interface e layout
d) Rapidez de acesso
e) Níveis de interatividade
f) Informação
14
Usabilidade
Usabilidade é a “facilidade de utilização” ou o conhecimento necessário para fazer algo
funcionar.
Nielsen (1993) indica cinco critérios para medir a usabilidade:
• Fácil de aprender
• Eficiente para usar
• Fácil de lembrar
• Pouco sujeito a erros
• Agradável de usar
15
3 grandes objetivos do Protótipo
Objetivos do Protótipo Multimédia
Educativo – Allen (2007)
Experiências
de
aprendizagem
significativas
Experiências
de
aprendizagem
memoráveis
Experiências
de
aprendizagem
motivadoras
Resultados Mesuráveis
16
Usabilidade
• Avaliação Heurística: realizada por peritos, segundo parâmetros
definidos (10 heurísticas). Esta avaliação foi feita à versão alpha do
protótipo no final da fase de desenho.
• Avaliação com utilizadores: realizada com uma amostra de utilizadores
cujo perfil é semelhante ao do público-alvo. Este teste foi realizado na fase
de desenvolvimento.
17
• Para avaliar as 10 heurísticas (da Xerox - Heuristic Evaluation - A
System Checklist de Deniese Pierotti) foram efetuadas 68 subquestões
às quais os peritos poderiam responder Sim, Não ou Não Avaliado.
• Em cada uma destas subquestões o perito poderia, ainda, efetuar um
comentário.
A usabilidade
18
A Avaliação heurística
Resultados obtidos na avaliação heurística ao protótipo
Gráfico 1 - Distribuição das respostas das 10 heurísticas (versão alpha)
19
Desenvolver
Com base nos resultados das fases de análise e desenho,
nesta etapa foi produzida a versão beta do protótipo
multimédia educativo.
Após a correção dos erros apontados pelos peritos, detetados
na avaliação heurística, o designer instrucional avaliou o seu
protótipo através de testes de usabilidade com utilizadores.
20
Avaliação da Usabilidade
Recolha de dados:
• inquérito por questionário (guião de participação) constituído por três partes:
a. identificação das características dos participantes
b. guião de utilização do protótipo com uma série de tarefas a realizar
c. questionário com treze questões de resposta fechada e uma de resposta
aberta
d. observação, de forma a aferir os resultados dos utilizadores na
execução de tarefas definidas (registo numa grelha), a duração da
realização do teste e o registo de ocorrências durante o teste (erros,
dúvidas, etc.). 21
Avaliação da Usabilidade
Condições de realização do teste de usabilidade
• O Monitor
De acordo com Rubin (1994) será necessário abordar o como, o
quando, o onde, a quem, o porquê e o quê do teste de usabilidade.
• Número de Participantes Cinco participantes são capazes de
expor cerca de 80 por cento dos erros de um protótipo (Nielsen,
2000) no entanto a nossa amostra foi constituída por (n=7, média
de idades de 40,1% anos).
22
Avaliação da Usabilidade
Os utilizadores que participaram no teste da usabilidade do
protótipo deveriam ter as mesmas características dos
utilizadores finais, estudadas na fase da análise.
Podemos classificar estas características quanto a:
• atributos pessoais (idade, género, habilitações
académicas, etc.);
• quanto à experiência dos utilizadores.
23
Avaliação da Usabilidade - Realização do teste de usabilidade
Os procedimentos gerais para testes de usabilidade de acordo com Dumas
e Redish (1993) e Rubin (1994) são os seguintes:
(i) planificação do teste;
(ii) seleção e recrutamento dos participantes;
(iii) preparação dos materiais para além do software que se pretende testar;
(iv) realização do teste de usabilidade;
(v) diálogo com o participante;
(vi) compilação e análise de dados e
(vii)relatório final.
24
Avaliação da Usabilidade - Recolha e tratamento dos dados
Todos os problemas encontrados apresentaram um grau de severidade
cosmético ou sem importância, concretamente nas heurísticas um, três,
cinco e nove - resultados do teste de avaliação da usabilidade
considerando uma escala de 0 (sem importância) a 4 (catastrófico).
Tabela 2 - Grau de severidade dos problemas de usabilidade
25
Avaliação da Usabilidade - Recolha e tratamento dos dados
Tabela 1 - Análise estatística das respostas às dez heurísticas (versão alpha)
26
Avaliação da Usabilidade - Recolha e tratamento dos dados
Tabela 3 - Avaliação da versão beta do protótipo
27
Avaliação da Usabilidade - Análise dos dados
Considerando os cinco critérios apresentados por Nielsen (1993) para medir a
usabilidade e com base nos resultados obtidos podemos concluir que o
protótipo é:
• Fácil de aprender (Easy to learn): as participantes, em
média, terminaram as tarefas em 37 minutos, quando o tempo previsto era de
50 minutos. Apenas uma participante necessitou de 45 minutos. 95,3%
Sentiram-se sempre à-vontade a interagir com o protótipo enquanto 4,6%
revelaram, por vezes, algumas dificuldades.
28
Avaliação da Usabilidade - Análise dos dados
• Eficiente para usar (Efficiency):a avaliação à realização das tarefas foi
muito positiva, com uma aprovação média de 78 pontos em 100. Todos os
participantes indicaram que a informação fornecida pelo protótipo foi sempre
fácil de entender e que a informação disponibilizada pelo protótipo foi útil para
completar as tarefas.
• Fácil de lembrar (Memorability): este critério não pôde ser avaliado
convenientemente porque o teste só foi realizado uma única vez. No entanto,
sendo que uma das condições para que o protótipo seja fácil de memorizar é
ter um bom design, a avaliação obtida neste parâmetro (81%) permite-nos
pensar que o protótipo possui estas características.
29
Avaliação da Usabilidade - Análise dos dados
• Pouco sujeito a erros (Errors): 71% das utilizadoras conseguiram
sempre recuperar dos erros que cometeram. Pela observação direta
pudemos constatar que os erros que existiram deveram-se,
principalmente, a distrações (fechar janela do browser em vez do
separador, por exemplo).
• Agradável de usar (Satisfaction): 86% das participantes
conseguiram sempre completar eficazmente as tarefas e, na
globalidade, ficaram totalmente satisfeitas.
30
Avaliação da Usabilidade - Análise dos dados
Apesar desta avaliação da usabilidade ter sido francamente
positiva, um produto deste tipo poderá sempre sofrer
ajustes. Futuramente, poderemos atualizar a aplicação
complementando-a com novos módulos, caso as
características do público-alvo se alterem.
31
Conclusão
A necessidade de realizarmos os testes de avaliação de usabilidade evidencia uma clara
vantagem de reconhecimento de potenciais erros no protótipo multimédia, que podem ser
identificados e corrigidos pelos peritos e pelos utilizadores.
A multiplicidade de instrumentos de recolha de dados permitiu-nos certificar o desenho do
nosso protótipo.
Após a avaliação do “QIMTERATIVO de Português” junto de peritos (versão alpha) e de
utilizadores (versão beta) podemos comprovar que é fácil de aprender, fácil de usar e
satisfaz os utilizadores (Smith & Mayes, 1996), pelo que está pronto a ser aplicado com o
público-alvo e em contexto de ensino e de aprendizagem.
32
33
Muito Obrigada pela Vossa Atenção!
Apesar de fazermos a apologia do QIM em detrimento de outras
tecnologias, pensámos que caberá ao docente a seleção daquela que se
coadune melhor em função do público-alvo, dos conteúdos a abordar, das
estratégias a seguir e das atividades a implementar dentro do espaço sala de
aula.

Mais conteúdo relacionado

Mais procurados

Mta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEMta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEAlan Vasconcelos
 
Minicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesMinicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesUTFPR
 
7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidadeLuiz Agner
 
TDC2016POA | Trilha Education - Aprendizagem baseada em projetos: Uma experi...
TDC2016POA | Trilha Education -  Aprendizagem baseada em projetos: Uma experi...TDC2016POA | Trilha Education -  Aprendizagem baseada em projetos: Uma experi...
TDC2016POA | Trilha Education - Aprendizagem baseada em projetos: Uma experi...tdc-globalcode
 
Como criar um Mooc: guidelines de preparação para o ensino superior
Como criar um Mooc: guidelines de preparação para o ensino superiorComo criar um Mooc: guidelines de preparação para o ensino superior
Como criar um Mooc: guidelines de preparação para o ensino superiorNeuza Pedro
 
Uniinfo2010 introdução teste de software - priscila coelho blauth2
Uniinfo2010 introdução teste de software - priscila coelho blauth2Uniinfo2010 introdução teste de software - priscila coelho blauth2
Uniinfo2010 introdução teste de software - priscila coelho blauth2Priscila Coelho S. Blauth
 
Ferramentas para testes de software
Ferramentas para testes de softwareFerramentas para testes de software
Ferramentas para testes de softwareNorton Guimarães
 
Gerenciamento da Qualidade
Gerenciamento da QualidadeGerenciamento da Qualidade
Gerenciamento da QualidadeMarcelo Yamaguti
 
Os Rumos do Teste de Software
Os Rumos do Teste de SoftwareOs Rumos do Teste de Software
Os Rumos do Teste de Softwareandrevdrodrigues
 

Mais procurados (13)

Cesar.Edu Turma S2I
Cesar.Edu Turma S2ICesar.Edu Turma S2I
Cesar.Edu Turma S2I
 
Mta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDEMta1 aula-04 Framework DECIDE
Mta1 aula-04 Framework DECIDE
 
Minicurso Avaliação de Interfaces
Minicurso Avaliação de InterfacesMinicurso Avaliação de Interfaces
Minicurso Avaliação de Interfaces
 
7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade7. Variantes de testes de usabilidade
7. Variantes de testes de usabilidade
 
Qualidade de Software
Qualidade de SoftwareQualidade de Software
Qualidade de Software
 
Avaliação de Interface
Avaliação de InterfaceAvaliação de Interface
Avaliação de Interface
 
TDC2016POA | Trilha Education - Aprendizagem baseada em projetos: Uma experi...
TDC2016POA | Trilha Education -  Aprendizagem baseada em projetos: Uma experi...TDC2016POA | Trilha Education -  Aprendizagem baseada em projetos: Uma experi...
TDC2016POA | Trilha Education - Aprendizagem baseada em projetos: Uma experi...
 
Como criar um Mooc: guidelines de preparação para o ensino superior
Como criar um Mooc: guidelines de preparação para o ensino superiorComo criar um Mooc: guidelines de preparação para o ensino superior
Como criar um Mooc: guidelines de preparação para o ensino superior
 
Uniinfo2010 introdução teste de software - priscila coelho blauth2
Uniinfo2010 introdução teste de software - priscila coelho blauth2Uniinfo2010 introdução teste de software - priscila coelho blauth2
Uniinfo2010 introdução teste de software - priscila coelho blauth2
 
Ferramentas para testes de software
Ferramentas para testes de softwareFerramentas para testes de software
Ferramentas para testes de software
 
Gerenciamento da Qualidade
Gerenciamento da QualidadeGerenciamento da Qualidade
Gerenciamento da Qualidade
 
08 percurso cognitivo
08 percurso cognitivo08 percurso cognitivo
08 percurso cognitivo
 
Os Rumos do Teste de Software
Os Rumos do Teste de SoftwareOs Rumos do Teste de Software
Os Rumos do Teste de Software
 

Semelhante a Apresentação challenges13 teresa vista

Mta1 aula-05 Avaliação Heurística
Mta1 aula-05 Avaliação HeurísticaMta1 aula-05 Avaliação Heurística
Mta1 aula-05 Avaliação HeurísticaAlan Vasconcelos
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAndré Constantino da Silva
 
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...Roberto Lotufo
 
Elerning em contexto de Realidade Aumentada
Elerning em contexto de Realidade AumentadaElerning em contexto de Realidade Aumentada
Elerning em contexto de Realidade AumentadaCarlos Amorim
 
IHC - Abordagem geral, processos ou metodologia
IHC - Abordagem geral, processos ou metodologiaIHC - Abordagem geral, processos ou metodologia
IHC - Abordagem geral, processos ou metodologiaRos Galabo, PhD
 
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de Oliveira
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de OliveiraInteração Humano Computador Capítulo 10 Avaliação - Wellington Pinto de Oliveira
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de OliveiraWellington Oliveira
 
Qual aula_04__teste_e_inspecao_de_usabilidade
Qual  aula_04__teste_e_inspecao_de_usabilidadeQual  aula_04__teste_e_inspecao_de_usabilidade
Qual aula_04__teste_e_inspecao_de_usabilidadeRafael Lima
 
Um Esforço Combinado Na Padronização
Um Esforço Combinado Na PadronizaçãoUm Esforço Combinado Na Padronização
Um Esforço Combinado Na Padronizaçãowallyvianna
 
127290035 12-usabilidade-mai-2007
127290035 12-usabilidade-mai-2007127290035 12-usabilidade-mai-2007
127290035 12-usabilidade-mai-2007Marco Guimarães
 
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...Catarinas Design de Interação
 
Introdução aos fundamentos de teste de software 3
Introdução aos fundamentos de teste de software 3Introdução aos fundamentos de teste de software 3
Introdução aos fundamentos de teste de software 3Alain Ageev, SFPC
 
Palestra no auditório do IBGE - Arquitetura de Informação
Palestra no auditório do IBGE - Arquitetura de InformaçãoPalestra no auditório do IBGE - Arquitetura de Informação
Palestra no auditório do IBGE - Arquitetura de InformaçãoLuiz Agner
 
Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Oziel Moreira Neto
 
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...Lóren Kellen Carvalho Jorge
 
Testes de usabilidade
Testes de usabilidade Testes de usabilidade
Testes de usabilidade Laís Berlatto
 
Seminario Lep Ibge Slideshare
Seminario Lep Ibge SlideshareSeminario Lep Ibge Slideshare
Seminario Lep Ibge Slideshareguest5ccda
 

Semelhante a Apresentação challenges13 teresa vista (20)

Tic educa 2012
Tic educa 2012Tic educa 2012
Tic educa 2012
 
Mta1 aula-05 Avaliação Heurística
Mta1 aula-05 Avaliação HeurísticaMta1 aula-05 Avaliação Heurística
Mta1 aula-05 Avaliação Heurística
 
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuáriosAula 5 -Avaliação de interfaces de usuário - testes com usuários
Aula 5 -Avaliação de interfaces de usuário - testes com usuários
 
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...
Apresentação sobre experiência curso à distância sobre NumPy e Proc. Imagens ...
 
Elerning em contexto de Realidade Aumentada
Elerning em contexto de Realidade AumentadaElerning em contexto de Realidade Aumentada
Elerning em contexto de Realidade Aumentada
 
Framework
FrameworkFramework
Framework
 
IHC - Abordagem geral, processos ou metodologia
IHC - Abordagem geral, processos ou metodologiaIHC - Abordagem geral, processos ou metodologia
IHC - Abordagem geral, processos ou metodologia
 
2012 teresa tese-qim
2012 teresa tese-qim2012 teresa tese-qim
2012 teresa tese-qim
 
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de Oliveira
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de OliveiraInteração Humano Computador Capítulo 10 Avaliação - Wellington Pinto de Oliveira
Interação Humano Computador Capítulo 10 Avaliação - Wellington Pinto de Oliveira
 
Qual aula_04__teste_e_inspecao_de_usabilidade
Qual  aula_04__teste_e_inspecao_de_usabilidadeQual  aula_04__teste_e_inspecao_de_usabilidade
Qual aula_04__teste_e_inspecao_de_usabilidade
 
Um Esforço Combinado Na Padronização
Um Esforço Combinado Na PadronizaçãoUm Esforço Combinado Na Padronização
Um Esforço Combinado Na Padronização
 
127290035 12-usabilidade-mai-2007
127290035 12-usabilidade-mai-2007127290035 12-usabilidade-mai-2007
127290035 12-usabilidade-mai-2007
 
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...
Pesquisa com usuários aplicada em projetos lean de startups concepção de um f...
 
Introdução aos fundamentos de teste de software 3
Introdução aos fundamentos de teste de software 3Introdução aos fundamentos de teste de software 3
Introdução aos fundamentos de teste de software 3
 
Palestra no auditório do IBGE - Arquitetura de Informação
Palestra no auditório do IBGE - Arquitetura de InformaçãoPalestra no auditório do IBGE - Arquitetura de Informação
Palestra no auditório do IBGE - Arquitetura de Informação
 
Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2Usabilidade de Interfaces - Parte 2
Usabilidade de Interfaces - Parte 2
 
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...
Recursos Educacionais Abertos em formato audiovisual: Fluência Tecnológico-Pe...
 
Testes de usabilidade
Testes de usabilidade Testes de usabilidade
Testes de usabilidade
 
Testes de Usabilidade
Testes de UsabilidadeTestes de Usabilidade
Testes de Usabilidade
 
Seminario Lep Ibge Slideshare
Seminario Lep Ibge SlideshareSeminario Lep Ibge Slideshare
Seminario Lep Ibge Slideshare
 

Mais de Teresa Vasconcelos

Mais de Teresa Vasconcelos (8)

Asa novos percprof_teste mod.5
Asa novos percprof_teste mod.5Asa novos percprof_teste mod.5
Asa novos percprof_teste mod.5
 
Asa novos percprof_teste mod.1
Asa novos percprof_teste mod.1Asa novos percprof_teste mod.1
Asa novos percprof_teste mod.1
 
Aec auto estima
Aec auto estimaAec auto estima
Aec auto estima
 
Id165 ietic2012
Id165 ietic2012Id165 ietic2012
Id165 ietic2012
 
Qimterativo ipb 2junho
Qimterativo ipb 2junhoQimterativo ipb 2junho
Qimterativo ipb 2junho
 
Apresentação_formação_qim
Apresentação_formação_qimApresentação_formação_qim
Apresentação_formação_qim
 
Forma qim teresa_tic_educa2012
Forma qim teresa_tic_educa2012Forma qim teresa_tic_educa2012
Forma qim teresa_tic_educa2012
 
Artigoformaqim
ArtigoformaqimArtigoformaqim
Artigoformaqim
 

Apresentação challenges13 teresa vista

  • 1. 1 Teresa Vasconcelos e J. António Moreira 15 de julho de 2013 O DESENHO, DESENVOLVIMENTO E AVALIAÇÃO DA USABILIDADE DE UM PROTÓTIPO EDUCATIVO MULTIMÉDIA PARA A DISCIPLINA DE PORTUGUÊS
  • 2. 2 Análise, Desenho e Desenvolvimento do Protótipo Multimédia Educativo Introdução Problema, objetivos, metodologia e procedimentos da investigação Análise Desenho Usabilidade Avaliação da usabilidade Conclusões Apresentação do estudo
  • 3. Introdução 3 Os recursos educativos multimédia têm o potencial de fornecer acesso à educação para todos, por isso, o desenvolvimento de um protótipo adaptado a um número muito elevado de estudantes e que seja potenciador da aprendizagem é um grande desafio. A usabilidade, especificamente os testes conduzidos com utilizadores, constitui uma importante modalidade de avaliação de qualquer produto multimédia, sobretudo no caso de software educativo, porque estes testes permitem detetar problemas que, de outro modo, não seriam facilmente encontrados pelo designer do protótipo.
  • 4. 4 O Projeto: “QIMTERATIVO DE PORTUGUÊS” Para criar um curso, ou um módulo de um curso, Allen (2007, 2006, 2003) e Clark (2000) referem cinco passos essenciais: Analisar; Desenhar; Desenvolver; Implementar e Avaliar. Figura 1 - Adaptado de Allen, 2003 e Clark, 2000
  • 5. 5 O Projeto O “QIMTERATIVO DE PORTUGUÊS” tem por objetivos: aumentar a frequência de utilização dos QIM; potenciar uma exploração mais diversificada dos QIM; propiciar momentos pedagógicos atrativos para os alunos; avaliar a conceção, desenvolvimento e implementação de um protótipo multimédia; analisar se os materiais estruturados nos QIM (protótipo multimédia /elaborados pelos professores), promovem o alcance das metas de aprendizagem definidas para a disciplina de Português.
  • 6. 6 Ponto de Partida Constatámos: (i) ensino centrado na transmissão de conhecimentos desligados da realidade social e tecnológica; (ii) necessidade de capacitar os professores para o desenvolvimento de mudanças na disciplina de Português; (iii) falta de recursos pedagógicos para QIM.
  • 7. 7 A metodologia utilizada no processo de criação do protótipo multimédia QIMTERATIVO de Português foi a Development Research (i) Investigação Preliminar; (ii) Fundamentação Teórica, (iii) Testagem das soluções no terreno (iv) Documentação sistemática, aná lise e reflexão sobre o processo de conceção. Refinamento dos problemas, soluções e métodos Metodologia de Investigação
  • 8. 8 Análise - Instrumentos de recolha de dados População-Alvo (Professores de Português) Todos os Professores de Português do AEA Inquérito por questionário. Foram validados 20 inquéritos. Grelhas de observação. Entrevistas não-estruturadas (focus group).
  • 9. 9 Análise Grupo de estudo (Professores de Português) Pré-requisitos: • Nível de qualificação na utilização das ferramentas de Tecnologias de Informação e Comunicação (TIC); • Possuírem alguns conhecimentos na utilização dos Quadros Interativos Multimédia; • A utilização dos QIM na prática docente (uso deste software no processo de ensino-aprendizagem).
  • 10. 10 Desenho O Desenho é o processo onde pretendemos especificar a forma e sequência dos conteúdos a serem apresentados, definir o conteúdo do projeto, determinar a estrutura das atividades e apresentar tarefas conducentes à avaliação.
  • 11. 11 Desenho 1. Definição dos objetivos. 2. Recolha e seleção de conteúdos. 3. Definição da interface 4. Criação da versão “alpha”. 5. Avaliação Heurística. Passos seguidos no desenho do protótipo:
  • 12. 12 Desenho do protótipo O desenvolvimento do protótipo multimédia teve como linhas orientadoras o modelo de investigação e desenvolvimento ADDIA: Analisar Desenhar Desenvolver Implementar Avaliar Este modelo consiste num processo dinâmico e interativo entre as fases que o constituem permitindo o constante melhoramento através da avaliação contínua do processo de design.
  • 13. 13 Desenho - O Protótipo de Português Menu de Navegação pelos vários conteúdos Título da disciplina Conteúdo Formativo
  • 14. Desenho - Protótipo a) Estrutura b) Navegação c) Interface e layout d) Rapidez de acesso e) Níveis de interatividade f) Informação 14
  • 15. Usabilidade Usabilidade é a “facilidade de utilização” ou o conhecimento necessário para fazer algo funcionar. Nielsen (1993) indica cinco critérios para medir a usabilidade: • Fácil de aprender • Eficiente para usar • Fácil de lembrar • Pouco sujeito a erros • Agradável de usar 15
  • 16. 3 grandes objetivos do Protótipo Objetivos do Protótipo Multimédia Educativo – Allen (2007) Experiências de aprendizagem significativas Experiências de aprendizagem memoráveis Experiências de aprendizagem motivadoras Resultados Mesuráveis 16
  • 17. Usabilidade • Avaliação Heurística: realizada por peritos, segundo parâmetros definidos (10 heurísticas). Esta avaliação foi feita à versão alpha do protótipo no final da fase de desenho. • Avaliação com utilizadores: realizada com uma amostra de utilizadores cujo perfil é semelhante ao do público-alvo. Este teste foi realizado na fase de desenvolvimento. 17
  • 18. • Para avaliar as 10 heurísticas (da Xerox - Heuristic Evaluation - A System Checklist de Deniese Pierotti) foram efetuadas 68 subquestões às quais os peritos poderiam responder Sim, Não ou Não Avaliado. • Em cada uma destas subquestões o perito poderia, ainda, efetuar um comentário. A usabilidade 18
  • 19. A Avaliação heurística Resultados obtidos na avaliação heurística ao protótipo Gráfico 1 - Distribuição das respostas das 10 heurísticas (versão alpha) 19
  • 20. Desenvolver Com base nos resultados das fases de análise e desenho, nesta etapa foi produzida a versão beta do protótipo multimédia educativo. Após a correção dos erros apontados pelos peritos, detetados na avaliação heurística, o designer instrucional avaliou o seu protótipo através de testes de usabilidade com utilizadores. 20
  • 21. Avaliação da Usabilidade Recolha de dados: • inquérito por questionário (guião de participação) constituído por três partes: a. identificação das características dos participantes b. guião de utilização do protótipo com uma série de tarefas a realizar c. questionário com treze questões de resposta fechada e uma de resposta aberta d. observação, de forma a aferir os resultados dos utilizadores na execução de tarefas definidas (registo numa grelha), a duração da realização do teste e o registo de ocorrências durante o teste (erros, dúvidas, etc.). 21
  • 22. Avaliação da Usabilidade Condições de realização do teste de usabilidade • O Monitor De acordo com Rubin (1994) será necessário abordar o como, o quando, o onde, a quem, o porquê e o quê do teste de usabilidade. • Número de Participantes Cinco participantes são capazes de expor cerca de 80 por cento dos erros de um protótipo (Nielsen, 2000) no entanto a nossa amostra foi constituída por (n=7, média de idades de 40,1% anos). 22
  • 23. Avaliação da Usabilidade Os utilizadores que participaram no teste da usabilidade do protótipo deveriam ter as mesmas características dos utilizadores finais, estudadas na fase da análise. Podemos classificar estas características quanto a: • atributos pessoais (idade, género, habilitações académicas, etc.); • quanto à experiência dos utilizadores. 23
  • 24. Avaliação da Usabilidade - Realização do teste de usabilidade Os procedimentos gerais para testes de usabilidade de acordo com Dumas e Redish (1993) e Rubin (1994) são os seguintes: (i) planificação do teste; (ii) seleção e recrutamento dos participantes; (iii) preparação dos materiais para além do software que se pretende testar; (iv) realização do teste de usabilidade; (v) diálogo com o participante; (vi) compilação e análise de dados e (vii)relatório final. 24
  • 25. Avaliação da Usabilidade - Recolha e tratamento dos dados Todos os problemas encontrados apresentaram um grau de severidade cosmético ou sem importância, concretamente nas heurísticas um, três, cinco e nove - resultados do teste de avaliação da usabilidade considerando uma escala de 0 (sem importância) a 4 (catastrófico). Tabela 2 - Grau de severidade dos problemas de usabilidade 25
  • 26. Avaliação da Usabilidade - Recolha e tratamento dos dados Tabela 1 - Análise estatística das respostas às dez heurísticas (versão alpha) 26
  • 27. Avaliação da Usabilidade - Recolha e tratamento dos dados Tabela 3 - Avaliação da versão beta do protótipo 27
  • 28. Avaliação da Usabilidade - Análise dos dados Considerando os cinco critérios apresentados por Nielsen (1993) para medir a usabilidade e com base nos resultados obtidos podemos concluir que o protótipo é: • Fácil de aprender (Easy to learn): as participantes, em média, terminaram as tarefas em 37 minutos, quando o tempo previsto era de 50 minutos. Apenas uma participante necessitou de 45 minutos. 95,3% Sentiram-se sempre à-vontade a interagir com o protótipo enquanto 4,6% revelaram, por vezes, algumas dificuldades. 28
  • 29. Avaliação da Usabilidade - Análise dos dados • Eficiente para usar (Efficiency):a avaliação à realização das tarefas foi muito positiva, com uma aprovação média de 78 pontos em 100. Todos os participantes indicaram que a informação fornecida pelo protótipo foi sempre fácil de entender e que a informação disponibilizada pelo protótipo foi útil para completar as tarefas. • Fácil de lembrar (Memorability): este critério não pôde ser avaliado convenientemente porque o teste só foi realizado uma única vez. No entanto, sendo que uma das condições para que o protótipo seja fácil de memorizar é ter um bom design, a avaliação obtida neste parâmetro (81%) permite-nos pensar que o protótipo possui estas características. 29
  • 30. Avaliação da Usabilidade - Análise dos dados • Pouco sujeito a erros (Errors): 71% das utilizadoras conseguiram sempre recuperar dos erros que cometeram. Pela observação direta pudemos constatar que os erros que existiram deveram-se, principalmente, a distrações (fechar janela do browser em vez do separador, por exemplo). • Agradável de usar (Satisfaction): 86% das participantes conseguiram sempre completar eficazmente as tarefas e, na globalidade, ficaram totalmente satisfeitas. 30
  • 31. Avaliação da Usabilidade - Análise dos dados Apesar desta avaliação da usabilidade ter sido francamente positiva, um produto deste tipo poderá sempre sofrer ajustes. Futuramente, poderemos atualizar a aplicação complementando-a com novos módulos, caso as características do público-alvo se alterem. 31
  • 32. Conclusão A necessidade de realizarmos os testes de avaliação de usabilidade evidencia uma clara vantagem de reconhecimento de potenciais erros no protótipo multimédia, que podem ser identificados e corrigidos pelos peritos e pelos utilizadores. A multiplicidade de instrumentos de recolha de dados permitiu-nos certificar o desenho do nosso protótipo. Após a avaliação do “QIMTERATIVO de Português” junto de peritos (versão alpha) e de utilizadores (versão beta) podemos comprovar que é fácil de aprender, fácil de usar e satisfaz os utilizadores (Smith & Mayes, 1996), pelo que está pronto a ser aplicado com o público-alvo e em contexto de ensino e de aprendizagem. 32
  • 33. 33 Muito Obrigada pela Vossa Atenção! Apesar de fazermos a apologia do QIM em detrimento de outras tecnologias, pensámos que caberá ao docente a seleção daquela que se coadune melhor em função do público-alvo, dos conteúdos a abordar, das estratégias a seguir e das atividades a implementar dentro do espaço sala de aula.