No processo de aprendizagem motora, a forma como o indivíduo processa as info...
Estudo da Qualidade do Ambiente Virtual de Aprendizagem Moodle
1. UNIVERSIDADE ESTADUAL DO NORTE DO PARANÁ
FACULDADES LUIZ MENEGHEL
CAMILA APARECIDA FLORENTINO FRANCISCO
ESTUDO DA QUALIDADE DO AMBIENTE VIRTUAL DE
APRENDIZAGEM MOODLE
Bandeirantes
2008
2. II
CAMILA APARECIDA FLORENTINO FRANCISCO
ESTUDO DA QUALIDADE DO AMBIENTE VIRTUAL DE
APRENDIZAGEM MOODLE
Trabalho de conclusão de curso
submetido à Universidade Estadual do
Norte do Paraná - campus Luiz Meneghel,
como requisito parcial para obtenção do
grau de Bacharel em Sistemas de
Informação.
Orientadora: Profª. Viviane de Fátima
Bartholo Potenza.
Bandeirantes
2008
3. III
CAMILA APARECIDA FLORENTINO FRANCISCO
ESTUDO DA QUALIDADE DO AMBIENTE VIRTUAL DE
APRENDIZAGEM MOODLE
Trabalho de conclusão de curso
submetido à Universidade Estadual do
Norte do Paraná - campus Luiz Meneghel,
como requisito parcial para obtenção do
grau de Bacharel em Sistemas de
Informação.
Orientadora: Profª. Viviane de Fátima
Bartholo Potenza.
COMISSÃO EXAMINADORA
______________________________________
Prof.Viviane de Fátima Bartholo Potenza
Faculdades Luiz Meneghel
______________________________________
Prof. José Reinaldo Merlin
Faculdades Luiz Meneghel
____________________________
Prof. Cristiane Yanase Hirabara Castro
Faculdades Luiz Meneghel
Bandeirantes, __ de__________ de 2008
4. RESUMO
Existem muitos ambientes virtuais de aprendizagem na área de educação à
distância, cada um com suas próprias características. Com a utilização desses
ambientes, os alunos podem aprender de forma colaborativa. Neste projeto
trabalharemos com o Ambiente Virtual de Aprendizagem (AVA) bastante utilizado
nos dia de hoje, o Moodle. Enfocaremos alguns critérios de avaliação dos AVAs
como qualidade e usabilidade. Para falar em qualidade serão utilizadas as normas
ISO sobre qualidade de software e para se basear em usabilidade utilizaremos o
Ergolist desenvolvido para avaliar esse critério. Os resultados foram analisados e
serão descritos neste documento.
Palavras-chave: Ambientes Virtuais de Aprendizagem, Qualidade, Usabilidade,
Ergolist.
5. 5
ABSTRACT
There are many virtual learning environments in the e-learning, each with its
own characteristics. With the use of these environments, students can in
collaborative learning. There are many virtual learning environments in distance
education area, each with its own characteristics. With the use of these
environments, students can learn so collaborative. In this project work with the Virtual
Learning Environment (VLE) widely used in day today, the Moodle. We will use some
criteria for assessing VLEs as quality and usability. To talk about quality ISO
standards are used on quality of software and to be based on usability use the
Ergolist developed to evaluate this criterion. The results were analyzed and will be
described in this document.
Keywords: Virtual Learning Environments, Quality, Usability, Ergolist.
6. 6
DEDICATÓRIA
Dedico esta monografia aos meus pais por terem incentivado meu ingresso
neste curso, por terem acreditado que era possível.
Ao meu namorado Wandercy, que por tantas vezes me auxiliou durante o
curso e nunca me deixou desanimar, sempre esteve ao meu lado oferecendo apoio
e incentivo, passou madrugadas sem dormir apenas para me ajudar com as tarefas
mais difíceis.
Aos meus amigos que de inúmeras formas me ajudaram, apoiaram e
contribuíram para que eu alcançasse essa etapa tão gloriosa na minha vida,
principalmente Sueli, Cláudia, Emmanuel, Kenion, Marcos, Jailton, Camila Almeida.
Dedico principalmente ao meu filho Miguel que é o anjo mais lindo que Deus
enviou para este mundo e que é a base de toda minha vida daqui pra frente.
7. 7
AGRADECIMENTOS
Agradeço a Deus por ter me dado a vida.
Meus avós que não estão mais presentes, mas foram fundamentais no meu
processo de educação e desenvolvimento e contribuíram para que chegasse até
aqui.
Agradeço imensamente também a minha orientadora que me proporcionou
este desafio e me ajudou a encará-lo mesmo sabendo de todas as dificuldades que
encontramos no decorrer deste trabalho. Que sempre me deu força e me encorajou
nas horas em que tudo parecia não dar certo.
Obrigada a todos.
8. 8
TABELAS
TABELA 1: CARACTERÍSTICAS DE UM SOFTWARE DE QUALIDADE...............30
TABELA 2: ERGOLIST – NÚMERO DE CRITÉRIOS EM CONFORMIDADE COM
USABILIDADE............................................................................................................37
TABELA 3: ERGOLIST – RESULTADO DE USABILIDADE POR AVALIADOR....39
TABELA 4: USABILIDADE MOODLE %...................................................................40
TABELA 5: CHECKLIST DE QUALIDADE ISO 14.598 - NÚMERO DE CRITÉRIOS
EM CONFORMIDADE COM QUALIDADE................................................................40
TABELA 6: PORCENTAGEM DE QUALIDADE OBTIDA POR AVALIADOR.........41
TABELA 7: PORCENTAGEM MÉDIA DE QUALIDADE DO AMBIENTE................41
TABELA 8: RESULTADO DA QUALIDADE DO MOODLE POR AVALIADOR......42
TABELA 9: QUALIDADE MOODLE %......................................................................43
TABELA 10: RESPOSTAS DO AVALIADOR 1 USANDO ERGOLIST ...................53
TABELA 11: RESULTADOS DO AVALIADOR 2 USANDO ERGOLIST.................53
TABELA 12: RESULTADOS DO AVALIADOR 3 USANDO ERGOLIST.................54
TABELA 13: RESULTADOS DO AVALIADOR 1 USANDO CHECKLIST DE
QUALIDADE...............................................................................................................54
TABELA 14: RESULTADOS DO AVALIADOR 2 USANDO CHECKLIST DE
QUALIDADE ..............................................................................................................55
TABELA 15: RESULTADOS DO AVALIADOR 3 USANDO CHECKLIST DE
QUALIDADE...............................................................................................................55
TABELA 16: CHECKLIST DOS PONTOS DE VERIFICAÇÃO E PRIORIDADES DE
ACESSIBILIDADE DO DOCUMENTO DA W3C........................................................57
TABELA 17: ERGOLIST DA UNIVERSIDADE FEDERAL DE SANTA CATARINA62
TABELA 18: CHECKLIST DE QUALIDADE NORMA ISO 14.598...........................71
9. 9
SUMÁRIO
1. INTRODUÇÃO........................................................................................................10
1.1 Motivação e Justificativa
........................................................................................................................11
1.2 Objetivos......................................................................................12
1.3. Metodologia................................................................................12
1.4 Organização do trabalho
........................................................................................................................13
2. AMBIENTES VIRTUAIS DE APRENDIZAGEM.....................................................15
2.1 Classificação de Ambientes Virtuais........................................................17
2.2 Principais Ambientes Virtuais de Aprendizagem ....................................18
2.2.1 Moodle ..............................................................................................................19
3. QUALIDADE DE SOFTWARE ............................................................................22
3.1 Usabilidade .............................................................................................22
3.1.1 Ergolist................................................................................................................24
3.2 Acessibilidade ............................................................................28
3.3 Normas.....................................................................................................29
4. TÉCNICAS DE AVALIAÇÃO DE AMBIENTES VIRTUAIS DE APRENDIZAGEM
.....................................................................................................................................33
5. DESENVOLVIMENTO............................................................................................36
5.1 Avaliação do ambiente Moodle...................................................36
6. CONCLUSÃO.........................................................................................................48
6.1 Considerações Finais..................................................................48
6.2 Trabalhos futuros.........................................................................49
7. REFERÊNCIAS.......................................................................................................50
11. 11
mobiliários e equipamentos urbanos, das edificações, dos transportes, e dos
sistemas e meios de comunicação, por pessoas portadoras de deficiências ou
mobilidade reduzida”.
Outro item fundamental é a usabilidade. É importante que o ambiente
permita uma fácil interação com o usuário, que seja fácil de aprender e manuseá-lo,
que não exija muito esforço para utilizá-lo, que seja agradável trabalhar com ele, e
que também permita adaptá-lo de acordo com as tarefas que cada pessoa deve
realizar.
Neste trabalho esses assuntos serão mais detalhados e haverá uma
avaliação do ambiente virtual de aprendizagem Moodle verificando sua qualidade e
levantando de que forma a usabilidade está presente nele.
1.1 Motivação e Justificativa
Este projeto foi proposto pensando na importância dos ambientes virtuais na
educação à distância, já que esse assunto está diretamente ligado à educação, tema
extremamente fundamental para a qualificação profissional.
O tema ambiente virtual de aprendizagem é ainda relativamente novo
(Pereira et al. 2007), sendo tratadas sob inúmeras perspectivas, porém não há muito
de literatura que englobe a avaliação deles com base em qualidade.
Os ambientes virtuais de ensino possibilitam integrar diferentes mídias
utilizadas pelas pessoas como forma de comunicação no seu dia-a-dia; permitem,
também, a realização de uma Educação à Distância cooperativa onde há interação
entre todos os atores que participam do processo de ensino/aprendizagem.
Estes ambientes virtuais de ensino são alternativas que conduzem ao
aprendizado não apenas pela transmissão, memorização e reprodução de
informações, mas por permitir ao professor acompanhar constantemente o
desenvolvimento do aluno.
É importante que haja uma forma adequada de avaliar esses ambientes
virtuais garantindo sua qualidade. Nessa avaliação devem ser incluídos quesitos não
só de qualidade de software em si, mas também avaliar o grau de usabilidade que
12. 12
ele possui Um estudo que responda a esses questionamentos é de grande
importância.
Neste trabalho foi avaliado o ambiente virtual de aprendizagem Moodle, o
qual foi escolhido por ser bastante utilizados em diversas faculdades.
A avaliação foi feita utilizando principalmente o critério de qualidade de
software. Foi levada em consideração também a usabilidade desse ambiente. Ao
final deste estudo será mostrado os resultados alcançados e as razões que levaram
a essa resposta.
1.2 Objetivos
Objetivo Geral
O objetivo geral deste trabalho é estabelecer um critério de avaliação de
ambientes virtuais com base em qualidade e definir se o ambiente avaliado possui
um bom desempenho.
Objetivos Específicos
Estudar o ambiente virtual analisando suas funcionalidade e características.
Avaliá-lo de acordo com seu grau de usabilidade, e principalmente de
acordo com a qualidade.
Empregar técnicas de avaliação de ambientes virtuais (Checklist Ergolist e
Norma ISO 14.598).
Definir os resultados encontrados na avaliação do ambiente virtual de
aprendizagem com base em sua qualidade.
1.3. Metodologia
O ambiente virtual de aprendizagem Moodle foi escolhido para ser objeto de
estudo deste trabalho, ele foi avaliado de forma online pelo site da FALM –UENP.
Cada avaliador fez sua avaliação utilizando um computador com Sistema
Operacional Windows XP, memória de 512 M e Hd de 80G.
13. 13
Foram utilizados dois checklists para realizar a avaliação: Ergolist e o
Checklist de qualidade da norma ISO 14.598.
Estes dois checklists foram disponibilizados aos três avaliadores que por sua
vez fizeram sua avaliação verificando se o ambiente Moodle atendia aos critérios de
usabilidade e qualidade, respectivamente, neles descritos.
Depois de feita a avaliação os resultados foram analisados, comparados e
foram montadas planilhas com eles. A partir daí gerou-se gráficos que serviram para
ilustrar o resultado obtido.
1.4 Organização do trabalho
Este trabalho está organizado da seguinte forma: no capítulo 2 consta um
pouco sobre o que são os ambientes virtuais de aprendizagem, como eles
funcionam, quais são suas características fundamentais, quais as ferramentas que
eles devem apresentar. Esse capítulo aborda também a metodologia, as diversas
classificações de ambientes virtuais de aprendizagem, abrange alguns dos
ambientes existentes e se aprofunda em um deles que será o objeto de nosso
estudo.
No capítulo 3 está descrito o que significa qualidade de software, quais são
as características fundamentais de qualidade, alguns de seus subfatores como
usabilidade, acessibilidade e as normas existentes sobre qualidade de software tais
como a ISO.
No capítulo 4 aborda o tema avaliação de ambiente virtual, como se faz
avaliação, quais critérios utilizar, terá um pouco de qualidade de software
educacional, como garantir a qualidade, como medir e avaliar a qualidade de um
software educacional seguindo alguns critérios.
O Capítulo 5 fala sobre o desenvolvimento do TCC nele estará descrito tudo
o que foi feito neste trabalho, quais são os critérios utilizados para fazer a avaliação,
porque eles foram escolhidos, como foram empregados, e qual foi o resultado
encontrado na avaliação. Foram mostrados também os resultados obtidos na
avaliação do ambiente Moodle usando os critérios estabelecidos.
14. 14
No capítulo 6 estão as conclusões obtidas através dos resultados e onde
será mostrada a qualidade do ambiente Moodle e de sua Usabilidade. Foi proposto
neste capítulo também um estudo sobre outros ambientes.
15. 15
2. AMBIENTES VIRTUAIS DE APRENDIZAGEM
Os Ambientes Virtuais de Aprendizagem (AVAs) são sistemas que estão na
Internet cuja função é dar suporte as atividades de ensino-aprendizagem mediadas
pela tecnologia da informação e comunicação permitindo a emissão e a recepção de
mensagens pelo ciberespaço para veicular conteúdo e permitir interação entre os
atores do processo educativo (professores e alunos), no qual pode ser integrados
várias mídias, linguagens e recursos. (KEMCZINSKI, 2005; PEREIRA et al. 2007).
Em um ambiente virtual de aprendizagem são fundamentais os trabalhos
colaborativos e a participação on-line, é necessário que haja interação através de
comunicação, construção de conhecimento, interações entre educadores e alunos, e
também entre os próprios educandos.
De acordo com Kemczinski (2005 apud PAIS, 2004) em geral os ambientes
virtuais de aprendizagem possuem as seguintes características:
Criam um ambiente colaborativo de aprendizagem para as pessoas que
possuem cadastro do curso;
Permitem ao professor, que não tenha conhecimentos algum de
programação, disponibilizar o material de apoio para seus alunos;
Possibilitam elaborar testes de interação, fornecendo imediatamente um
feedback do aluno, registrando individualmente o resultado de cada aluno;
Possuem ferramentas para comunicação entre alunos, professores, espaço
para disponibilizar informações de forma geral e também para tirar dúvidas sobre o
conteúdo dos cursos disponibilizados;
Torna possível aos alunos disponibilizarem seus projetos e trabalhos,
trocarem informações sobre as atividades e receberem também esses materiais de
outros alunos de forma integrada;
Disponibilizam uma área exclusiva para os alunos postarem suas
informações pessoais, debaterem assuntos através de conversas, comentarem
sobre diversos temas nos fóruns;
Permitem que a divulgação das informações existentes em seus bancos de
dados seja representada em diferentes mídias como vídeo, teleconferência, textos,
arquivos de áudios, e hipertextos.
16. 16
Embora existam diversos ambientes virtuais no mercado da educação à
distância, cada um com suas próprias características, existindo entre eles algumas
ferramentas em comum tais como: login do usuário, perfil do usuário, mural, agenda,
conteúdo, avaliação, Chat, fórum, matrícula, anotações e turma. Em alguns casos
pode haver a troca do nome de alguma dessas ferramentas por sinônimos, ou
nomes equivalentes.
Almeida (2006) apresenta algumas ferramentas utilizadas por AVAS e suas
definições:
Login do usuário: tela de apresentação do ambiente, onde o aluno poderá
entrar nas demais ferramentas do ambiente virtual através de um nome de usuário e
uma senha que é fornecida pelo próprio sistema após a inscrição do usuário no
curso de interesse. Aqui também terá uma ferramenta para recuperação de senha.
Perfil do usuário: local onde o usuário poderá adicionar suas informações
pessoais, e colocar uma foto para o seu reconhecimento entre os demais alunos do
curso.
Mural: local exclusivo do professor, onde ele poderá colocar avisos e
informações úteis aos alunos, estes não poderão adicionar informações nesse
mural.
Agenda: calendário exibido na tela onde o professor pode adicionar novas
datas, eventos, poderá ser definido o prazo de entrega de trabalho, datas de provas
entre outros tipos de informação.
Conteúdo: local onde o professor pode adicionar os materiais de consulta e
apoio relativos ao curso. Os alunos podem apenas exibir o conteúdo para a
realização de seus estudos.
Avaliação: local onde o professor adiciona a atividade, avaliação ou
trabalho para que o aluno resolva e seja avaliado.
Chat: onde haverá conversação em tempo real, utilizada para concentrar
alunos num mesmo intervalo de tempo e mesmo local para discutir um assunto
específico.
Fórum: espaço de discussão sobre um tema específico, onde se podem
postar mensagens sobre o assunto, nele o usuário pode ler, responder, e deixar
novas mensagens para discussão, aumentando as possibilidades de interação.
Matrícula: nesta ferramenta o coordenador do curso fica responsável por
matricular, liberar acesso e restringir acesso dos alunos de acordo com o nível de
17. 17
acesso concedido a cada um. Quando o aluno for matriculado, receberá um nome
de usuário e senha automaticamente gerado pelo sistema.
Anotações: ferramenta onde cada aluno poderá fazer e exibir anotações
pessoais que possam lhe auxiliar no aprendizado.
Turma: espaço onde o professor pode verificar a lista de alunos
matriculados no curso. Os alunos poderão ver quem são seus colegas de turma, e
também poderão entrar em contato um com o outro. Essa ferramenta serve também
para que haja um contato entre professor e aluno.
É visível a importância que os ambientes virtuais de aprendizagem possuem
em nossa sociedade, tanto na questão educativa quanto na pratica de inclusão e
acessibilidade à informação. Possibilita que as pessoas que disponham de pouco
tempo livre cursem uma faculdade virtual, obtenha seu diploma e consiga uma
melhor colocação no mercado de trabalho.
Com a utilização dos ambientes, os alunos podem aprender de forma
colaborativa, compartilhando informações e conhecimentos entre si, ajudando-se
mutuamente em seus trabalhos, escolhendo a intensidade e a maneira como irão
estudar.
Existem inúmeras faculdades que oferecem cursos a distancia. Elas utilizam
diferentes tipos de ambientes aderindo ao que melhor se adapte à sua ementa e
suas necessidades particulares.
2.1 Classificação de Ambientes Virtuais
Existem diversos softwares educativos, que auxiliam o aluno e professor no
processo de ensino aprendizagem, principalmente na modalidade de ensino à
distância. Segundo Silva (2002) os ambientes virtuais de aprendizagem podem ser
classificados de acordo com as funcionalidades e objetivos, como:
Aplicações hipermídia: fornecem uma instrução distribuída e pode se
subdividir em dois itens como cursos multimídia com objetivos pedagógicos bem
definidos (que possuem avaliação, tutoração) e os que são apenas cursos da web
(através de paginas com hipertextos).
18. 18
Sítios educacionais: possuem funcionalidades como bibliotecas de
softwares educacionais, espaço para comunicação, fóruns, entre outras.
Sistema de autoria para cursos à distância: sistemas que gerenciam
cursos padronizados, no qual não se podem alterar as funcionalidades existentes.
Salas de aulas virtuais: fornece suporte para cooperação entre professores
através de algumas ferramentas como fóruns e chats. Os tipos de conteúdos desses
cursos podem estar disponíveis em diferentes mídias como textos, arquivos de
áudio, vídeos e fotos.
Frameworks para aprendizagem cooperativa: “Em geral os sistemas de
autorias não possuem muita flexibilidade embora sejam fáceis de usar. Os sistemas
geram cursos de forma padronizada, fazendo com que suas funcionalidades,
apresentação de conteúdo e suas formas não possam ser alteradas. Já os
frameworks permitem alterações, são flexíveis, permitem o desenvolvimento de
aplicações cooperativas personalizadas”.
Portais educativos: contêm informações gerais de instituições, cursos,
carreiras e recursos como jornais, artigos de interesse geral e até e-books.
2.2 Principais Ambientes Virtuais de Aprendizagem
Entre os diversos AVAS, existem alguns que são mais conhecidos ou
difundidos do que outros. Citaremos alguns deles fazendo uma breve descrição de
cada um de acordo com Kemczinski (2005):
Aulanet: ambiente de aprendizagem cooperativo com base na web, tendo
como principal objetivo criar e dar assistência a cursos à distância.
Academusnet: é um sistema de informação que permite desenvolvimento e
disponibilizações de ambientes de aprendizado via Internet. É uma ferramenta que
pode ser usado tanto no ensino à distância quanto para apoiar estudos presenciais.
Teleduc: é um ambiente em que se pode criar, participar e administrar
cursos pela web. Ele tem como principal alvo o processo de formação de
professores para informática educativa. Todas as suas ferramentas foram projetadas
segundo as necessidades relatadas por seus usuários. É um software livre que pode
ser distribuído e modificado.
19. 19
Web Ensino: fornece ambientes de ensino, tutoria e gestão, possibilitando
implantar cursos a distancia de forma fácil. Foi desenvolvido (com base na filosofia
de software livre) pela Ilog (empresa de desenvolvimento da web ensino) que
permite que seja feita uma customização do ambiente para Instituições de Ensino
associadas.
Moodle: sistema de gerenciamento de aprendizagem ou ambiente virtual de
aprendizagem de código aberto. O sistema Moodle foi idealizado por Martin
Dougiamas. Várias versões do software foram produzidas. Com o crescimento da
comunidade de usuários, novas versões do software foram desenvolvidas. A elas
foram adicionadas funcionalidades, desenhadas por pessoas em diferentes
situações do ensino. Possui ferramentas de comunicação, de avaliação, de
disponibilização de conteúdos e de administração e organização. CASTILLO (2005)
Será detalhado, nas seções a seguir, um pouco mais o AVA Moodle que
será objeto de estudo deste trabalho.
2.2.1 Moodle
A palavra Moodle teve origem no acrônimo: Modular Object-Oriented
Dynamic Learning Environment, que é informativo especialmente para
programadores e investigadores educativos. Em inglês é também um verbo que
descreve passar por algo, sem presa, e fazer coisas quando as resolver fazer; uma
forma agradável de mexer nas coisas que freqüentemente conduz a uma
compreensão mais profunda e à criatividade conforme esclarece Pulino (2004).
O Moodle como sistema de gestão de ensino e aprendizagem apresenta
funcionalidades com forte componente de participação, comunicação e colaboração
entre os docentes e discentes. A idéia básica é ser um software para gestão da
aprendizagem e de trabalho colaborativo, permitindo a criação de cursos on-line,
páginas de disciplinas e de grupos de trabalho. O Moodle apesar de possuir um
copyright, pode ser redistribuído e o seu código fonte alterado ou desenvolvido,
desde que sejam seguidas algumas regras, para satisfazer necessidades
específicas (Albuquerque, Edmundo e Damião, 2006).
Sua interface é simples, baseada em navegadores de tecnologia simples.
Na listagem dos cursos, é mostrada uma descrição dos cursos existentes no
20. 20
servidor, incluindo acessibilidade para convidados. Os cursos também podem ser
categorizados e pesquisados afirma Campos e Santos (2007).
O Moodle possui as principais funcionalidades de um ambiente virtual de
aprendizagem, tais como ferramentas de comunicação, de avaliação, de
disponibilização de conteúdos e de administração e organização.
Entre as principais funcionalidades do ambiente Moodle, conforme definem
Albuquerque, Edmundo e Damião (2006), podemos citar:
Chat: este módulo promove a comunicação entre os estudantes e os
professores que se encontram conectados ao ambiente naquele instante.
Fórum: este módulo é ferramenta de discussão que possibilita debates
entre alunos e professores através do ambiente.
Trabalho: este módulo permite aos professores a proposição de trabalhos e
recebimento dos trabalhos submetidos pelos os estudantes.
Wiki: o wiki torna possível a construção de um texto (com elementos
multimídia) com vários participantes, onde cada um dá a sua contribuição e/ou
revisa o texto.
Glossário: este módulo permite aos participantes dos cursos de criar
dicionários de termos relacionados ao escopo do curso.
Teste: o tutor pode formular uma base de dados de perguntas e respostas e
submeter aos estudantes.
Lição: componente interativa que fornece páginas de textos do curso e
perguntas intercaladas, onde o prosseguimento é dependente do acerto nas
questões pelos estudantes.
Questionário: este módulo consiste em um instrumento de composição de
questões e de configuração de questionários. As questões são arquivadas por
categorias em uma base de dados e podem ser reutilizadas em outros questionários
e em outros cursos.
Workshop: O Workshop é uma atividade de avaliação entre pares
(participantes) com uma vasta gama de opções. Os participantes podem avaliar os
projetos de outros participantes e exemplos de projeto em diversos modos. Este
módulo também organiza o recebimento e a distribuição destas avaliações.
Materiais: Os materiais são todos os tipos de conteúdos que serão
apresentados no curso. Podem ser documentos arquivados no servidor, páginas
21. 21
criadas com o uso do editor de textos ou arquivos de outros sítios visualizados no
ambiente do curso.
Pesquisa de opinião: este módulo permite uma atividade muito simples. O
professor elabora uma pergunta com diversas opções de resposta. Serve para fazer
pesquisas de opinião velozes, para estimular a reflexão sobre um tópico, para
escolher entre sugestões dadas para a solução de um problema.
As ferramentas de comunicação do Moodle são o fórum de discussões, as
mensagens privadas e o Chat. Diferente de outros ambientes o Moodle não tem
ferramenta de e-mail interna ao sistema explana Campos e Santos (2007), utiliza o
e-mail externo do participante.
22. 22
3. QUALIDADE DE SOFTWARE
O software vem se tornando cada vez mais fundamental para o
desenvolvimento socioeconômico dos países. Atualmente ele faz parte do cotidiano
das pessoas, em vários ramos de atividades, servindo para realizar diversas tarefas,
desde as mais comuns até as mais complexas. E para atender a demanda e às
exigências do mercado é importante que se invista em qualidade do software
aconselha Arimoto (2006).
De acordo com Sommerville (2003) a qualidade de software é um termo
complexo, mas em geral quer dizer que ele deva cumprir suas especificações. Para
a garantia da qualidade de software existente padrões e normas já estabelecidas.
Um destes padrões de qualidade é um internacional chamado ISO 9001 que é o
mais geral dos padrões ISO 9000 e serve para o processo de qualidade de quem
projeta para quem desenvolve e faz manutenção do produto. Existe um documento
de apoio que interpreta a ISO 9000 para desenvolvimento de software o ISO 9000 –
3 (ISO Standards, 2006).
Há também a norma ISO 9.126:1 que define algumas características que o
software deve ter para garantir a sua qualidade tais como: funcionalidade,
confiabilidade, usabilidade, eficiência, manutenibilidade e portabilidade.
Pode se citar também outra norma a ISO 9.241 que fala sobre qualidade,
mas com enfoque em usabilidade que é um quesito fundamental para todo software.
Ela propõe que todo software deve ser fácil de usar, para qualquer tipo de usuário,
dentro de um determinado contexto. Existe uma outra norma sobre Usabilidade que
é a ISO 13.407 que visa o software, mas centrado no usuário e nas tarefas que ele
deve desempenhar.
3.1 Usabilidade
De acordo com a norma ISO 9241, usabilidade é a extensão na qual um
produto pode ser usado por usuários específicos para alcançar objetivos específicos
com efetividade, eficiência e satisfação em um contexto de uso específico (ISO
9241-11).
23. 23
Segundo Rossi (2004 apud SOUZA, 2002) a qualidade da interação entre o
sistema e o usuário. A usabilidade de um sistema depende principalmente de cinco
aspectos:
Facilidade para aprender sobre o sistema: que avalia o esforço e o tempo
que o usuário utiliza para conseguir atingir certo grau de desempenho no sistema.
Facilidade de uso: avalia o esforço do usuário para compreender a
funcionalidade do sistema durante sua interação com o mesmo. Medindo também a
quantidade de acertos e erros durante a execução de uma tarefa.
Satisfação do usuário: avalia se o usuário gosta do sistema e se é prazeroso
trabalhar com ele.
Flexibilidade: avalia se é possível o usuário alterar algumas das
funcionalidades e ambiente inicial do sistema para ficar mais de acordo com suas
necessidades. Mede também a capacidade do usuário utilizar o sistema de forma
inteligente e criativa, realizando tarefas que não estavam previstas.
Produtividade: avalia se o sistema permite ao usuário ser mais produtivo do
que se não utilizasse o sistema.
Já a norma ISO 13407 sobre Processo de Projeto Centrado no Usuário para
Sistemas interativos tem como princípio o foco no usuário e nas tarefas que são
desenvolvidas. Como nos explica Souza e Spinola (2006) esse projeto é uma
atividade que engloba várias disciplinas, fatores humanos e técnicas para aumentar
a eficácia e a eficiência que ajudam a melhorar o desempenho no trabalho.
Esta norma define algumas características que envolvem o usuário no
processo de desenvolvimento de software, entre elas estão (SOUZA e SPINOLA,
2006):
- Distribuição apropriada de função entre o usuário e sistema: determinando
quais aspectos do trabalho ou tarefa devem ser controlados por software e
hardware;
- Envolvimento ativo de usuários: utiliza as pessoas que têm maiores
conhecimentos no contexto que a aplicação será usada, visando com isso, um
aumento no compromisso de participação no desenvolvimento do software;
- Repetição de soluções de projeto: requer a avaliação contínua nas fases
iniciais dos usuários finais por técnicas de prototipação diferentes;
24. 24
- Times Multidisciplinares: alimentam um processo de desenvolvimento
colaborador com o envolvimento de especialistas de várias áreas, cada um
cooperando e compartilhando seus conhecimentos.
De acordo com Souza e Spinola (2006) essa norma apresenta quatro
atividades principais que devem ser incorporadas aos requisitos de usabilidade no
desenvolvimento de software centrado no usuário. Sendo elas (SOUZA e SPINOLA,
2006):
- Compreender e especificar o contexto de uso: o objetivo é obter as
informações sobre as características dos usuários, o ambiente de uso e as tarefas
que serão executadas com o produto, além de fornecer uma base para as atividades
de avaliações posteriores;
- Especificar os requisitos do usuário e da organização: especificar os
requisitos do usuário e da organização, determinando os critérios de sucesso para a
usabilidade do produto em termos das tarefas realizadas pelos usuários, bem como
diretrizes e limitações do projeto;
- Produzir soluções de projeto: incorporar conhecimentos de interface
homem-computador nas soluções de projeto. As possíveis soluções de projeto são
exploradas, descrevendo-as através da utilização de protótipos. As primeiras
soluções de projeto podem ser baseadas em experiências anteriores ou utilização
de normas e guias, que são refinados através de feedback do usuário;
- Avaliar projetos em relação aos requisitos do usuário: a usabilidade do
projeto deve ser avaliada em relação às tarefas dos usuários, tendo como objetivo,
confirmar o nível em que os requisitos da organização e dos usuários foram
alcançados, fornecendo também informações para o refinamento do projeto.
3.1.1 Ergolist
Ergolist é uma ferramenta desenvolvida pelo LabUtil da Universidade
Federal de Santa Catarina para avaliar a usabilidade em softwares e páginas da
web. (ERGOLIST, - ).
Ele consiste em um checklist que permite inspecionar as interfaces e
descobrir defeitos existentes no critério ergonomia.
25. 25
É composto de 194 questões que envolvem usabilidade e está subdividido
em 18 categorias: presteza, agrupamento por localização, agrupamento por formato,
feedback, legibilidade, concisão, ações mínimas, densidade informacional, ações
explícitas, controle do usuário, flexibilidade, experiência do usuário, proteção contra
erros, mensagens de erro, correção de erros, consistência, significados e
compatibilidade. (ERGOLIST, - ).
Cada uma destas subcategorias possui questões que auxiliam na avaliação
do software ou página da web desejada.
Este checklist está disponível no site da Universidade Federal de Santa
Catarina, a avaliação pode ser feita online e ao final é emitido um laudo contendo o
resultado das respostas do avaliador. Abaixo estão relacionados alguns critérios que
o Ergolist possui e suas definições (ERGOLIST, - ):
Presteza: engloba os meios utilizados para levar o usuário a realizar
determinadas ações, como, por exemplo, entrada de dados. Esse critério engloba
também todos os mecanismos ou meios que permitem ao usuário conhecer as
alternativas, em termos de ações, conforme o estado ou contexto nos quais ele se
encontra. A presteza diz respeito igualmente às informações que permitem ao
usuário identificar o estado ou contexto no qual ele se encontra, bem como as
ferramentas de ajuda e seu modo de acesso.
Agrupamento/Distinção por Localização: diz respeito ao posicionamento
relativo dos itens, estabelecido para indicar se eles pertencem ou não a uma dada
classe, ou, ainda, para indicar diferenças entre classes. Esse critério também diz
respeito ao posicionamento relativo dos itens dentro de uma classe.
Agrupamento/Distinção por Formato: diz respeito mais especificamente
às características gráficas (formato, cor, etc.) que indicam se itens pertencem ou não
a uma dada classe, ou que indicam ainda distinções entre classes diferentes ou
distinções entre itens de uma dada classe.
Feedback Imediato: diz respeito às respostas do sistema às ações do
usuário. Tais entradas podem ir do simples pressionar de uma tecla até uma lista de
comandos. Em todos os casos, respostas do computador devem ser fornecidas, de
forma rápida, com passo (timing) apropriado e consistente para cada tipo de
transação. De todo modo, uma resposta rápida deve ser fornecida com informações
sobre a transação solicitada e seu resultado.
26. 26
Legibilidade: diz respeito às características lexicais das informações
apresentadas na tela que possam dificultar ou facilitar a leitura dessa informação
(brilho do caractere, contraste letra/fundo, tamanho da fonte, espaçamento entre
palavras, espaçamento entre linhas, espaçamento de parágrafos, comprimento da
linha, etc.). Por definição, o critério Legibilidade não abrange mensagens de erro ou
de feedback.
Concisão: diz respeito à carga perceptiva e cognitiva de saídas e entradas
individuais. Por definição, a Concisão não diz respeito às mensagens de erro e de
feedback.
Ações Mínimas: diz respeito à carga de trabalho em relação ao número de
ações necessárias à realização de uma tarefa. O que temos aqui é uma questão de
limitar tanto quanto possível o número de passos que o usuário deve empregar.
Densidade Informacional: diz respeito à carga de trabalho do usuário de
um ponto de vista perceptivo e cognitivo, com relação ao conjunto total de itens de
informação apresentados aos usuários, e não a cada elemento ou item individual.
Controle Explícito: diz respeito tanto ao processamento explícito pelo
sistema das ações do usuário, quanto ao controle que os usuários têm sobre o
processamento de suas ações pelo sistema. O critério Controle Explícito se
subdivide em dois critérios: Ações Explícitas do Usuário e Controle do Usuário.
Ações Explícitas do Usuário: se refere às relações entre o processamento
pelo computador e as ações do usuário. Essa relação deve ser explícita, isto é, o
computador deve processar somente aquelas ações solicitadas pelo usuário e
apenas quando solicitado a fazê-lo.
Controle do Usuário: se refere ao fato de que os usuários deveriam estar
sempre no controle do processamento do sistema (por exemplo, interromper,
cancelar, suspender e continuar). Cada ação possível do usuário deve ser
antecipada e opções apropriadas devem ser oferecidas.
Adaptabilidade: diz respeito a sua capacidade de reagir conforme o
contexto e conforme as necessidades e preferências do usuário. Dois subcritérios
participam da adaptabilidade: a flexibilidade e a consideração da experiência do
usuário.
Flexibilidade: se refere aos meios colocados à disposição do usuário que
lhe permitem personalizar a interface, a fim de levar em conta as exigências da
tarefa, de suas estratégias ou seus hábitos de trabalho. Ela corresponde também ao
27. 27
número das diferentes maneiras à disposição do usuário para alcançar um certo
objetivo. Trata-se, em outros termos, da capacidade da interface de se adaptar as
variadas ações do usuário.
Consideração da experiência do usuário: diz respeito aos meios
implementados que permitem que o sistema respeite o nível de experiência do
usuário.
Gestão de erros: diz respeito a todos os mecanismos que permitem evitar
ou reduzir a ocorrência de erros e, quando eles ocorrem, que favoreçam sua
correção. Os erros são aqui considerados como entrada de dados incorretos,
entradas com formatos inadequados, entradas de comandos com sintaxes
incorretas, etc. Três subcritérios participam da manutenção dos erros: a proteção
contra os erros, a qualidade das mensagens de erro e a correção dos erros.
Proteção contra os erros: diz respeito aos mecanismos empregados para
detectar e prevenir os erros de entradas de dados, comandos, possíveis ações de
conseqüências desastrosas e/ou não recuperáveis.
Qualidade das mensagens de erro: refere-se à pertinência, à legibilidade e
à exatidão da informação dada ao usuário, sobre a natureza do erro cometido
(sintaxe, formato, etc.) e sobre as ações a executar para corrigi-lo.
Correção dos erros: diz respeito aos meios colocados à disposição do
usuário com o objetivo de permitir a correção de seus erros.
Homogeneidade/Coerência (Consistência): refere-se à forma na qual as
escolhas na concepção da interface (códigos, denominações, formatos,
procedimentos, etc.) são conservadas idênticas, em contextos idênticos, e
diferentes, em contextos diferentes.
Significado dos códigos e denominações: diz respeito à adequação entre
o objeto ou a informação apresentada ou pedida e sua referência. Códigos e
denominações significativas possuem uma forte relação semântica com seu
referente. Termos pouco expressivos para o usuário podem ocasionar problemas de
condução, podendo levá-lo a selecionar uma opção errada.
Compatibilidade: refere-se ao acordo que possa existir entre as
características do usuário (memória, percepção, hábitos, competências, idade,
expectativas, etc.) e as tarefas, de uma parte, e a organização das saídas, das
entradas e do diálogo de uma dada aplicação, de outra. Ela diz respeito também ao
grau de similaridade entre diferentes ambientes e aplicações.
28. 28
3.2 Acessibilidade
Fala – se muito em acessibilidade na questão de software, mas nem todos
sabem como torná-los acessível, muito menos como fazer isso voltado para web.
Porém é um direito constitucional de todos terem acesso às informações.
Segundo a lei 10.098 de 19 de dezembro de 2000, “acessibilidade é a
possibilidade e condição de alcance para utilização, com segurança e autonomia,
dos espaços, mobiliários e equipamentos urbanos, das edificações, dos transportes,
e dos sistemas e meios de comunicação, por pessoas portadoras de deficiências ou
mobilidade reduzida”.
A acessibilidade consiste em tornar disponível ao usuário (qualquer usuário)
de forma autônoma toda informação que lhe for direito desde que ele tenha código
pra acessar ou que seja livre a todos os usuários conforme define TORRES,
MAZZONI e ALVES (2002).
Há usuários com deficiências visuais, auditivas, motoras, com visão
reduzida, e alguns softwares e páginas da Internet se tornam difíceis de serem
usadas por essas pessoas, devido à falta dos recursos de acessibilidade. Isso é
possível acontecer tornando o conteúdo acessível a leitores de tela, sistemas de
reconhecimento de fala, teclado virtuais entre outros dispositivos.
Existe um documento da W3C (Anexo A) que fala exatamente sobre
acessibilidade e como ela deve ser aplicada. Esse documento descreve alguns
pontos de verificação que devem ser considerados e seguidos para assegurar um
bom nível de acessibilidade. O documento possui algumas prioridades para cada
ponto a ser verificado (SILVA, 2005):
Prioridade 1: “São pontos que os criadores de conteúdo Web devem
satisfazer inteiramente. Se não o fizerem, um ou mais grupos de usuários ficarão
impossibilitados de acessar as informações contidas no documento. A satisfação
desse tipo de pontos é um requisito básico para que determinados grupos possam
acessar documentos disponíveis na Web”.
Prioridade 2: “são pontos que os criadores de conteúdo Web deveriam
satisfazer. Se não o fizerem, um ou mais grupos de usuários terão dificuldades em
acessar as informações contidas no documento. A satisfação desse tipo de pontos
29. 29
promoverá a remoção de barreiras significativas ao acesso a documentos
disponíveis na Web”.
Prioridade 3: “São pontos que os criadores de conteúdo Web podem
satisfazer. Se não o fizerem, um ou mais grupos poderão se deparar com algumas
dificuldades em acessar informações contidas nos documentos. A satisfação deste
tipo de pontos irá melhorar o acesso a documentos armazenados na Web”.
3.3 Normas
Segundo a norma internacional ISO/IEC 9126:1 um software de qualidade
tem que levar em consideração os seguintes fatores:
Funcionalidade: verifica se o software possui um conjunto de funções e
propriedade específica do produto que satisfaçam as necessidades explícitas ou
implícitas;
Usabilidade: serve para medir o esforço necessário para a utilização do
software. Este deve oferecer uma interface amigável e uma documentação
adequada.
Confiabilidade: características que evidenciam a capacidade do software
de manter seu nível de desempenho mesmo em condições adversas. Em outras
palavras é a capacidade que o software tem de ser tolerante à falhas e recuperar
todos os dados perdidos durante a última operação, mantendo assim, a consistência
e integridade dos dados;
Eficiência: O software deve ter compatibilidade entre o nível de
desempenho do software e a quantidade de recursos utilizados. O software deve
responder rapidamente às solicitações do usuário;
Manutenibilidade: características que mostram a capacidade do software
de ser alterado, por exemplo, remover erros, adicionar novas funcionalidades ou
inserir melhorias;
Portabilidade: é a capacidade do software de ser transferido para outra
base tecnológica, sem muitas dificuldades.
30. 30
Um bom software reúne todas essas seis características, em alguns casos
algumas delas estão mais explicitas de acordo com a finalidade e funcionalidade de
cada software.
Existem também algumas outras normas que regulamentam a qualidade de
um software tais como a ISO 14.598 e a MPS-BR, ou seja, Melhoria de Processo do
Software Brasileiro.
A ISO 14.598 é um guia para avaliação de software que se baseia na pratica
da ISO 9.126. Conforme explica Garcia (2006) a ISO 9.126 aconselha que as
definições das características e sub-características de qualidade devem ser feitas de
acordo com a área de aplicação do software. Isso deve ser feito antes do começo do
desenvolvimento, e quando for feito para produto de maior porte pode se subdividir
em características e sub-características para cada módulo em que o projeto estiver
dividido.
Existem principalmente seis características que devem ser levadas em
consideração, cada uma delas está subdividida em alguns itens de vital importância.
Conforme podemos ver na Tabela 1, logo abaixo.
Tabela 1: Características de um software de qualidade
Característica Subcaracterísticas Como verificar?
Propõe-se a fazer o que é
Adequação apropriado?
Possui as funções especificadas?
Faz o que foi proposto de forma
correta?
Acurácia
O produto gera resultados precisos
Funcionalidade
ou dentro do esperado?
(Satisfaz as
Interage com os sistemas
necessidades do Interoperabilidade
especificados? com as normas, leis
cliente?). Está de acordo
existentes, padrões, convenções ou
Conformidade
regras?
Evita, ou ao menos previne, acesso
Segurança de acesso
não autorizado aos dados?
31. 31
Com que freqüência apresenta
Maturidade falhas?
Ocorrendo falhas, como o sistema
reage?
(verifica a capacidade do produto de
Tolerância à falhas manter os níveis de desempenho
Confiabilidade
desejado mesmo com a existência
(É imune a falhas?).
de problemas)
È capaz de recuperar os dados em
caso de falha?
Recuperabilidade (capacidade de restabelecer o nível
de desempenho desejado e
recuperar os dados).
É fácil entender o conceito e a
Intelegibilidade aplicação?
Usabilidade
(É fácil de usar?). É fácil aprender a usar?
Apreensibilidade
Operacionalidade É fácil de operar e controlar?
Qual é o tempo de resposta?Qual a
Tempo velocidade de execução?
Eficiência
Quanto recurso usa? Durante quanto
(é rápido e
tempo? (verifica a quantidade de cpu
“enxuto”?). Recursos
usada, a quantidade de memória
utilizada).
É fácil encontrar falha quando
Analisabilidade
ocorre?
É fácil fazer modificação e adaptar?
Modificabilidade
Há grandes riscos quando se faz
Manutenibilidade Estabilidade alterações?
É fácil testar quando se faz
Testabilidade
alterações?
É fácil adaptar a outros ambientes?
Adaptabilidade
É fácil instalar em outros ambientes?
Capacidade de ser
instalado
Portabilidade
(é fácil de usar em Está de acordo com os padrões de
Conformidade
outro ambiente?). portabilidade?
Capacidade para É fácil substituir por outro?
substituir
Fonte: de Luís Fernando Garcia, Qualidades de produto de software, 2006.
Existem várias normas que falam sobre qualidade de software e suas
características. É importante lembrar que essas normas não podem ser analisadas
separadamente, todas elas são de fundamental importância para garantir a
qualidade de um software. Ao avaliá-los é necessário considerar todas essas
normas para garantir um resultado de alto nível para um software.
Este capítulo sobre qualidade de software, acessibilidade, usabilidade e
normas de qualidade é fundamental para o desenvolvimento desse projeto. Será
33. 33
4. TÉCNICAS DE AVALIAÇÃO DE AMBIENTES VIRTUAIS DE APRENDIZAGEM
O desenvolvimento de metodologias para avaliação e seleção de um
ambiente virtual de aprendizagem para aplicação em domínio educacional específico
tem grande importância nos dias atuais (BRASILEIRO e MACHADO, 2002).
Diversos autores vêm discutindo a questão da qualidade de software. De
acordo com Rocha e Campos (1993) é consenso que software de qualidade é
aquele que atende às necessidades do usuário. A qualidade de software surge
através de vários de procedimentos observados ao longo do desenvolvimento do
software.
Para um software ter qualidade é necessário que ele possua um conjunto de
propriedades a serem satisfeitas em determinado grau, de modo que o software
satisfaça as necessidades se seus usuários (ROCHA e CAMPOS, 1993).
É preciso que a qualidade de um software seja controlada e avaliada e, para
que isso ocorra são necessários alguns métodos. Estes métodos, segundo Rocha e
Campos (1993), compõem a área de controle da qualidade definida como
organização ou sistemática de todos os procedimentos necessários à confirmação
de que o módulo ou produto está de acordo com as necessidades estabelecidas em
sua fase de desenvolvimento.
Em estudos feitos por Rocha foi desenvolvido um método para avaliação da
qualidade de software que está baseado nos seguintes conceitos:
Objetivos de qualidade — Determinam as propriedades gerais que o
produto deve possuir.
Fatores de qualidade do produto — Determinam a qualidade do ponto de
vista dos diferentes usuários do produto (usuário final, alunos e professores).
Critérios - Definem atributos primitivos possíveis de serem avaliados.
Processos de avaliação — Determina os processos e os instrumentos a
serem usados de forma a se medir o grau de presença, no produto, de um
determinado critério.
Medidas — Indicam o grau de presença, no produto, de um determinado
critério.
34. 34
Medidas agregadas — Indicam o grau de presença de um determinado
fator e são resultantes da agregação das medidas obtidas da avaliação segundo os
critérios.
Para se alcançar os objetivos de qualidade são necessários atingir alguns
fatores de qualidade, estes podem ser compostos por outros fatores, que por sua
vez são avaliados através de critérios. Os critérios definem atributos de qualidade
para os fatores. Medidas são os valores resultantes da avaliação de um produto
segundo um critério específico (ROCHA e CAMPOS, 1993).
Um ambiente virtual de aprendizagem é uma tecnologia educacional que
pode ser avaliada sob diversos aspectos que irão orientar diferentes julgamentos.
Estes aspectos podem ser relacionados quanto às especificações técnicas, quanto
ao design instrucional, quanto às características das ferramentas e facilidades
disponibilizadas, quanto às facilidades de uso e acessibilidade, quanto ao potencial
de colaboração, quanto à compatibilidade com padrões de metadados, quantos aos
aspectos ergonômicos, quanto à adequação pedagógica e quanto custo.
Um grande desafio neste contexto metodológico para avaliação de
ambientes virtuais de aprendizagem, segundo Brasileiro e Machado (2002), está
relacionado com o desenvolvimento de metodologias de avaliação que avancem na
direção de estabelecer julgamentos sobre os paradigmas pedagógicos e
ergonômicos, inerentes aos ambientes avaliados, de maneira a garantir sua a
adequação e efetividade no processo educacional. Brasileiro e Machado (2002 apud
RIBEIRO, 1998) afirmam que as novas tecnologias exigem cuidados de ordem
ergonômica e pedagógica.
Ergonômica para que o usuário, aluno ou professor, possa utilizar a
tecnologia com o máximo de segurança, conforto e produtividade conforme os
preceitos da ergonomia e pedagógico, para que as estratégias didáticas de
apresentação das informações e tarefas exigidas estejam em conformidade com o
objetivo educacional e as características de seu usuário.
Grande parte dos esforços para o desenvolvimento de metodologias de
avaliação dos ambientes virtuais de aprendizagem tem sido direcionada para a
criação e validação de métodos de avaliação comparativos entre os diversos
ambientes, por meio do estabelecimento de pontuação dos aspectos avaliados, com
a combinação de informações que possibilitem orientar a decisão quanto à escolha
do melhor ambiente, com base em um senso racional.
35. 35
Neste trabalho serão utilizados alguns métodos de avaliação já definidos e
testados em outras áreas que nos ajudarão a avaliar a qualidade e usabilidade do
ambiente virtual de aprendizagem.
Será usado o checklist desenvolvido pela Universidade Federal de Santa
Catarina, o Ergolist. Este possui 194 questões agrupadas em 18 critérios que
avaliam a usabilidade e será empregado na avaliação do ambiente virtual.
E também será empregada a norma ISO 14.598 que é baseada em outra
ISO, a ISO 9.126 que mostra conceitos de qualidade de software e possui alguns
critérios que serão usados para fazer a avaliação do ambiente.
36. 36
5. DESENVOLVIMENTO
5.1 Avaliação do ambiente Moodle
Neste trabalho será avaliado o ambiente virtual de aprendizagem Moodle.
Serão aplicados checklists para determinar qual sua qualidade segundo a norma
ISO 14.598 e sua usabilidade será verificada através do Ergolist (ERGOLIST, - ).
O Ergolist foi escolhido por ser um checklist de Usabilidade desenvolvido
pela Universidade Federal de Santa Catarina e que possui critérios de verificação de
usabilidade.
A norma ISO 14.598 foi escolhida por avaliar a qualidade de software. Dela
serão escolhidas características e subcaracterísticas, pois, para avaliar um software
não é necessário avaliar todas as características e subcaracterísticas, segundo
Silveira, Reidrich e Bassani (2007).
O questionário usa de 2 (duas) opções: Satisfatório (Excelente, Bom e
Razoável) e Insatisfatório. Os resultados serão analisados nesta escala sendo:
Satisfatório 3 pontos e Insatisfatório 1 ponto. (CÔRTES E CHIOSSI, 2001).
Foram escolhidas três pessoas de diferentes idades, estudantes de
universidade, para avaliar o ambiente: Avaliador 1, Avaliador 2 e Avaliador 3.
Os alunos utilizaram os checklists (ANEXOS B e C) e empregaram – no em
sua avaliação respondendo a todas suas questões de acordo com o Moodle.
O ambiente Moodle foi avaliado online pelo site da instituição Faculdades
Luiz Meneghel por ser o ambiente virtual por ela adotado.
Os resultados obtidos encontram-se nas tabelas (no Apêndice) e gráficos a
seguir apresentados:
37. 37
Tabela 2: Ergolist – Número de critérios em conformidade com
usabilidade
Critério Avaliador 1 Avaliador 2 Avaliador 3 Porcentagem
Legibilidade 22 21 22 78%
Agrupamento por formato 15 8 12 69%
Presteza 8 6 10 47%
Agrupamento por localização 10 7 7 73%
Feedback 8 8 6 61%
Concisão 10 11 8 69%
Mensagem de erro 6 4 6 59%
Flexibilidade 3 2 1 67%
Significado 12 10 10 89%
Proteção contra erro 3 4 1 38%
Controle do usuário 3 3 2 67%
Experiência do usuário 2 4 4 56%
Correção de erros 4 1 2 47%
Consistência 10 7 10 82%
Densidade informacional 8 5 7 74%
Compatibilidade 14 9 9 51%
Ações explícitas 4 3 4 92%
Ações mínimas 5 3 4 73%
Média 67%
Nesta tabela 2 estão estabelecidos resultados obtidos pelos três avaliadores
e os critérios utilizados do Ergolist. É através dela que foram levantados os
resultados finais e foi possível chegar a uma conclusão sobre a qualidade do
ambiente.
Foi feita uma comparação entre os resultados doas avaliadores 1, 2 e 3 e
através do cálculo foi obtida a média de usabilidade de cada critério. Depois de
obtida essa média foi feito um novo cálculo (média da porcentagem encontrada por
cada avaliador dividido pelo número de avaliadores) para encontrar a média geral de
usabilidade do ambiente Moodle que é de 67%.
Este é um resultado que se pode considerar razoável, isso demonstra que
há alguns critérios do ambiente que não estão em conformidade com o padrão de
ergonomia que se pretende obter, um a vez que se encontram abaixo de 50% como
é o caso dos critérios Proteção contra erro, Correção de erros e Presteza.
Porém foram encontrados bons resultados nos critérios Ações explícitos,
Significado e Consistência que obtiveram média superior a 80%.
41. 41
Esta tabela mostra os resultados encontrados pelos três avaliadores e
através destes resultados foi feita uma comparação e obtida a média de qualidade
de cada um dos critérios (que estão melhor descritos no anexo C). Ao final foi obtida
uma média geral da qualidade do ambiente que será detalhada melhor a seguir.
Pode se perceber que o ambiente Moodle possui um alto grau de qualidade:
91%. Apenas poucos critérios poderiam ser melhorados ou modificados para
alcançar uma excelente qualidade.
Estes resultados da tabela acima foram conseguidos dividindo a media de
cada usuário pelo valor máximo que pode ser atribuído (3) e multiplicando por 100
(para dar a porcentagem correta) obtém - se a seguinte relação (tabela 6):
Tabela 6: Porcentagem de qualidade obtida por avaliador
Ambiente Avaliador 1 Avaliador 2 Avaliador 3
Moodle 94,9 % 89,7 % 89,7 %
Para a média somou-se o resultado de cada avaliador e dividiu-se pelo
número de avaliadores:
Tabela 7: Porcentagem média de qualidade do ambiente
Ambiente Avaliador 1 Avaliador 2 Avaliador 3 Média
Moodle 94,9 % 89,7 % 89,7 % 91,43%
Analisando os resultados parciais acima concluímos que o ambiente Moodle
possui 66% de usabilidade e 91,43% de qualidade.
42. 42
Gráfico 2: Resultado da Qualidade do Moodle
Qualidade
100% 95% 92%
90% 90%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Avaliação Qualidade
Avaliador 1 Avaliador 2 Avaliador 3 Média
Tabela 8: Resultado da Qualidade do Moodle por Avaliador
43. 43
Tabela 9: Qualidade Moodle %
5.2 Resultados e discussões
Através do estudo feito da avaliação do ambiente Moodle pode se perceber
que na questão de usabilidade o ambiente atingiu 67%, que é um resultado não
muito satisfatório.
Foram encontrados alguns pontos do ambiente em que ele obteve uma
baixa porcentagem (menor que 50%) tais como: presteza, proteção contra erro,
correção de erros.
O ambiente não possui boa presteza guia nem sempre sabe onde ele se
encontra no diálogo e o que ele fez para se encontrar nessa situação, tendo difícil
navegação no aplicativo.
Quanto a proteção contra erros é preferível detectar os erros no momento da
digitação, do que no momento da validação. Isto pode evitar perturbações durante a
tarefa. O ambiente nem sempre permite que isso ocorra.
44. 44
Quanto ao critério de correção pode se dizer que erros são bem menos
perturbadores quando eles são fáceis de corrigir. O que poderia ser feito é fornecer
a possibilidade de modificar os comandos no momento de sua digitação; quando se
verifica erro na digitação de um ou mais comandos, proporcionar ao usuário a
possibilidade de refazer a digitação apenas da parte equivocada do(s) comando(s),
evitando rejeitar um bloco todo já digitado e se o usuário não percebe que cometeu
um erro de digitação. Quando se erra geralmente é necessário refazer a operação.
Alguns critérios obtiveram pontuação média (de 51% a 80%): ações
mínimas, densidade informacional, agrupamento por localização, legibilidade,
compatibilidade, experiência do usuário, mensagem de erro, agrupamento por
formato, feedback, concisão, flexibilidade, e controle do usuário.
Falando sobre ações mínimas, quanto mais numerosas e complexas forem
as ações necessárias para se chegar a uma meta, a carga de trabalho aumentará e,
com ela, a probabilidade de ocorrência de erros. Algumas tarefas e até mesmo a
navegação pelo ambiente foi definida como difícil por alguns dos avaliadores.
Se tratando de densidade informacional, na maioria das tarefas, a
performance dos usuários piora quando há muita ou pouca informação. Itens que
não estão relacionados à tarefa devem ser removidos. A carga de memorização dos
usuários deve ser minimizada. Os usuários informaram que em alguns casos houve
pouca informação sobre como chegar a um determinado local do ambiente.
No agrupamento por localização a compreensão de uma tela pelo usuário
depende da ordenação dos objetos (imagens, textos, comandos, etc.) que são
apresentados. Os usuários irão detectar os diferentes itens mais facilmente se eles
forem apresentados de uma forma organizada. Além disso, a aprendizagem e a
recuperação de itens serão melhoradas. Há um bom agrupamento, mas não uma
ordem lógica para ele.
Legibilidade: o desempenho melhora quando a apresentação da informação
leva em conta as características cognitivas e perceptivas dos usuários. Uma boa
legibilidade facilita a leitura da informação apresentada. Por exemplo, letras escuras
em um fundo claro são mais fáceis de ler que letras claras em um fundo escuro;
texto apresentado com letras maiúsculas e minúsculas é lido mais rapidamente que
texto escrito somente com maiúsculas. Os usuários acharam que esse critério está
apresentado de forma satisfatória, a largura está de acordo, não é usado tudo em
maiúsculo nem negrito.
45. 45
Compatibilidade: A transferência de informações é mais rápida e eficaz se
tiver pouca informação para entender. Os procedimentos e as tarefas são
organizados de maneira a respeitar as expectativas ou costumes do usuário. Não há
quantidade exagerada de informação e as tarefas são relativamente simples de se
realizar.
Experiência do usuário: O grau de experiência dos usuários pode variar.
Eles tanto podem se tornar especialistas, devido à utilização continuada, como
menos hábeis, depois de longos períodos de não utilização. A interface deve
também ser feita para lidar com as variações de nível de experiência. Para usuários
iniciantes, através da experiência adquirida ficou fácil lembrar e chegar a
determinados locais tanto quanto para usuários mais avançados.
Mensagem de erro: A qualidade das mensagens favorece o aprendizado do
sistema, indicando ao usuário a razão ou a natureza do erro cometido, o que ele fez
de errado, o que ele deveria ter feito e o que ele deve fazer. Quando um usuário
errou, por exemplo, na tela de cadastro foi informado que ele deixou um campo
obrigatório em branco, foi especificado o local do erro.
Agrupamento por formato: Será mais fácil para o usuário perceber
relacionamento(s) entre itens ou classes de itens, se diferentes formatos ou
diferentes códigos ilustrarem suas similaridades ou diferenças. Um bom
agrupamento/distinção leva a uma boa condução. Para os usuários foi fácil saber
que no lado direito se encontrava, por exemplo, as últimas modificações ou
publicações feitas em uma determinada matéria independente se esta fosse uma
outra matéria do mesmo curso.
Feedback: A qualidade e a rapidez do feedback são dois fatores importantes
para o estabelecimento de satisfação e confiança do usuário, assim como para o
entendimento do diálogo. Esses fatores possibilitam que o usuário tenha um melhor
entendimento do funcionamento do sistema. Houve um retorno imediato quando um
usuário concluía uma tarefa ou mesmo quando apresentava um erro ao digitar uma
mensagem, por exemplo, indicando o fracasso da operação.
Concisão: quanto menos entradas, menor a probabilidade de cometer erros.
Além disso, quanto mais sucintos forem os itens, menor será o tempo de leitura. O
usuário navega de forma rápida sem ter que utilizar muito do teclado para realizar
suas tarefas, não precisando digitar nem esperar resultados demorados.
46. 46
Flexibilidade: Quanto mais formas de efetuar uma tarefa existirem, maiores
serão as chances de que o usuário possa escolher e dominar uma delas no curso de
sua aprendizagem. Para realizar uma navegação ou uma tarefa os usuários podem
utilizar apenas o mouse.
Controle do usuário: O controle sobre as interações favorece a
aprendizagem e, assim, diminui a probabilidade de erros. Como conseqüência, o
computador se torna mais previsível. Foi fácil aos usuários ter um controle de sua
navegação e da realização de diversas tarefas no ambiente.
E apenas poucos pontos com alta porcentagem de usabilidade (maior que
80%): ações explícitas, consistência e significado.
Ações explícitas: Quando o processamento pelo computador resulta de
ações explícitas dos usuários, estes aprendem e entendem melhor o funcionamento
da aplicação e menos erros são observados. Quando o usuário precisou inserir
dados, isso foi feita de uma maneira que houve um retorno satisfatório por parte do
ambiente, sem necessidade de alterarem maiúsculas e minúsculas ou recorrer à
ajuda.
Consistência: Os procedimentos, rótulos, comandos, são mais bem
reconhecidos, localizados e utilizados, quando seu formato, localização ou sintaxe
são estáveis de uma tela para outra, de uma seção para outra. É conveniente
padronizar os objetos quanto a seu formato e a sua denominação, e a sintaxe dos
procedimentos. Os itens de uma tela para outra são padronizados e facilitam a
compreensão do ambiente.
Significado: Quando a codificação é significativa, a recordação e o
reconhecimento são melhores. Códigos e denominações não significativos para os
usuários podem sugerir operações inadequadas para o contexto, levando a cometer
erros. Por exemplo: O título deve transmitir o que ele representa e ser distinto de
outros títulos; Isso ocorre no ambiente e foi percebido pelos usuários.
Quanto à questão de qualidade os critérios de Funcionalidade – Adequação
(função), Usabilidade – Intelegibilidade e Usabilidade – Apreensibilidade foram
atendidos de maneira satisfatória de acordo com os avaliadores.
Em Funcionalidade – Adequação (função) foi percebido que o ambiente não
possui algumas funções bem definidas ou que estas são difíceis de serem
encontradas e realizadas como, por exemplo, navegar por telas do ambiente e voltar
em uma determinada tela.
47. 47
Quanto a Usabilidade – Intelegibilidade foi declarado que é difícil no início
entender com se deslocar pelo ambiente, ou como inserir um tópico com respostas
de uma tarefa.
Em Usabilidade – Apreensibilidade os usuários disseram que demoraram
um pouco para entender o ambiente e seus conceitos.
Os critérios Funcionalidade – Adequação, Funcionalidade – Acurácia,
Funcionalidade – Interoperabilidade, Funcionalidade – Segurança de acesso,
Usabilidade – Operacionalidade, Eficiência – Recursos, Portabilidade –
Adaptabilidade, Portabilidade - Capacidade de ser instalado e Portabilidade –
Capacidade para substituir foram avaliados e como resultado obtiveram conceito
máximo (100%).
48. 48
6. CONCLUSÃO
6.1 Considerações Finais
Em relação à usabilidade o Ambiente Moodle ainda apresenta alguns
quesitos que não estão totalmente em conformidade com os critérios de um
ambiente 100% ergonômico. É preciso que sejam feitas algumas melhorias para que
o ambiente possa atender as necessidades dos usuários de uma maneira
satisfatória a todos os níveis de utilizadores. Tais melhorias poderiam ser com
relação aos critérios de proteção contra erros, por exemplo, detectando os erros no
momento da digitação, ao invés de precisar validar primeiro ou em presteza através
de medidas como: indicar tamanho do campo em que o usuário vai inserir dados,
fornecer ajuda e orientação sobre cada passo que ele deve seguir ou como está o
estado do que ele está fazendo. Sempre seguindo as orientações que se encontram
no site do Ergolist elaborado pela Universidade Federal de Santa Catarina.
Na questão de qualidade foi observado seu elevado grau de qualidade, isso
demonstra que é recomendada sua adoção por usuários comuns e instituições de
ensino.
Tanto na questão de usabilidade quanto na de qualidade pode se perceber
que sempre há alguns quesitos que não estão em conformidade com as normas
estabelecidas. Isso não quer dizer que o produto seja ruim apenas que ainda
existem critérios que deve ser reavaliados.
O ambiente Moodle possui todos os quesitos mínimos para proporcionar um
bom desenvolvimento na área de educação à distância podendo sim ser adotados
por instituições de ensino ou empresas que queiram utilizar seus atributos de
colaboração em aprendizado presencial.
Como resultado final foi atingido o objetivo deste trabalho permitindo mostrar
que o ambiente possui ótimo grau de qualidade.
49. 49
6.2 Trabalhos futuros
Como trabalhos futuros poderia ser traçado um comparativo entre os AVAs
mais utilizados hoje no Brasil, como o Moodle, TelEduc, AulaNet, para que se possa
indicar qual o melhor a ser utilizado, além de verificar a questão do custo benefício,
ou seja, se o AVA é pago será que realmente ele possui a qualidade e usabilidade
necessárias para o domínio no qual será utilizado.
Poderia também ser feito um estudo de desvio padrão sobre o resultado
obtido por cada usuário para que se possa fazer uma análise sobre o motivo da
variação de cada critério avaliado.
50. 50
7. REFERÊNCIAS.
ALMEIDA, Cleibson. Debatendo o Papel do Tutor na Educação a Distância. In:
Ambientes Virtuais de Aprendizagem. I Encontro Nacional de Educação a Distancia.
Ribeirão Preto, 2006.
ALBUQUERQUE, Vitor H. O. EDMUNDO, José S. DAMIÃO, Silvia M. Soluções de
Suporte Tecnológico À Educação Presencial. In: Anais do 12º Encontro de
Iniciação Científica e Pós-Graduação do ITA – XII ENCITA/2006. São José dos
Campos, 2006.
ANTONIONI, José A. Guia MPS.BR. Melhoria de Processo do Software
Brasileiro. Painel Setorial Inmetro. Programa Nacional de Certificação de Softwares
e Serviços. Xerém, 2007.
ARIMOTO, Mauricio M. Definição De Um Processo De Software Para Garantia
Da Qualidade Em Sistemas De Comércio Eletrônico. Tese de Mestrado. Marilia,
2006.
BERGAMASCHI Fº, Edson. Elaboração e Desenvolvimento da Estrutura LaViE
(Laboratório Virtual de Estatística aplicada a admnistração ) como um SGC –
Sistema de Gerenciamento de Cursos. 2006. Dissertação de Mestrado. Faculdade
de Economia, Administração e Contabilidade de Ribeirão Preto. Universidade de
São Paulo, Ribeirão Preto 2006.
BRASILEIRO Fº, Samuel. MACHADO, Elian. Aspectos Metodológicos Da
Avaliação Pedagógica De Ambientes Virtuais De Aprendizagem. Artigo. Ceará,
2002.
CAMPOS, Fernanda C.A. COSTA, Rosa M.E. SANTOS, Neide. Fundamentos da
Educação à Distancia, Mídias e Ambientes Virtuais. Juiz de fora, 2007. Editora
Editar.
CASTILLO, R. A. F. del., 68 - MOODLE (MODULAR OBJECT ORIENTED
DYNAMIC LEARNING ENVIROMENT), Editora CCUEC / UNICAMP, publicado em
28 de fevereiro de 2005. Disponível em
http://www.ccuec.unicamp.br/EAD/index_html?
foco2=Publicacoes/78095/947021&focomenu=Publicacoes,. Acesso em 10 de abril
de 2008.
51. 51
CÔRTES, M.L.; CHIOSSI, Thelma C. dos Santos. Modelos de Qualidade de
Software. 1ªed Campinas. Editora da Unicamp, 2001.
ERGOLIST. Checklist de Usabilidade. Universidade Federal de Santa Catarina.
Disponível em : www.labiutil.inf.ufsc.br/ergolist. Acesso em: 14 de Setembro de
2008.
GARCIA, Luís F. Qualidades de Produto de Software. Universidade Luterana do
Brasil. Faculdade de Informática. 2006
KEMCZINSKI, Avanilde. Métodos de Avaliação para Ambientes E-Learning. Tese
Doutorado.2005.
ISO - INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO 13.407
Human-Centred Design process for interactive systems, 1999.
ISO STANDARDS: standards in usability and user-centred design.
Usability Partners. Disponível em:
<http://www.usabilitypartners.se/usability/standards.shtml>. Acesso em: 20 de maio.
2006.
PEREIRA, A.T.C., SCHMITT, Valdenise e DIAS, Maria R. A. C., AMBIENTES
VIRTUAIS DE APRENDIZAGEM. IN: AMBIENTES VIRTUAIS DE
APRENDIZAGEM, Florianópolis: Editora UFRGS, publicado em 2006.
PULINO Fº, Athail R. Introdução ao Moodle. Manual Moodle. Brasília, 2004.
ROCHA, Ana R. CAMPOS, Gilda H.B. de. Avaliação de Qualidade de Software
Educacional. Brasília, ano 12, p. 32-44, jan./mar.1993.
ROSSI, Daniela. Sign Web Fórum: um fórum de discussão que possibilita troca
de mensagens em LIBRAS. São Leopoldo, 2004. Monografia.
SILVA, C. R. de O. Maep: um método ergopedagógico interativo de avaliação
para produtos educacionais informatizados. Universidade Federal de Santa
Catarina. Programa de Pós-Graduação em Engenharia de Produção, Florianópolis.
2002. (Tese de Doutorado).
SILVA, Maurício S. Checklist para os Pontos de Verificação para Acessibilidade
ao Conteúdo da Web - Diretrizes 1.0. Março, 2005. Disponível em
52. 52
http://www.geocities.com/claudiaad/acessibilidade_web.html. Acesso em 5 de abril
de 2008.
SILVEIRA, Clóvis da; REIDRICH, Regina Oliveira de; BASSANI, Patrícia Brandalise
Scherer. Avaliação das Tecnologias Existentes para Inclusão Digital de
Deficientes Visuais através da utilização de Requisitos de Qualidade. Artigo.
Julho, 2007.
SOMMERVILLE, Ian. Engenharia de Software. 6º Edição.São Paulo: Addison
Wesley, 2003.
SOUZA, Luciano S. SPINOLA, Mauro de M. Requisitos de Usabilidade em
Projetos de Interface Centrado no Usuário de Software de Dispositivos Móveis.
XXVI ENEGEP, Fortaleza, Ceará. Outubro, 2006.
TORRES, Elizabeth F. MAZZONI, Alberto A. ALVES, João Bosco M. A
acessibilidade à informação no espaço digital. Artigo. Brasília, 2002.
WIKIPEDIA. Usabilidade segundo a norma ISO 9241 Interação Humano –
Computador / Usabilidade. Disponível em: http://pt.wikibooks.org/wiki/Intera
%C3%A7%C3%A3o_Humano-Computador/Usabilidade. Acesso em 26 de Março de
2008.
Guia de Acessibilidade W3C. Maio, 1999. Disponível em
http://www.w3.org/TR/WAI-WEBCONTENT . Acesso em 20 de março de 2008.
MPS-BR Melhoria de Processo do Software Brasileiro. Guia Geral versão1.1.
Maio de 2006.
53. 53
APÊNDICES
Tabela 10: Respostas do Avaliador 1 usando Ergolist
Critério Conforme Não Conforme Não se aplica Total Porcentagem
Legibilidade 22 2 3 27 81%
Agrupamento por
formato 15 1 1 17 88%
Presteza 8 3 6 17 47%
Agrupamento por
localização 10 0 1 11 91%
Feedback 8 0 4 12 67%
Concisão 10 1 3 14 71%
Mensagem de erro 6 3 0 9 67%
Flexibilidade 3 0 0 3 100%
Significado 12 0 0 12 100%
Proteção contra erro 3 3 1 7 43%
Controle do usuário 3 0 1 4 75%
Experiência do
usuário 2 1 3 6 33%
Correção de erros 4 0 1 5 80%
Consistência 10 0 1 11 91%
Densidade
informacional 8 0 1 9 89%
Compatibilidade 14 0 7 21 67%
Ações explícitas 4 0 0 4 100%
Ações mínimas 5 0 0 5 100%
Média 77%
Tabela 11: Resultados do Avaliador 2 usando Ergolist
Critério Conforme Não Conforme Não se aplica Total Porcentagem
Legibilidade 21 4 2 27 78%
Agrupamento por
formato 8 8 1 17 47%
Presteza 6 11 0 17 35%
Agrupamento por
localização 7 3 1 11 64%
Feedback 8 4 0 12 67%
Concisão 11 2 1 14 79%
Mensagem de erro 4 5 0 9 44%
Flexibilidade 2 1 0 3 67%
Significado 10 1 1 12 83%
Proteção contra erro 4 3 0 7 57%
Controle do usuário 3 1 0 4 75%
54. 54
Experiência do
usuário 4 2 0 6 67%
Correção de erros 1 2 2 5 20%
Consistência 7 3 1 11 64%
Densidade
informacional 5 4 0 9 56%
Compatibilidade 9 12 0 21 43%
Ações explicítas 3 1 0 4 75%
Ações mínimas 3 2 0 5 60%
Média 60%
Tabela 12: Resultados do Avaliador 3 usando Ergolist
Critério Conforme Não Conforme Não se aplica Total Porcentagem
Legibilidade 22 0 5 27 81%
Agrupamento por
formato 12 3 2 17 71%
Presteza 10 0 7 17 59%
Agrupamento por
localização 7 4 0 11 64%
Feedback 6 2 4 12 50%
Concisão 8 0 6 14 57%
Mensagem de erro 6 2 1 9 67%
Flexibilidade 1 0 1 2 50%
Significado 10 0 2 12 83%
Proteção contra erro 1 1 5 7 14%
Controle do usuário 2 1 1 4 50%
Experiência do
usuário 4 1 1 6 67%
Correção de erros 2 0 3 5 40%
Consistência 10 0 1 11 91%
Densidade
informacional 7 0 2 9 78%
Compatibilidade 9 1 10 20 45%
Ações explicítas 4 0 0 4 100%
Ações mínimas 4 0 1 5 80%
Média 64%
Tabela 13: Resultados do Avaliador 1 usando checklist de qualidade
Não
Critérios Satisfatório satisfatório Em parte Média
1 3 100%
2 3 100%
3 3 100%
4 3 100%
55. 55
5 3 100%
6 1 33,3%
7 3 100%
8 3 100%
9 3 100%
10 3 100%
11 3 100%
12 3 100%
13 3 100%
Média 95%
Tabela 14: Resultados do Avaliador 2 usando checklist de qualidade
Não
Critérios Satisfatório satisfatório Em parte Média
1 3 100%
2 1 33,3%
3 3 100%
4 3 100%
5 3 100%
6 3 100%
7 1 33,3%
8 3 100%
9 3 100%
10 3 100%
11 3 100%
12 3 100%
13 3 100%
Média 90%
Tabela 15: Resultados do Avaliador 3 usando checklist de qualidade
Não
Critérios Satisfatório satisfatório Em parte Média
1 3 100%
2 3 100%
3 3 100%
4 3 100%
5 3 100%
6 3 100%
7 3 100%
8 3 100%
9 1 33,3%
10 3 100%