1. 1º Simpósio do Mestrado em Computação Móvel
Avaliação em mobile Websites
Trabalho desenvolvido no âmbito do estágio profissionalizante do
Mestrado em Computação Móvel na empresa Dom Digital
Paulo Santos Orientadora:
psantos@domdigital.pt Prof. Clara Silveira
04/06/2011

2. Estrutura da apresentação
• Introdução
• Requisitos da mobile Web
• Avaliação para Websites móveis
– Novo instrumentos de avaliação
– Casos de estudo / discussão de resultados
• Conclusões
Paulo Santos – ESTG/CM Avaliação em mobile Websites 2

3. Introdução
A tecnologia móvel está a revolucionar o dia-a-
dia das pessoas.
No final de 2010 em Portugal: (Anacom)
• A taxa de penetração do serviço telefónico móvel é de
154,9% com 16,47 milhões de estações móveis activas;
• 4,1 milhões são utilizadores activos de banda larga móvel
(UMTS/HSPA).
Em 2013 o nº de utilizadores com Internet móvel no mundo
rondará os 6 biliões e a percentagem de disseminação
será de 78,6%. (Portio Research)
Paulo Santos – ESTG/CM Avaliação em mobile Websites 3

4. Introdução
• Com esta evolução nem sempre as "Boas
Práticas" ou padrões Web para websites
móveis são seguidos.
• Necessidade de Avaliar e
validar.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 4

5. Introdução
Conformidade das boas práticas
no validador W3C mobileOK
Paulo Santos – ESTG/CM Avaliação em mobile Websites 5

6. Requisitos da mobile Web
Grande diversidade de aparelhos
Equipamentos mobile (Futuro)
Nokia 888
Morph
Paulo Santos – ESTG/CM Avaliação em mobile Websites 6

7. Requisitos da mobile Web
• Sistemas operativos e browsers
adequados às características específicas de
tamanho, funcionalidade e usabilidade
dos dispositivos móveis (pequeno ecrã, baixa
capacidade de processamento e memória, ligações
de baixa velocidade;
Paulo Santos – ESTG/CM Avaliação em mobile Websites 7

8. Requisitos da mobile Web
Sistemas Operativos/browsers Mobile
• Os SO para dispositivos móveis em 2012?? (Gartnet Inc. 2010) :
• Symbian, 1º lugar - 39% S60 Web Browser
• Android, 2º - 14,5% Android
• iPhone OS, 3º - 13,7% Safari
• Windows Mobile, 4º - 12,8% IE
• BlackBerry OS, 5º - 12,5% BlackBerry Browser
(Opera Mini/Mobile, Skyfire, Firefox Mobile)
iPhone OS, BlackBerry OS, Symbian OS, Android Windows Mobile
Paulo Santos – ESTG/CM Avaliação em mobile Websites 8

9. Requisitos da mobile Web
• Rede de acesso (GSM/GPRS ou 2G,
UMTS ou 3G/3,5G e num futuro
próximo 4G ou LTE-Long Term Evolution);
Paulo Santos – ESTG/CM Avaliação em mobile Websites 9

10. Requisitos da mobile Web
Evolução de Websites para dispositivos móveis
• As linguagens de marcação (WML, XHTML Mobile Profile
ou XHTML Basic.
• O futuro aponta para o HTML 5.0.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 10

11. Requisitos da mobile Web
• Cloud Computing  em qualquer
lugar, independente de plataforma
e com as mais variadas
aplicações.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 11

12. Instrumentos de avaliação
para Websites móveis
Normas e Validadores
• As Normas ou padrões Web (Web Standards)
• A Web seja para todos;
• em qualquer dispositivo;
• e que seja uma base de conhecimento, confiável e segura.
• O futuro da Web passa pela mobilidade, acessibilidade,
disponibilidade e usabilidade e, tudo aponta para que a Web seja a
base do conhecimento num futuro próximo (Tim Berners-Lee).
Paulo Santos – ESTG/CM Avaliação em mobile Websites 12

13. Instrumentos de avaliação
para Websites móveis
Normas
• W3C - grupo “Mobile Web Initiative”, DotMobi e Open
Mobile Alliance, …
• Documentos importantes W3C:
• Mobile Web Best Practices 1.0, Basic Guidelines - W3C (2008)
Guia de Boas Práticas para mobile Web.
• W3C mobileOK Basic Tests 1.0, W3C (2008) - Avalia a usabilidade,
eficiência e interoperabilidade e dá a certificação - W3C ® ™ mobileOK.
• Comunidade mobiForge - O “dotMobi Mobile Web
Developer's Guide” (2007).
Paulo Santos – ESTG/CM Avaliação em mobile Websites 13

14. Instrumentos de avaliação
Validadores
para Websites móveis
• Validador da W3C - http://validator.w3.org/mobile/
• Validador da mobiforge - http://mobiready.com/
• Validador da T.A.W. - http://validadores.tawdis.net/mobileok/
Paulo Santos – ESTG/CM Avaliação em mobile Websites 14

15. Novo instrumento de avaliação
para Websites móveis
Proposta de grelha de avaliação
• Este trabalho surgiu da necessidade que a empresa Dom
Digital tinha em conseguir um instrumento para analisar e
avaliar Websites para dispositivos móveis de forma mais
abrangente.
• A empresa já utiliza uma grelha interna e os 3 validadores
W3C, mobiready e TAW.
• Pretende-se um instrumento de avaliação (grelha de
avaliação) mais consistente.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 15

16. Novo instrumento de avaliação
para Websites móveis
Proposta de grelha de avaliação
Metodologia:
• Análise de 12 documentos da área – lista com cerca de 670 indicadores;
• Retirar os indicadores repetidos – lista com cerca de 170 indicadores;
• Novo critério (peso) – importância de cada indicador;
• Análise de todos os indicadores e retirar os que têm peso <=2 e os que
não se revelam importantes para a mobile web;
• Lista com 68 indicadores distribuídos por 10 temas;
Paulo Santos – ESTG/CM Avaliação em mobile Websites 16

17. Novo instrumento de avaliação
para Websites móveis
Proposta de grelha de avaliação (exemplo)
….
Paulo Santos – ESTG/CM Avaliação em mobile Websites 17

18. Novo instrumento de avaliação
para Websites móveis
Proposta de grelha de avaliação (exemplo)
• Para avaliação dos vários indicadores foram definidos critérios
Indicadores para um projecto de Web única
Indicador Descrição Peso Aval Med Pág Disp Valor
Thematic consistency O acesso a um URL deve proporcionar sempre as 3 man S/N 3 T [0, 1]
mesmas informações.
….
W3C technologies Usar tecnologias W3C. 4 man S/N 1 Desk [0, 1]
Assistive technologies Compatível com tecnologias assistivas. 4 man S/N 1 Desk [0, 1]
Padrões Web para melhorar a interoperabilidade
Indicador Descrição Peso Aval Med Pág Disp Valor
Valid markup Criar documentos válidos conforme a sintaxe formal 11 Aut - - -
amplamente conhecida.
Style sheets use Utilizar folhas de estilo para controlar o layout e a 7 Aut - - -
apresentação.
Character encoding use Indicar na resposta a codificação de caracteres 6 Aut - - -
usada.
Error messages Garantir mensagens de erro informativas. 3 Man S/N 1 1 [0, 1]
…
Paulo Santos – ESTG/CM Avaliação em mobile Websites 18

19. Novo instrumento de avaliação
para Websites móveis
Casos de estudo
A grelha de avaliação foi aplicada a casos de estudo para validação e,
avaliar a conformidade das boas práticas;
Foram realizados 3 casos de estudo:
• 1º Caso de estudo - 1 site (grelha da empresa / grelha 68 indicadores)
• 2º Caso de estudo
• 5 sites mobile;
• Avaliadores externos;
• Vários equipamentos Mobile;
• 3º Caso de estudo
• 33 sites mobile;
• Grelha com 29 indicadores de avaliação manual e os resultados dos
3 validadores.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 19

20. Novo instrumento de avaliação
para Websites móveis
Casos de estudo
A avaliação:
• Foi feita por avaliadores em ambiente de teste;
• Foram aplicados os vários validadores;
• Foram realizados testes em equipamentos móveis que
abrangem as 5 plataformas mais utilizadas:
Paulo Santos – ESTG/CM Avaliação em mobile Websites 20

21. Novo instrumento de avaliação
para Websites móveis
2º Caso de estudo
• Neste caso de estudo as avaliações foram feitas de
forma a que todos os sites (5) fossem avaliados, pelo
menos, por 3 avaliadores e com pelo menos 3
dispositivos diferentes.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 21

22. Instrumentos de avaliação para
Websites móveis
2º Caso de estudo / Resultados
Indicadores para um projecto de Web única
Indicador Descrição Peso Aval Med Pág Disp Valor
Thematic consistency O acesso a um URL deve proporcionar sempre as 3 man Passa 3 T 1
mesmas informações.
….
W3C technologies Usar tecnologias W3C. 4 man Passa 1 Desk 1
Assistive technologies Compatível com tecnologias assistivas. 4 man Ñ Passa 1 Desk 0
Padrões Web para melhorar a interoperabilidade
Indicador Descrição Peso Aval Med Pág Disp Valor
Valid markup Criar documentos válidos conforme a sintaxe formal 11 Aut Erro B - - 0,4
amplamente conhecida.
Style sheets use Utilizar folhas de estilo para controlar o layout e a 7 Aut Erro B - - 0,4
apresentação.
Character encoding use Indicar na resposta a codificação de caracteres usada. 6 Aut Aviso - - 0,8
Error messages Garantir mensagens de erro informativas. 3 Man Passa 1 1 1
…
Paulo Santos – ESTG/CM Avaliação em mobile Websites 22

23. Novo instrumento de avaliação
para Websites móveis
2º Caso de estudo / Resultados
• O resultado final é calculado tendo em conta todos os indicadores de
avaliação manual, de avaliação automática e a ponderação da variável
peso.
• Concluiu-se que os valores da avaliação dos indicadores manuais são
em média 8% inferiores aos dos indicadores automáticos
• E influenciam em média -5% a avaliação final de um site.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 23

24. Instrumentos de avaliação para
Websites móveis
2º Caso de estudo / Resultados
• Indicadores que menos atenção merecem por parte dos
programadores de sites para dispositivos móveis
Indicadores automáticos (%) W3C mobileOK Checker
Valid markup 62% Best Practice (%)
Page size limit 58% VALID_MARKUP 78%
Tables layout 38% MEASURES 60%
Measures 38% PAGE_SIZE_LIMIT 55%
Content format support 38% IMAGES_SPECIFY_SIZE 48%
Images specify size 35% CACHING 39%
Caching 33%
Paulo Santos – ESTG/CM Avaliação em mobile Websites 24

25. Instrumentos de avaliação para
Websites móveis
2º Caso de estudo / Resultados
Nos indicadores de avaliação manual os
resultados são preocupantes e demonstraram
aspectos pouco cuidados nos sites mobile Web
avaliados. Indicadores Manuais (%)
• Nenhum passou no que diz respeito à Assistive technologies 100%
compatibilidade com as tecnologias assistivas; Url's 100%
W3C technologies 67%
• Nenhum dos sites se preocupa em manter o seu Page size usable 58%
endereço URL curto; Structure 58%
• O uso de tecnologias recomendadas pela W3C Error messages 50%
falhou em 67% das avaliações; Capabilities 42%
• Páginas demasiado grandes e mal
dimensionadas.
• Não uso de linguagens de marcação para a estrutura
lógica do documento falha em 58% das avaliações;
Paulo Santos – ESTG/CM Avaliação em mobile Websites 25

26. Instrumentos de avaliação para
Websites móveis
3º Caso de estudo / Resultados
• Avaliados 33 sites mobile;
• Grelha com 29 indicadores de avaliação manual;
• Resultados da aplicação dos 3 validadores;
• 5 equipamentos das várias plataformas;
• Resultado final de cada site é a média da:
• Ponderação dos 29 indicadores de avaliação manual;
• Média dos 3 validadores;
• Os dados foram tratados estatisticamente em SPSS.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 26

27. Instrumentos de avaliação para
Websites móveis
3º Caso de estudo / Resultados
• Dos 29 indicadores revelaram-se muito
importantes 4 indicadores e os 3 validadores
subdivididos em 2 componentes:
• Estrutura:
o Structure
o Color contrast
o Validador W3C
o Validador dotMoby
o Validador TAW
• Conteúdo
o Balance
o Pause, stop, hide
Paulo Santos – ESTG/CM Avaliação em mobile Websites 27

28. Instrumentos de avaliação para
Websites móveis
3º Caso de estudo / Resultados
100
90
80
70
60
50
40
30
20
10
0
7 Ind Média Validadores 29 Ind Manuais
2%
-17%
Paulo Santos – ESTG/CM Avaliação em mobile Websites 28

29. Avaliação para Websites móveis
Conclusões
• Instrumento de avaliação mais consistente.
• Resultados coerentes, melhora as avaliações (avalia aspectos que numa
avaliação automática não é possível).
• Esta metodologia combina quatro avaliações distintas: indicadores de
avaliação manual/humana e os resultados de três validadores automáticos.
• Os sites já demonstram alguma preocupação com as boas práticas (67%
tem valor >50).
• Os resultados influenciam sobretudo a usabilidade e a disponibilidade dos
conteúdos (nomeadamente nos dispositivos mais antigos).
• Quanto maior a pontuação maior número de potenciais utilizadores (maior é a
probabilidade dos conteúdos serem visualizados correctamente num maior número de
dispositivos).
Paulo Santos – ESTG/CM Avaliação em mobile Websites 29

30. Agradecimentos:
• Prof. Clara Silveira
• Unidade de Investigação para o Desenvolvimento
do Interior (UDI), IPG
• Empresa Dom Digital
Paulo Santos – ESTG/CM Paulo Santos - psantos@domdigital.pt

31. Bibliografia
Anacom, Relatório Serviços Móveis - 2º trimestre de 2010,
http://www.anacom.pt/render.jsp?contentId=1042267, (20 Setembro de 2010), 2010.
W3C, Usage statistics of W3C mobileOK Checker,
http://www.w3.org/2008/04/mokstats/public/global/20080401-20100110/, (13 Julho de 2010),
2010.
W3C, Mobile Web Best Practices 1.0. Basic Guidelines. W3C Recommendation,
http://www.w3.org/TR/mobile-bp/, (14 Maio 2010), 2008a.
W3C, MobileOK Basic Tests 1.0. W3C Recommendation, http://www.w3.org/TR/mobileOK-
basic10-tests/, (14 Maio de 2010), 2009a.
W3C, Mobile Web Best Practices (MWBP) Flipcards,
http://www.w3.org/2007/02/mwbp_flip_cards, (14 Maio de 2010), 2009b.
Paulo Santos – ESTG/CM Avaliação em mobile Websites 31