O documento discute a importância dos testes A/B para o e-commerce brasileiro. Ele apresenta: 1) Uma breve história da internet e do comércio eletrônico no Brasil; 2) Conceitos de experiência do usuário (UX) como apreensibilidade, eficiência e satisfação; 3) Como os testes A/B podem comparar diferentes versões de um site para medir métricas como taxas de conversão.
A importância do teste ab para o comércio eletrônico brasileiro
1. A importância do Teste A/B para o E-commerce brasileiro
A B
João Victor Botelho Marques 1
2. Introdução
• Fenômeno da Internet
• Mudança de comportamento e acesso a
informação
• Comércio eletrônico
• Concorrência
• Experiência do Usuário UX
• Testes A/B
• Os testes A/B podem realmente demonstrar
características importantes para a descoberta do
perfil de público que acessa determinado site,
permitindo assim o uso desta metodologia como
parte da estratégia de marketing digital de
e-commerces no Brasil?.
2
5. 1.1 Linha do tempo da Internet
42
1960
1970
1990
1971
Com o término da Guerra Fria, a ArpaNet
continuou sendo útil e que os militares passaram
a permitir a utilização da rede por cientistas.
Anos mais tarde, diversas universidades,
inclusive de outros países também conseguiram
ter acesso a ArpaNet.
Bogo (2000, online),
ARPANET
Tim Bernes-Lee conseguiu
dinamizar a passagem de um
texto de forma rápida e
dinâmica, utilizando um sistema
conhecido como World Wide
Web. Desde então, cada vez
mais a Internet tem feito parte
da vida das pessoas de todo o
mundo
Internet
Os primórdios da Internet remetem á reação do governo
norte-americano ao Projeto Sputnik da antiga União das
Repúblicas Socialistas Soviéticas (URSS), capitaneadas pela
Rússia, durante a guerra fria, em 1957. O nascimento da
Internet está diretamente relacionado ao trabalho de peritos
militares norte-americanos que desenvolveram a ARPANET,
rede da Agência de Investigação de Projetos Avançados dos
Estados Unidos, durante a disputa do poder mundial com a
URSS.
Abreu, Karen (2009, p.3)
Guerra Fria
Vinton Cerf junto com outros cientistas
tentavam conectar três redes diferentes,
chamando o projeto de Interneting.
Ainda no ano de 1971 outra adaptação da
Arpanet surge, o método de transmissão
de mensagens conhecido mundialmente
por e-mail. O projeto foi do engenheiro
Ray Tomlinson
Evoluções e E-mail
5
6. 1.1 Atualmente – Usuários online
EUA – 252 milhões
Japão – 100 milhões
China – 643 milhões
India – 215 milhões
Brasil – 99
milhões
5º
1º
2º
3º
4º
Fonte: eMarketer, disponível em: http://www.bbc.com/portuguese/noticias/2014/11/141124_brasil_internet_pai
6
7. 1.2 Crescimento da Internet no Brasil
20
25
30
35
40
45
50
55
60
65
70
2008 2009 2010 2011 2012 2013
URUGUAI ARGENTINA CHILE BRASIL COLÔMBIA VENEZUELA MÉXICO
Proporção de domicílios com computadores em países da América Latina Proporção de domicílios com acesso à Internet
Fonte: Comitê Gestor de Internet - 2013
7
8. 1.3 Atividades realizadas pelos usuários online no Brasil
Principais atividades realizadas pelo brasileiro na internet Proporção de domicílios com acesso à Internet
0
10
20
30
40
50
60
70
2011 2012 2013
REALIZARAM PESQUISA DE PREÇOS OU SERVIÇOS NA INTERNET
COMPRARAM PRODUTOS PELA INTERNET
DIVULGARAM OU VENDERAM ALGUM BEM OU SERVIÇO PELA INTERNET
Fonte: Comitê Gestor de Internet - 2013
8
9. 1.4 Comércio Eletrônico
Um dos fatores que justificam o crescimento do e-comerce
são as facilidades que eram inimagináveis anos antes, tais
como:
• A exibição de informações sobre as empresas e seus
produtos acontecem em sites que atuam 24 horas por dia,
7 dias na semana.
• comprar tornou-se mais eficaz, pois a Internet facilitou a
descoberta de fornecedores, permitiu a emissão de
requisições on-line, o fechamento de transações em bolsas
de mercado, a procura por preços mais baixos em poucos
segundos.
Kotler (2003, p. 106)
9
10. 1.4 Comércio Eletrônico
As inovações tecnológicas, mesmo antes da
Internet, já vinham revolucionado a forma como as
compras e vendas eram efetuadas:
• FedEx
• padrões ISBN
• cartões de crédito
• bancos de dados relacionais
• códigos de barras
• Compras Supermercado
• Compras por telefone
• Compras por catálogo
Anderson (2006 p.39)
10
11. 1.5 Taxa de Conversão no Brasil
.
12,8bilhões de
visitas a sites
133milhões de
pedidos feitos
1,04% Taxa de
Conversão
Fonte: Conversion (2014, online)
11
13. “A usabilidade é um atributo de qualidade que avalia
quão fácil são as interfaces de usar”.
Jakob Nielsen (2012).
o estudo sobre interfaces onde os visitantes não
tenham que pensar para tomar uma ação
Steve Krug (2006, p. 11)
“o estudo referente a forma como as pessoas usam
produto e como fazer está utilização ser mais rápida
e fácil.”
Dumas e Redish (1999, p.5)
Logo, pode-se definir Usabilidade como a
possibilidade de deixar interfaces e produtos mais
fáceis de utilizar, assim os usuários podem concluir
de maneira mais eficaz e rápida seus objetivos.
2.1 Definição de Usabilidade
13
14. 5 pontos principais que devem ser planejados para
garantir que uma interface, é de fato, fácil de
compreender:
• Apreensibilidade
• Eficiência
• Memorização
• Erros
• Satisfação
Nielsen (2012, online)
2.2 Principais pontos
14
15. Apreensibilidade
O quão fácil é para os usuários a realização de
tarefas básicas na primeira vez dentro do site?
Nielsen (2012, online)
2.3 Apreensibilidade
15
16. Apreensibilidade
O quão fácil é para os usuários a realização de
tarefas básicas na primeira vez dentro do site?
Nielsen (2012, online)
Apreensibilidade é a qualidade ou característica
daquilo que se pode apreender, ou seja, é a
capacidade para assimilar conhecimentos e
conteúdo.
Krug (2006, p.11)
2.3 Apreensibilidade
16
17. Eficiência
Depois que os usuários aprenderam a navegar no
site, qual a rapidez com que conseguem executar
as tarefas?
Nielsen (2012, online)
2.4 Eficiência
17
18. Memorização
Quando os usuários voltam para o site após um
período de tempo sem utiliza-lo, como a proficiência
pode ser restabelecida?
Nielsen (2012, online)
2.5 Memorização
18
19. Erros
qualquer ação que leve o usuário a não executar
determinada tarefa” e existem basicamente, dois
tipos principais:
Erros detectados pelos usuários: São aqueles que o
usuário consegue corrigir em sua navegação
Erros não detectados pelos usuários: deixam os
usuários completamente sem entender o que pode
ter ocasionado o problema, fazendo com que deixe
o site e ainda se sinta incapaz de concluir a tarefa.
Nielsen (2012, online)
quando os usuários encontravam dificuldades para
concluir qualquer tarefa, a responsabilidade era
atrelada a si próprio e não ao site
Zanini (2014, online)
2.6 Erros
19
20. Satisfação
Quão agradável é a utilização do site?
Nielsen (2012, online)
Quanto mais alta a satisfação dos clientes, maior o
grau de retenção:
• Conquistar novos clientes pode custar de cinco a
dez vezes mais do que a retenção dos atuais
clientes
• Em média, as empresas perdem de 10 a 20% de
seus clientes por ano
• Uma redução de 5% no índice de perda de
clientes pode aumentar os lucros em algo entre
25% a 85%, dependendo do setor de atividade.
Kotler (2003, p.202)
2.7 Satisfação
20
21. Personas
Questionários
Técnicas de UX
Kotler já afirmava a importância de se conhecer o
cliente, e para tal são necessárias pesquisas e
observações. Na usabilidade, existe esta mesma
necessidade, pesquisar e entender o
comportamento dos visitantes. As principais
pesquisas são card sorting, questionários, testes de
usabilidade, grupos de foco, personas.
Kotler (2003, p.170)
2.8 Técnicas de UX
21
22. Questionários
Questionar os clientes é uma técnica já utilizada por
profissionais de marketing há muito
Kotler (2002, p.172)
Deve-se Evitar:
Perguntar o que a pessoa (mais) gosta
“Se eu perguntasse ás pessoas o que elas queriam
na época da carroça, elas diriam que gostariam de
um cavalo mais rápido”.
O que você gostaria que esta ferramenta tivesse?”,
“O que você mais gosta nesta interface?” E “Como
você se sente utilizando este recurso?”
Avaliações com escala numérica
Pagani (2013, online)
2.9 Questionários
22
23. Questionários
Questionar os clientes é uma técnica já utilizada por
profissionais de marketing há muito
Kotler (2002, p.172)
Deve-se Evitar:
Perguntar o que a pessoa (mais) gosta
“Se eu perguntasse ás pessoas o que elas queriam
na época da carroça, elas diriam que gostariam de
um cavalo mais rápido”.
O que você gostaria que esta ferramenta tivesse?”,
“O que você mais gosta nesta interface?” E “Como
você se sente utilizando este recurso?”
Avaliações com escala numérica
Pagani (2013, online)
2.9 Questionários
23
24. Personas
“um meio de descobrirmos o nosso verdadeiro
público-alvo e como nós podemos satisfazer melhor
suas necessidades e gerar um maior interesse pelo
seu serviço ou produto”
O que é necessário saber para criar uma persona ?
Faixa etária
Onde moram
Caminho até encontra a necessidade de compra
Motivações e preocupações
Gonzalez (2014, online)
2.1.1 Personas
24
25. Focus Group
uma técnica um tanto informal que pode ajudá-lo a
avaliar as necessidades e sentimentos do usuário
antes design de interface
Nielsen (1997, online)
O objetivo principal dos grupos de foco é obter uma
visão aprofundada ouvindo um grupo de pessoas
do mercado-alvo apropriado falar sobre problemas
que interessam ao pesquisador. O valor da técnica
está nos resultados inesperados que
frequentemente se obtém de um grupo de
discussão livre.
Malhotra (2010, p.118)
oito á doze participantes e um moderador que é
responsável pelo direcionamento da conversa
Teixeira (2011, online)
2.1.2 Focus Group
25
26. Testes de Usabilidade
1 – O objetivo principal é melhorar a usabilidade de
um produto.
2 – Os participantes representam usuários reais do
site, interface ou produto.
3 – Os participantes fazem tarefas reais.
4 – É possível observar e registrar o que e como os
visitantes executam as tarefas.
5 – Após o teste, é possível analisar os dados,
diagnosticar os problemas reais e recomendar
mudanças para corrigir estes problemas.
S. Joseph, Dumas e Redish (1999, p.21)
2.1.2 Testes de Usabilidade
26
27. Card Sorting
uma técnica empregada para descobrir a
representação ou o modelo mental que os usuários
elaboram sobre o conjunto de itens de informação
Cybis (2012, p. 178)
Através desta técnica pode-se obter um mapa
mental preciso baseando-se no ponto de vista dos
usuários finais de uma determinada aplicação
Andriani (2012, online)
2.1.3 Card Sorting
27
28. Card Sorting
Aberto
os participantes recebem cartas contendo os itens
de conteúdo sem nenhum agrupamento
estabelecido. Com isso, devem classificar os
cartões em grupos, empilhando os mesmos da
forma como julgam ser apropriadas e por fim,
aplicar um rótulo apropriado que descreva este
agrupamento
Fechado
os participantes recebem cartas contendo os itens
de conteúdo da aplicação. A diferença do modelo
aberto, é que estes possuem um conjunto pré-
estabelecido de tópicos.
Spencer (2004, online)
2.1.3 Card Sorting
28
35. BA
Foi descoberto porém, que o
público da Sephora compra em
média 1,8 produtos por pedido,
sendo necessário voltar as páginas
com vitrines para escolher mais
produtos.
3.3 Exemplo de Teste A/B - Sephora
35
36. A B C
3.3 Exemplo de Teste A/B – Sephora Fase 2
36
37. A B C
Semana 1 Semana 2 Semana 3
Vendas das versões
A
B
C
+5,6%
3.3 Exemplo de Teste A/B – Sephora Fase 2
37
43. 1. Endereço de IP
Visitante único
(Quantidade de pessoas
que acessaram o site)
2. Navegador
Modelo e versão
4. Tempo de seção
Tempo de acesso
ao site
3. Sessão
Visitas
(Quantidade total de
acessos ao site)
5. Página
Páginas visitadas
4.1 Informações coletadas
43
44. % de visitas que compram
Pedidos/Visitas
Conversão
Valor dos pedidos
Receita
Valor Médio por pedido
Receita/Pedidos
Ticket Médio
% de visitas que entram no site e
saem sem interagir com nenhum
elemento da página
Taxa de Rejeição
Páginas em que mais os
visitantes deixam o site
Taxa de Saída
4.2 Métricas
44
45. Home
Páginas de
Produto
Checkout
• 80% não
prossegue para
a próxima etapa
• 70% não
prossegue para
a próxima etapa
Entrada Conversão
4.3 Fúnil de Conversão
45
47. A Importância
do Teste A/B
1. Conhecer métricas
Avaliar através de um fúnil
qual etapa os visitants mais
abandonam o site
2. Conhecer o usuário
Através das técnicas de UX
conhecer os usuários e os
problemas que eles tem na
etapa analisada
4. Resultados
Mensurar os resultados dos
testes e descobrir características
do público em maior
amostragem
3. Testar
Criar hipóteses com bases
nos estudos da fase 2.
5.1 Considerações finais
47
48. 5.2 Referências
ABREU, Karen. Histórias e usos da internet. Publicado em 2009. Disponível em: <http://www.bocc.ubi.pt/pag/abreu-karen-historia-e-usos-da-internet.pdf>.
Acesso em: 10 abr. 2015.
ADRIANI, Max. Card sorting: Uma janela para a mente. Publicado em 2012. Disponível em: <http://www.maxandriani.art.br/2012/11/20/card-sorting-uma-
janela-para-a-mente/>. Acesso em: 05 jun. 2015.
ALMEIDA, Fernandes Augusto Virgílio (Coord.) Pesquisa sobre o uso das tecnologias da informação e da comunicação no Brasil: TIC domicílios e Tic
empresas 2006. São Paulo: Comitê Gestor da Internet no Brasil, 2013.
ANDERSON, Chris. A Cauda Longa. Rio de Janeiro: Elsevier, 2006.
BOGO, Kellen Cristina. A História da Internet: como tudo começou. Disponível em: <
http://www.jelapisdecor.com.br/downloads/seginternet/A_Historia_da_Internet.pdf>. Acesso em 15 abr. 2015.
CARNEIRO, Ruy. Glossário de Métricas – Web Analytics. 1. ed. São Paulo: IAB (Interactive Advertising Buereau), 2011.
CARVALHO, Henrique. Dicas sobre webdesign e usabilidade que irão alavancar suas conversões. Publicado em 2013. Disponível em:
<http://viverdeblog.com/usabilidade-conversao/>. Acesso em: 18 jun. 2015.
CARVALHO, Henrique. Tudo o que você precisa saber sobre Teste A/B. Viver de Blog, 2014.
CHARLESWORTH, Allan. Key Concepts in E-Commerce. 1. ed. New York: Palgrave Macmillan, 2007.
CONVERSION. O Mapa do E-Commerce no Brasil. Publicado em 2014. Disponível em: <http://www.conversion.com.br/otimizacao-de-sites-seo/mapa-
conversion-e-commerce/>. Acesso em: 11 mai. 2015.
48
49. 5.2 Referências
CYBIS, Walter; BETIOL, Adriana Holtz; FAUST, Richard. Ergonomia e usabilidade: conhecimentos, métodos e aplicações. 2ª Ed. São Paulo: Novatec Editora,
2012.
DUMAS, Joseph; REDISH, Janice. A Practical Guide to Usability Testing. 1. Ed. England: Intellect, 1994.
GOMES, Maria; BARBOSA, Eduardo. A Técnica de Grupos Focais para Obtenção de Dados Qualitativos. Minas Gerais: Educativa (Instituto de pesquisas e
inovações educacionais), 1999.
GONZALEZ, Guilherme. Personas na prática. O verdadeiro tolo, é aquele que tenta agradar a todos. Publicado em 2014. Disponível em <https://medium.com/ux-ui-design-1/personas-
na-pratica-e7be007d5cfd >. Acesso em: 21 jun. 2015.
KAUSHIK, Avinash. Web Analytics 2.0. Estados Unidos da América: Sybex, 2010.
KERZNER, Harold. Project Management Metrics, KPIs, and Dashboards: A Guide to Measuring and Monitoring Project Performance. 2. ed. S.l,: Wiley, 2011.
KLEINA, Nilton. A história da Internet: pré-década de 60 até anos 80. Publicado em 2011 Disponível em: <http://www.tecmundo.com.br/infografico/9847-a-historia-da-internet-pre-
decada-de-60-ate-anos-80-infografico-.htm>. Acesso em: 16 abr. 2015.
KOTLER, Philip. Administração de marketing: análise, planejamento, implementação e controle. São Paulo: Atlas, 1998.
KOTLER, Philip. Marketing de A a Z: 80 conceitos que todo profissional precisa saber. Rio de Janeiro: Elsevier, 2003.
KRUG, Steve. Não me faça pensar. 2. Ed. Rio de Janeiro: Alta Books, 2006.
49
50. 5.2 Referências
MAGALHÃES, Arthur. Teste A/B e Multivariado, diferenças, vantagens e limitações. Publicado em 2014. Disponível em: <http://www.dp6.com.br/teste-
ab-e-multivariado-diferencas-vantagens-e-limitacoes/>. Acesso em: 18 ago. 2015.
MALHOTRA, N. Pesquisa de marketing: uma orientação aplicada. 6.ed. Porto Alegre: Bookman, 2012.
NACSA, Demetrius. O Comércio eletrônico no Brasil. 1. Ed. Mauá: FATEC (Faculdade de Tecnologia), 2012.
NIELSEN, Jakob. Card Sorting: How Many Users to Test. Publicado em 2004. Disponível em: <http://www.nngroup.com/articles/card-sorting-how-many-
users-to-test/>. Acesso em: 06 jun. 2015.
NIELSEN, Jakob. Measuring the Usability of Reading on the Web. Publicado em 1997. Disponível em <http://www.nngroup.com/articles/measuring-the-
usability-of-reading-on-the-web/>. Acesso em: 05 jun. 2015.
NIELSEN, Jakob. The Use and Misuse of Focus Groups. Publicado em 1997. Disponível em: <http://www.nngroup.com/articles/focus-groups/>. Acesso em:
20 jun. 2015
NIELSEN, Jakob. Usability 101: Introduction to Usability. Publicado em 2012. Disponível em <http://www.nngroup.com/articles/usability-101-
introduction-to-usability/>. Acesso em: 29 mai. 2015.
PAGANI, Talita. Perguntas a serem evitadas em pesquisa com usuários. Publicado em 2013. Disponível em: <http://www.uxdesign.blog.br/pesquisa-com-
usuarios/perguntas-a-serem-evitadas-em-pesquisa-com-usuarios/>. Acesso em: 12 jun. 2015.
RAMSEY, Deborah. Estatísticas 2 para leigos.1. ed. Rio de Janeiro: Alta Books, 2014.
SIQUEIRA, André. O que são A/B tests e como escolhê-los. Publicado em 2012. Disponível em: <http://resultadosdigitais.com.br/blog/o-que-sao-ab-tests-
e-como-escolhe-los-bonus-veja-como-subimos-em-167-a-conversao-de-uma-pagina/>. Acesso em: 29 ago. 2015. 50
51. 5.2 Referências
SPENCER, Donna; WARFEL, Todd. Card sorting: a definitive guide. Publicado em 2004. Disponível em: <http://boxesandarrows.com/card-sorting-a-
definitive-guide>. Acesso em 05 jun. 2015.
TORRES, Claúdio. A bíblia do marketing digital. 1. Ed. São Paulo: Novatec, 2009.
ZANINI, Victor. Percebendo usuários: erros, de quem é a culpa?. Publicado em 2014. Disponível em: <http://www.uxdesign.blog.br/pesquisa-com-
usuarios/percebendo-usuarios-erros-de-quem-e-a-culpa/>. Acesso em: 04 jun. 2015.0
51
