Testes A/B
Um teste A/B mostra duas versões do seu site a visitantes diferentes ao mesmo tempo e conta qual delas leva mais gente a ligar, enviar e-mail, enviar um formulário ou clicar no seu botão principal. Você escolhe uma versão salva, a Briks a exibe ao lado da versão no ar e, quando os números estiverem claros, você fica com a vencedora.
Antes de começar
- Duas versões. Um lado do teste é sempre a versão que está no ar quando você começa. O outro é qualquer versão salva que você escolher. Então faça primeiro a alteração que quer testar e depois decida qual versão deve estar no ar.
- Visitantes reais. Cada versão precisa de cerca de 100 visitantes para o resultado significar algo. Um endereço de prévia fica fora dos mecanismos de busca e raramente recebe tantos, então a maioria dos testes deve ficar em um site em produção.
- Permissão de edição. Editors, Admins e Owners podem iniciar e encerrar testes.
- Um momento de calma. Um teste não pode começar enquanto algo está sendo criado, e um site executa um teste por vez.
Iniciar um teste
Crie a versão que você quer testar
Onde: Studio
Peça a mudança, como um novo título do hero. Ela vira a versão mais recente e vai ao ar.
Decida qual vai ao ar
Onde: Preview toolbar
Se você prefere que a versão antiga continue no ar enquanto testa, clique em desfazer. De qualquer forma funciona: um lado está no ar, o outro é o que você escolher.
Escolha a outra versão
Onde: Versions
Abra Versions, encontre a versão que não está no ar e clique em Test against live.
Espere publicar
Onde: Studio
O Briks publica as duas versões juntas e responde: “O teste A/B está no ar: os novos visitantes são divididos entre as duas versões, e cada visitante continua com a primeira que viu.”
Encontre a faixa de resultados
Onde: Preview
Uma faixa com o título A/B test aparece acima da prévia, marcada como Running.
Como os visitantes são divididos
Ao pressionar Test against live, escolha quantos visitantes novos veem a versão em teste: Half (50%), A quarter (25%), A tenth (10%) ou Custom para qualquer parcela de 5 a 95 por cento. Depois pressione Start test. A faixa mostra como está a divisão, por exemplo “90% veem v11, 10% veem v12”. Uma parcela menor é mais branda com uma mudança ousada, mas leva mais tempo para dar uma resposta clara.
Cada visitante mantém a versão que viu primeiro, por meio de um cookie que dura 30 dias. Todas as páginas que abrir vêm da versão dele, então quem lê a página inicial, sai e volta na semana seguinte continua vendo a mesma.
O que conta como conversão
| O que um visitante faz | Conta como |
|---|---|
| Toca em um link de número de telefone | Uma conversão |
| Toca em um link de endereço de e-mail | Uma conversão |
| Envia qualquer formulário do site | Uma conversão |
| Clica na ação principal do site, como Book a visit | Uma conversão |
| Abre o site | Um visitante |
| Faz duas dessas, ou uma duas vezes | Uma conversão |
Cada visitante conta uma vez como visitante e no máximo uma vez como conversão. As contagens de um mesmo endereço de internet também são limitadas a 20 por hora, para que ninguém incline um teste recarregando a página.
Leia os resultados
A faixa se atualiza a cada 15 segundos enquanto o estúdio está aberto. Cada versão tem a sua caixa: a parcela de visitantes que converteram, seguida de uma linha como “18 of 410 visitors converted”. A versão que estava no ar quando você começou aparece marcada como “live before the test”. Abaixo das caixas, uma linha resume tudo:
| A linha diz | O que significa |
|---|---|
| “Coletando visitantes. Cada versão precisa de cerca de 100 para o resultado dizer alguma coisa.” | Pelo menos uma versão tem menos de 100 visitantes. Continue esperando. |
| “Ainda sem um vencedor claro.” | Há tráfego suficiente, mas a diferença ainda pode ser acaso. |
| “A versão 12 provavelmente é melhor.” | Há pelo menos 95% de chance de que essa versão converta melhor. |
A mesma linha mostra a Change in conversion (quanto melhor ou pior é o resultado da versão escolhida, em porcentagem) e a Chance de ela converter melhor.
Encerrar o teste e ficar com a vencedora
Escolha a versão
Onde: A/B test strip
Clique em Keep v11 ou Keep v12.
Aguarde a publicação
Onde: Studio
A Briks publica a versão mantida para todos e responde, por exemplo: “O teste terminou. A versão 12 está no ar para todos.”
Continue
Onde: Studio
A versão mantida agora é a versão ao vivo. Sua próxima alteração parte dela, e desfazer e refazer voltam a funcionar.
Manter uma versão é a única forma de encerrar um teste. Iniciar e encerrar um teste não retêm créditos, porque ambos publicam versões salvas sem criar nada.
O que fica bloqueado durante um teste
As duas versões são publicadas juntas, então tudo o que publicaria algo novo espera até você manter uma delas. Enquanto um teste está em andamento, você não pode:
- peça uma mudança (“Um teste A/B está em andamento neste site. Encerre-o mantendo uma versão e depois peça sua mudança.”);
- desfazer, refazer ou pressionar Make live;
- iniciar outro teste;
- salvar código no File Explorer, publicar no Visual Editor ou usar Replace em uma imagem na aba Media;
- use Apply to the live site, Publish ou Back to preview;
- salvar o projeto como modelo ou mudar o endereço dele.
As perguntas continuam funcionando: você pode perguntar ao Briks sobre o site a qualquer momento. Veja Como fazer perguntas.
Exemplo prático: um encanador testa dois títulos
A Harbour Plumbing é uma empresa de exemplo: uma firma de duas pessoas em Bristol cujo site está em produção. O título principal diz “Reparos de encanamento e aquecimento em todo Bristol”. O dono desconfia que uma promessa de rapidez traria mais ligações.
Mude o título principal para: Um encanador na sua porta em até duas horas. Mantenha todo o resto igual.
A v12 foi ao ar com o novo título.
O dono clicou em desfazer para que o título original (v11) voltasse ao ar, abriu Versions e clicou em Test against live na v12.
Metade dos novos visitantes viu a v11 e metade viu a v12. Toques no link de telefone do cabeçalho, formulários de contato enviados e cliques em Book a visit contaram todos.
v11, no ar antes do teste: 4,4%, 18 de 410 visitantes converteram. v12: 7,8%, 31 de 398 visitantes converteram.
“A versão 12 provavelmente é melhor. Mudança na conversão: +77,4%. Chance de a v12 converter melhor: 98%.”
O proprietário clicou em Keep v12.
“O teste terminou. A versão 12 está no ar para todos.” A mudança seguinte deles, adicionar preços de atendimento aos domingos, foi feita a partir da v12.
Posso testar duas versões quando nenhuma está no ar?
Não. Um lado é sempre a versão que está no ar quando o teste começa. Coloque a outra no ar primeiro com Make live, se precisar.
Posso mudar a divisão?
Sim, ao iniciar o teste: metade, um quarto, um décimo ou qualquer fatia de 5 a 95 por cento. Um teste em andamento mantém a sua divisão; para usar outra, encerre-o e comece um novo.
Quem vê os resultados?
Todas as pessoas do espaço de trabalho que abrem a aba Studio do projeto, inclusive Viewers. Só Editors, Admins e Owners podem encerrar o teste.