Teste A/B é mostrar duas versões de uma página, um botão ou um anúncio para metade dos visitantes cada, e medir qual vende mais. Para o resultado ser mais do que sorte, cada versão precisa de centenas de conversões, não de visitas. Uma loja com 30 pedidos por semana leva meses para chegar lá, e nesse tempo a Black Friday, o Natal e as férias mudam o comportamento do cliente mais do que qualquer botão.
Por que o volume importa tanto?
Porque conversão é um evento raro. Se a sua taxa é 2%, a cada 100 visitantes dois compram. Mostre a versão A para 500 pessoas e a versão B para outras 500: A pode ter 9 pedidos e B 13 por puro acaso, sem que B seja melhor. Para separar acaso de efeito, você precisa que a diferença seja grande em relação ao número de conversões, e isso exige centenas de pedidos em cada versão.
A conta aproximada: para detectar uma melhora de 20% numa taxa de 2% (de 2% para 2,4%), com a confiança que as ferramentas usam como padrão, cada versão precisa de uns 21 mil visitantes e de 400 a 500 pedidos. Numa loja de 30 pedidos por semana, com metade para cada versão, são uns sete meses. Nesse tempo o preço mudou, a sazonalidade mudou e o anúncio mudou. O teste mede a mistura, não o botão.
O guia sobre taxa de conversão mostra como calcular a sua; ela é o ponto de partida dessa conta.
O que fazer no lugar do teste A/B?
O que funciona com volume pequeno:
- Mudança grande, uma por vez, com antes e depois. Troque a foto principal do produto mais vendido, deixe duas semanas, compare com as duas semanas anteriores. Não é um teste controlado, mas uma mudança que dobra a conversão aparece mesmo assim.
- Perguntar a quem não comprou. Dez conversas de WhatsApp com quem abandonou o carrinho e aceitou receber mensagem da loja dizem mais do que um teste de cor de botão. "O que faltou para fechar?" costuma trazer frete, prazo, dúvida de tamanho e desconfiança.
- Corrigir o óbvio antes de otimizar o sutil. Site lento no celular, frete que só aparece no fim, cadastro obrigatório, foto escura. Nenhum desses precisa de teste; precisa de correção. Só depois de corrigir é que sobra algo sutil para testar.
Deslize a tabela para os lados para ver todas as colunas.
| Volume por semana | O que dá para fazer |
|---|---|
| Menos de 50 pedidos | Antes e depois de mudanças grandes; conversas com quem não comprou |
| 50 a 200 pedidos | Antes e depois com mais confiança; teste A/B só de mudança grande, por 4 a 8 semanas |
| Mais de 200 pedidos | Teste A/B de mudanças médias, com ferramenta que calcula a confiança |
Quando o teste A/B passa a valer?
Quando você tem pedidos suficientes para fechar um teste em duas a quatro semanas, e uma pergunta específica que justifique: "a página com vídeo vende mais que a com foto?". Em anúncio, o gerenciador da Meta divide o público sozinho, o que facilita montar o teste. O limite é o mesmo: se a medida é pedido, e deve ser, cada versão precisa de pedidos suficientes. Com orçamento pequeno, só criativos muito diferentes mostram diferença.
Com o volume de loja pequena, não vale testar coisa pequena: cor de botão, posição de um ícone, uma palavra no título. A diferença, se existe, é menor do que o ruído. O guia sobre medir a campanha mostra onde o esforço de medição rende de verdade para loja pequena.
O que fazer agora
Escolha uma mudança grande para o produto mais vendido, faça na segunda-feira e anote a conversão das duas semanas seguintes ao lado das duas anteriores. Enquanto isso, converse com dez pessoas que abandonaram o carrinho recentemente e aceitaram receber mensagem da loja. Para a conversão por produto, por aparelho e por período aparecer pronta, sem planilha, a Avila Ops monta o painel: https://avilaops.com/sistema-para-pequenas-empresas/ ou chame no WhatsApp: https://wa.me/5517997811471.
Perguntas frequentes
Quantos visitantes preciso para um teste A/B confiável? Depende da sua taxa de conversão e do tamanho da diferença que quer detectar. Como regra, pense em conversões, não em visitas: algumas centenas por versão para detectar uma melhora de 20%. Ferramentas de teste calculam isso para você antes de começar.
Teste A/B em anúncio funciona com orçamento pequeno? É mais fácil de montar, porque a Meta divide o público sozinha, mas o limite é o mesmo: medindo por pedido, como deve ser, orçamento pequeno gera poucos pedidos por versão. Teste criativos muito diferentes, não variações pequenas.
Antes e depois não é enganoso por causa da sazonalidade? É menos preciso que o A/B, sim. Por isso compare períodos parecidos, sem campanha no meio, e só acredite em diferenças grandes. Para loja pequena, é o que existe, e é melhor do que decidir por opinião.
