O ShopIA permite criar até duas variações por disparo e dividir o tráfego entre elas. Esta página descreve o modelo simples de A/B disponível no MVP, o que pode ser testado e como interpretar resultados.
Atenção: o A/B test do Otto é um modelo simples no MVP. Variações limitadas, segmentação básica e duração mínima fixa. Versão completa com múltiplas variantes e segmentação avançada está em roadmap. <!-- TODO: confirmar com Gabriel status real do A/B no MVP -->
O que pode ser testado
| Elemento | Suportado | Observação |
|---|---|---|
| Texto da mensagem | Sim | Versões A e B |
| Linha de assunto (email) | Sim | A/B independente do corpo |
| Hora do disparo | Não | Use janelas de quiet hours |
| Canal | Não | WhatsApp vs email não está em A/B |
| Cupom (com vs sem) | Sim | Em disparos que aceitam cupom |
| Imagem (email/WhatsApp media) | Não | Ainda não disponível |
Como criar uma variação
- Acesse Otto > Automações > [automação] > Configurar > Disparo X.
- Clique em Adicionar variação.
- Escreva a versão B.
- Defina percentual de tráfego (padrão: 50/50).
- Salve.
A partir daí, novos disparos são divididos entre A e B aleatoriamente.
Duração mínima de teste
Para resultado estatisticamente confiável, o sistema exige duração mínima de 14 dias ou 500 disparos por variante, o que vier primeiro.
Antes desse mínimo, o sistema mostra resultado parcial com aviso "Amostra ainda pequena".
Lendo resultados
Em Otto > Automações > [automação] > A/B, há comparação:
| Métrica | Versão A | Versão B | Vencedora |
|---|---|---|---|
| Disparos | 487 | 502 | — |
| Taxa de leitura | 68% | 71% | B (+4%) |
| Taxa de clique | 4,2% | 5,8% | B (+38%) |
| Conversão | 12% | 14% | B (+17%) |
A coluna Vencedora marca a versão estatisticamente superior. Se nenhuma é claramente melhor (diferença < 5% e amostra pequena), aparece Empate.
Quando A/B faz sentido
- Você está em dúvida entre duas abordagens (formal vs próximo, com vs sem cupom)
- Quer testar nova oferta sem trocar a mensagem campeã atual
- Equipe está dividida e precisa de evidência para decidir
Quando A/B NÃO faz sentido
- Volume baixo (< 50 disparos por dia daquela automação)
- Quer testar 5 variações ao mesmo tempo (não suportado, faria leva de 14 dias por par)
- Quer testar mudança grande (ex.: trocar canal). Para mudanças grandes, faça pausa e relançamento, sem A/B
- Mudança óbvia (ex.: corrigir typo) — não precisa de teste
Promovendo a vencedora
Quando o teste tem resultado claro:
- Acesse a aba A/B.
- Clique em Promover B como padrão (ou A).
- A versão derrotada é arquivada.
- Você pode iniciar novo teste com nova variante quando quiser.
Boas práticas
- Teste uma variável por vez. Se mudar texto E cupom ao mesmo tempo, não saberá qual fez efeito.
- Mantenha mesmas regras de segmentação entre A e B. A diferença deve ser só na mensagem.
- Não interrompa cedo. Resultado de 3 dias pode reverter na semana 2. Respeite o mínimo.
- Documente o aprendizado. Anote em Configurar > Marca > Notas o que funcionou. Próximo teste parte de base mais informada.
Limites no MVP
- Apenas 2 variações por disparo (não suportamos A/B/C)
- Sem segmentação por variação (o sistema sorteia 50/50, não consegue mandar A só pra VIP)
- Sem auto-promoção (você decide quando promover, não o sistema)
- Resultado disponível apenas para um disparo por vez dentro de uma sequência
Como o sorteio funciona
A divisão é por cliente, não por disparo. Cliente sorteado para A continua recebendo A em disparos subsequentes da mesma sequência. Garante consistência da experiência.