Relevância estatística (A/B)

É a probabilidade de a diferença observada entre as variações A e B não ser fruto do acaso. Se o teste aponta 96% de confiança, existe 4% de chance de você estar vendo um falso vencedor. A calculadora usa um teste z de duas proporções (duas caudas), o mesmo método dos principais softwares de experimentação.

O padrão da indústria é 95%. Para decisões de alto impacto (pricing, checkout, mudanças estruturais), suba a régua para 99%. Para decisões baratas e reversíveis (copy de anúncio, assunto de e-mail), 90% pode bastar, desde que você entenda o risco maior de falso positivo.

Depende da taxa de conversão base e do tamanho do efeito que você quer detectar. Regra prática: quanto menor a diferença esperada entre as variações, mais tráfego você precisa. Testes com menos de 300 a 500 conversões por variação raramente têm poder estatístico para detectar melhorias pequenas.

Cuidado com o chamado peeking: verificar o teste toda hora e parar no primeiro pico de significância infla os falsos positivos. O ideal é definir o tamanho da amostra antes de começar e só decidir quando ela for atingida, completando ciclos inteiros de semana para capturar sazonalidade.

Sim. Ela compara duas proporções quaisquer: taxa de conversão de landing pages, CTR de anúncios, taxa de abertura ou clique de e-mails, resposta de cadências de vendas. Se você tem dois grupos com visitantes (ou impressões) e conversões, a conta é a mesma.