Hacking growth_ A estratégia de marketing inovadora das empresas de crescimento mais rápido

REGRAS GERAIS PARA TESTES
Para cada teste realizado, outro deixa de ser feito. Logo, é importante
pensar bem na hora de escolher a ideia e tirá-la do papel. Com um teste
malfeito, a equipe perde tempo e a oportunidade de aprender, sem contar
que dados equivocados podem tirar o time do caminho correto. É
fundamental, portanto, que todo experimento seja projetado para gerar
resultados estatisticamente válidos. Deve haver normas bem claras para
garantir a confiabilidade dos resultados, e cabe ao analista de dados da
equipe aplicá-las a todo teste que está sendo realizado. Embora este livro
não discuta os pormenores da concepção de testes, apresentamos duas
regras gerais que consideramos particularmente úteis.
USE UM NÍVEL DE CONFIANÇA ESTATÍSTICA DE 99%: algumas
ferramentas definem automaticamente o nível de confiança do teste;
outras deixam que o usuário o estipule. São comuns os níveis de 95% e
99%. Embora a diferença de quatro pontos percentuais possa parecer
pequena, do ponto de vista estatístico é grande. Um nível de confiança
de 95% significa que um resultado “positivo” pode, ainda assim, ser
negativo em 5% das vezes, ou seja, de 20 testes que deram positivo, 1
pode ser negativo. Já com 99% de confiança, o total de falsos positivos
cai para 1 a cada 100, o que é um resultado muito mais válido. Na
dúvida, portanto, adote um nível de confiança de 99%. Com isso, é
menor o risco de tocar adiante uma ideia com base no resultado
falsamente positivo de um teste.
O CONTROLE SEMPRE VENCE: quando o resultado de um teste é
claramente negativo, a equipe em geral não tem dificuldade para
aceitar o fato uma vez analisados os dados. É mais difícil chegar a um
acordo quando os resultados não são nem claramente positivos, nem
negativos, sobretudo se o teste consumiu muito tempo e energia. Como
ninguém gosta de ver esforço jogado fora, é bem possível que a equipe
queira insistir no teste por mais tempo do que seria economicamente
sensato na esperança de que a tendência atual mude com uma amostra
maior. Embora a tentação seja compreensível, quando o resultado é
inconclusivo, o melhor a fazer é manter a versão original, ou de
controle, pois, ainda que os resultados sejam inconclusivos, há o risco
de que a nova variante seja pior no longo prazo, e isso que pode custar