Uma introdução suave e prática aos testes A/B

Escrito por: Isabela Piccinini
Revisado por: Paulo Rossi, Felipe Almeida

---

Em algum momento, todo mundo tem alguma dificuldade com as incertezas envolvidas na tomada de decisões. Então, considere o quanto isso pode ser mais complicado em ambientes de negócios, com a pressão adicional das partes interessadas e da satisfação do cliente.

Felizmente para nós, nosso cérebro foi projetado para lidar com a avaliação da qualidade das evidências disponíveis, para então deliberar sobre o melhor caminho a seguir, orientando o processo de tomada de decisões para reduzir a incerteza.

Não seria ótimo para nós se tivéssemos uma metodologia para nos ajudar ao longo desse caminho difícil e importante, facilitando um pouco as nossas vidas? É por isso que o teste A/B pode ser um aliado incrível! Essa é uma forma de experimentar novas ideias e medir o impacto das nossas mudanças em um ambiente controlado e aprender com elas antes de escalar as soluções. Isso nos ajuda a utilizar decisões orientadas por dados com mais confiança dos resultados reais que as possíveis mudanças terão para a estratégia de negócios e para os usuários finais. Parece mágica, mas é ciência! 

Então, como podemos melhorar a forma de tomarmos decisões e aprendermos com os usuários? Continue conosco, porque neste artigo vamos introduzir o teste A/B de uma forma muito direta e prática, para que você possa usar essa informação a partir de agora.

Visão geral dos testes A/B

No contexto de uma empresa, o teste A/B é uma forma de executar um experimento controlado e aleatório para comparar duas versões diferentes (A e B) de algum produto ou serviço. Ele usa testes estatísticos para estabelecer um relacionamento causal entre um tratamento (variação) e um efeito (consequência).

Assim como com qualquer outro experimento, queremos validar uma hipótese usando uma ou mais métricas de interesse.

A ideia por trás do teste A/B é desafiar uma versão existente do seu produto ou serviço (A, também conhecido como grupo de controle) em comparação com uma nova versão com uma única mudança específica (B, conhecido como grupo de tratamento). O primeiro serve como uma linha de base para que você possa comparar o desempenho da sua mudança desejada. Ao dividir aleatoriamente o tráfego e comparar os indicadores de desempenho escolhidos desses grupos, sempre que você encontrar uma diferença na qual tenha confiança e que confirme sua hipótese inicial, pode implantar a nova versão do seu produto/serviço. 

Vamos usar um exemplo simples, conforme segue:

digamos que você tenha uma página inicial no seu aplicativo que no momento tem um botão para avançar, e quer avaliar se mudar o caractere “>” para a palavra “ir” vai aumentar o tráfego. Então, você tem:

Hipótese: mudar o conteúdo do botão exibido aumentará o volume de acesso de usuários em 5%.

Métricas de meta: volume de cliques e número de usuários que clicam no botão.

Embora o experimento pareça simples, para poder confiar nos resultados, você tem alguns ingredientes e procedimentos importantes a considerar, e é por isso que vamos discutir sobre eles mais adiante. Mas primeiro, por que deveríamos nos importar com a execução de testes A/B?

Conheça nossas oportunidades

Por que os testes A/B são tão importantes?

A experimentação deve estar integrada à cultura de desenvolvimento de produtos. Ela nos permite fazer melhorias incrementais com base em feedback real. Isso também nos permite testar cada mudança com uma amostra pequena e representativa do público-alvo com usuários da vida real, para coletar informações valiosas, com as quais podemos iterar o ciclo de desenvolvimento do nosso produto.

A experimentação é um acelerador da cultura ágil, reduzindo a incerteza e oferecendo percepções sobre o que funciona e o que não funciona para o público-alvo. 

Se o experimento for um sucesso, podemos ter confiança na implantação da mudança para todos os clientes. Do contrário, nós falhamos positivamente, tendo a chance de aprender com os dados coletados, que iluminarão novas ideias no futuro. Assim, nenhum prejuízo é causado ao negócio e não gastamos muitos recursos humanos e financeiros em algo que não traz bons resultados como esperado.

Além disso, uma cultura de experimentação fomenta a curiosidade e ajuda a combater opiniões fortes também conhecidas como a opiniões da pessoa mais bem remunerada. Nós, humanos, tendemos a ter um forte viés de confirmação para aceitar ideias e resultados que combinam com a nossa forma de pensar, e ao mesmo tempo, temos a inclinação de investigar ou duvidar de resultados que se afastam das nossas suposições. Sabendo disso, podemos usar os testes A/B a nosso favor, pois eles permitem a mensuração de impacto livre de vieses (pelo menos quando as melhores práticas de design de experimentos são seguidas e temos de fato uma amostra aleatória, como falaremos mais adiante). Então, escolhemos a melhor ideia validada pelo nosso experimento.

Uma medida precisa vale mais do que as opiniões de mil especialistas.

(Almirante Grace Hopper)

Muitas coisas foram ditas, então vamos resumir a cultura da experimentação em quatro pilares principais para se manter em mente:

1. suportar sua decisão com dados confiáveis
2. aprender rápido com o processo e os resultados
3. alocar recursos de forma inteligente
4. entender melhor o que os seus clientes precisam

Como executar um teste A/B?

Eu prometi que este seria um guia prático, então vamos falar sobre alguns passos importantes para conduzir um teste A/B confiável. Obviamente, essa lista não é completa, mas é um bom ponto de partida.

Planejamento do design do seu experimento

Antes de agir, precisamos planejar cuidadosamente para reduzir as chances de erro. Nesse caso, os erros podem levar a conclusões equivocadas que podem prejudicar o nosso negócio ou atrapalhar ótimas oportunidades. 

1. Determinar uma boa hipótese

O primeiro passo para garantir a confiabilidade do nosso teste é definir claramente o seu objetivo (o que você quer melhorar no seu produto/serviço). Um objetivo bem definido ajuda na elaboração de uma hipótese bem estruturada.

A hipótese pode ser estabelecida usando-se uma cláusula SE-ENTÃO: SE alguma ação for feita, ENTÃO alguma consequência é esperada.

No exemplo do botão dado acima:

Objetivo: aumentar o engajamento dos usuários do aplicativo.

Hipótese: SE mudarmos o conteúdo do botão exibido, ENTÃO podemos aumentar o volume de acesso de usuários em 5%.

Um teste A/B procura validar essa hipótese escolhida, supondo:

A hipótese nula ( H0): não há diferença significativa entre as variantes de tratamento e de controle da métrica de interesse.

A hipótese alternativa ( H1): existe uma diferença significativa entre as variantes de tratamento e de controle da métrica de interesse.

A fim de executar um teste A/B valioso, é importante limitar uma única mudança (variável) de cada vez, do contrário você pode ter efeitos combinados. Lembre-se de que usamos experimentos para atribuir causalidade, então se você tiver mais de uma mudança acontecendo, como poderá saber com certeza o que está gerando os resultados observados? Se você realmente precisa executar testes com múltiplas variáveis simultaneamente, há algumas abordagens de design para isso.

2. Determinar os grupos de tratamento

Um grupo deve representar o status-quo com a experiência como é (sem qualquer mudança). E o outro representa a experiência de como será, com a mudança para comparar à versão atual. Podemos até adicionar mais variações para o mesmo recurso, se quisermos (o que é conhecido como teste A/B/n).

No nosso exemplo anterior, poderíamos ter:

Controle: botão com o caractere “>”.

Tratamento A: botão com a palavra “ir”.

Tratamento B: botão sem qualquer caractere ou palavra.

3. Determinar a métrica de sucesso

Agora que você sabe o que deseja melhorar, precisa escolher como medirá o impacto da melhoria. Para isso, você pode usar três categorias de métricas inteligíveis:

• Métricas de objetivo: conjunto de métricas que define o que é importante para a organização como um todo. Esses são pontos de referência de longo prazo para a empresa.
• Métricas de meta (ou métricas impulsionadoras): estas são as métricas para as quais o seu experimento foi projetado para otimizar. Isso ajuda você a decidir se a sua hipótese é verdadeira ou não.
• Métricas de proteção: podem ser encaradas como uma medida de proteção (aquilo de que a empresa não está disposta a abrir mão). Elas são úteis para proteção e análise de alternativa sobre se o novo recurso deve ou não ser lançado.

No nosso exemplo anterior, poderíamos ter:

Métrica de objetivo: tempo gasto no aplicativo (pois isso pode servir como um proxy para o engajamento dos usuários) ou o valor presente líquido (NPV).

Métricas de meta: o volume de cliques e o número de usuários que clicam nesse botão (pois isso é um proxy do interesse dos usuários no novo recurso).

Métricas de proteção: o volume de travamentos no aplicativo e o número de tíquetes abertos no atendimento ao cliente (pois pode ser muito importante proteger a satisfação do usuário).

Uma boa dica é escolher métricas relativas como porcentagens, para não diluir ou distorcer os resultados.

4. Determinar o tamanho da amostra

O próximo passo é estimar o tamanho da amostra necessária para poder estimar o efeito que você especificou na sua hipótese inicial.

Queremos que os nossos resultados sejam relevantes e corretamente identificados, então precisamos de três informações importantes para calcular o tamanho da amostra:

• Poder estatístico: representa a probabilidade do teste rejeitar a hipótese nula quando ela deve ser rejeitada. Todo o resto sendo igual, quanto maior o tamanho da sua amostra, maior é o seu poder estatístico. Uma prática comum para os testes A/B é usar 80%.
• Significância estatística (alfa): limite de probabilidade abaixo do qual dizemos que a mudança observada não é devida ao acaso. Então, usamos um limite a partir do qual podemos ter a confiança de que o efeito medido é real. Uma prática comum para os testes A/B é usar 5%.
• Tamanho do efeito: o tamanho mínimo do efeito que deve ser detectado com uma certa confiança de probabilidade, se esse efeito realmente existe (na nossa hipótese de exemplo, um aumento de 5% no volume de acesso de usuários).

Com essas informações em mãos, você pode usar uma ferramenta de código aberto, como o GPower, para calcular o tamanho de amostra necessário para o seu experimento.

Esteja ciente de que a aleatorização é essencial para tornar o teste A/B confiável. Uma amostra enviesada não representa o público de interesse e, portanto, os resultados do experimento podem ser comprometidos e não realistas. Portanto, pode ser necessário executar algumas verificações de sanidade para garantir que a sua amostra esteja livre de vieses.

Análise dos resultados do seu experimento

Por fim, executamos o nosso teste A/B e interpretamos os resultados para verificar se a nossa suposição inicial estava correta. Para isso, usamos testes estatísticos para aceitar ou rejeitar a nossa hipótese. Essa análise inclui os seguintes passos:

• Escolher um teste estatístico apropriado (teste-t, qui-quadrado etc.);
• calcular a estatística do teste;
• calcular o valor correspondente de p;
• comparar o valor de p observado em relação ao valor crítico (significância estatística): se o valor p < alfa, você pode rejeitar a hipótese nula (o que significa que o efeito observado é significativo e que a sua suposição está correta). Do contrário, a sua suposição não está correta (ou você não tem poder suficiente no seu experimento para medir um efeito tão pequeno);
• calcular a margem de erro;
• calcular o intervalo de confiança (esteja ciente de que intervalos sem sobreposição implicam em significância estatística, mas o inverso não é necessariamente verdadeiro).

Nessa fase, o destaque geralmente está nas métricas de meta, pois primariamente são elas que queremos otimizar. Mas é igualmente importante avaliar se há métricas de proteção negativamente afetadas e o limite aceitável. Isso não só pode ser um bloqueio para continuar o seu experimento e eventual implantação da nova experiência, mas também é muito importante que você conheça esse impacto e já tenha um plano de ação em mãos (que poderia ser, por exemplo, a interrupção do teste).

Algumas perguntas que você pode fazer antes de tomar a sua decisão de implantar ou não o novo recurso são:

• O poder planejado foi alcançado (o número mínimo de usuários conforme designado para o experimento)?
• Os resultados das suas métricas de meta são estatisticamente significativos?
• Alguma métrica de proteção foi negativamente afetada?
• Haverá algum prejuízo tangível (por exemplo, custo) e/ou prejuízos intangíveis (como posicionamento da marca) se essa implantação não ocorrer?

Lembre-se sempre de que o experimento fornecerá evidências para a tomada de decisões. De forma que a decisão possa ser tão boa quanto os dados que estamos usando. 

“Confiamos em Deus. Todos os outros devem trazer dados de ALTA QUALIDADE.”

(adaptado de Edwards Deming)

Espero que este guia rápido possa ajudar você na sua jornada de experimentação. Bons testes A/B! 🙂

Confira nossas oportunidades de trabalho →

Para saber mais sobre os testes A/B, confira a gravação da palestra de Giovana e Isabela no Building Nu Meetup: