{"id":26129,"date":"2022-10-28T17:48:44","date_gmt":"2022-10-28T17:48:44","guid":{"rendered":"https:\/\/building.nubank.com\/a-gentle-and-practical-introduction-to-a-b-tests\/"},"modified":"2024-09-25T22:19:22","modified_gmt":"2024-09-25T22:19:22","slug":"uma-introducao-suave-e-pratica-aos-testes-a-b","status":"publish","type":"post","link":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/","title":{"rendered":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\"><em>Escrito por: Isabela Piccinini<\/em><br><em>Revisado por: Paulo Rossi, Felipe Almeida<\/em><\/p>\n\n\n\n<hr class=\"wp-block-separator has-alpha-channel-opacity\"\/>\n\n\n\n<p class=\"wp-block-paragraph\">Em algum momento, todo mundo tem alguma dificuldade com as incertezas envolvidas na tomada de decis\u00f5es. Ent\u00e3o, considere o quanto isso pode ser mais complicado em ambientes de neg\u00f3cios, com a press\u00e3o adicional das partes interessadas e da satisfa\u00e7\u00e3o do cliente.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Felizmente para n\u00f3s, nosso c\u00e9rebro foi projetado para lidar com a avalia\u00e7\u00e3o da qualidade das evid\u00eancias dispon\u00edveis, para ent\u00e3o deliberar sobre o melhor caminho a seguir, orientando o processo de tomada de decis\u00f5es para reduzir a incerteza.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">N\u00e3o seria \u00f3timo para n\u00f3s se tiv\u00e9ssemos uma metodologia para nos ajudar ao longo desse caminho dif\u00edcil e importante, facilitando um pouco as nossas vidas? \u00c9 por isso que o teste A\/B pode ser um aliado incr\u00edvel! Essa \u00e9 uma forma de <strong>experimentar novas ideias e medir o impacto<\/strong> das nossas mudan\u00e7as em um ambiente controlado e aprender com elas antes de escalar as solu\u00e7\u00f5es. Isso nos ajuda a utilizar decis\u00f5es orientadas por dados com mais confian\u00e7a dos resultados reais que as poss\u00edveis mudan\u00e7as ter\u00e3o para a estrat\u00e9gia de neg\u00f3cios e para os usu\u00e1rios finais. Parece m\u00e1gica, mas \u00e9 ci\u00eancia!&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ent\u00e3o, <strong>como podemos melhorar a forma de tomarmos decis\u00f5es e aprendermos com os usu\u00e1rios?<\/strong> Continue conosco, porque neste artigo vamos introduzir o teste A\/B de uma forma muito direta e pr\u00e1tica, para que voc\u00ea possa usar essa informa\u00e7\u00e3o a partir de agora.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Vis\u00e3o geral dos testes A\/B<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">No contexto de uma empresa, o teste A\/B \u00e9 uma forma de executar um experimento controlado e aleat\u00f3rio para comparar duas vers\u00f5es diferentes (A e B) de algum produto ou servi\u00e7o. Ele usa testes estat\u00edsticos para estabelecer um relacionamento causal entre um tratamento (varia\u00e7\u00e3o) e um efeito (consequ\u00eancia).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Assim como com qualquer outro experimento, queremos validar uma hip\u00f3tese usando uma ou mais m\u00e9tricas de interesse.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A ideia por tr\u00e1s do teste A\/B \u00e9 desafiar uma vers\u00e3o existente do seu produto ou servi\u00e7o (A, tamb\u00e9m conhecido como grupo de controle) em compara\u00e7\u00e3o com uma nova vers\u00e3o com uma \u00fanica mudan\u00e7a espec\u00edfica (B, conhecido como grupo de tratamento). O primeiro serve como uma linha de base para que voc\u00ea possa comparar o desempenho da sua mudan\u00e7a desejada. Ao dividir aleatoriamente o tr\u00e1fego e comparar os indicadores de desempenho escolhidos desses grupos, sempre que voc\u00ea encontrar uma diferen\u00e7a na qual tenha confian\u00e7a e que confirme sua hip\u00f3tese inicial, pode implantar a nova vers\u00e3o do seu produto\/servi\u00e7o.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Vamos usar um exemplo simples, conforme segue:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">digamos que voc\u00ea tenha uma p\u00e1gina inicial no seu aplicativo que no momento tem um bot\u00e3o para avan\u00e7ar, e quer avaliar se mudar o caractere &#8220;&gt;&#8221; para a palavra &#8220;ir&#8221; vai aumentar o tr\u00e1fego. Ent\u00e3o, voc\u00ea tem:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Hip\u00f3tese:<\/strong> mudar o conte\u00fado do bot\u00e3o exibido aumentar\u00e1 o volume de acesso de usu\u00e1rios em 5%.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>M\u00e9tricas de meta:<\/strong> volume de cliques e n\u00famero de usu\u00e1rios que clicam no bot\u00e3o.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Embora o experimento pare\u00e7a simples, para poder confiar nos resultados, voc\u00ea tem alguns ingredientes e procedimentos importantes a considerar, e \u00e9 por isso que vamos discutir sobre eles mais adiante. Mas primeiro, por que dever\u00edamos nos importar com a execu\u00e7\u00e3o de testes A\/B?<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Por que os testes A\/B s\u00e3o t\u00e3o importantes?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">A experimenta\u00e7\u00e3o deve estar integrada \u00e0 cultura de desenvolvimento de produtos. Ela nos permite fazer melhorias incrementais com base em feedback real. Isso tamb\u00e9m nos permite testar cada mudan\u00e7a com uma amostra pequena e representativa do p\u00fablico-alvo com usu\u00e1rios da vida real, para coletar informa\u00e7\u00f5es valiosas, com as quais podemos iterar o ciclo de desenvolvimento do nosso produto.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>A experimenta\u00e7\u00e3o \u00e9 um acelerador da cultura \u00e1gil, reduzindo a incerteza e oferecendo percep\u00e7\u00f5es sobre o que funciona e o que n\u00e3o funciona para o p\u00fablico-alvo.<\/em>&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Se o experimento for um sucesso, podemos ter confian\u00e7a na implanta\u00e7\u00e3o da mudan\u00e7a para todos os clientes. Do contr\u00e1rio, <strong>n\u00f3s falhamos positivamente<\/strong>, tendo a chance de aprender com os dados coletados, que iluminar\u00e3o novas ideias no futuro. Assim, nenhum preju\u00edzo \u00e9 causado ao neg\u00f3cio e n\u00e3o gastamos muitos recursos humanos e financeiros em algo que n\u00e3o traz bons resultados como esperado.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Al\u00e9m disso, uma <a href=\"https:\/\/hbr.org\/2020\/03\/building-a-culture-of-experimentation\">cultura de experimenta\u00e7\u00e3o<\/a> fomenta a curiosidade e ajuda a combater opini\u00f5es fortes tamb\u00e9m conhecidas como a opini\u00f5es da pessoa mais bem remunerada. N\u00f3s, humanos, tendemos a ter um forte vi\u00e9s de confirma\u00e7\u00e3o para aceitar ideias e resultados que combinam com a nossa forma de pensar, e ao mesmo tempo, temos a inclina\u00e7\u00e3o de investigar ou duvidar de resultados que se afastam das nossas suposi\u00e7\u00f5es. Sabendo disso, podemos usar os testes A\/B a nosso favor, pois eles permitem a mensura\u00e7\u00e3o de impacto livre de vieses (pelo menos quando as melhores pr\u00e1ticas de design de experimentos s\u00e3o seguidas e temos de fato uma amostra aleat\u00f3ria, como falaremos mais adiante). Ent\u00e3o, escolhemos a melhor ideia validada pelo nosso experimento.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Uma medida precisa vale mais do que as opini\u00f5es de mil especialistas.<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em><strong>(Almirante Grace Hopper)<\/strong><\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Muitas coisas foram ditas, ent\u00e3o vamos resumir a cultura da experimenta\u00e7\u00e3o em quatro pilares principais para se manter em mente:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>suportar sua decis\u00e3o com dados confi\u00e1veis<\/li>\n\n\n\n<li>aprender r\u00e1pido com o processo e os resultados<\/li>\n\n\n\n<li>alocar recursos de forma inteligente<\/li>\n\n\n\n<li>entender melhor o que os seus clientes precisam<\/li>\n<\/ol>\n\n\n\n<h2 class=\"wp-block-heading\">Como executar um teste A\/B?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Eu prometi que este seria um guia pr\u00e1tico, ent\u00e3o vamos falar sobre alguns passos importantes para conduzir um teste A\/B confi\u00e1vel. Obviamente, essa lista n\u00e3o \u00e9 completa, mas \u00e9 um bom ponto de partida.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Planejamento do design do seu experimento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Antes de agir, precisamos planejar cuidadosamente para reduzir as chances de erro. Nesse caso, os erros podem levar a conclus\u00f5es equivocadas que podem prejudicar o nosso neg\u00f3cio ou atrapalhar \u00f3timas oportunidades.&nbsp;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">1. Determinar uma boa hip\u00f3tese<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O primeiro passo para garantir a confiabilidade do nosso teste \u00e9 definir claramente o seu objetivo (o que voc\u00ea quer melhorar no seu produto\/servi\u00e7o). Um objetivo bem definido ajuda na elabora\u00e7\u00e3o de uma hip\u00f3tese bem estruturada.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A hip\u00f3tese pode ser estabelecida usando-se uma cl\u00e1usula SE-ENT\u00c3O:<em> SE alguma a\u00e7\u00e3o for feita, ENT\u00c3O alguma consequ\u00eancia \u00e9 esperada<\/em>.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">No exemplo do bot\u00e3o dado acima:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Objetivo:<\/strong> aumentar o engajamento dos usu\u00e1rios do aplicativo.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Hip\u00f3tese:<\/strong> SE mudarmos o conte\u00fado do bot\u00e3o exibido, ENT\u00c3O podemos aumentar o volume de acesso de usu\u00e1rios em 5%.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Um teste A\/B procura validar essa hip\u00f3tese escolhida, supondo:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>A hip\u00f3tese nula ( H0): <\/strong>n\u00e3o h\u00e1 diferen\u00e7a significativa entre as variantes de tratamento e de controle da m\u00e9trica de interesse.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>A hip\u00f3tese alternativa ( H1): <\/strong>existe uma diferen\u00e7a significativa entre as variantes de tratamento e de controle da m\u00e9trica de interesse.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">A fim de executar um teste A\/B valioso, \u00e9 importante limitar uma \u00fanica mudan\u00e7a (vari\u00e1vel) de cada vez, do contr\u00e1rio voc\u00ea pode ter efeitos combinados. Lembre-se de que usamos experimentos para atribuir causalidade, ent\u00e3o se voc\u00ea tiver mais de uma mudan\u00e7a acontecendo, como poder\u00e1 saber com certeza o que est\u00e1 gerando os resultados observados? Se voc\u00ea realmente precisa executar <a href=\"https:\/\/www.ncbi.nlm.nih.gov\/pmc\/articles\/PMC2796056\/\">testes com m\u00faltiplas vari\u00e1veis <\/a>simultaneamente, h\u00e1 algumas abordagens de design para isso.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">2. Determinar os grupos de tratamento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Um grupo deve representar o <em>status-quo<\/em> com a experi\u00eancia <em>como \u00e9<\/em> (sem qualquer mudan\u00e7a). E o outro representa a experi\u00eancia de <em>como ser\u00e1<\/em>, com a mudan\u00e7a para comparar \u00e0 vers\u00e3o atual. Podemos at\u00e9 adicionar mais varia\u00e7\u00f5es para o mesmo recurso, se quisermos (o que \u00e9 conhecido como teste A\/B\/n).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">No nosso exemplo anterior, poder\u00edamos ter:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Controle: <\/strong>bot\u00e3o com o caractere &#8220;&gt;&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Tratamento A:<\/strong> bot\u00e3o com a palavra &#8220;ir&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>Tratamento B:<\/strong> bot\u00e3o sem qualquer caractere ou palavra.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">3. Determinar a m\u00e9trica de sucesso<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Agora que voc\u00ea sabe o que deseja melhorar, precisa escolher como medir\u00e1 o impacto da melhoria. Para isso, voc\u00ea pode usar tr\u00eas categorias de m\u00e9tricas intelig\u00edveis:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>M\u00e9tricas de objetivo: <\/strong>conjunto de m\u00e9tricas que define o que \u00e9 importante para a organiza\u00e7\u00e3o como um todo. Esses s\u00e3o pontos de refer\u00eancia de longo prazo para a empresa.<\/li>\n\n\n\n<li><strong>M\u00e9tricas de meta (ou m\u00e9tricas impulsionadoras): <\/strong>estas s\u00e3o as m\u00e9tricas para as quais o seu experimento foi projetado para otimizar. Isso ajuda voc\u00ea a decidir se a sua hip\u00f3tese \u00e9 verdadeira ou n\u00e3o.<\/li>\n\n\n\n<li><strong>M\u00e9tricas de prote\u00e7\u00e3o:<\/strong> podem ser encaradas como uma medida de prote\u00e7\u00e3o (aquilo de que a empresa n\u00e3o est\u00e1 disposta a abrir m\u00e3o). Elas s\u00e3o \u00fateis para prote\u00e7\u00e3o e an\u00e1lise de alternativa sobre se o novo recurso deve ou n\u00e3o ser lan\u00e7ado.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">No nosso exemplo anterior, poder\u00edamos ter:<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>M\u00e9trica de objetivo:<\/strong> tempo gasto no aplicativo (pois isso pode servir como um proxy para o engajamento dos usu\u00e1rios) ou o valor presente l\u00edquido (NPV).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>M\u00e9tricas de meta:<\/strong> o volume de cliques e o n\u00famero de usu\u00e1rios que clicam nesse bot\u00e3o (pois isso \u00e9 um proxy do interesse dos usu\u00e1rios no novo recurso).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong>M\u00e9tricas de prote\u00e7\u00e3o:<\/strong> o volume de travamentos no aplicativo e o n\u00famero de t\u00edquetes abertos no atendimento ao cliente (pois pode ser muito importante proteger a satisfa\u00e7\u00e3o do usu\u00e1rio).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Uma boa dica \u00e9 escolher m\u00e9tricas relativas como porcentagens, para n\u00e3o diluir ou distorcer os resultados.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">4. Determinar o tamanho da amostra<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">O pr\u00f3ximo passo \u00e9 estimar o tamanho da amostra necess\u00e1ria para poder estimar o efeito que voc\u00ea especificou na sua hip\u00f3tese inicial.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Queremos que os nossos resultados sejam relevantes e corretamente identificados, ent\u00e3o precisamos de tr\u00eas informa\u00e7\u00f5es importantes para calcular o tamanho da amostra:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>Poder estat\u00edstico: <\/strong>representa a probabilidade do teste rejeitar a hip\u00f3tese nula quando ela deve ser rejeitada. Todo o resto sendo igual, quanto maior o tamanho da sua amostra, maior \u00e9 o seu poder estat\u00edstico. Uma pr\u00e1tica comum para os testes A\/B \u00e9 usar 80%.<\/li>\n\n\n\n<li><strong>Signific\u00e2ncia estat\u00edstica (alfa): <\/strong>limite de probabilidade abaixo do qual dizemos que a mudan\u00e7a observada n\u00e3o \u00e9 devida ao acaso. Ent\u00e3o, usamos um limite a partir do qual podemos ter a confian\u00e7a de que o efeito medido \u00e9 real. Uma pr\u00e1tica comum para os testes A\/B \u00e9 usar 5%.<\/li>\n\n\n\n<li><strong>Tamanho do efeito: <\/strong>o tamanho m\u00ednimo do efeito que deve ser detectado com uma certa confian\u00e7a de probabilidade, se esse efeito realmente existe (na nossa hip\u00f3tese de exemplo, um aumento de 5% no volume de acesso de usu\u00e1rios).<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Com essas informa\u00e7\u00f5es em m\u00e3os, voc\u00ea pode usar uma ferramenta de c\u00f3digo aberto, como o <a href=\"https:\/\/g-power.apponic.com\/\">GPower<\/a>, para calcular o tamanho de amostra necess\u00e1rio para o seu experimento.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Esteja ciente de que a <a href=\"https:\/\/towardsdatascience.com\/assign-experiment-variants-at-scale-in-a-b-tests-e80fedb2779d\">aleatoriza\u00e7\u00e3o<\/a> \u00e9 essencial para tornar o teste A\/B confi\u00e1vel. Uma amostra enviesada n\u00e3o representa o p\u00fablico de interesse e, portanto, os resultados do experimento podem ser comprometidos e n\u00e3o realistas. Portanto, pode ser necess\u00e1rio executar algumas verifica\u00e7\u00f5es de sanidade para garantir que a sua amostra esteja livre de vieses.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">An\u00e1lise dos resultados do seu experimento<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Por fim, executamos o nosso teste A\/B e interpretamos os resultados para verificar se a nossa suposi\u00e7\u00e3o inicial estava correta. Para isso, usamos testes estat\u00edsticos para aceitar ou rejeitar a nossa hip\u00f3tese. Essa an\u00e1lise inclui os seguintes passos:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Escolher um <a href=\"https:\/\/www.datasciencecentral.com\/statistical-tests-when-to-use-which\/\">teste estat\u00edstico<\/a> apropriado (teste-t, qui-quadrado etc.);<\/li>\n\n\n\n<li>calcular a estat\u00edstica do teste;<\/li>\n\n\n\n<li>calcular o valor correspondente de p;<\/li>\n\n\n\n<li>comparar o valor de p observado em rela\u00e7\u00e3o ao valor cr\u00edtico (signific\u00e2ncia estat\u00edstica): se o valor p &lt; alfa, voc\u00ea pode rejeitar a hip\u00f3tese nula (o que significa que o efeito observado \u00e9 significativo e que a sua suposi\u00e7\u00e3o est\u00e1 correta). Do contr\u00e1rio, a sua suposi\u00e7\u00e3o n\u00e3o est\u00e1 correta (ou voc\u00ea n\u00e3o tem poder suficiente no seu experimento para medir um efeito t\u00e3o pequeno);<\/li>\n\n\n\n<li>calcular a margem de erro;<\/li>\n\n\n\n<li>calcular o intervalo de confian\u00e7a (esteja ciente de que intervalos sem sobreposi\u00e7\u00e3o implicam em signific\u00e2ncia estat\u00edstica, mas o inverso n\u00e3o \u00e9 necessariamente verdadeiro).<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Nessa fase, o destaque geralmente est\u00e1 nas <strong>m\u00e9tricas de meta<\/strong>, pois primariamente s\u00e3o elas que queremos otimizar. Mas \u00e9 igualmente importante avaliar se h\u00e1 <strong>m\u00e9tricas de prote\u00e7\u00e3o<\/strong> negativamente afetadas e o limite aceit\u00e1vel. Isso n\u00e3o s\u00f3 pode ser um bloqueio para continuar o seu experimento e eventual implanta\u00e7\u00e3o da nova experi\u00eancia, mas tamb\u00e9m \u00e9 muito importante que voc\u00ea conhe\u00e7a esse impacto e j\u00e1 tenha um plano de a\u00e7\u00e3o em m\u00e3os (que poderia ser, por exemplo, a interrup\u00e7\u00e3o do teste).<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Algumas perguntas que voc\u00ea pode fazer antes de tomar a sua decis\u00e3o de implantar ou n\u00e3o o novo recurso s\u00e3o:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>O poder planejado foi alcan\u00e7ado (o n\u00famero m\u00ednimo de usu\u00e1rios conforme designado para o experimento)?<\/li>\n\n\n\n<li>Os resultados das suas m\u00e9tricas de meta s\u00e3o estatisticamente significativos?<\/li>\n\n\n\n<li>Alguma m\u00e9trica de prote\u00e7\u00e3o foi negativamente afetada?<\/li>\n\n\n\n<li>Haver\u00e1 algum preju\u00edzo tang\u00edvel (por exemplo, custo) e\/ou preju\u00edzos intang\u00edveis (como posicionamento da marca) se essa implanta\u00e7\u00e3o n\u00e3o ocorrer?<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Lembre-se sempre de que o experimento fornecer\u00e1 evid\u00eancias para a tomada de decis\u00f5es. De forma que a decis\u00e3o possa ser t\u00e3o boa quanto os dados que estamos usando.&nbsp;<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>&#8220;Confiamos em Deus. Todos os outros devem trazer dados de ALTA QUALIDADE.&#8221;<\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em><strong>(adaptado de Edwards Deming)<\/strong><\/em><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Espero que este guia r\u00e1pido possa ajudar voc\u00ea na sua jornada de experimenta\u00e7\u00e3o. Bons testes A\/B! \ud83d\ude42<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><a href=\"https:\/\/bit.ly\/jobs-at-nu\"><strong>Confira nossas oportunidades de trabalho<\/strong> \u2192<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Para saber mais sobre os testes A\/B, confira a grava\u00e7\u00e3o da palestra de Giovana e Isabela no Building Nu Meetup:<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-video is-provider-youtube wp-block-embed-youtube wp-embed-aspect-16-9 wp-has-aspect-ratio\"><div class=\"wp-block-embed__wrapper\">\n<span class=\"embed-youtube\" style=\"text-align:center; display: block;\"><iframe loading=\"lazy\" class=\"youtube-player\" width=\"640\" height=\"360\" src=\"https:\/\/www.youtube.com\/embed\/4MWkrbykox4?version=3&#038;rel=1&#038;showsearch=0&#038;showinfo=1&#038;iv_load_policy=1&#038;fs=1&#038;hl=pt-BR&#038;autohide=2&#038;wmode=transparent\" allowfullscreen=\"true\" style=\"border:0;\" sandbox=\"allow-scripts allow-same-origin allow-popups allow-presentation allow-popups-to-escape-sandbox\"><\/iframe><\/span>\n<\/div><figcaption class=\"wp-element-caption\">Grava\u00e7\u00e3o de v\u00eddeo do encontro de teste A\/B<br><\/figcaption><\/figure>\n","protected":false},"excerpt":{"rendered":"<p>Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B<\/p>\n","protected":false},"author":178110164,"featured_media":24572,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_wpcom_ai_launchpad_first_post":false,"_jetpack_feature_clip_id":0,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_post_was_ever_published":false},"categories":[2786,2503,2502],"tags":[2774],"class_list":["post-26129","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-business-analyst-pt-br","category-data-analytics","category-data-science-machine-learning-pt-br","tag-a-b-tests-pt-br"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v28.5 - https:\/\/yoast.com\/product\/yoast-seo-wordpress\/ -->\n<title>Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B - Building Nubank<\/title>\n<meta name=\"description\" content=\"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/\" \/>\n<meta property=\"og:locale\" content=\"pt_BR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B - Building Nubank\" \/>\n<meta property=\"og:description\" content=\"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B\" \/>\n<meta property=\"og:url\" content=\"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/\" \/>\n<meta property=\"og:site_name\" content=\"Building Nubank\" \/>\n<meta property=\"article:published_time\" content=\"2022-10-28T17:48:44+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2024-09-25T22:19:22+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1\" \/>\n\t<meta property=\"og:image:width\" content=\"1200\" \/>\n\t<meta property=\"og:image:height\" content=\"675\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Isabela Piccinini - Senior Data Scientist at Nubank\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"Escrito por\" \/>\n\t<meta name=\"twitter:data1\" content=\"Isabela Piccinini - Senior Data Scientist at Nubank\" \/>\n\t<meta name=\"twitter:label2\" content=\"Est. tempo de leitura\" \/>\n\t<meta name=\"twitter:data2\" content=\"10 minutos\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\\\/\\\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#article\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/\"},\"author\":{\"name\":\"Isabela Piccinini - Senior Data Scientist at Nubank\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/#\\\/schema\\\/person\\\/62e11b725d7946974e9107f278a71af7\"},\"headline\":\"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\\\/B\",\"datePublished\":\"2022-10-28T17:48:44+00:00\",\"dateModified\":\"2024-09-25T22:19:22+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/\"},\"wordCount\":2422,\"commentCount\":0,\"image\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nubank.com\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1\",\"keywords\":[\"A\\\/B tests\"],\"articleSection\":[\"Business Analyst\",\"Data &amp; Analytics\",\"Data science &amp; Machine Learning\"],\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/\",\"url\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/\",\"name\":\"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\\\/B - Building Nubank\",\"isPartOf\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#primaryimage\"},\"image\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#primaryimage\"},\"thumbnailUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nubank.com\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1\",\"datePublished\":\"2022-10-28T17:48:44+00:00\",\"dateModified\":\"2024-09-25T22:19:22+00:00\",\"author\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/#\\\/schema\\\/person\\\/62e11b725d7946974e9107f278a71af7\"},\"description\":\"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\\\/B\",\"breadcrumb\":{\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#breadcrumb\"},\"inLanguage\":\"pt-BR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#primaryimage\",\"url\":\"https:\\\/\\\/i0.wp.com\\\/building.nubank.com\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1\",\"contentUrl\":\"https:\\\/\\\/i0.wp.com\\\/building.nubank.com\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1\",\"width\":1200,\"height\":675},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/uma-introducao-suave-e-pratica-aos-testes-a-b\\\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\\\/B\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/#website\",\"url\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/\",\"name\":\"Building Nubank\",\"description\":\"We make the extraordinary happen\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"pt-BR\"},{\"@type\":\"Person\",\"@id\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/#\\\/schema\\\/person\\\/62e11b725d7946974e9107f278a71af7\",\"name\":\"Isabela Piccinini - Senior Data Scientist at Nubank\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"pt-BR\",\"@id\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/avatar_user_178110164_1666978077-96x96.jpg\",\"url\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/avatar_user_178110164_1666978077-96x96.jpg\",\"contentUrl\":\"https:\\\/\\\/building.nubank.com.br\\\/wp-content\\\/uploads\\\/2022\\\/10\\\/avatar_user_178110164_1666978077-96x96.jpg\",\"caption\":\"Isabela Piccinini - Senior Data Scientist at Nubank\"},\"description\":\"Isabela Dellalibera Piccinini is responsible for scaling up the experimentation platform efficiently helping Nubank to provide the best experience for our customers with communication. She has a Bachelor's Degree in Civil Engineering from UFSCar (Federal University of S\u00e3o Carlos). Isabela has extensive experience working with various kinds of data and machine learning models across diverse industries. Before joining Nubank, in 2022, she has worked in companies such as IBM, QUOD, Mckinsey and Fibra Banking. Isa is passionate about traveling and taking landscape pictures as a hobby.\",\"url\":\"https:\\\/\\\/building.nubank.com\\\/pt-br\\\/author\\\/isabela-piccinini\\\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B - Building Nubank","description":"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/","og_locale":"pt_BR","og_type":"article","og_title":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B - Building Nubank","og_description":"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B","og_url":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/","og_site_name":"Building Nubank","article_published_time":"2022-10-28T17:48:44+00:00","article_modified_time":"2024-09-25T22:19:22+00:00","og_image":[{"width":1200,"height":675,"url":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","type":"image\/jpeg"}],"author":"Isabela Piccinini - Senior Data Scientist at Nubank","twitter_card":"summary_large_image","twitter_misc":{"Escrito por":"Isabela Piccinini - Senior Data Scientist at Nubank","Est. tempo de leitura":"10 minutos"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#article","isPartOf":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/"},"author":{"name":"Isabela Piccinini - Senior Data Scientist at Nubank","@id":"https:\/\/building.nubank.com\/pt-br\/#\/schema\/person\/62e11b725d7946974e9107f278a71af7"},"headline":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B","datePublished":"2022-10-28T17:48:44+00:00","dateModified":"2024-09-25T22:19:22+00:00","mainEntityOfPage":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/"},"wordCount":2422,"commentCount":0,"image":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","keywords":["A\/B tests"],"articleSection":["Business Analyst","Data &amp; Analytics","Data science &amp; Machine Learning"],"inLanguage":"pt-BR","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/","url":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/","name":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B - Building Nubank","isPartOf":{"@id":"https:\/\/building.nubank.com\/pt-br\/#website"},"primaryImageOfPage":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#primaryimage"},"image":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#primaryimage"},"thumbnailUrl":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","datePublished":"2022-10-28T17:48:44+00:00","dateModified":"2024-09-25T22:19:22+00:00","author":{"@id":"https:\/\/building.nubank.com\/pt-br\/#\/schema\/person\/62e11b725d7946974e9107f278a71af7"},"description":"Um miniguia sobre o que s\u00e3o, por que usar e como executar experimentos de testes A\/B","breadcrumb":{"@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#breadcrumb"},"inLanguage":"pt-BR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/"]}]},{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#primaryimage","url":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","contentUrl":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","width":1200,"height":675},{"@type":"BreadcrumbList","@id":"https:\/\/building.nubank.com\/pt-br\/uma-introducao-suave-e-pratica-aos-testes-a-b\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/building.nubank.com\/pt-br\/"},{"@type":"ListItem","position":2,"name":"Uma introdu\u00e7\u00e3o suave e pr\u00e1tica aos testes A\/B"}]},{"@type":"WebSite","@id":"https:\/\/building.nubank.com\/pt-br\/#website","url":"https:\/\/building.nubank.com\/pt-br\/","name":"Building Nubank","description":"We make the extraordinary happen","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/building.nubank.com\/pt-br\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"pt-BR"},{"@type":"Person","@id":"https:\/\/building.nubank.com\/pt-br\/#\/schema\/person\/62e11b725d7946974e9107f278a71af7","name":"Isabela Piccinini - Senior Data Scientist at Nubank","image":{"@type":"ImageObject","inLanguage":"pt-BR","@id":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2022\/10\/avatar_user_178110164_1666978077-96x96.jpg","url":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2022\/10\/avatar_user_178110164_1666978077-96x96.jpg","contentUrl":"https:\/\/building.nubank.com.br\/wp-content\/uploads\/2022\/10\/avatar_user_178110164_1666978077-96x96.jpg","caption":"Isabela Piccinini - Senior Data Scientist at Nubank"},"description":"Isabela Dellalibera Piccinini is responsible for scaling up the experimentation platform efficiently helping Nubank to provide the best experience for our customers with communication. She has a Bachelor's Degree in Civil Engineering from UFSCar (Federal University of S\u00e3o Carlos). Isabela has extensive experience working with various kinds of data and machine learning models across diverse industries. Before joining Nubank, in 2022, she has worked in companies such as IBM, QUOD, Mckinsey and Fibra Banking. Isa is passionate about traveling and taking landscape pictures as a hobby.","url":"https:\/\/building.nubank.com\/pt-br\/author\/isabela-piccinini\/"}]}},"jetpack_shortlink":"https:\/\/wp.me\/pbKBB5-6Nr","jetpack_sharing_enabled":true,"jetpack_featured_media_url":"https:\/\/i0.wp.com\/building.nubank.com\/wp-content\/uploads\/2022\/10\/a_b-teste_feature-1200x675-1.jpg?fit=1200%2C675&ssl=1","_links":{"self":[{"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/posts\/26129","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/users\/178110164"}],"replies":[{"embeddable":true,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/comments?post=26129"}],"version-history":[{"count":4,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/posts\/26129\/revisions"}],"predecessor-version":[{"id":28835,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/posts\/26129\/revisions\/28835"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/media\/24572"}],"wp:attachment":[{"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/media?parent=26129"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/categories?post=26129"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/building.nubank.com\/pt-br\/wp-json\/wp\/v2\/tags?post=26129"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}