Experimentos estatísticos

Fonte: Shutterstock.

Convite ao estudo

Prezado estudante, nesta unidade encerraremos o conteúdo deste livro abordando uma série de atividades práticas na análise de dados. Para isso, trabalharemos diversos conteúdos relevantes e entenderemos um pouco melhor como os tópicos abordados nas seções anteriores foram fundamentais para podermos explorar estes novos assuntos. 
Na primeira seção, compreenderemos mais detalhes sobre a finalidade dos testes estatísticos na análise de dados. Destacaremos alguns dos principais, especialmente o Teste A/B, demonstrando sua importância e aplicação em contextos práticos. Perceberemos, também, que para trabalhar com esse teste será preciso dominar alguns outros, como o Teste t e o Teste Z, que nos darão base para a tomada de decisão. Trataremos, ainda, de um exemplo no R, que nos permitirá exercitar uma situação real de aplicação. 
Na segunda seção, Significância estatística, destacaremos a importância da significância para a análise de dados, aprenderemos a calculá-la e, tão importante quanto as etapas anteriores, discutiremos a respeito de sua interpretação, principalmente quando relacionada ao p-valor. 
Por fim, na última seção, Testes estatísticos, abordaremos com maior profundidade os testes Z e t, compreenderemos quais são os erros intrínsecos aos testes de hipóteses, discutiremos sobre o Teste Qui-quadrado e exercitaremos uma série de atividades práticas de grande importância. Será, portanto, a seção de encerramento deste livro, finalizando nosso primeiro ciclo de aprendizado. 
As discussões apresentadas nesta unidade são de grande relevância para a análise de dados. Explore todos os recursos disponíveis na unidade, a fim de potencializar o aprendizado e aumentar a fixação do conteúdo. 
Bons estudos!

Praticar para aprender

Prezado estudante, nesta seção daremos início a uma série de tópicos importantes, os quais serão trabalhados em toda a Unidade 4. Introduziremos o conteúdo abordando alguns conceitos fundamentais, como a definição dos testes estatísticos e suas finalidades, destacando as principais funções e distinções entre os diferentes tipos existentes. 
Ao longo do texto, nos boxes Assimile e Reflita, foi inserida uma série de discussões importantes, cuja leitura é indispensável, como a distinção entre os conceitos de causalidade e associação, o entendimento das variáveis dependentes e independentes, as diferenças entre a igualdade matemática e estatística, entre outras reflexões.
Em relação aos testes estatísticos, daremos maior enfoque ao Teste A/B, uma ferramenta de grande utilização desde a década de 2010 na área de e-commerce. O Teste A/B nos permite avaliar, por exemplo, qual o impacto de se utilizar determinado layout em uma página de vendas, baseando-se em variáveis de interesse, como faturamento, engajamento na página, número de visitas, entre outras. 
Ao mesmo tempo em que trabalhamos com o Teste A/B, perceberemos a necessidade de se utilizar alguns outros testes estatísticos de forma complementar, como o Teste t de Student e o Teste Z para comparação de proporções.
Para explorarmos esse assunto, além de um conteúdo teórico, também utilizaremos o R na intenção de visualizar o contexto prático dessas ferramentas. 
Não deixe de explorar todos os recursos desta seção!
Probabilidade e Estatística são áreas que nos permitem explorar dados com o intuito de obter informações a respeito de determinado assunto. A partir das diversas ferramentas disponíveis em ambas as áreas, podemos trabalhar com maior profundidade em análises de experimentos, levantar perguntas (hipóteses) e buscar as respostas por meio dos dados. Experimento, em nosso contexto, não se prende a um conceito estritamente acadêmico. Trata-se de qualquer situação real que nos ofereça dados consistentes passíveis de serem transformados em informação e conhecimento. Nesse sentido, para a prática diária de análise de dados, conhecer e saber aplicar corretamente as principais ferramentas estatísticas e probabilísticas é um requisito fundamental.
Dessa forma, saber como definir uma hipótese experimental, quais são os tipos de testes estatísticos, como encontrar e interpretar a significância de um parâmetro, como realizar um teste de hipótese e como encontrar um intervalo de confiança são domínios necessários para quem deseja trabalhar com análise de dados.
Você é analista de uma agência de publicidade e está prestando um serviço para uma empresa iniciante no mercado de e-commerce, a qual está construindo um portal de vendas on-line, definindo prototipagens para criar um portal atrativo e que alavanque o faturamento. A empresa já possui um site, porém acredita-se que exista uma série de oportunidades de melhorias visuais e usuais que incrementem o potencial de vendas. Diante disso, você ficou responsável por elaborar um Teste A/B, no intuito de verificar se algumas melhorias geram impacto positivo nas receitas. Para isso, conduziu-se um experimento de dez dias, no qual foram avaliadas duas páginas distintas, apresentadas aleatoriamente para os clientes da empresa. A Tabela 4.1, a seguir, apresenta o comportamento das vendas:

Com base nos dados apresentados, existe diferença entre a média das páginas A e B? Considere que se trata de dados provenientes de populações com variâncias desconhecidas, porém estatisticamente iguais. Utilize $\alpha =5\%$.
Tenha uma excelente aprendizagem!

Na literatura, há uma série de testes estatísticos que variam quanto a finalidade, tipo de distribuição, além do tipo e quantidade de variáveis. Existem testes utilizados para a avaliação da normalidade de uma distribuição, como o Teste de Shapiro-Wilk e o Teste de Kolmogorov-Smirnov. Há, também, testes que avaliam a hipótese de igualdade entre a média de uma amostra e um valor específico, como o Teste t, a igualdade entre duas amostras (Teste t para amostras independentes) ou a igualdade de amostras relacionadas (Teste t para amostras pareadas, também utilizado para uma mesma amostra antes e depois de determinado tratamento). Os testes ts (paramétricos), no entanto, passam pela pressuposição de que os dados são provenientes de distribuições normais. Na ausência dessa condição, utilizamos os testes que trabalham com a mediana (não paramétricos), como o Teste de Wilcoxon para uma amostra (equivalente ao Teste t para uma amostra), o Teste de Wilcoxon para amostras pareadas (similar ao Teste t para amostras pareadas)   e o Teste U de Mann-Whitney, semelhante ao Teste T para amostras pareadas.

Os testes apresentados possuem uma característica em comum: são utilizados para, no máximo, duas variáveis. Dessa forma, em nosso exemplo, caso desejássemos saber se há igualdade estatística entre três ou mais médias salariais de analistas júnior, seria necessário realizar uma Análise de Variância (ANAVA ou ANOVA), que avaliaria a hipótese de que todas as médias são estatisticamente iguais ou de que pelo menos uma delas difere das demais. De modo similar ao teste T, a ANOVA pressupõe que os dados sejam provenientes de uma distribuição normal. Caso essa condição não seja atendida, procedemos com o teste não paramétrico de Kruskal-Wallis. Dessa forma, o Teste de Kruskal-Wallis é utilizado de modo similar ao Teste U de Mann-Whitney, porém em situações com três ou mais medianas avaliadas. De maneira análoga, o substituto para o Teste de Wilcoxon é o Teste de Friedman. 
Utilizamos esses tipos de testes para avaliar a hipótese de igualdade entre uma ou mais amostras. No entanto, ao trabalharmos com análises estatísticas, é comum buscarmos compreender a relação entre duas ou mais amostras ou duas ou mais variáveis. Nesses casos, a primeira exigência é de que todas as variáveis sejam quantitativas. Diante disso, temos três ferramentas que nos permitem realizar algumas inferências: correlação de Pearson, correlação de Spearman e análise de regressão.

A correlação de Pearson é utilizada quando estamos diante de variáveis provenientes de distribuições normais e desejamos avaliar a associação entre elas. Em caso de não normalidade, utilizamos a correlação de Spearman, que é, portanto, um método não paramétrico. Quando buscamos interpretar uma relação de causalidade entre duas ou mais variáveis, geralmente usamos a regressão, que pode ser linear ou não linear. A não linearidade, no entanto, não caracteriza um método não paramétrico. A Figura 4.1, a seguir, apresenta dois exemplos de regressão: à esquerda, temos uma reta, representando uma regressão linear simples; à direita, a relação entre as variáveis apresenta um comportamento semelhante a uma parábola. Temos, dessa forma, uma regressão não linear simples.

Ao realizarmos análises de regressão simples, pressupomos que existam somente duas variáveis em nosso conjunto de dados, sendo uma dependente e outra independente. Quando trabalhamos com duas ou mais variáveis independentes, utilizamos as análises de regressão múltiplas. Existem diversos tipos de regressão, mas, por ora, nos estenderemos até aqui. 
Além dos testes tradicionais, existem algumas derivações práticas que utilizam as ferramentas estatísticas intrinsicamente. Uma dessas derivações é o Teste A/B, amplamente divulgado na área de marketing digital. Para entenderemos melhor o Teste A/B, suponha que você trabalhe em uma empresa do setor de vestuário e deseje otimizar o canal de vendas on-line. Para tanto, sua empresa cria duas versões de uma mesma página digital, considerando as variações apresentadas na Figura 4.2:

Há, portanto, diferentes componentes entre as páginas, mas que apresentam, de forma geral, a mesma informação. A partir disso, as duas versões da página são apresentadas aleatoriamente para os clientes, no intuito de se avaliar alguma métrica específica, que pode ser, por exemplo, o número de vendas, número de compartilhamentos, engajamento do público, entre outros dados. Desse modo, é possível comparar as duas versões para verificar qual apresentou o melhor desempenho, considerando a métrica avaliada. Nesse sentido, segundo Siroker e Koomen (2013, p.8), o intuito do Teste A/B é “mostrar diferentes variações de um site para diferentes pessoas e mensurar qual dessas variações é mais efetiva em transformar esse público em clientes”.  
Ainda considerando o exemplo anterior, suponha que a métrica de avaliação seja o faturamento diário médio avaliado nos últimos 60 dias nas versões 1 e 2. Após uma análise inicial, você identificou que a versão 1 (A) apresentou faturamento diário médio de R$ 1.342,25, enquanto na versão 2 (B) o valor foi de R$ 1.435,63. Matematicamente, a versão 2 apresentou maior faturamento médio diário, superando a versão 1 em R$ 93,98. No entanto, para que esse resultado seja válido, é necessário avaliarmos a hipótese de que as médias são estatisticamente iguais, por meio dos Testes de Hipóteses. 
Trabalharemos os Testes de Hipóteses com maior profundidade na seção 3 desta unidade, porém, neste momento, exploraremos algumas situações práticas que nos permitam desenvolver o Teste A/B. 
Nesse sentido, considere duas situações de métricas a serem avaliadas em um teste A/B: uma proporção e um valor médio. Primeiramente, realizaremos um teste para comparação de duas proporções, utilizando, para tanto, a tabela da distribuição Z (BUSSAB; MORETTIN, 2010).
O primeiro passo é definir as hipóteses a serem testadas. Consideraremos, para nosso exemplo, que estamos avaliando as proporções dos usuários que realizaram uma compra promocional em uma página A e em outra página B. Dessa forma, trabalharemos com $p_A$ para a proporção na página A e  $p_B$ para a proporção da página B. Inicialmente, estabeleceremos a hipótese nula ( $H_0$ ), ou seja, em que $p_A-p_B=0$. A hipótese também é conhecida como hipótese da igualdade, ao passo que $p_A-p_B=0\Rightarrow p_A=p_B$. Em seguida, estabeleceremos a hipótese alternativa ( $H_1$ ). Consideraremos, neste momento, que $p_A\ne p_B$, o que configurará um teste bilateral (ou bicaudal), pois $p_B$ pode ser maior OU  menor do que $p_A$. Nesse sentido, as hipóteses são dadas por

 $\{\begin{array}{c}{H}_0:p_A=p_B\\ H_1:p_A\ne p_B\end{array}$

No entanto, consideramos que $p_A$ e $p_B$ são parâmetros populacionais. Como geralmente não os possuímos, trabalhamos com os parâmetros amostrais ${\hat{p}}_A$ e ${\hat{p}}_B$. Diante disso, a estimativa do valor de $Z_{calc}$ é obtida por meio do seguinte estimador:

 $Z_{calc}=\frac{{\hat{p}}_A-{\hat{p}}_B}{\sqrt{\frac{\hat{p}(1-\hat{p})}{n_A}+\frac{\hat{p}(1-\hat{p})}{n_B}}}~N\left(\mathrm{0,1}\right)$

Por sua vez, o parâmetro $\hat{p}$ é obtido a partir de uma média ponderada das proporções amostrais, de modo que:

 $\hat{p}=\frac{n_A{\hat{p}}_A+n_B{\hat{p}}_B}{n_A+n_B}$

O próximo passo é definir o nível de significância $\left(\alpha \right)$ do teste. Abordaremos esse conceito com mais detalhes nas próximas seções, porém, por ora, basta sabermos que se trata da probabilidade de se rejeitar $H_0$ quando $H_0$ é verdadeira. É comum utilizarmos um nível de significância de 0,05 (5%).
Em seguida, encontraremos o valor crítico de Z, fundamental para a tomada de decisão. O valor crítico indicará a região crítica do teste, conforme representado pela região em vermelho da Figura 4.3.

A soma da região crítica equivale ao nível de significância do teste. Assim, quando diante de um teste bilateral, trabalhamos com $Z_{\alpha /2}$. No entanto, quando unilateral, utilizamos $Z_{\alpha }$. O valor crítico de Z será obtido por meio da tabela da distribuição Z, expressa na Tabela 4.2, a seguir:

A tabela Z apresenta os valores de uma “metade” da distribuição. Por essa razão, o valor máximo de probabilidade é 0,5 (50%). Quando diante de um teste bilateral, encontramos o valor de $Z_{\alpha /2}$. Se $\alpha =\mathrm{0,05}$, então buscaremos o valor de $Z_{\mathrm{0,025}}$. Para isso, basta subtrair 0,025 de 0,50, o que equivale a $\mathrm{0,5}-\mathrm{0,025}=\mathrm{0,475}$. Nesse sentido, $Z_{\alpha /2}=\mathrm{0,475}$. Consultando a tabela, a parte inteira e a primeira decimal para $Z_{\alpha /2}=\mathrm{0,475}$ equivale a 1,9, enquanto a segunda decimal é dada por 0,06. Dessa forma, temos que o valor crítico de Z, em um teste bilateral com $\alpha =\mathrm{0,05}$, é de 1,96.
Por fim, para decidirmos a respeito da rejeição ou aceitação da hipótese nula, devemos comparar os valores de $Z_{calc}$ e Z crítico. Se o valor de $Z_{calc}$ estiver dentro das regiões em vermelho da Figura 4.3, dizemos que, com um nível de significância $\alpha$, há evidências para se rejeitar a hipótese nula e, portanto, presumir que existe diferença entre as duas proporções. Caso contrário, se $Z_{calc}$ estiver fora da região em vermelho, dizemos que, com um nível de significância $\alpha$, não há evidências para se rejeitar a hipótese nula. Diante disso, podemos presumir que não existe diferença entre as duas proporções.
Quando estamos trabalhando com valores médios, embora o cálculo se altere, a ideia é bastante semelhante. Suponha, por exemplo, que estejamos diante de um teste que analise a hipótese de que as médias de vendas realizadas a partir de uma página A e a média de vendas feitas por meio de uma página B são iguais ( $H_0$ ) contra a hipótese de que sejam diferentes ( $H_1$ ). Dessa forma, temos que:

$\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_B\\ H_1:{\mu }_A\ne {\mu }_B\end{array}$

Para esse exemplo, utilizaremos o Teste t de Student para amostras independentes, pressupondo que os dados são provenientes de duas populações com distribuição normal. Além disso, consideraremos que as variâncias populacionais, embora desconhecidas, são estatisticamente iguais.

O estimador do valor de T para amostras pareadas independentes com variâncias iguais é dado por:

$T=\frac{{\displaystyle ({\overline{X}}_A-{\overline{X}}_B)-({\mu }_A-{\mu }_B)}}{{\displaystyle s_p\sqrt{\frac{{\displaystyle 1}}{{\displaystyle n_A}}+\frac{{\displaystyle 1}}{{\displaystyle n_B}}}}}$

O termo $s_p$ representa o desvio padrão agrupado (amostra A e amostra B) e é expresso por:

$s_p=\sqrt{\frac{{\displaystyle (n_A-1)s_A^2+(n_B-1)s_B^2}}{{\displaystyle n_A+n_B-2}}}$

Nesse caso, ${\overline{X}}_A$ e ${\overline{X}}_B$ são os valores das médias amostrais, $s_A$ e $s_B$ são os desvios padrão amostrais e $n_A$ e $n_B$ são os respectivos tamanhos amostrais. 
Definidos os estimadores, fixaremos, assim como no teste para proporções, o nível de significância $\alpha =5\%$. O valor crítico de T, no entanto, está sujeito a dois fatores distintos: o nível de significância e o número de graus de liberdade. No Teste t para amostras independentes, o número de graus de liberdade é dado por $n_A+n_B-2$, expressão já vista no estimador de $s_p$. Assim como a distribuição Z, a distribuição T possui valores tabelados, que facilitam os cálculos dos testes estatísticos. A Tabela 4.3, a seguir, apresenta os valores considerando um nível de significância $\alpha$ para um teste bilateral:

A regra de decisão para o Teste t é bastante semelhante ao teste para proporções. Com a ajuda da Figura 4.4, a seguir, podemos observar a região crítica do teste (rejeição da hipótese nula). Se o valor de T calculado cair nas regiões críticas, dizemos que, com um nível de significância $\alpha$, há evidências para se rejeitar a hipótese nula e, portanto, presumir que existe diferença entre as duas médias. Caso contrário, se o valor de T calculado estiver dentro da região em azul, dizemos que com um nível de significância $\alpha$, não há evidências para se rejeitar a hipótese nula e, portanto, presumir que existe diferença entre as duas médias.

Com base nesse conteúdo, iremos exercitar o que aprendemos até aqui com alguns exemplos práticos, no intuito de melhor compreender a aplicabilidade dessas ferramentas. O exemplo terá como base o Teste A/B, que se desdobrará em um Teste para proporções, o qual utiliza a Tabela Z, e um Teste t para amostras independentes, com variâncias desconhecidas, porém iguais. Suponha, portanto, que uma empresa esteja buscando aumentar as vendas on-line de determinado produto. Para tanto, foi proposta a realização de um Teste A/B, no intuito de avaliar as vendas entre duas páginas distintas: Página A e Página B. O teste foi realizado durante quinze dias e duas métricas foram levantas: % de visitas com compra efetivada e faturamento diário. Os dados estão apresentados na Tabela 4.4, a seguir:

Trabalharemos, portanto, com o auxílio do R para verificar se existe alguma diferença estatística entre as páginas, considerando as duas variáveis coletadas.

Gerando os conjuntos de dados

Em seguida, realizaremos um breve resumo estatístico para conhecer um pouco melhor os nossos dados:

Teste para proporções

Para avaliar se existe alguma diferença entre os percentuais de vendas concretizadas em cada uma das páginas, utilizaremos um teste para proporções, considerando as seguintes hipóteses:

$\begin{array}{c}{H}_0:p_A=p_B{H}_0:p_A-p_B\\ H_0:p_A\ne p_B{H}_0:p_A\ne p_B\end{array}$

Estamos, portanto, diante de um teste bilateral e trabalharemos com um nível de significância de 5%, ou seja, $\alpha =0,05$. Realizaremos o teste de duas formas distintas: uma manual e outra utilizando a função prop.test.

Cálculo manual

Cálculo com fórmula

Interpretação

Ambos os resultados confirmam que, com um $\alpha =0,05$, existem evidências para se rejeitar a hipótese nula. Dessa forma, há indícios de que as proporções diferem entre si. No cálculo manual, criamos uma condição para que o resultado do teste saísse automaticamente. No cálculo com fórmula, no entanto, todos os outputs do teste são apresentados, cabendo a nós a interpretação dos resultados. Não há um indicativo do valor de Z calculado e Z crítico, porém existem outros elementos que nos permitem chegar à conclusão. O principal deles é o p-valor (p-value, no teste). Discutiremos esse conceito nas próximas seções, porém, quando o p-valor é menor do que a significância, rejeitamos a hipótese nula do teste. Ao imprimirmos o p-valor, temos o seguinte resultado:

Como o p-valor é menor do que 5% (0,05), rejeitamos a hipótese de igualdade das proporções.

Teste para médias de faturamento

Já vimos que existe diferença estatística entre as proporções de clientes que efetivaram suas compras entre as duas páginas. Agora, verificaremos se existe diferença entre as médias de faturamento entre a Página A e a Página B. Considerando que as médias dos faturamentos são provenientes de populações com variâncias desconhecidas, porém iguais, utilizaremos o Teste T para amostras independentes, com esse tipo de variância. Da mesma forma, calcularemos manualmente e por meio de função disponibilizada no R. As hipóteses a serem testadas são:

$\begin{array}{c}{H}_0:{\mu }_A={\mu }_B{H}_0:{\mu }_A-{\mu }_B\\ H_0:{\mu }_A\ne {\mu }_B{H}_1:{\mu }_A\ne {\mu }_B\end{array}$

Cálculo manual

Cálculo com fórmula

Nesse sentido, percebemos que tanto para o cálculo manual quanto para o cálculo com a fórmula obtivemos o mesmo valor de t, o que deve, de fato, acontecer. Como |tcalculado|>|tcrítico||tcalculado|>|tcrítico|, há evidências de que a hipótese nula pode ser rejeitada, ou seja, que existe diferença entre as médias de faturamento das duas páginas. Quando olhamos para o p-valor do teste calculado pela função t.test, percebemos que o resultado se confirma. O intervalo de confiança calculado pelo teste refere-se à possível diferença entre a média da Página A e a média da Página B. Dessa forma, podemos observar que a Página B possuiu um desempenho superior ao da Página A.
Considerando o objetivo do Teste A/B, garantimos elementos suficientes para confirmar a hipótese de que os atributos presentes na Página B incrementam o desempenho das duas métricas avaliadas.
Agora faça você mesmo os testes utilizando o compilador a seguir:

Com o conteúdo abordado nesta seção, demos mais um importante passo, que nos permitirá abordar tópicos com maior profundidade nas duas últimas seções do livro. Parabéns por chegar aqui e por todo o conhecimento construído no caminho!

Faça valer a pena

Referências

BUSSAB, W. de O.; MORETTIN, P. A. Estatística básica. 6. ed. São Paulo: Saraiva, 2010.
GILOTTE, A. et al. Offline A/B Testing for Recommender Systems. In: Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining, p. 198-206, 2018. Disponível em: https://bit.ly/2Wlilyp. Acesso em: 22 jul. 2021.
SIROKER, D.; KOOMEN, P. A/B Testing: The Most Powerful Way to Turn Clicks into Customers. New Jersey: John Wiley & Sons, 2013.