EXPERIMENTOS ESTATÍSTICOS

Fonte: Shutterstock.

Sem medo de errar

A situação-problema aborda boa parte do conteúdo apresentado na seção. Você ficou responsável por conduzir um Teste A/B de um cliente, avaliando se existe diferença na média diária de vendas entre uma Página A e uma Página B. De modo geral, existem alguns atributos distintos entre as páginas e a ideia é verificar se há algum efeito incremental na Página B em relação à Página A, atualmente utilizada pela empresa. Como vimos ao longo da seção, o Teste A/B vem associado de outros testes estatísticos, adotados para a validação das hipóteses levantadas. No nosso exemplo, estamos trabalhando com teste para médias populacionais, considerando variâncias desconhecidas, porém iguais. Para tanto, utilizaremos o Teste t de Student para amostras independentes e variâncias iguais, embora desconhecidas. Usaremos, também, um nível de significância $\alpha =5\%$.
Com os dados em mãos, o primeiro passo é definir as hipóteses do teste. Como estamos avaliando a igualdade ou a diferença, sugere-se a utilização de um teste bicaudal, cujas hipóteses são dadas por:

$\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_B\\ H_1:{\mu }_A\ne {\mu }_B\end{array}$

Para a realização do teste, utilizaremos o R como ferramenta auxiliar. Para tanto, devemos criar os conjuntos de dados no formato necessário para a função t.test.:
fat_pag_A = c(758.6,849.2,1046.3,677.4,834.9,678.8,685.2,793,763.9,978.5)

fat_pag_B = c(943.1,1215,1321.4,995.7,1141.5,1337.1,933.4,1080.3,1029.8,1186.3)

A = rep("A",10)

B = rep("B",10)

alpha = 0.05



dados = data.frame(site = cbind(c(A, B)), faturamento = cbind(c(fat_pag_A, fat_pag_B)))

t.test(faturamento~site, alternative='two.sided', conf.level=(1-alpha), 
    var.equal=TRUE, data=dados

Ao rodarmos o script apresentado anteriormente, obteremos o resultado apresentado na Figura 4.5, a seguir:

Em termos de interpretação, observamos que a média de faturamento diário dos grupos já é matematicamente diferente, em torno de R$ 312. Estatisticamente, quando avaliamos o p-valor do teste, observamos que $p-valor<\alpha$. Dessa forma, com base na regra de decisão, considerando um $\alpha =5\%$, existem indícios de que as médias de faturamento diário das páginas A e B são estatisticamente diferentes, ou seja, há evidências para rejeitarmos a hipótese nula do teste.

Avançando na prática

Teste A/B para proporções

Uma empresa do setor bancário está avaliando a disposição das informações de seus aplicativos, no intuito de diminuir a incidência de reclamações relativas à acessibilidade. Para tanto, um protótipo foi realizado e comparado durante 30 dias com o modelo atual. Dos 3.745 usuários que acessaram o modelo atual, 223 registraram alguma reclamação a respeito de acessibilidade. No novo protótipo, dos 3.565 usuários, 194 apresentaram queixas. Com base nos dados apresentados, você deverá realizar um Teste A/B para a empresa, avaliando se as proporções de reclamações são as mesmas ou se existe diferença estatística entre elas. Considere $\alpha =5\%$.