Significância estatística

Fonte: Shutterstock.

Praticar para aprender

Prezado estudante, a significância estatística é um dos principais conceitos da Probabilidade e Estatística, fazendo-se presente em praticamente toda análise realizada. Nesta seção, vamos aprofundar um pouco mais nossa discussão sobre esse tema, destacando os principais elementos e compreendendo como a significância impacta a interpretação dos resultados e a tomada de decisão baseada em dados. 
O termo significância nos remete a algo significativo, importante. Na Estatística, como visto, relaciona-se à probabilidade de se obter algum valor mais extremo do que aquele observado. 
A significância é representada pela letra $\alpha$, que indica, portanto, o nível de significância com que estamos trabalhando em determinado teste. Associada a esse nível $\alpha$, existe outra importante ferramenta na tomada de decisão baseada em dados: o p-valor. É nesse sentido que desenvolveremos o conteúdo desta seção, na interlocução entre o nível de significância $\alpha$ e o p-valor, ambos fatores preponderantes daqui para frente. 
Iniciaremos a discussão abordando algumas questões relacionadas às diferenças entre os dois termos, no intuito de evitar confusões e decisões equivocadas. Em seguida, trataremos do Teste de Fisher para a comparação de médias, que considera a rejeição de igualdade com base em um valor estatisticamente significativo. 
Diante disso, exploraremos mais detalhadamente os erros envolvidos nas hipóteses estatísticas, o que nos servirá de base para entender, ainda que de forma introdutória, o lema de Neyman-Person. 
Finalizaremos a seção aprendendo a obter o p-valor de um teste e, tão importante quanto essa etapa, entenderemos como interpretá-lo. 
Como nas seções anteriores, desenvolveremos algumas atividades práticas em R, buscando exercitar a prática de análise de dados voltada para o conteúdo trabalhado ao longo da seção.
A Probabilidade e Estatística são áreas que nos permitem explorar dados com o intuito de obter informações a respeito de determinado assunto. A partir das diversas ferramentas disponíveis por ambas as áreas, podemos trabalhar com maior profundidade em análises de experimentos, levantar perguntas (hipóteses) e buscar as respostas por meio dos dados. Experimento, em nosso contexto, não se prende a um conceito estritamente acadêmico. Trata-se de qualquer situação real que nos ofereça dados consistentes passíveis de serem transformados em informação e conhecimento. Neste sentido, para a prática diária de análise de dados, conhecer e saber aplicar corretamente as principais ferramentas estatísticas e probabilísticas é um requisito fundamental.
Desta forma, saber como definir uma hipótese experimental, quais são os tipos de testes estatísticos, como encontrar e interpretar a significância de um parâmetro, como realizar um teste de hipótese e como encontrar um intervalo de confiança são domínios necessários para quem deseja trabalhar com análise de dados.
Você trabalha em uma consultoria estatística e será responsável por conduzir o processo inicial de um cliente. Durante a apresentação, você foi questionado acerca da utilização do p-valor. O cliente gostaria de compreender melhor o que esse número representa e por que é possível utilizá-lo para a tomada de decisão. Diante disso, você deverá fazer uma breve explicação sobre o p-valor e as principais razões que justificam a sua utilização como elemento de tomada de decisão a respeito das hipóteses estatísticas.
Uma excelente aula!

conceito-chave

Na seção anterior, trabalhamos com o Teste A/B e seus desdobramentos, como o Teste t de Student e o Teste Z para proporções. Ao realizarmos os processamentos em R, obtivemos, além das estatísticas T e Z, um valor referente ao p-valor, que, como vimos, nos auxiliaria na compreensão da validade das hipóteses testadas. 
Esse p-valor está associado à significância estatística do teste e se traduz como uma importante ferramenta para a análise de dados, visto que nos permite tomar decisões criteriosas, levando em consideração o quão verdadeira uma hipótese testada pode ser.

Veremos, ainda nesta seção, algumas regras de decisões práticas relacionadas ao p-valor, que, apesar de não ser a significância propriamente dita, refere-se a uma probabilidade a ela associada. Além do p-valor, existem outras formas de testar a significância estatística, como por meio do Método de Fisher, utilizado para a comparação de múltiplas médias populacionais, considerando-as duas a duas. 
Suponha, por exemplo, que estejamos trabalhando com uma avaliação da distância que os beneficiários precisam percorrer entre o trabalho e suas residências, considerando seus respectivos cargos de ocupação. Para isso, foram selecionados aleatoriamente cinco indivíduos de cada cargo (Analista Júnior, Analista Pleno, Analista Sênior e Coordenador). Os dados estão dispostos na Tabela 4.5.

A ideia inserida nesse contexto é avaliar se há diferenças significativas entre as distâncias percorridas no trajeto até o trabalho para cada um dos cargos avaliados. Para tanto, utilizaremos o Teste de Fisher, no intuito de testar os pares de cargos, como Jr x Pleno, Jr x Sênior, Jr x Coordenador, Pleno x Sênior, e assim por diante. 
A hipótese nula do teste é dada por $H_0:{\mu }_i={\mu }_j$, em que se testa a igualdade entre as médias populacionais das distâncias percorridas pelos indivíduos em seus respectivos cargos. Trabalharemos com um nível de significância tal que $\alpha =5\%$. O próximo passo é encontrar um valor crítico para compararmos as médias de cada grupo $\left(k\right)$. No caso do teste de Fisher, esse valor é denominado por Diferença Mínima Significativa (LSD – Least Significant Difference). Quando os grupos possuem o mesmo número de elementos , o estimador do LSD é dado por:

$LSD=t_{(\alpha /2;N-k)}\sqrt{2*\frac{{\displaystyle QME}}{{\displaystyle n}}}$

Em que $N$ é o número do total de amostras do teste, desconsiderando os $k$ grupos, e QME é o Quadrado Médio do Erro (ou resíduo), que é obtido por:

$QME=\frac{{\displaystyle SQE}}{{\displaystyle N-k}}$

Em que SQE refere-se à Soma dos Quadrados dos Erros, ou seja, o quadrado do desvio de cada observação em relação à média de um grupo específico. 
Quando os grupos não possuem o mesmo número de elementos, é necessário encontrar o valor de LSD para cada comparação. Ou seja, se em nosso exemplo tivéssemos quatro analistas júnior em vez de cinco, seria necessário utilizar o seguinte estimador:

$LS{D}_{i,j}=t_{(\alpha /2;N-k)}\sqrt{QME(\frac{1}{n_i}+\frac{1}{n_j})}$

A partir do(s) valor(es) da LSD obtido(s), verificaremos se existe diferença entre os grupos. Trabalharemos de forma prática no R, porém suponha que o valor da LSD seja equivalente a 5. Se a diferença entre as médias de dois grupos é maior do que o valor da LSD, então, considerando o nível de significância $\alpha$, existem evidências para rejeitarmos a hipótese de igualdade entre os dois grupos avaliados. Caso a diferença seja menor, não há evidências para se rejeitar a hipótese de igualdade (nula), ou seja, não se pode dizer que existe diferença entre as médias dos dois grupos avaliados.

Além do Teste de Fisher para a média de grupos, há diversas outras ferramentas para análise da significância, como o Lema/Método de Neyman-Pearson. No entanto, antes de conhecer esse método, é importante definirmos dois erros associados aos testes de hipóteses: Erro Tipo I e Erro Tipo II, representados no Quadro 4.1.

Dessa forma, os erros estão associados às tomadas de decisões equivocadas. Ao rejeitamos $H_0$ quando ela é verdadeira, cometemos o Erro Tipo I, que, como vimos, está associado ao nível de significância $\alpha$. Por outro lado, ao aceitarmos $H_0$ quando ela é falsa, estamos cometendo o Erro Tipo II, representado por $\beta$. 
Quando avaliamos em termos probabilísticos, a significância $\alpha$ equivale à probabilidade de ocorrência do Erro Tipo I, ou seja, $\alpha {\text{ = P(Erro Tipo I) = P(Rejeitar H}}_0{\text{ | H}}_0\text{ é verdadeira)}$. De modo análogo, $\beta$ equivale à probabilidade de ocorrência do Erro Tipo II, ou seja, $\beta {\text{ = P(Erro Tipo II) = P(Não rejeitar H}}_0{\text{ | H}}_0\text{ é falsa)}$. Do valor de $\beta$, extraímos o valor do poder do teste, expresso por $(1-\beta )$, que está associado, portanto, à probabilidade de não rejeitarmos $H_0$ quando $H_0$ é falsa. 
É nesse contexto que se encaixa o Lema de Neyman-Pearson. Em função da densidade teórica, não nos aprofundaremos nas questões desse modelo, porém exploraremos o conceito do Lema. De modo geral, a ideia é, após fixarmos a significância $\alpha$, encontrar uma região crítica com a menor probabilidade de ocorrência do Erro Tipo II. Ou seja, para um $\alpha$ fixado, devemos encontrar o menor valor de $\beta$ possível. 
Na prática, no entanto, costumamos tomar as decisões levando em consideração o critério do p-valor, um importante elemento que nos oferece uma probabilidade de se obter valores extremos aos observados, considerando a veracidade da hipótese nula ( $H_0$ ). Em outras palavras, considerando que a hipótese nula é verdadeira, o p-valor nos informa a probabilidade de se obter valores mais extremos do que os observados (BUSSAB; MORETTIN, 2010). A Figura 4.6, a seguir, nos ajuda a compreender o conceito de maneira mais efetiva. No exemplo, temos uma estrutura para testes que utilizam a Tabela Z, mas a ideia é a mesma para as demais distribuições. Se somarmos as duas áreas em vermelho e as duas áreas em amarelo, obteremos a significância do teste, que geralmente é estabelecida em $\alpha =\mathrm{0,05}$. A partir dos valores de Z observados, que são função direta dos dados coletados, obtemos o p-valor, que se refere às áreas dos polígonos em amarelo. Nesse sentido, temos a probabilidade de ocorrência de valores extremos àqueles observados ( $Z_{obs}$ ), fato que é exatamente contemplado pelo conceito de p-valor definido anteriormente.

A ideia por trás do p-valor é simples: quando o p-valor de um teste estatístico é maior do que o nível de significância $\alpha$, não há evidências para rejeitarmos a hipótese nula. Por outro lado, quando $\text{p-valor}<\alpha$, existem elementos para rejeitarmos a hipótese nula. 
Na parte prática da última seção, trabalhamos com o Teste A/B, que se desdobrou em um Teste t de Student para amostras independentes, em que consideramos as variâncias populacionais desconhecidas, porém iguais. Para relembrarmos, estávamos avaliando se existia diferença nas médias de faturamento das páginas A e B, durante um intervalo de quinze dias. Diante disso, foram rodadas as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_B\\ H_1:{\mu }_A\ne {\mu }_B\end{array}$

Consideramos, portanto, um teste bicaudal, com um nível de significância $\alpha =5\%$. Ao rodarmos o script no R, obtivemos as informações apresentadas na Figura 4.7, a seguir:

O teste nos apresenta uma série de informações, como intervalos de confiança da diferença entre as médias, as próprias médias de cada grupo, o valor crítico de T, o número de graus de liberdade e o p-valor (p-value). Um p-valor de 4.055e-13 implica um valor de 0,0000000000004055, isto é, um número muito próximo de zero e menor do que 5%, que é o nível de significância estabelecido no teste. Dizemos, portanto, que o p-valor do teste é significativo, de modo que temos evidências para rejeitar a hipótese nula, em que $H_0:{\mu }_A={\mu }_B$. 
E como obteremos esse p-valor se não tivermos alguma ferramenta de apoio para o cálculo? O procedimento é relativamente simples. Suponha que uma empresa esteja avaliando o percentual de seus funcionários que falam inglês fluentemente. Tomando como base as informações dos currículos, cerca de 35% dos colaboradores disseram ser fluentes no idioma. No entanto, a empresa deseja testar se esse valor é igual ou menor a 35%, definido as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:p=35\%\\ H_1:p<35\%\end{array}$

Para realizar o teste, 100 funcionários selecionados aleatoriamente foram submetidos a um exame de proficiência, dentre os quais 26 se enquadraram como fluentes. Diante disso, considerando um nível de significância $\alpha =5\%$, a empresa realizou um Teste Z para proporções, porém unilateral (veja a hipótese alternativa. Caso $p\ne 35\%$, seria um teste bilateral. Porém, em situação de $p<35\%$, trata-se de um teste bilateral. O mesmo aconteceria se estivéssemos testando uma hipótese alternativa de $p>35\%$).
Na seção anterior, realizamos o Teste Z para duas proporções, provenientes de amostras distintas. No caso que será avaliado agora, trata-se de um teste sobre uma única proporção. Dessa forma, temos o seguinte estimador de Z:

$Z=\frac{{\displaystyle \hat{p}-p}}{{\displaystyle \sqrt{\frac{{\displaystyle p(1-p)}}{{\displaystyle n}}}}}$

Assim, obtemos o seguinte valor para o exemplo:

$Z=\frac{{\displaystyle \mathrm{0,26}-\mathrm{0,35}}}{{\displaystyle \sqrt{\frac{{\displaystyle \mathrm{0,35}(1-\mathrm{0,35})}}{{\displaystyle 100}}}}}\cong -\mathrm{1,887}$

O valor de Z crítico é obtido pela consulta à tabela de distribuição Z. Para um teste unilateral e considerando $\alpha =5\%$, temos que:

$P(0<Z<Z_{\alpha =\mathrm{0,05}})=P(0<Z<\mathrm{0,5}-\mathrm{0,05})=P(0<Z<\mathrm{0,450})=\mathrm{1,645}$

No entanto, como estamos diante de um teste unilateral à esquerda, podemos considerar o valor crítico de -1,645. Assim, com o auxílio da Figura 4.8, é possível observar que o $Z_{obs/calculado}$ está inserido na região crítica, ao passo que $\left|Z_{obs/calculado}\right|>\left|Z_{\alpha }\right|$.

Nesse sentido, temos que, ao nível de significância $\alpha =5\%$, existem evidências para rejeitarmos a hipótese nula e, portanto, dizer que existe uma proporção menor do que 35% de colaboradores que falam inglês de forma fluente. Para encontrar o p-valor, precisamos lembrar que estamos falando da probabilidade de se obter valores mais extremos àqueles observados, ou seja, $P(Z<Z_{obs})$. Devemos, portanto, encontrar a área da Figura 4.8 representada em amarelo. 
Assim, o p-valor é obtido por:

$p-valor=P(Z<Z_{obs})=P(Z<-\mathrm{1,887})$

Consultando a tabela Z, temos que a probabilidade referente a -1,887 é de cerca de 0,4699. Com o auxílio da Figura 4.9, a seguir, sabemos que o valor da área em verde é equivalente a 0,5. Além disso, entendemos que o p-valor equivale a $P(Z<-\mathrm{1,887})$, ou seja, à área representada em amarelo. No entanto, vimos que $P(Z_{obs}<Z<0)\cong \mathrm{0,4699}$, que é a área representada pela cor cinza. Dessa forma, para encontrar a área em amarelo (p-valor), devemos subtrair a área cinza da área verde, ou seja, $p-valor=\mathrm{0,5}-\mathrm{0,4699}=\mathrm{0,03010}$.

Assim, considerando o nível de significância $\alpha =\mathrm{0,05}$ e o p-valor de 0,030, rejeitamos a hipótese nula, ao passo que $p-valor<\alpha$. É muito comum, na prática, nos atentarmos somente ao p-valor para a tomada de decisão, visto que a decisão estará associada aos valores observados de Z, ou seja, não precisamos realizar a regra de decisão com base nos valores de Z.

O mesmo raciocínio é aplicado às demais distribuições e, consequentemente, aos outros testes, como os testes ts, Teste Qui-quadrado, Teste F, entre outros. Com base na avaliação do p-valor e do nível de significância, podemos tomar a decisão de rejeição ou não rejeição da hipótese nula.

Prezado(a) estudante, agora trabalharemos o exercício prático introduzido no corpo do texto, buscando compreender se existe diferença estatisticamente significativa entre as médias das distâncias percorridas pelos colaboradores de uma empresa, considerando os cargos de atuação dos indivíduos. Em todo o momento, consideraremos o nível de significância $\alpha =0,05\%$.
O primeiro passo, no entanto, é gerar os conjuntos de dados no R.

Gerando os conjuntos de dados

Criamos, portanto, o conjunto de dados a ser testado e observamos que, aparentemente, existe difereça entre as médias de distância percorrida para os quatro cargos avaliados. Iremos, agora, testar se existe duas médias de quilometragem diferentes entre si. Para tanto, trabalharemos com o Teste de Fisher. Utilizaremos um pacote adicional no R, denonominado agricolae. Veremos, também, que precisaremos criar um modelo de Análise de Variância, que será incorporado no Teste de Fisher.

Com base nos resultados obtidos na Análise de Variância, temos que o p-valor é de 0,000403, ou seja, bastante significativo. Desta forma, rejeitamos a hipótese nula da ANOVA, que representa igualdade entre as médias das distâncias percorridas nos respectivos cargos. Confirmada a rejeição da hipótese nula, temos elementos suficientes para dizer que pelo menos uma das médias das distâncias percorridas pelos colaboradores/cargo é diferente das demais. O próximo passo, portanto, é identificar qual ou quais destas médias são as diferentes. É neste contexto que se encaixa o teste de Fisher.

O teste é denomninado LSD pois trabalha com a mínima diferença significativa entre as médias dos grupos. Os resultados, no entanto, não são apresentados com base no p-valor. Aqui, as médias foram agruapadas por letras, sendo que letras iguais implicam que não se rejeita a hipótese nula.
A maior distância média percorrida foi observada pelo cargo Júnior, com 9,6 Km, valor que não apresentou significiância estatística com a distância média percorrida pelos colaboradores Plenos. O gráfico do teste nos permite identificar quais são as médias estatisticamente diferentes entre si, como é o caso de JR vs CD, JR vs SR e PL vs CD.

Estamos nos aproximando do final deste livro, conhecendo um pouco mais sobre uma importante ferramenta de Probabilidade e Estatística: o p-valor. Por meio do conteúdo apresentado, pudemos nos capacitar para a interpretação e a consequente tomada de decisão que a análise do p-valor nos permite realizar. Parabéns por mais um passo dado!

Faça valer a pena

Referências

BUSSAB, W. de O.; MORETTIN, P. A. Estatística básica. 6. ed. São Paulo: Saraiva, 2010.
MILLER, A. et al. Correlation Between Universal BCG Vaccination Policy and Reduced Mortality for COVID-19. MedRxiv, 2020. Disponível em: https://bit.ly/3sOMsuh. Acesso em: 22 jul. 2021.