Testes estatísticos

Fonte: Shutterstock.

Praticar para aprender

Prezado estudante, nesta última seção do livro, abordaremos alguns conceitos importantes que estabelecem relação com praticamente todo o conteúdo apresentado anteriormente, dentre eles Teste T e Teste Z, intervalos de confiança e Teste Qui-quadrado. De modo geral, essas ferramentas são aplicadas em qualquer contexto do conhecimento, e, com maior ou menor frequência, serão requisitadas durante sua atividade profissional.
Iniciaremos a seção com uma discussão sobre os testes Z, a fim de entender em quais contextos eles se aplicam e quando devemos utilizar a distribuição Z ou distribuição T para realizar os testes. Em seguida, trataremos dos intervalos de confiança, os quais, assim como o p-valor, estudado na seção anterior, estão presentes em praticamente toda análise de dados. Por fim, encerraremos a abordagem teórica cobrindo os Testes Qui-quadrado, que, de modo geral, se dividem em três vertentes: teste para aderência/bondade do modelo, teste para homogeneidade e teste para independência.
Não nos aprofundaremos quanto aos elementos teóricos desta seção, visto que muitos tópicos serão abordados. No entanto, reunimos itens suficientes para explorar uma atividade prática ao final da seção, quando desenvolveremos três exemplos de aplicação. 
Como sempre orientamos, explore todos os recursos disponíveis neste material, pois eles permitirão uma melhor fixação dos conceitos trabalhados ao longo do texto.
Probabilidade e Estatística são áreas que nos permitem explorar dados com o intuito de obter informações a respeito de determinado assunto. A partir das diversas ferramentas disponíveis por ambas as áreas, podemos trabalhar com maior profundidade em análises de experimentos, levantar perguntas (hipóteses) e buscar as respostas por meio dos dados. Experimento, em nosso contexto, não se prende a um conceito estritamente acadêmico. Trata-se de qualquer situação real que nos ofereça dados consistentes passíveis de serem transformados em informação e conhecimento. Neste sentido, para a prática diária de análise de dados, conhecer e saber aplicar corretamente as principais ferramentas estatísticas e probabilísticas é um requisito fundamental.
Desta forma, saber como definir uma hipótese experimental, quais são os tipos de testes estatísticos, como encontrar e interpretar a significância de um parâmetro, como realizar um teste de hipótese e como encontrar um intervalo de confiança são domínios necessários para quem deseja trabalhar com análise de dados.  
Você trabalha no setor de Recursos Humanos de uma empresa e está liderando uma pesquisa que busca compreender a relação entre as horas de sono dos beneficiários e o nível de satisfação com o emprego. Após a realização de um levantamento inicial, foram obtidos os seguintes dados:

Diante disso, você deverá proceder a um Teste Qui-quadrado para avaliar se os eventos “horas de sono” e “satisfação” são independentes entre si.
Chegamos à última seção de nosso livro! Parabéns por ter se empenhado até aqui. Na área de dados, o aprendizado e a atualização são sempre constantes. Em nossos estudos, já desenvolvemos uma série de elementos necessários a um profissional de análise de dados. Sucesso em sua jornada!

conceito-chave

Nas seções anteriores, iniciamos as discussões relacionadas às distribuições de dados, momento em que nos foram apresentadas as distribuições T e Z. Cada uma delas carrega particularidades, porém ambas são de grande importância quando trabalhamos com testes estatísticos, como vimos nas Seções 4.1 e 4.2.
Entendemos que é possível testar diferentes parâmetros populacionais, como a própria distribuição dos dados e as variâncias, por meio de testes como Shapiro-Wilk e de Fisher, mas vimos que as situações mais comuns estão relacionadas às comparações de médias, quando se trabalha com as distribuições T e Z. 
Nos testes de comparação de médias, assim como na maior parte dos experimentos estatísticos, o primeiro passo é a elaboração das hipóteses a serem testadas, que se diferenciam entre hipótese nula ( $H_0$ ) e hipótese alternativa ( $H_1$ ou  $H_a$). Geralmente, na hipótese nula definimos a igualdade a ser testada, enquanto a hipótese alternativa apresenta o tipo de diferença (ex.: a > b, a < b ou a ≠ b) e será o fator determinante para realizarmos um teste bicaudal/bilateral ou unicaudal/unilateral.
Ao fazer um teste de hipóteses cujos parâmetros são as médias, podemos trabalhar com duas situações distintas: teste para proporções e teste para médias gerais. No teste para proporções, é possível comparar a proporção de uma população (ex.: ; ) e as proporções de duas populações (ex.: $H_0:p_A=p_B$; $H_1:p_A\ne p_B$). Conforme aprendemos na seção anterior, utilizamos a distribuição Z para a realização desses testes. 
Temos, portanto, as seguintes situações possíveis para os testes de proporção:

• Teste para uma proporção: bicaudal ou unicaudal;
  
•  Teste para duas proporções: bicaudal ou unicaudal.
  

Em ambas as situações, usamos a distribuição Z para o processo de tomada de decisão. A diferença, no entanto, residirá nos estimadores de $Z_{calc}$. No teste para uma proporção, o valor de $Z_{calc}$ é obtido por meio da seguinte expressão:

$Z_{calc}=\frac{{\displaystyle \hat{p}-p}}{{\displaystyle \sqrt{\frac{{\displaystyle p(1-p)}}{{\displaystyle n}}}}}~N\left(\mathrm{0,1}\right)$

Para o teste bilateral, utilizaremos o valor crítico de $Z_{\alpha /2}$. Diante de um teste unilateral, o valor crítico de Z será dado por $Z_{\alpha }$.

Quando estamos trabalhando com um teste para duas proporções (A e B), o estimador do valor calculado de Z é dado por:

$Z_{calc}=\frac{{\hat{p}}_A-{\hat{p}}_B}{\sqrt{\frac{\hat{p}(1-\hat{p})}{n_A}+\frac{\hat{p}(1-\hat{p})}{n_B}}}~N\left(\mathrm{0,1}\right)$

Em que $\hat{p}$ é obtido por meio do seguinte estimador:

$\hat{p}=\frac{{\displaystyle n_A{\hat{p}}_A+n_B{\hat{p}}_B}}{{\displaystyle n_A+n_B}}$

Em relação ao Z crítico, o racional é o mesmo do observado no teste para uma proporção.

Além dos testes para proporções, também utilizamos a distribuição Z no teste de médias para uma amostra, principalmente quando o tamanho amostral é superior a trinta observações, número proveniente do Teorema do Limite Central (BUSSAB; MORETTIN, 2010). Nesse contexto, como regra decisória sobre qual teste de média adotar, geralmente utilizamos testes T para $n<30$ e testes Z quando $n\ge 30$. 
Dessa forma, considerando que desconhecemos a variância populacional, testaremos as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_0\\ H_1:{\mu }_A\ne {\mu }_0\end{array}$  ou  $\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_0\\ H_1:{\mu }_A<{\mu }_0\end{array}$ ou  $\{\begin{array}{c}{H}_0:{\mu }_A={\mu }_0\\ H_1:{\mu }_A>{\mu }_0\end{array}$

Para esses casos, o estimador de $Z_{calc}$ é dado por:

$Z_{calc}=\frac{{\displaystyle \overline{X}-{\mu }_0}}{{\displaystyle \sqrt{\frac{{\displaystyle s}}{{\displaystyle n}}}}}~N\left(\mathrm{0,1}\right)$

Quando, no entanto, estamos diante de um teste de média para uma amostra com $n\ge 30$, usamos a distribuição T em vez da Z. As hipóteses são elaboradas assim como acontece na distribuição Z. Entretanto, calcularemos a estatística de t, cujo estimador é dado por:

$T_{calc}=\frac{{\displaystyle \overline{X}-{\mu }_0}}{{\displaystyle \sqrt{\frac{{\displaystyle s}}{{\displaystyle n}}}}}$

Para a obtenção do valor crítico de T, utilizamos $t_{(\alpha /2;n-1)}$ no teste bilateral e $t_{(\alpha ;n-1)}$ no unicaudal.

Ao realizar um teste de médias, em vez de avaliarmos o comportamento de uma única amostra, podemos querer comparar a igualdade estatística entre as médias de duas populações. Nesse caso, utilizamos os testes ts, que podem apresentar duas variações:

• Teste t para duas médias populacionais, considerando as variâncias populacionais desconhecidas, porém iguais;
  
• Teste t para duas médias populacionais, considerando as variâncias populacionais desconhecidas, porém diferentes.
  

Na hipótese de que as variâncias populacionais sejam iguais, o estimador de t é dado por:

$T=\frac{{\displaystyle ({\overline{X}}_A-{\overline{X}}_B)-({\mu }_A-{\mu }_B)}}{{\displaystyle s_p\sqrt{\frac{{\displaystyle 1}}{{\displaystyle n_A}}+\frac{{\displaystyle 1}}{{\displaystyle n_B}}}}}$

Como vimos na seção anterior, precisamos encontrar um desvio padrão comum às duas populações, também denominado de desvio padrão pooled $\left(s_p\right)$, o qual pode ser obtido da seguinte maneira:

$s_p=\sqrt{\frac{{\displaystyle (n_A-1)s_A^2+(n_B-1)s_B^2}}{{\displaystyle n_A+n_B-2}}}$

Para a consulta na Tabela T, o número de graus de liberdade é dado por $n_A+n_B-2$.
Quando trabalhamos com a hipótese de que as variâncias populacionais são diferentes, temos duas alterações: uma no estimador de T e outra no cálculo dos graus de liberdade. O estimador de T é dado por:

$T_{calc}=\frac{({\overline{X}}_A-{\overline{X}}_B)-({\mu }_A-{\mu }_B)}{\sqrt{\frac{s_A^2}{n_A}+\frac{s_B^2}{n_B}}}$

Para obter os graus de liberdade (v), devemos utilizar a seguinte expressão:

$v=\frac{{(\frac{s_A^2}{n_A}+\frac{s_B^2}{n_B})}^2}{\frac{{\left(\frac{s_A^2}{n_A}\right)}^2}{n_A-1}+\frac{{\left(\frac{s_B^2}{n_B}\right)}^2}{n_B-1}}$

Além das aplicações aos testes de médias e proporções, as distribuições T e Z são utilizadas no cálculo dos intervalos de confiança de médias e proporções. Para o cálculo do intervalo de confiança de uma proporção, temos o seguinte estimador:

$IC(p\mathrm{,1}-\alpha )=(\hat{p}-Z_{\frac{\alpha }{2}}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}};\hat{p}+Z_{\frac{\alpha }{2}}\sqrt{\frac{\hat{p}(1-\hat{p})}{n}})$

Para as médias, podemos calcular o intervalo de confiança para uma média populacional ou para a diferença entre as médias de duas populações distintas. No caso de uma média populacional, considerando a variância populacional conhecida, o estimador do intervalo de confiança é dado por:

$IC(\mu \mathrm{,1}-\alpha )=(\overline{X}-Z_{\frac{\alpha }{2}}\sqrt{\frac{\sigma }{n}};\overline{X}+Z_{\frac{\alpha }{2}}\sqrt{\frac{\sigma }{n}})$

Quando a variância populacional é desconhecida, o intervalo de confiança é obtido por meio do seguinte estimador:

$IC(\mu \mathrm{,1}-\alpha )=(\overline{X}-t_{\frac{\alpha }{2}}\sqrt{\frac{s}{n}};\overline{X}+t_{\frac{\alpha }{2}}\sqrt{\frac{s}{n}})$

Ao trabalharmos com duas médias populacionais, também é possível calcular o intervalo de confiança, porém em uma situação de avaliação da diferença entre as médias populacionais. Para médias provenientes de populações com variâncias desconhecidas e iguais, o intervalo de confiança da diferença das médias é dado por:

$IC({\mu }_A-{\mu }_B\mathrm{,1}-\alpha )=\left(({\overline{X}}_A-{\overline{X}}_B)-t_{(\alpha ,\frac{\alpha }{2})}{s}_p\sqrt{\frac{1}{n_A}+\frac{1}{n_B}};({\overline{X}}_A-{\overline{X}}_B)+t_{(\alpha ,\frac{\alpha }{2})}{s}_p\sqrt{\frac{1}{n_A}+\frac{1}{n_B}}\right)$

Para o caso de médias provenientes de populações com variâncias desconhecidas e diferentes, o IC é obtido a partir do seguinte estimador:

$IC({\mu }_A-{\mu }_B\mathrm{,1}-\alpha )=\left(({\overline{X}}_A-{\overline{X}}_B)-t_{(v,\frac{\alpha }{2})}\sqrt{\frac{s_A^2}{n_A}+\frac{s_B^2}{n_B}};({\overline{X}}_A-{\overline{X}}_B)+t_{(v,\frac{\alpha }{2})}\sqrt{\frac{s_A^2}{n_A}+\frac{s_B^2}{n_B}}\right)$

Além das distribuições T e Z, a distribuição Qui-quadrado $\left({\chi }^2\right)$ é de grande importância no contexto da análise de dados. De modo geral, existem três principais tipos de Testes Qui-quadrado: teste para aderência do modelo; teste para homogeneidade; e teste para independência, todos eles associados a variáveis nominais/categóricas, ou seja, a situações em que trabalhamos com contagens e proporções. 
No teste de aderência do modelo, também denominado teste de bondade do modelo, avaliamos a hipótese de que, em um conjunto amostral com k categorias, os dados seguem uma distribuição teórica específica. Suponha, por exemplo, que estejamos realizando uma pesquisa de diversidade entre os cargos de alta gestão e esperamos que 50% das posições sejam ocupadas por pessoas do sexo feminino, e os outros 50%, por pessoas do sexo masculino. No entanto, após um levantamento feito em 30 empresas, observou-se que somente 9 posições eram ocupadas por pessoas do sexo feminino, enquanto 21 tinham indivíduos do sexo masculino como atuantes. Nesse contexto, temos dois dados diferentes: um relacionado à distribuição efetivamente encontrada e outro relativo a uma distribuição teórica, considerando os 50% de cada sexo. Os valores estão apresentados na Tabela 4.9, a seguir:

Testaremos, a partir disso, as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:p_{Masc}=p_{fem}\\ H_1:p_{Masc}\ne p_{fem}\end{array}$

A estatística do teste é obtida por meio da seguinte expressão:

${\chi }^2=\sum _{i=1}^k\frac{{(O_i-E_i)}^2}{E_i}$

Em que $O_i$ é o valor observado da i-ésima classe de uma categoria e $E_i$ é o valor esperado da i-ésima classe dessa categoria. Seguindo o exemplo, precisaremos calcular a diferença entre os valores observados e os valores esperados para os indivíduos de ambos os sexos, conforme apresentado na Tabela 4.10, a seguir:

Obtemos, portanto, que o valor de ${\chi }^2$ é 4,8. Para esse tipo de teste, temos $k-1$ graus de liberdade, ou seja, $2-1=1$, considerando um nível de significância $\alpha =5\%$. Consultando a Tabela 4.11, a seguir, temos que o valor crítico de ${\chi }^2$ equivale a 3,841.

Dessa forma, considerando a regra de decisão entre o valor crítico e o valor calculado, temos que ${\chi }_{calc}^2>{\chi }_{crítico}^2$. Ou seja, a um nível de significância $\alpha$, há elementos suficientes para dizermos que as proporções dos cargos entre os sexos não são iguais e que, portanto, não estão de acordo com os valores esperados.
No teste para homogeneidade, trabalhamos sob as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:\text{proporções são homogêneas}\\ H_1:\text{proporções são heterogêneas}\end{array}$

Suponha, para tanto, que estamos coletando informações sobre a satisfação dos colaboradores de uma empresa com base na diferenciação de dois grupos: um com plano de carreira e outro sem. Ao todo foram coletados dados de 100 indivíduos (40 com plano e 60 sem plano), conforme apresentado na Tabela 4.12, a seguir:

A partir da coluna referente ao total, temos uma proporção esperada, que será utilizada como referência para o comparativo das proporções entre os indivíduos com plano e sem plano. A ideia, portanto, é avaliar se existe homogeneidade entre os grupos, considerando as três classificações de satisfação. Para isso, devemos encontrar o valor de ${{\chi }^2}_{calculado}$, que é obtido por meio da seguinte expressão:

${\chi }_{calculado}^2=\sum _{i=1}^m\sum _{j=1}^k\frac{{(O_{i|j}-E_{j|i})}^2}{E_{j|i}}$

Em que m é o número de variáveis (com plano ou sem plano) e k é o número de categorias (Satisfeito, Indiferente e Insatisfeito). Os valores esperados são obtidos por meio do produto entre o valor total de cada variável e a proporção das categorias na coluna totalizadora. Por exemplo, para a satisfação, é esperado que 45% dos indivíduos estejam satisfeitos. Dessa forma, para encontrar o número de indivíduos esperados na categoria “Satisfeito” para a variável “C/plano”, devemos multiplicar 40 (valor total) por 45% (proporção esperada), obtendo um total de 18 pessoas. O procedimento é repetido até obtermos todos os valores esperados, conforme apresentado na Tabela 4.13, a seguir:

Em seguida, calcularemos o valor de ${\chi }^2$, dado por:

$\begin{array}{l}{\chi }_{calculado}^2=\sum _{i=1}^m\sum _{j=1}^k\frac{{(O_{i|j}-E_{j|i})}^2}{E_{j|i}}=\frac{{(20-18)}^2}{18}+\frac{{(25-27)}^2}{27}+\\ \frac{{(10-12)}^2}{12}+\frac{{(20-18)}^2}{18}+\frac{{(10-10)}^2}{10}+\frac{{(15-15)}^2}{15}=\mathrm{0,92593}\end{array}$

O número de graus de liberdade é expresso por $(m-1)(k-1)=(2-1)(3-1)=1*2=2$. Consultando a tabela de distribuição Qui-quadrado, temos que ${{\chi }^2}_{\mathrm{0,05};2}=\mathrm{5,991}$. Dessa forma, como ${\chi }_{calc}^2<{\chi }_{crítico}^2$, não há evidências para se rejeitar a hipótese nula, ou seja, podemos dizer que as proporções da satisfação entre os beneficiários com plano de carreira e sem plano de carreira são homogêneas. 
Por fim, o teste de independência é utilizado quando se deseja observar alguma associação entre variáveis qualitativas. Para tanto, avaliamos as seguintes hipóteses:

$\{\begin{array}{c}{H}_0:\text{variáveis e categorias são independentes (não existe associação)}\\ H_1:\text{variáveis e categorias não são independentes (existe associação)}\end{array}$

Podemos, inclusive, utilizar o mesmo exemplo da Tabela 4.12. Para isso, o cálculo do valor esperado será diferente do realizado no teste para homogeneidade. Precisaremos encontrar as probabilidades verticais e horizontais e multiplicá-las pelo valor total de observações, conforme mostra a Tabela 4.14, a seguir:

A partir daqui o procedimento é o mesmo. Ou seja, para encontrar o valor calculado de ${\chi }^2$, deve-se utilizar o seguinte estimador:

$\begin{array}{l}{\chi }_{calculado}^2=\sum _{i=1}^m\sum _{j=1}^k\frac{{(O_{i|j}-E_{j|i})}^2}{E_{j|i}}=\frac{{(20-18)}^2}{18}+\frac{{(25-27)}^2}{27}+\\ \frac{{(10-12)}^2}{12}+\frac{{(20-18)}^2}{18}+\frac{{(10-10)}^2}{10}+\frac{{(15-15)}^2}{15}=\mathrm{0,92593}\end{array}$

Perceba que ainda que o teste seja diferente, o estimador é o mesmo, trazendo um valor de ${\chi }^2$ equivalente ao anterior. Dessa forma, considerando que ${\chi }_{calc}^2<{\chi }_{crítico}^2$, não existem elementos suficientes para rejeitarmos $H_0$ e, portanto, dizer que o nível de satisfação do beneficiário depende do plano de carreira. 
Finalizamos, portanto, o conteúdo teórico da seção. No exercício em R, trabalharemos alguns dos tópicos abordados, com destaque para os intervalos de confiança e o Teste Qui-quadrado para independência.

Prezado(a) estudante, agora trabalharemos três exercícios práticos, no intuito de fixarmos o conteúdo apresentado durante o corpo do texto. Para tanto, iniciaremos com o cálculo do intervalo de confiança para uma proporção, seguido do intervalo de confiança para uma média e finalizaremos com um teste qui-quadrado para independência. Para fins de cálculo, considere o nível de significância $\alpha =0,05$ em todos os exemplos

Intervalo de Confiança para uma proporção

Uma amostra de 100 viagens de transporte por aplicativo, 72 apresentam avaliações com cinco estrelas. Com base nestas informações, iremos encontrar o intervalo de confiança para a porporção $p$.

Intervalo de Confiança para uma média

Uma empresa está avaliando o tempo médio gasto pelos funcionários para chegarem ao trabalho diariamente. Em uma amostra com 50 colaboradore, foram obtidos os seguintes dados (28, 31, 36, 31, 34, 23, 24, 33, 30, 37, 32, 28, 26, 30, 37, 29, 27, 33, 28, 37, 31, 33, 23, 41, 34, 26, 28, 32, 28, 32, 33, 29, 26, 22, 26, 32, 28, 35, 29, 27, 20, 28, 31, 33, 29, 31, 32, 30, 32, 32). Considerando que a variância é desconhecida, calcule o intervalo de confiança para a média do tempo de deslocamento gasto até o trabalho. Lembrete: para média de uma amostra, com variância populacional desconhecida, utilizamos a Tabela T para realizar os testes.

Teste Qui-quadrado para independência

Suponha que uma agência de viagens esteja avaliando a satisfação de seus clientes, considerando, para tanto, três destinos diferentes: Marrocos, Porto Rico e Itália. De modo geral, a ideia é avaliar se existe alguma associação entre o destino escolhido e o nível de satisfação dos clietes, estratificado em “Satisfeito” e “Insatisfeito”. Foram coletados os seguintes dados:

A partir dos dados obtidos, iremos avaliar se existe independência entre a satisfação e o local de destino, considerando um teste Qui-quadrado.

Com base no p-valor do teste, não há elementos suficientes para rejeitarmos $H_0$, ou seja, para dizermos que o destino da viagem e a satisfação do cliente estão associadas.

Faça valer a pena

Referências

BUSSAB, W. de O.; MORETTIN, P. A. Estatística básica. 6. ed. São Paulo: Saraiva, 2010.
GUEDES, D. P.; LOPES, C. C. Validação da versão brasileira do Youth Risk Behavior Survey 2007. Revista de Saúde Pública, v. 44, n. 5, p. 840-850, 2010. Disponível em: https://bit.ly/3sWpBgy. Acesso em: 22 jul. 2021.