Distribuição dos dados

lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nunc dignissim euismod urna tincidunt sagittis. Vivamus id vehicula eros, non scelerisque eros.

Fonte: Shutterstock.

Praticar para aprender

Caro aluno
Nesta seção, abordaremos uma série de conteúdos importantes para a análise de dados. Apesar de um pouco densos, os tópicos apresentados nos darão base para explorar análises de grande relevância na Estatística e Probabilidade, como Teste de Médias, Teste de Hipóteses, Teste Qui-quadrado, entre outros assuntos que trabalharemos nas próximas seções.
A questão central com que trabalharemos é a diferenciação de distribuições advindas de variáveis aleatórias contínuas e discretas. Na segunda seção da Unidade 1, discutimos os tipos de variáveis, como quantitativa e qualitativa, além das variáveis e discretas. Para refrescar a memória, iniciaremos o texto retomando brevemente o assunto. 
Em seguida, entraremos nos tópicos de distribuição de dados e probabilidade, que nos permitirá explorar três conceitos distintos: a função de probabilidade, a função de distribuição acumulada e a função de densidade de probabilidade.
Após isso, entraremos nas modelagens das distribuições de variáveis aleatórias, mas não se assuste com as fórmulas! Não é necessário decorá-las, ao passo que, em situações reais, temos o auxílio dos softwares estatísticos e das linguagens de programação. Atente-se aos principais comportamentos das distribuições, em termos de estrutura de parâmetros e forma das curvas por meio da análise gráfica. Trataremos, nesta parte, das distribuições de Bernoulli, Binomial, Poisson, Geométrica e Hipergeométrica.
Compreendidas as distribuições de variáveis discretas, trataremos das contínuas, representadas pela Uniforme, Exponencial, Gama, Beta, Normal, Z, t de Student, F de Fisher-Snedecor e Qui-quadrado. Novamente, não é necessário decorar todas as estruturas de função de densidade de probabilidade, mas é de grande importância compreender as diferenças entre as distribuições. 
Esta é uma seção um pouco mais teórica do que as demais, mas é de grande importância construirmos um conhecimento sólido para melhor explorarmos os próximos assuntos. Trabalhe todos os recursos disponíveis, como material complementar, os boxes de Assimile, Reflita e Exemplificando, bem como os exercícios da seção, pois certamente colaborarão para o melhor entendimento dos assuntos abordados.
Caro aluno, a atividade de análise de dados apresenta diversos desafios em seu dia a dia, o que a faz ainda mais interessante. Frequentemente, deparamo-nos com situações que nos tiram de uma zona de conforto e nos fazem buscar formas de resolver problemas. Algo comum, por exemplo, é a limitação operacional em situações que envolvem populações com um grande número de observações. Como proceder uma análise de dados de uma empresa com 20.000, 30.000 ou até 100.000 funcionários? Ou, então, como realizar uma pesquisa eleitoral que indique as intenções de votos dos habitantes de um país? É preciso entrevistar cada um deles para que se obtenha um número representativo? A resposta é não! E é nesse sentido que se encaixa importante conceito na análise de dados, a amostragem. 
Outro tópico de grande relevância na análise de dados é análise de distribuição. O que faz, por exemplo, um conjunto de dados possuir um comportamento semelhante a um sino, na denominada distribuição normal? Ou em que contexto utilizamos uma distribuição t de Student? A compreensão destes conceitos é fundamental para que se avance em análises ainda mais interessantes, como o cálculo dos intervalos de confiança, a comparação estatística de médias, entre outras. Portanto, dominar tanto o processo de amostragem quanto a análise de distribuição é de suma importância para a resolução de problemas práticos da atividade de análise de dados.
Você é especialista em dados de uma empresa e está realizando um workshop sobre distribuição de dados, como forma de apresentar aos colaboradores uma visão simplificada e de fácil entendimento. Para tanto, você deverá realizar algumas simulações no R e plotar gráficos comparativos de quatro distribuições específicas: normal, exponencial, uniforme e binomial. Deixe claro os parâmetros utilizados e as diferenças entre o comportamento das distribuições.

conceito-chave

Na Estatística e Probabilidade, muito se trabalha com o conceito de variável aleatória. Para compreendermos este ponto, é necessário resgatar alguns temas, como espaço amostral e evento. De modo geral, a relação entre esses termos é dada da seguinte maneira: o espaço amostral refere-se a todos os eventos possíveis de um fenômeno aleatório, ou seja, todos os valores que um evento pode assumir. Nesse sentido, uma variável aleatória é aquela cujos valores são oriundos de um experimento aleatório e que estão dentro de um espaço amostral (YALE, 1997). 
As variáveis aleatórias distinguem-se em dois tipos: discretas e contínuas. Essa classificação está associada aos próprios conceitos de variáveis discretas e contínuas que vimos na primeira unidade deste livro. 
Nesse sentido, uma variável aleatória discreta é aquela que assume um conjunto finito de valores. Suponha, por exemplo, que uma variável qualquer $X$ possui um conjunto finito de valores, dados por $x_i$, com $i=(\mathrm{1,}\cdots ,k)$. A cada elemento $x_i$ associa-se uma probabilidade $p\left(x_i\right)$, de modo a ser criada uma relação, conforme a Tabela 3.3.

O termo $p\left(x_i\right)$ é designado por função de probabilidade e expressa, de forma geral, cada valor de um conjunto de dados a uma probabilidade, que pode ser a mesma para todos, caracterizando eventos equiprováveis, ou distintas. Dessa forma, com base na função de probabilidade, tem-se as seguintes pressuposições:

1. $P(X=x_i)=p\left(x_i\right)$
2. ${\sum }_{i=1}^{k}P(X=x_i)=1$
3. $0\le P(X=x_i)\le 1$

A partir da função de probabilidade, podemos introduzir outro conceito: a função de distribuição acumulada (f.d.a.), representa por $F\left(x\right)$. Na linha do mesmo exemplo construído, a f.d.a. é dada pela probabilidade de $X$ assumir um valor menor ou igual a $x$, ou seja, $F\left(x\right)=P(X\le x)$.
Suponha, por exemplo, que uma variável $X$ tenha a função de probabilidade, conforme expresso na Tabela 3.4:

Nesse sentido, a maior probabilidade de ocorrência está associada ao número 7, com 35%, seguido por 9 (30%), 5 (20%) e 10 (15%). Assim, podemos realizar algumas considerações a respeito do conjunto de dados:

1. A probabilidade de um evento $x_i$ ser menor do que 5 é equivalente a 0, ao passo que 5 é o valor mínimo do conjunto. Assim, $P(X<5)=0$. No entanto, a probabilidade de ser menor ou igual a 5 deve incluir a probabilidade associada ao valor 5, ou seja, $F\left(5\right)=P(X\le 5)=\mathrm{0,20}$.
2. A probabilidade de X assumir valor igual a 7 é equivalente a 0,35. No entanto, a probabilidade de X ser menor ou igual a 7 é dada por: $P(X\le 7)=P(X=7)+P(X=5)=\mathrm{0,35}+\mathrm{0,20}=\mathrm{0,55}$. Dessa forma, tem-se que $F\left(7\right)=P(X\le 7)=\mathrm{0,55}$.
3. De modo análogo, a probabilidade de X assumir um valor menor igual a 9 é equivalente à probabilidade associada ao número 9 somada à probabilidade dos elementos anteriores, ou seja, $P(X\le 9)=P(X=9)+P(X=7)+P(X=5)=\mathrm{0,30}+\mathrm{0,35}+\mathrm{0,20}=\mathrm{0,85}$. Assim, $F\left(9\right)=P(X\le 9)=\mathrm{0,85}$.
4. Por fim, como o valor máximo possível do conjunto de dados é 10, tem-se que $P(X\le 10)=1$, de modo que $F\left(10\right)=1$.

Fica claro, portanto, a diferença entre a função de probabilidade $p\left(x_i\right)$ e a função de distribuição acumulada $F\left(x_i\right)$. Graficamente, a Figura 3.6 permite identificar a distinção entre os dois conceitos.

A função de distribuição acumulada aplica-se ao caso de variáveis aleatórias discretas que, como vimos, assumem um conjunto finito de dados e provém, na maior parte, de processos de contagem. No exemplo realizado, os dados poderiam ser provenientes da idade dos filhos dos colaboradores de uma empresa, total de peças defeituosas que uma fábrica produz por dia, número de pessoas vacinadas em uma unidade de saúde, entre outras possibilidades. Assim como as variáveis discretas, também é possível trabalhar com a função de distribuição acumulada. Entretanto, é mais comum utilizarmos outra ferramenta: a função de densidade de probabilidade, representada por $f\left(x\right)$, porque as variáveis aleatórias contínuas não assumem valores exatos e finitos.

Nesse sentido, em casos de variáveis contínuas, buscamos a probabilidade de X assumir um valor dentro de um intervalo definido $(a,b)$, ou seja, $P(a<X<b)$. Dessa forma, suponha a função de densidade de probabilidade $f\left(x\right)$, representada na Figura 3.7.

Nessa função de densidade de probabilidade, estamos avaliando a probabilidade de X assumir um valor entre -1 e 1, ou seja, $P(-1<X<1)$, que equivale à área do polígono destacado em azul. Se esse polígono fosse um retângulo, por exemplo, facilmente encontraríamos a probabilidade associada aos valores. No entanto, devido à não regularidade da forma, é necessário aplicar o cálculo da integral da função definida para encontrarmos a respectiva área. Não entraremos nesse conteúdo com profundidade. Aqui, é suficiente compreendermos que:

1. $f\left(x\right)\ge \text{0 }\forall \text{x}\in ℝ$ (lê-se: a função de densidade de probabilidade assume valores maiores ou igual a zero para todo xis pertencente ao conjunto dos números reais).
2.  $\underset{-\infty }{\overset{+\infty }{\int }}f(x\text{) dx}=1$(lê-se: a integral definida de f(x) no intervalo de $-\infty$ a $+\infty$ é igual a um. O conceito é equivalente à propriedade da função de distribuição acumulada, em que ${\sum }_{i=1}^{k}P(X=x_i)=1$).

Para demonstração, daremos um exemplo de cálculo da probabilidade com base em uma função de distribuição de probabilidade. Suponha que X seja uma variável aleatória contínua, com função de distribuição de probabilidade dada por $f\left(x\right)=2x^2$, com $0<x<1$. A probabilidade de  estar entre 0,4 e 0,6 é obtida através dos seguintes cálculos:
$P(\mathrm{0,4}<X<\mathrm{0,6})=\underset{\mathrm{0,4}}{\overset{\mathrm{0,6}}{\int }}3x^2\text{ dx }={\left[x^3\right]}_{\mathrm{0,4}}^{\mathrm{0,6}}={\mathrm{0,6}}^3-{\mathrm{0,4}}^3\cong \mathrm{15,20}\%$
Nesse sentido, a probabilidade de  estar entre 0,4 e 0,6 é de aproximadamente 15,20%.

Compreendidos os conceitos de função de distribuição acumulada (f.d.a.) e função de densidade de probabilidade (f.d.p.), temos elementos suficientes para compreender um pouco melhor a respeito das distribuições de dados. De modo geral, existem diversos tipos de distribuição de dados, divididas em dois grandes grupos: discretas e contínuas. Para as variáveis aleatórias discretas, temos os casos das distribuições de Bernoulli, Binomial, Hipergeométrica, Poisson e Geométrica (BUSSAB; MORETTIN, 2010). Por outro lado, para as variáveis aleatórias contínuas, destacam-se as distribuições Uniforme, Normal, Exponencial, Gama, Beta, Qui-quadrado, t de Student e F de Fisher-Snedecor. Existem outras distribuições associadas aos respectivos grupos, mas essas costumam ser as principais. 
A Figura 3.8 apresenta alguns exemplos de distribuições de variáveis discretas, considerando cinco tipos diferentes. A distribuição de Bernoulli, por exemplo, claramente possui somente dois valores possíveis. A Binomial, por outro lado, pode ter mais. Os gráficos foram simulados com parâmetros distintos. Se alterarmos os parâmetros, como tamanho amostral, probabilidade de sucesso, entre outros, podemos ter novos formatos dentro das distribuições apresentadas. A depender dos parâmetros, por exemplo, a distribuição geométrica, que se demonstrou bastante assimétrica para os valores simulados, pode apresentar uma suavização maior. Hipergeométrica, por outro lado, pode parecer cada vez mais com uma distribuição Normal. Os formatos, portanto, não são exatamente fixos. 

Além do formato, as distribuições de variáveis aleatórias discretas também são distintas em relação às funções de distribuição acumulada e aos parâmetros por elas incorporados. O Quadro 3.2, adaptado de Bussab e Morettin (2010), apresenta as principais características das distribuições de variáveis aleatórias discretas. O quadro apresenta uma coluna com duas propriedades importantes: o valor esperado  que, de modo geral, refere-se à expectativa do valor da média populacional, e a variância de X.

No caso das distribuições de variáveis aleatórias contínuas, a ideia é semelhante. Cada uma das distribuições possui uma função de densidade de probabilidade diferente, que afeta diretamente suas respectivas curvas. Além da f.d.p., outro fator de impacto são os valores atribuídos aos parâmetros. A Figura 3.9 apresenta alguns exemplos de distribuições de variáveis aleatórias contínuas.

Em princípio, se comparamos somente o formato das distribuições, podemos retirar alguma informação errônea. A distribuição de Poisson presente na Figura 3.8 e a distribuição Exponencial da Figura 3.9, por exemplo, possuem formatos muito semelhantes, o que nos poderia levar a tomar alguma decisão precipitada. Há de se lembrar, no entanto, que uma trabalha com valores discretos e outra com contínuos são distribuições distintas já no tipo de variável. Em termos dos parâmetros e das funções de densidade de probabilidade, as distribuições de variável aleatória contínua diferenciam-se conforme sintetizado no Quadro 3.3.

Apesar das diversas distribuições apresentadas, tanto advindas de variáveis aleatórias discretas quanto de contínuas, daremos foco na distribuição normal que, além de compor diversos modelos de análise estatística, é a raiz para os desdobramentos de outras distribuições, como a Z e a t de Student.
Como vimos, a função de densidade de probabilidade de uma distribuição normal é dada por:
$\frac{1}{\sigma \sqrt{2\pi }}\exp \left\{{\left(\frac{x-\mu }{\sigma }\right)}^2\right\},\text{ com}-\infty <x<\infty$
É essa função, portanto, que nos dará uma distribuição com aquele formato de sino característico. Além do formato, a curva respectiva da função de densidade de probabilidade nos permite obter a probabilidade de um valor estar inserido em um intervalo específico. Para tanto, é comum utilizarmos o cálculo integral definido para obter as probabilidades de distribuições contínuas. Quando falamos da distribuição normal, no entanto, existe uma propriedade que nos permite obter o valor das probabilidades com base nas médias e nos desvios populacionais. Tal propriedade é expressa na Tabela 3.6.

Nesse sentido, quando trabalhamos com a média populacional acrescida de um desvio acima e um desvio abaixo, contemplamos 68,26% das observações. De modo similar, quando diante da média acrescida de dois desvios para cima e dois para baixo, o valor sobe para 95,44%. Para três desvios, 99,73% das observações são contempladas. A Figura 3.10 ajuda-nos a melhor interpretar esse comportamento. Observe as faixas de concentração para $\mu \pm \sigma$, $\mu \pm 2\sigma$ e $\mu \pm 3\sigma$, e o percentual dos dados que cada uma contempla.

No entanto, por mais que esse comportamento nos ajude a calcular as probabilidades nesses pontos gerais, na prática, dificilmente trabalharemos com esse tipo de situação, ou seja, desejaremos calcular as probabilidades relativas a áreas específicas. Nesse contexto se insere a distribuição Z, também denominada normal padrão. Suponha que X seja uma variável aleatória tal que $X~N(\mu ,{\sigma }^2)$. Nesse caso, a média populacional $\mu$ e a variância populacional ${\sigma }^2$ podem assumir quaisquer valores, que dependerão das características das $x_i$ observações. Por outro lado, quando trabalhamos com a distribuição Z, os parâmetros de média e variância são sempre, respectivamente, 0 e 1, ou seja, $Z~N\left(\mathrm{0,1}\right)$. Dessa forma, estamos padronizando os parâmetros da distribuição para valores fixos. Basicamente, o que fazemos é uma redução de uma distribuição $X~N(\mu ,{\sigma }^2)$ para uma distribuição $Z~N\left(\mathrm{0,1}\right)$. Para tanto, é utilizada a seguinte fórmula:
$Z=\frac{{\displaystyle x-\mu }}{{\displaystyle \sigma }}$
Suponha, portanto, que estamos trabalhando com uma distribuição normal com média equivalente a 10 e desvio padrão de 7,5. Desejamos, portanto, encontrar o valor de $X=\mathrm{17,5}$ equivalente em $Z~N\left(\mathrm{0,1}\right)$. Para tanto, temos que:
$Z=\frac{{\displaystyle x-\mu }}{{\displaystyle \sigma }}=\frac{{\displaystyle \mathrm{17,5}-10}}{{\displaystyle \mathrm{7,5}}}=1$
Na última seção deste livro, trabalharemos algumas aplicações da distribuição Z. Por ora, é importante sabermos suas principais características e conseguirmos encontrar o respectivo valor de X em Z. 
Além da distribuição Z, outra importante distribuição é a t de Student, cuja função de densidade de probabilidade é dada por:
$f\left(x\right)=\frac{{\displaystyle \Gamma \left(\frac{{\displaystyle v+1}}{{\displaystyle 2}}\right)}}{{\displaystyle \sqrt{\pi v}\Gamma \left(\frac{{\displaystyle v}}{{\displaystyle 2}}\right)}}{(1+\frac{{\displaystyle x^2}}{{\displaystyle v}})}^{-\left(\frac{{\displaystyle v+1}}{{\displaystyle 2}}\right)}\text{, com -}\infty <x<\infty$
Em que é o número de graus de liberdade.

Assim como a distribuição Z, a t de Student tende à normalidade, com média centrada em 0. A variância, no entanto, é dada por $v/(v-2)$, ou seja, $t~N(\mathrm{0,}v/(v-2))$. Conforme apresentado pela Figura 3.11, para valores de v elevados, a distribuição t passa a ter variância com tendência a 1, ou seja, mesmo valor da distribuição Z. 

Tanto a distribuição Z, quando a t de Student são utilizadas para testes estatísticos de comparação entre médias, assunto que veremos mais adiante. No geral, para amostras com $n<30$, utilizamos a estatística t para o teste de médias. No entanto, quando $n\ge 30$, trabalha-se com a estatística Z. 
Além dessas duas distribuições citadas, é comum trabalharmos com algumas outras distribuições específicas, como a F de Fisher-Snedecor e a Qui-quadrado, que também possuem valores de probabilidade tabelados, facilitando os cálculos relacionados a essas duas distribuições. A distribuição F é utilizada na Análise de Variância em que se comparam duas ou mais médias de grupos distintos. Por outro lado, a distribuição Qui-quadrado é constantemente aplicada no teste Qui-Quadrado para comparação de variáveis categóricas. 
Embora os formatos se assemelhem, as distribuições F e Qui-quadrado são bastante distintas quanto à função densidade de probabilidade. A f.d.p. para a distribuição F é dada por:
$f\left(x\right)=\frac{\Gamma \left(\frac{v_1+v_2}{2}\right)}{\Gamma \left(\frac{v_1}{2}\right)\Gamma \left(\frac{v_2}{2}\right)}{\left(\frac{v_1}{v_2}\right)}^{\left(\frac{v_1}{2}\right)}\frac{x^{\left(\frac{v_1-2}{2}\right)}}{{(1+\frac{v_{1}x}{v_2})}^{\left(\frac{v_1+v_2}{2}\right)}}\text{, com }x>0$
Por outro lado, a Qui-quadrado possui a seguinte função de densidade:
$f\left(x\right)=\frac{2^{-\frac{v}{2}}}{\Gamma \left(\frac{v}{2}\right)}{x}^{\frac{v}{2}-1}{e}^{\frac{-x}{2}}\text{, com }x>0$
Apesar da maior parte dessas distribuições parecerem de grande complexidade, ao trabalharmos na prática precisaremos conhecer a ideia por trás delas, não sendo necessário memorizar todas as funções de probabilidade, ao passo que temos o auxílio de diversas ferramentas de cálculo, como o R. A partir das próximas seções, as diferenças entre as distribuições ficarão cada vez mais claras, ao passo que exercitaremos questões práticas de aplicação, como os testes de médias e intervalos de confiança.
Parabéns por ter chegado até aqui! Continue seus estudos e siga em frente!

Faça valer a pena

Referências

ALTMAN, D. G.; BLAND, J. M. Statistics notes: the normal distribution. Bmj, v. 310, n. 6975, p. 298, 1995.
BUSSAB, W. de O.; MORETTIN, P. A. Estatística básica. In: Estatística básica. p. xvi, 540-xvi, 540, 2010
YALE. Random Variables. Disponível em: https://bit.ly/3xUcFIN. Acesso em: 26 mar. 2021.