Análise da distribuição de dados em R

lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nunc dignissim euismod urna tincidunt sagittis. Vivamus id vehicula eros, non scelerisque eros.

Fonte: Shutterstock.

Praticar para aprender

Caro aluno 
Nesta seção, desenvolveremos tópicos teóricos importantes para formação em análise de dados. Iniciaremos a discussão abordando a distinção entre os termos margem de erro, erro, nível de confiança e intervalo de confiança que, apesar de diferentes entre si, são frequentemente confundidos. 
Em seguida, introduziremos dois métodos de reamostragem de grande utilização: Jackknife e Bootstrap. Aprenderemos a realizar o processo de amostragem, ainda que de forma simples, e a calcular os parâmetros desencadeados. Além desses dois métodos, também apresentaremos brevemente a Validação Cruzada e o Synthetic Minority Oversampling Technique (SMOTE), ferramentas de grande utilização na Inteligência Artificial, expressamente o Machine Learning. 
Por fim, como estamos prestes a encerrar mais uma unidade, buscaremos, por meio de uma atividade prática no R, resgatar os principais conteúdos abordados nas seções anteriores, como o Teorema do Limite Central e as distribuições de dados. Nesse sentido, trabalhamos com alguns exemplos que permitam observar como as médias amostrais de uma distribuição de dados quaisquer possuem um comportamento com tendência à normalidade (TLC) e como os parâmetros das distribuições afetam em seus formatos. Para tanto, simulamos dados para quatro distribuições (duas discretas e duas contínuas). Fique à vontade para alterar os valores dos parâmetros e observar os impactos nas distribuições.
Assim como nas seções anteriores, é de grande importância que todos os recursos disponibilizados nesta seção sejam explorados, como as Situações-problema, as questões, o material complementar, entre outros. Eles o ajudarão a melhor fixar os conteúdos e o prepararão para caminharmos mais alguns passos em sua formação.
Caro aluno, a atividade de análise de dados apresenta diversos desafios em seu dia a dia, o que a faz ainda mais interessante. Frequentemente, deparamo-nos com situações que nos tiram de uma zona de conforto e nos fazem buscar formas de resolver problemas. Algo comum, por exemplo, é a limitação operacional em situações que envolvem populações com um grande número de observações. Como proceder uma análise de dados de uma empresa com 20.000, 30.000 ou até 100.000 funcionários? Ou, então, como realizar uma pesquisa eleitoral que indique as intenções de votos dos habitantes de um país? É preciso entrevistar cada um deles para que se obtenha um número representativo? A resposta é não! E é nesse sentido que se encaixa o importante conceito na análise de dados: a amostragem. 
Outro tópico de grande relevância na análise de dados é análise de distribuição. O que faz, por exemplo, um conjunto de dados possuir um comportamento semelhante a um sino, na denominada distribuição normal? Ou em que contexto utilizamos uma distribuição t de Student? A compreensão desses conceitos é fundamental para que se avance em análises ainda mais interessantes, como o cálculo dos intervalos de confiança, a comparação estatística de médias, entre outras. Dessa forma, dominar tanto o processo de amostragem, quanto a análise de distribuição é de suma importância para a resolução de problemas práticos da atividade de análise de dados.
Você trabalha em uma empresa de pesquisa no agronegócio e está realizando um estudo a respeito do preço da saca de soja no Estado do Paraná. Para tanto, foi coletada uma amostra com 10 observações do preço da saca em uma semana específica. Os dados obtidos estão apresentados na Tabela 3.8.

No intuito de obter um parâmetro de viés do preço médio dessa amostra, você deverá realizar uma reamostragem bootstrap, considerando cinco novas amostras aleatórias, e avaliar qual é o valor do viés para esses conjuntos de dados.
Uma ótima seção e um excelente aprendizado! 

conceito-chave

Quando trabalhamos com modelos de Probabilidade e Estatística, é comum nos deparamos com situações que envolvem os conceitos de erro e intervalo de confiança. Nas seções anteriores, foram discutidos brevemente esses conceitos, precisamente, margem de erro e nível de confiança, destacando que se trata de tópicos diferentes, mas frequentemente confundidos. 
O erro estatístico é caracterizado pelo desvio de uma observação predita em relação a seu valor real. Suponha, por exemplo, que estamos trabalhando com um modelo de regressão linear dado por $y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i$, em que se busca entender qual é o impacto da variável X na variável Y. A análise nos trará uma reta de regressão, que está representada em vermelho na Figura 3.13, Cada uma das bolinhas azuis são os valores reais de y, ou seja, as observações que já possui antes de realizar a análise. O erro relacionado a essas observações é dado pela diferença entre o valor estimado por meio da reta de regressão e o valor real de cada observação y_i, ou seja, o erro trata da diferença entre o valor estimado e o valor real da observação.

Na Figura 3.13, de forma visual, é possível identificar os erros por meio das barras verticais que ligam cada uma das observações da variável y com a reta de regressão em vermelho. A ideia de erro, portanto, é relativamente simples: trata-se da diferença entre o valor real e o valor calculado.

Entretanto, o erro nem sempre é fácil de ser encontrado. Isto porque o valor de um parâmetro populacional é frequentemente desconhecido. Suponha, por exemplo, que se está trabalhando com uma pesquisa eleitoral, entrevistando um conjunto de indivíduos que compõem uma amostra. Essa amostra nos trará um percentual de votos para o candidato A e outro percentual de votos para o candidato B. No entanto, não é sabido, ao certo, qual o percentual de toda a população, o que impede de calcular um erro estatístico preciso. 
Por esta razão, em situações como esta, trabalha-se com o conceito de margem de erro, que permite inferir que o valor real da população está em alguma posição, por exemplo, de até 2% acima ou 2% abaixo do valor encontrado para a amostra.
A margem de 2%, por sua vez, está associada a um nível de confiança que, de modo geral, assegura que a cada 100 repetições de um experimento, em 95 delas o parâmetro populacional estará inscrito dentro dessa margem de erro, considerando um nível de confiança de 95%. Para um nível de confiança de 99%, 99 das 100 repetições apresentariam um resultado dentro dessa margem de erro. Para melhor compreensão, segue um exemplo:

É muito comum, no entanto, estar diante de distribuições que não obedecem a uma regra de parametrização normal, ou seja, não possuem tendência à normalidade, com parâmetros $\mu$ e ${\sigma }^2$. Nesses casos, uma alternativa é proceder com métodos de reamostragem, que permitirão obter, a partir de uma amostra inicial, algumas informações de precisão e intervalo de confiança. Existem diversos métodos de reamostragem, porém nos atentemos a dois deles em específico: Bootstrap e Jackknife. 
O Bootstrap é um método que consiste, de modo geral, da reamostragem com reposição de uma amostra inicial, com o objetivo de avaliar o desempenho da estimativa de um parâmetro , que pode ser, por exemplo, a média, desvio padrão, variância, entre outros parâmetros. Dessa forma, a partir de um conjunto X, com X_j observações independentes, criam-se outros t conjuntos de dados, denominados amostras bootstrap, com o mesmo número de observações da amostra inicial. O processo é representado pela Figura 3.14.

Essas t amostras gerarão t estimativas do parâmetro $\theta$, que comporão uma média geral das amostras bootstrap, dada por ${\overline{\theta }}_{BP}$.
Suponha, por exemplo, que se está diante de uma amostra com 10 observações, cuja média inicial é de 5,90. A partir desse conjunto, são geradas outras 5 amostras, a partir de um sorteio aleatório com reposição, conforme apresentado na Tabela 3.9. Cada um desses conjuntos, denominados amostras bootstrap, possuem uma média distinta. A média de BP 1, por exemplo, é de 6,10, enquanto a média do BP 3 equivale a 5,40. 

A partir dessas novas amostras geradas, é calculado o valor médio de suas respectivas médias e compara-se com a amostra inicial. No exemplo em questão, trabalha-se com a média, porém é possível trabalhar com outro parâmetro qualquer, denominado $\theta$. Dessa forma, tem-se que:
${\overline{\theta }}_{BP}=\frac{{\displaystyle (\mathrm{6,10}+\mathrm{6,20}+\mathrm{5,40}+\mathrm{6,30}+\mathrm{5,90})}}{{\displaystyle 5}}=\frac{{\displaystyle \mathrm{29,90}}}{{\displaystyle 5}}=\mathrm{5,98}$
Ao se comparar ao valor da amostra inicial ${\theta }_i$, temos que a ${\overline{\theta }}_{BP}-{\theta }_i=\mathrm{5,98}-\mathrm{5,90}=\mathrm{0,08}$. Este valor de 0,08 é chamado viés amostral obtido por meio de bootstrap.
Outro método de reamostragem é o Jackknife (canivete, traduzido para o português). O método também é conhecido por leave-one-out, ao passo que são criadas novas amostras deixando-se sempre, ao menos, um elemento de fora. Suponha que se esteja trabalhando com uma amostra de 5 elementos e que desejamos obter a média geométrica desse conjunto de dados. Os valores das observações são apresentados na Tabela 3.10:

A partir da aplicação do método de Jackknife, são criadas 5 novas amostras, com quatro elementos cada. Em seguida, obtém-se as respectivas médias geométricas e calcula-se a média aritmética desses 5 desvios encontrados. O procedimento nos dará o resumo de dados conforme a Tabela 3.11.

Dessa forma, obtém-se que a média geométrica da amostra inicial é de 13,10, enquanto a média geométrica (média aritmética das cinco médias geométricas obtidas) equivale a 13,11. A ideia é, portanto, criar uma melhor estimativa para o parâmetro analisado.

São compreendidos, portanto, os dois principais métodos de reamostragem presentes na Estatística. Existem outras formas para a realização da reamostragem, principalmente ligadas a aplicações de Machine Learning. Caso deseje conhecer um pouco mais, é apresentada uma breve discussão no Material Complementar desta seção. 
Como encerramento desta unidade, resgatam-se alguns conceitos trabalhados nas duas seções anteriores, buscando trazer uma abordagem prática às situações apresentadas, principalmente aquelas relacionadas às distribuições de dados. 
Esta seção prática está dividida em duas partes. Na primeira, desenvolve-se uma simulação para compreensão um pouco maior sobre o Teorema do Limite Central. Na segunda, foi trabalhado com duas distribuições discretas e duas distribuições contínuas, no intuito de compreender o que acontece quando alteramos seus respectivos parâmetros. Fique à vontade para alterar os parâmetros e avaliar os impactos causados na distribuição. 

Teorema do Limite Central

Na primeira seção desta unidade, vimos que o Teorema do Limite Central enuncia que a média ou soma de variáveis aleatórias e independentes tendem a uma distribuição normal, independente do tipo de distribuição que essas variáveis possuem. A partir de então, simularemos duas distribuições, obter diferentes amostras a partir delas e verificar que a distribuição da média dessas amostras possui um comportamento com tendência à normalidade.
O primeiro passo é criar nosso conjunto de dados e, a partir dele, gerar novas amostras aleatórias. No primeiro exemplo, criaremos um conjunto por meio de uma distribuição normal, com n=10.000n=10.000 e, μ=15μ=15 e σ=3σ=3.

Criado o conjunto, iremos gerar, a partir dele, 1.000 amostras de 30 observações cada. Além disso, plotaremos o histograma do valor dessas médias amostrais.

Notamos, portanto, que os valores gerados no primeiro histograma concentram-se em torno do valor 15, ao passo que a amostra inicial gerada (10.000 observações) tendia a uma distribuição normal, com média 15 e desvio padrão de 3. Da mesma forma, após criarmos as 1.000 com 30 observações e calcularmos suas respectivas médias, notamos que também existe uma convergência para 15. Se cada uma dessas amostras possuísse, ao invés de 30 observações, 200 elementos, notaríamos uma convergência ainda maior (perceba que o eixo x possui menor amplitude):

Verificamos, a partir de um exercício prático, o funcionamento do Teorema do Limite Central. No entanto, nossa amostra inicial gerada já era proveniente de uma distribuição normal, o que, em tese, facilitaria que as médias das amostras secundárias também tendessem à normalidade. Dessa forma, criamos um novo conjunto de dados, desta vez por meio de uma distribuição Binomial, expressamente discreta. Para tanto, foram geradas 10.000 observações de uma distribuição inominal com parâmetros n=20n=20 e p=0,03p=0,03:

Gerando as amostras aleatórias:

Nesse sentido, notamos que a média das amostras provenientes de uma distribuição binomial também tendem a um comportamento normal. Quando geramos a amostra inicial, com 100 observações, utilizamos como parâmetro de sucesso p=0,03p=0,03. O valor esperado E(X)=np=0,03×20=0,6E(X)=np=0,03×20=0,6. Notamos que as médias amostrais tendem a uma distribuição normal centralizada em 0,6, reforçando o Teorema do Limite Central.

Distribuições de Dados

Na segunda etapa de nossa atividade prática, trabalharemos com algumas diferentes distribuições, no intuito de compreendermos um pouco melhor seus parâmetros e seus respectivos impactos. Para tanto, utilizaremos duas distribuições discretas (Bernoulli e Poisson) e duas distribuições contínuas (Normal e Uniforme).

Distribuições Discretas

O R nos permite simular facilmente diversos tipos de distribuição, sejam elas discretas ou contínuas. Para simularmos valores aleatórios, utilizamos o comando r+nome da distribuição, o que nos abrirá a parametrização necessária para gerar o conjunto. Dessa forma, para trabalharmos com as distribuições Bernoulli e Poisson, utilizarmos os comandos rbern e rpois. Para o rbern, necessitamos instalar o pacote Rlab, enquanto o rpois já vem integrado ao RStudio.

Para a distribuição de Poisson, temos o seguinte cenário:

Distribuições Contínuas

Para as distribuições contínuas, trabalharemos com dois casos específicos: a distribuição normal e a distribuição Uniforme. Para tanto, utilizaremos as funções rnorm e rpois para gerar os conjuntos e hist para gerar os gráficos:

Para a distribuição de Uniforme, temos o seguinte cenário:

Observamos que a alteração dos limites da distribuição uniforme pouco altera seu formato. Nesse caso, a distribuição estaria mais suscetível ao tamanho amostral. Se alterarmos o valor de nn para 15, obteríamos o seguinte cenário:

Finalizamos o conteúdo prático desta seção, o que nos permitiu observar mais de perto o Teorema do Limite Central e conhecer um pouco melhor as distribuições de dados. Como sugestão para maior aprofundamento, é interessante realizar o mesmo processo que utilizamos no TLC, porém com outra distribuição qualquer.
Agora, faça você mesmo os testes utilizando o compilador que segue:

Após cumprirmos o conteúdo prático desta seção, encerra-se a terceira unidade do livro. O conhecimento adquirido nas últimas três seções nos permite exercitar e trabalhar aspectos relacionados à amostragem, reamostragem e distribuição de dados, tanto para variáveis discretas quanto para variáveis contínuas. É mais um importante passo em sua formação em Probabilidade e Estatística para análise de dados. Novamente, parabéns por ter chegado até aqui. Vamos em frente, rumo à quarta e última unidade.

Faça valer a pena

Referências

RIZZO, A. L. T.; CYMROT, R. Utilização da técnica de reamostragem bootstrap em aplicação na Engenharia de Produção. Anais: X Encontro Latino-Americano de Iniciação Científica e VI Encontro Latino-Americano de Pós-graduação, Universidade do Vale, São Paulo, p. 488, 2006.
SILVA, G. F. S. Fraude de cartão de crédito: como a estatística e o machine learning se conversam. Dissertação de Mestrado. Estatística e Experimentação Agronômica. Esalq - Universidade de São Paulo, Piracicaba, 2020.