Aula 03 - MAE0111

Última atualização: segunda-feira, 01 de abril de 2024

Ciclo da Ciência de Dados - Estatística

(#fig:fig.cicloCD)Updated from Grolemund & Wickham’s classis R4DS schematic, envisioned by Dr. Julia Lowndes for her 2019 useR! keynote talk and illustrated by Allison Horst.

Dados

• Obtenção: experimentos controlados, estudos observacionais, etc.
  
• Importação: armazenar (ou importar) os dados em um formato compatível com software utilizado, aqui utilizaremos o .
  
• Organização: colocar os dados em uma estrutura consistente. Normalmente, cada linha é a uma observação e cada coluna é uma variável.
  
• Transformação: criar novas variáveis como função das variáveis existentes, restringir observações de interesse, calcular medidas resumo, etc.

ID	Nome	Olhos	Escolaridade	Nlivros	Altura	Peso
1	Amanda	Castanho	Fundamental	1	1.60	55
2	Bruna	Preto	Superior	3	1.75	80
3	Carlos	Azul	Médio	1	1.81	75
4	Fernanda	Verde	Superior	2	1.70	70
5	José	Castanho	Médio	0	1.79	78
6	Juliana	Preto	Fundamental	0	1.50	60
7	Leonardo	Castanho	Médio	1	1.60	70
8	Paulo	Azul	Médio	3	1.76	90
9	Sérgio	Castanho	Superior	1	1.70	84
10	Thomas	Castanho	Superior	2	1.91	95

---

Tipos de Variáveis

1. Qualitativas: atributos não numéricos
   

• Nominal
  • Nomes ou rótulos, sem uma relação de ordem
    
  • Exemplos: Sexo, Religião, Cor dos Olhos, Time de Futebol
    
• Ordinal
  • As diferentes categorias podem ser colocados em ordem
    
  • Exemplos: Faixa Etária, Escolaridade, Classe Social
    

2. Quantitativas: atributos numéricos
   

• Discretas
  • Assume uma quantidade enumerável de valores
    
  • Exemplos: Número de Filhos, Quantidade de Erros na Prova, Número de Livros Lidos em 2023
• Contínuas
  • Assume uma quantidade não enumerável de valores
    
  • Exemplos: Altura, Pressão, Tempo

---

Resumo da Dados

Tabelas de Frequências

• Tabela contendo frequências absolutas e/ou relativas de cada categoria de uma variável qualitativa.

Olhos	Freq	FreqRel
Azul	2	0.2
Castanho	5	0.5
Preto	2	0.2
Verde	1	0.1

• Pode-se afirmar que nesta amostra, a cor de olhos predominante é castanho (50% dos indivíduos). Além disso, a cor que foi menos observada foi verde (10%).

---

• Para variáveis qualitativas ordinais, pode-se também considerar as frequências relativas acumuladas.

Escolaridade	Freq	FreqRel	FreqAcum
Fundamental	2	0.2	0.2
Médio	4	0.4	0.6
Superior	4	0.4	1.0

• Pode-se afirmar que nesta amostra, a maioria dos indivíduos (80%) fez pelo menos o ensino médio, sendo que destes, metade também cursou o ensino superior.

---

• Também é possível fazer tabela de frequências para variáveis quantitativas discretas.

Nlivros	Freq	FreqRel	FreqAcum
0	2	0.2	0.2
1	4	0.4	0.6
2	2	0.2	0.8
3	2	0.2	1.0

• Pode-se afirmar que nesta amostra, a maioria dos indivíduos (40%) leu apenas um livro no último ano. Além disso, 80% dos indivíduos leu no máximo dois livros.

---

• Por fim, para variáveis quantitativas contínuas, tabelas como essa podem não fazer muito sentido pois não resumem muito os dados. Para as variáveis Altura e Peso, poucos valores se repetem, sendo que os demais valores aparecem apenas uma vez nesta amostra. Nesses casos, é comum agrupar os valores dessas variáveis em classes e calcular a frequência de cada classe.

Faixas_Altura	Freq	FreqRel	FreqAcum
1.50 |– 1.65	3	0.3	0.3
1.65 |– 1.80	5	0.5	0.8
1.80 |– 1.95	2	0.2	1.0

• A quantidade e o tamanho das faixas é arbitrário. Contudo, um número muito pequeno de classes pode ocasionar perda de informação, enquanto um número muito grande de classes pode prejudicar o objetivo de resumir os dados.

Faixas_Peso	Freq	FreqRel	FreqAcum
55 |– 75	4	0.4	0.4
75 |– 85	4	0.4	0.8
85 |– 95	2	0.2	1.0

• Por fim, as faixas podem ter tamanhos diferentes. No entanto, a análise dessas classes deve ser feito com cuidado. Note que a frequência nas classes [55,75) e [75,85) são iguais mas a primeira tem o dobro do comprimento da segunda, de modo que os dados estão menos concentrados nessa classe. A escolha de classes com tamanhos diferentes normalmente só é feita quando há poucas observações em algum intervalo. Neste exemplo, para um interpretação mais direta, pode-se considerar apenas classes de mesmo tamanho.

Faixas_Peso	Freq	FreqRel	FreqAcum
55 |– 65	2	0.2	0.2
65 |– 75	2	0.2	0.4
75 |– 85	4	0.4	0.8
85 |– 95	2	0.2	1.0

---

Medidas de Posição ou de Tendência Central

• Utilidadas para resumir variáveis quantitativas.
  
• Dão a ideia do lugar da reta estão concentrados os valores de uma variável.

Média (Aritmética)

• A medida mais utilizada é a média, definida por \[\displaystyle \bar{x} = \frac{1}{n}\sum_{i=1}^n x_i = \dfrac{x_1+x_2+\ldots+x_n}{n}~.\]
  *Exemplo - Altura: \(\bar{x} = \frac{1.50+1.60+1.60+1.70+1.70+1.75+1.76+1.79+1.81+1.91}{10}=1.712\)

• Alternativamente, quando há empates (isto é, \(n_1\) observações do valor \(x_1\), \(n_2\) observações do valor \(x_2\), e assim por diante), podemos calcular a média por \[\displaystyle \bar{x} = \frac{1}{n}\sum_{i=1}^k n_i~x_i = \sum_{i=1}^k f_i~x_i = \frac{n_1~x_1+n_2~x_2+\ldots+n_k~x_k}{n}~,\] em que \(k\leq n\) é a quantidade de valores diferentes assumidos pela variável \(X\) e \(\sum n_i = n\). Ainda pode-se considerar para o cálculo da média a frequência relativa \(f_i = n_i/n\).

  • Para Altura: \[\begin{align} \bar{x} & = \frac{1.50+2\cdot 1.60+2\cdot 1.70+1.75+1.76+1.79+1.81+1.91}{10}\\ &=0.1\cdot 1.50+0.2\cdot 1.60+0.2\cdot 1.70+0.1*(1.75+1.76+1.79+1.81+1.91)\\ &= 1.712 \end{align}\]

• Quando os dados estão agrupados em classes (como na tabela de Altura), podemos calcular um valor aproximado da média fazendo \[\displaystyle \bar{x} \approx \sum_{i=1}^k f_i~\bar{x}_i~,\] em que \(\bar{x}_i\) é o valor médio da i-ésima classe e \(f_i\) é a frequência relativa daquela classe.

  • Para Altura: \(\bar{x} \approx 0.3\cdot 1.575+0.5\cdot 1.725+0.2\cdot 1.875 = 1.71\)

Mediana

• A mediana é o valor central dos dados. Pode ser calculado por \[\displaystyle md(x) = \left\{\begin{array}[ll]{}x_{\left(\frac{n+1}{2}\right)} ,& ~\text{ se } n \text{ é impar} \\ \dfrac{x_{\left(\frac{n}{2}\right)}+x_{\left(\frac{n}{2}+1\right)}}{2} ,& ~\text{ se } n \text{ é par} \end{array}\right.~~~,\] em que \(x_{(1)}\leq x_{(2)}\leq \ldots \leq x_{(n)}\), \(x_{(1)}\) é o menor valor observado na amostra, \(x_{(2)}\) é o segundo menor valor, \(\ldots\), \(x_{(n)}\) é o maior valor na amostra. \(x_{(1)}, x_{(2)}, \ldots, x_{(n)}\) são chamados estatísticas de ordem.
  • Para Altura: \(md(x) = \frac{1.70+1.75}{2} = 1.725\)
• Observação: a mediana é uma medida mais robusta que a média pois é menos afetada por valores extremos. Por exemplo, se trocarmos o menor valor da Altura (1.50) por 0.50, a nova média seria 1.612, enquanto a mediana não seria alterada e continuaria sendo 1.725.

Moda

• A moda é o valor que mais frequente na amostra.
  
• Em alguns casos, pode existir mais de uma moda.
  • Para Altura: \(mo(x) = 1.60\) ou \(mo(x) = 1.70\)

Medidas de Dispersão

• Na maioria dos casos, somente as medidas de posição trazem pouca informação sobre a variável de interesse.
  
• Por exemplo, considere as seguintes amostras de tamanho 3: \((1,5,9)\), \((4,5,6)\) e \((5,5,5)\). Em todas elas, \(\bar{x}=md(x)=5\). Contudo, na primeira os valores estão mais “espalhados”, enquanto na última os valores estão mais “concentrados”.
  
• Para descrever melhor esta diferença, podemos usar medidas que nos informem o quanto os dados estão “espalhados”, ou como é a dispersão dos dados.

Variância

• A variância é a média dos desvios ao quadrado das observações com relação à média, dada por \[var(x) = \frac{1}{n}\sum_{i=1}^n \left(x_i - \bar{x}\right)^2.\]
  • No exemplo acima:
    1. para a Amostra 1: \(\dfrac{(1-5)^2+(5-5)^2+(9-5)^2}{3}=\dfrac{16+0+16}{3}=10.666\);
    2. para a Amostra 2: \(\dfrac{(4-5)^2+(5-5)^2+(6-5)^2}{3}=\dfrac{1+0+1}{3}=0.666\);
    3. para a Amostra 3: \(\dfrac{(5-5)^2+(5-5)^2+(5-5)^2}{3}=0\).
  • No exemplo da altura: \(var(x) = 0.012896~m^2\)

Desvio Padrão

• A variância está em uma escala diferente da variável observada. Uma forma de contornar isso é calcular sua raiz. A medida resultante é chamada de desvio padrão: \(dp(x) = \sqrt{var(x)}\)
  • No exemplo acima:
    1. para a Amostra 1: \(\sqrt{\dfrac{(1-5)^2+(5-5)^2+(9-5)^2}{3}}=\sqrt{32/3}=3.265986\);
    2. para a Amostra 2: \(\sqrt{\dfrac{(4-5)^2+(5-5)^2+(6-5)^2}{3}}=\sqrt{2/3}=0.8164966\);
    3. para a Amostra 3: \(\sqrt{\dfrac{(5-5)^2+(5-5)^2+(5-5)^2}{3}}=0\).
  • No exemplo da altura: \(dp(x) = \sqrt{0.012896}=0.1135606~m\)