Aula 2 prática computacional de estatística descritiva

Curso de Ciência de Dados e Analytics
Estatística Computacional
Aula 2 – Aplicações Computacionais da Estatística
Prof. Dr. Rodrigo Lins Rodrigues
rodrigo.linsrodrigues@ufrpe.br

Conteúdo programático
Conhecendo softwares estatísticos;
Porque cientistas de dados utilizam R;
Conhecendo a linguagem;
Tipos de dados;
Trabalhando com funções;
Importação de bases de dados;
Plotagem de gráficos;
Sumarização descritiva de dados;
Correlação
Projeto prático. Prof. Dr. Rodrigo Lins Rodrigues

Conhecendo Softwares
EstatísticosProf. Dr. Rodrigo Lins Rodrigues

Softwares Estatísticos
• Conhecendo softwares estatísticos;
 Atualmente existem dezenas de softwares
estatísticos;
É praticamente impossível, imaginar “a vida” de
um analista de dados sem os recursos
computacionais atuais;
Um cientista de dados deve conhecer o máximo de
softwares de análises de dados;

Software Estatísticos

Porque cientistas de
dados utilizam o R?

Software Estatístico R
• Linguagem de programação especializada em
computação de dados;
• É um software gratuito;
• Multiplataforma (Win, Linux, Mac...);
• Grande quantidade de bibliotecas (pacotes);

• Foi criado por Ross Ihaka e Robert
Gentleman;
• Departamento de Estatística da
universidade de Auckland, Nova Zelândia;
• O nome foi inspirado nas iniciais dos autores;
• Foi baseado na linguagem S (proprietária).

• São disponibilizadas duas versões por ano;
• Possui funções para:
 Extração de dados;
 Limpeza de dados;
 Carregamento e transformação de dados;
 Análise estatística;
 Machine Learning;
 Visualização de dados;
 ...

• Quantidade de pacotes disponibilizados
http://blog.revolutionanalytics.com/2016/03/16-years-of-r-history.htmlProf. Dr. Rodrigo Lins Rodrigues

https://www.r-bloggers.com/job-trends-for-r-and-python/
• Tendências do mercado de trabalho

• Vantagens e Desvantagens na utilização do R

• Grande variedade de pacotes disponíveis
gratuitamente;
• Controle total sobre o processo de análise;
• Possibilidade de integração com outras
linguagens;
• Além de estatística, análises como Text Mining...

• Grade comunidade de desenvolvedores;
• Muita documentação grátis;
• Grandes empresas investindo:

• Grande quantidade de pacotes:
sqldf - pacote que permite realizar queries SQL em
dataframes no R;
forecast - modelar séries temporais
plyr - dividir uma estrutura de dados em grupos;
stringr - manipulação de strings;
database drivers - RMongo, RODBC, RMySQL;
ggplot2 - visualização de dados
caret - pacote para Machine Learning;
 .... quase 9.000 pacotes (https://cran.r-project.org).

• Não tem uma interface gráfica robusta;
• Tudo é feito por linha de comando;
• Inicialmente tem uma curva de aprendizagem
maior;

Conhecendo a
Linguagem R

Interface R (Basic)
• Console básico do R;
• O console pode ser improdutivo;
• Não fornece funcionalidades para
codificação;

Interface R (Basic)
• IDE – RStudio;
oDisponível gratuitamente;
oFunção autocomplete;
oQuatro áreas básicas:
 Codificação (1);
 Console (2);
 Status(3);
 Output(4).
1
2
3
4

Conhecendo a linguagem R
• Conhecendo comandos básicos

• Trabalhando com operadores

• Operadores relacionais

Tipos de dados em R

Quais são os tipos de
dados que o R suporta?

• Tipos de Dados em R
Numérico;
Character;
Complex;
Logic;
Tipos de dados e objetos

• Tipos de dados e conversões

• Criando variáveis

• Tipos de Objetos em R
 O R é uma linguagem orientada a objetos;
 Os principais tipos de objetos no R são:
Vetores: sequência de valores numéricos ou caracteres;
Matrizes: coleção de vetores em linhas e colunas;
Listas: conjuntos de vetores, matrizes e data frames;
Dataframe: mesmo que matriz mas aceita vetores com tipos
de dados diferentes;
Funções: permitem os mais diversos cálculos com objetos.

• Vetores e Matrizes

• Array e Data Frames

• Listas e Funções

Estrutura de
Controle

Estrutura de Controle
• Estão presentes em todas as linguagens de
programação;
• Permite fazer validações nos dados e
variáveis;
• Em Data Science é muito importante no pré-
processamento dos dados.

• Estrutura condicional - If e Else

• Estrutura condicional aninhada

• Funções com estruturas condicionais

• Estruturas de Loop

Trabalhando com
funções em R

Trabalhando com funções
• Deixa o código mais legível, elegante e menos repetitivo;
• Funções são objetos em R;
• Funções podem receber outras funções como argumentos;
• Funções podem chamar pacotes específicos no R;
• É representada por:

• Funções nativas do R:
Conhecidas como funções Built-in

• Criando funções em R

• Funções da família Apply

• Exemplo: funções Apply
VS

Importação de Bases de dados

Importação de dados
• Saber importar dados para a ferramenta de
análise é um dos passos mais importantes;
• Dificilmente você fará todo o trabalho de análise
em uma só ferramenta;
• Os dados podem estar armazenados em
diversos sistemas e em diversos formatos.

• De onde vem as bases que devem ser importadas?
...

• Importando arquivos CSV

• Importando arquivos Excel

• Outros pacotes de importação de dados

Limpeza dos dados
• Problemas que devem ser tratados na fase de
limpeza dos dados:
Os cabeçalhos das colunas são valores e não nomes das
variáveis;
Diversas variáveis são armazenadas em uma coluna;
As variáveis são distribuídas em diversas tabelas
relacionais;
As variáveis tem grandes variabilidades;
Alta presença de valores nulos ou faltantes;
Abreviações preenchidas de diversas formas por usuários;
Etc..

Limpeza dos dados

Limpeza dos dados
• Pacote - dplyr.R
É um dos principais pacotes para o processo de
limpeza de dados;
É ideal para manipulação de dados;
Ele não faz parte do pacote básico e precisa ser
instalado;

Limpeza dos dados
• Pacote - dplyr.R

Sumarização
descritiva em R

Sumarização Descritiva
• É importante sempre aplicar medidas descritivas antes de
qualquer análise:
Medidas de tendência central;
Medidas de dispersão;
Amplitude de variáveis;
Construção de tabelas;

Sumarização Descritiva

Plotando gráficos em R

Plotando gráficos
• Representação gráfica construída a partir de
dados;
• O R é uma das melhores ferramentas para
construção de gráficos;
• A biblioteca básica do R para construção de
gráficos é a graphics.

Plotando gráficos
• Usando a função abaixo, vamos ver exemplos de gráficos com
o pacote graphics do R:

Plotando gráficos
• Gramática dos gráficos;
É usada para descrever as características que fundamenta a
construção de gráficos;
Elemento Descrição
Dados Conjunto de dados a ser analisado
Estética A escala em que nós mapeamos os dados
Geometria Os elementos visuais usados para representar os dados
Facets Visualizar os gráficos em porções menores
Estatística Representação e análise dos dados
Coordenadas A área na qual o gráfico será construído
Temas Visão geral do gráficoProf. Dr. Rodrigo Lins Rodrigues

Plotando gráficos

Plotando gráficos
• Plotando um gráfico básico

Plotando gráficos
• Personalizando gráfico

Plotando gráficos
• Plotando gráfico de setores ou pizza

Plotando gráficos
• Plotando gráfico de barras

Plotando gráficos
• Plotando gráfico do tipo histograma

Plotando gráficos
• Plotando gráfico de boxplot

Plotando gráficos
• Conhecendo a pacote ggplot2
É um das principais bibliotecas para construção de
gráficos em R;
A documentação completa encontra-se em:
http://ggplot2.org/;
Através da documentação é possível entender
diversos exemplos.

Plotando gráficos
• Um exemplo utilizando a biblioteca ggplot2

Correlação em R

Correlação em R
...recapitulando o
conceito de Correlação !

Correlação em R
• Calculando correlações

• Plotando gráfico de correlações
Correlação em R

Dúvidas
o Contatos:
Email: rodrigo.linsrodrigues@ufrpe.br
Facebook: /rodrigomuribec

Aula 2 prática computacional de estatística descritiva

Mais conteúdo relacionado

Mais procurados

Semelhante a Aula 2 prática computacional de estatística descritiva

Mais de Rodrigo Rodrigues

Último

Aula 2 prática computacional de estatística descritiva