Diego Nogare apresentou sobre o dia a dia de um cientista de dados. Ele discutiu desafios como a qualidade dos dados, identificação de problemas, coleta e limpeza de dados e desenvolvimento de modelos preditivos. Nogare também cobriu vários algoritmos de aprendizado de máquina, incluindo classificação, regressão e clusterização.

1. SQL Saturday #488
Dia a dia do
Cientista de Dados
Diego Nogare
Data Scients @ NGR Solutions
www.diegonogare.net

2. Patrocinadores

3. MVP Data Platform | 2008
Chapter Leader | SQL Saturday
Regional Mentor | Board Advisor
Data Scients @ NGR Solutions
Diego Nogare

4. Agenda

5. Inteligência
Artificial
Análise
Preditiva
Aprendizado
de Máquinas
Big Data
Business
Analytics
Data
Science
Do que é esta palestra?!

6. Porque investir em Data Science?

7. Desafios Técnicos
 Péssima qualidade dos dados
 Dados sujos
 “Valores Nulos”
 Tipos de dados inadequados

9. Data
Science
Engenharia
dos Dados
Métodos
Científicos
Matemática
Estatística
Computação
Avançada
Visualização
Pensamento
fora da Caixa
Experiência
no Business

10. Identificar
as Origem
Extrair
Limpar
Refinar
Criar um
Algoritmo
Analisar uma
Amostragem
Tomar
Decisão
1. Identificação do Problema
2. Coleta e limpeza de dados
3. Desenvolvimento do
Modelo Preditivo
4. Publicação do Modelo
5. Monitoramento da
performance

11. Algoritmos
Classificação
Regressão
Clusterização
Detecção de
Anomalias

12. Classificadores Binários
ACURACY (ACURÁCIA):
Quantidade classificada como Positivos e Negativos corretamente
(True Positive + True Negative) /
((True Positive + False Negative) +(False Positive + True Negative))
Com nossos números: (16 + 54) / ((16+0) + (5+54)) => 70 / 75 = 0.9333
PRECISION (PRECISÃO):
Quantidade classificada corretamente
True Positive / (True Positive + False Positive)
Com nossos números: (16) / (16 + 5) => 16 / 21 = 0.7619
RECALL:
Quantidade classificada como Positivo corretamente
True Positive / (True Positive + False Negative)
Com nossos números: 16 / (16+0) => 16 / 16 = 1
F1 SCORE:
Média harmônica entre Precisão e Recall
(2* True Positive) / (2* True Positive + False Positive + False Negative)
Com nossos números: (2*16) / (2*16 + 5 + 0) => 32 / 37 = 0.8648
2* Precision*Recall / (Precision + Recall)
Com nossos números: 2*(0,76*1)/(0,76+1) => 1,52 / 1,76 = 0.8636

13. ROC
Area under the
ROC curve =
AUC
0.5(𝑟𝑎𝑛𝑑𝑜𝑚𝑚𝑜𝑑𝑒𝑙)<𝐴𝑈𝐶<1(𝑝𝑒𝑟𝑓𝑒𝑐𝑡𝑚𝑜𝑑𝑒𝑙)
ROC = Receiver Operating Characteristic

14. ROC
Area under the
ROC curve =
AUC
0.5(𝑟𝑎𝑛𝑑𝑜𝑚𝑚𝑜𝑑𝑒𝑙)<𝐴𝑈𝐶<1(𝑝𝑒𝑟𝑓𝑒𝑐𝑡𝑚𝑜𝑑𝑒𝑙)
ROC = Receiver Operating Characteristic

15. 30times
2
conferências
25jogadoers
US$ 3,5
Bilhões em
contratos
64Jogares
1 All Star
Game
http://deadspin.com/2014-payrolls-and-salaries-for-every-mlb-team-1551868969
CC Sabathia – New York Yankees ($24,285,714)

16. Cluster

17. Cluster

18. Regressão (Linear)

19. Fronteira de Decisão
ℎ𝜃 𝑥 = 𝑔(𝜃0 + 𝜃1x1 + 𝜃2x2)
ℎθ(𝑥) = 𝑔(𝜃00 + 𝜃1x1 +
𝜃2x2 + 𝜃3x1
2 + 𝜃4x2
2 )
Função Linear
Função Quadrática
ℎθ(𝑥) = 𝑔(𝜃00 + 𝜃1x1 + 𝜃2x2
+ 𝜃3x1
2 + 𝜃4x2
2
+ 𝜃5x1
3 + 𝜃6x2
3
+ 𝜃7x1
4 + 𝜃8x2
4)
Função elevada à quarta potência

24. http://www.livrosdonogare.com.br

26. Dúvidas?

27. Obrigado
Diego Nogare
Data Scients @ NGR Solutions
www.diegonogare.net