O documento discute a classificação binária de dados do telescópio Cherenkov MAGIC para identificar raios gama e partículas de hádrons. A precisão de classificação simples não é significativa para esses dados, sendo melhor comparar classificadores usando curva ROC. Métricas como precisão, recall e F1 score são apresentadas para avaliar os classificadores.

1. Criando modelos preditivos com
Azure Machine Learning
Utilizando classificação binária para
identificar os elementos do CTA (Cherenkov
Telescope Array) em Raio Gama e partículas de
Hadrons.
Diego Nogare
Data Scientist @ NGR Solutions
nogare@ngrsolutions.com.br

2. Patrocinadores

3. Diego Nogare
MVP Data Platform | 2008
Chapter Leader | SQL Saturday
Regional Mentor | Board Advisor
www.diegonogare.net
www.datascienceinstitute.com.br
www.livrosdonogare.com.br
www.ngrsolutions.com.br

5. Cherenkov
Telescope
Array

6. Comprimento de
onda em metros
Elétron
Volts (eV)
Tamanho relativo do
comprimento de
onda
Espectro
Fonte

8. MAGIC
Major
Atmospheric
Gama Ray
Imaging
Cherenkov

9. La Palma

10. MAGIC Gamma Telescope Data Set
1. fLength: # major axis of ellipse [mm]
2. fWidth: # minor axis of ellipse [mm]
3. fSize: # 10-log of sum of content of all pixels [in #phot]
4. fConc: # ratio of sum of two highest pixels over fSize [ratio]
5. fConc1: # ratio of highest pixel over fSize [ratio]
6. fAsym: # distance from highest pixel to center, projected onto major axis [mm]
7. fM3Long: # 3rd root of third moment along major axis [mm]
8. fM3Trans: # 3rd root of third moment along minor axis [mm]
9. fAlpha: # angle of major axis with vector to origin [deg]
10. fDist: # distance from origin to center of ellipse [mm]
11. class: g,h # gamma (signal), hadron (background)
https://archive.ics.uci.edu/ml/datasets/
MAGIC+Gamma+Telescope

11. MAGIC Gamma Telescope Data Set
A precisão de classificação simples não é significativa
para esses dados, uma vez que classificar um evento
de radiação cósmica de fundo como sinal é pior do
que classificar um evento de sinal como radiação
cósmica de fundo. Para a comparação de diferentes
classificadores deve ser utilizada uma Curva ROC. Os
pontos relevantes nesta curva são aqueles em que a
probabilidade de aceitar um evento de radiação
cósmica de fundo como sinal está abaixo de um dos
seguintes limiares: 0,01, 0,02, 0,05, 0,1, 0,2
dependendo da qualidade necessária da amostra dos
eventos aceitos para diferentes experimentos.

12. Classificadores Binários

13. Classificadores Binários
ACURACY (ACURÁCIA):
Quantidade classificada como Positivos e Negativos corretamente
(True Positive + True Negative) /
((True Positive + False Negative) +(False Positive + True Negative))
Com nossos números: (16 + 54) / ((16+0) + (5+54)) => 70 / 75 = 0.9333

14. Classificadores Binários
PRECISION (PRECISÃO):
Quantidade classificada corretamente
True Positive / (True Positive + False Positive)
Com nossos números: (16) / (16 + 5) => 16 / 21 = 0.7619

15. Classificadores Binários
RECALL:
Quantidade classificada como Positivo corretamente
True Positive / (True Positive + False Negative)
Com nossos números: 16 / (16+0) => 16 / 16 = 1

16. Classificadores Binários
F1 SCORE:
Média harmônica entre Precisão e Recall
Precisão: True Positive / (True Positive + False Positive)
Recall: True Positive / (True Positive + False Negative)
(2* True Positive) / (2* True Positive + False Positive + False Negative)
Com nossos números: (2*16) / (2*16 + 5 + 0) => 32 / 37 = 0.8648
2* Precision*Recall / (Precision + Recall)
Com nossos números: 2*(0,76*1)/(0,76+1) => 1,52 / 1,76 = 0.8636

17. ROC
Area under the
ROC curve =
AUC
0.5(𝑟𝑎𝑛𝑑𝑜𝑚𝑚𝑜𝑑𝑒𝑙)<𝐴𝑈𝐶<1(𝑝𝑒𝑟𝑓𝑒𝑐𝑡𝑚𝑜𝑑𝑒𝑙)
ROC = Receiver Operating Characteristic

18. ROC
Area under the
ROC curve =
AUC
0.5(𝑟𝑎𝑛𝑑𝑜𝑚𝑚𝑜𝑑𝑒𝑙)<𝐴𝑈𝐶<1(𝑝𝑒𝑟𝑓𝑒𝑐𝑡𝑚𝑜𝑑𝑒𝑙)
ROC = Receiver Operating Characteristic

19. Métricas de Performance
Curva ROC (Receiver Operating Characteristic)
– 1.0: Predição Perfeita
– 0.9: Predição Excelente
– 0.8: Predição Boa
– 0.7: Predição Medíocre
– 0.6: Predição Porca
– 0.5: Predição Aleatória
– <0.5: Tem alguma coisa errada!

20. Classificadores Binários

23. Links úteis de referência
https://www.cta-observatory.org/
https://www.cta-
observatory.org/science/cta-users/
https://www.cta-
observatory.org/science/gamma-
rays-cosmic-sources/
https://magic.mpp.mpg.de/newco
mers/cherenkov-telescopes/

25. Diego Nogare
Data Scientist @ NGR Solutions