ML - ensemble methods [pt-br]
•
1 gostou•350 visualizações
Apresentação no TDC São Paulo (Julho de 2016). Um jupyter-notebook com exemplo de código está disponível em: https://github.com/andressa/sklearn-decisiontree/blob/master/Ensemble%20models%20with%20Decision%20Trees.ipynb
Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (20)
ML - ensemble methods [pt-br]
- 2. 2 Cientista da Computação Cientista de Dados (?) Web/Software Designer Quem sou eu?
- 3. 3 Quem sou eu? Cientista da Computação Cientista de Dados (?) Web/Software Designer Engenheira e MsC em IC
- 4. Quem sou eu? 4 2007 2008 2011 2014 2016 Mestrado StartUp
- 5. 5 O que é Machine Learning 5
- 6. 6 Sub-campo em Inteligência Artificial Aprende com exemplos existentes [ Diferente de um conjunto de regras ] vs Alguns Conceitos
- 7. 7 Como identificar o tipo de uma bola? vs Script?
- 8. 8 Abordagem de regras? Cores? Tipo de costura? Tamanho? ...
- 9. 9 Abordagem de Machine Learning Classificador Treinado a partir de conjunto conhecido (supervisionado) Atributos (features) Resposta (label/target/output)
- 10. 10 Abordagem de Machine Learning Classificador Algoritmos encontram padrões nas amostras conhecidas Atributos (features) Resposta (label/target/output)
- 11. 11 ● árvore de decisão ● rede neural ● regressão linear ● ensemble ● ... Possíveis Classificadores ClassificadorAtributos (features) Resposta (label/target/output)
- 12. 12 ● árvore de decisão??? ● rede neural ● regressão linear ● ensemble ● ... Possíveis Classificadores ClassificadorAtributos (features) Resposta (label/target/output)
- 13. Este é o João... 13
- 15. 15 João joga tênis? Tempo Umidade Vento ... Não joga Joga Árvore de Decisão
- 16. 16 # Dia Tempo Umidade Vento Joga? 1 Ensolarado Alta Fraco Não 2 Ensolarado Alta Fraco Não 3 Nublado Alta Fraco Sim 4 Chuvoso Alta Forte Sim 5 Chuvoso Normal Fraco Sim 6 Chuvoso Normal Forte Sim 7 Nublado Normal Forte Sim 8 Ensolarado Alta Fraco Não 9 Ensolarado Normal Fraco Sim 10 Chuvoso Normal Fraco Sim 11 Ensolarado Normal Forte Sim 12 Nublado Alta Forte Sim 13 Nublado Normal Fraco Sim 14 Chuvoso Alta Forte Não 2 semanas de Janeiro João joga tênis?
- 17. 17 Tempo Ensolarado Nublado Chuvoso Umidade Vento Joga Alta Normal Joga Forte Fraco Não Joga JogaNão Joga Árvore de Decisão
- 18. 18 # Dia Tempo Umidade Vento Joga? 1 Nublado Alta Fraco Sim 2 Ensolarado Alta Forte Não 3 Ensolarado Alta Fraco Não 4 Chuvoso Normal Fraco Sim 5 Chuvoso Alta Fraco Sim 6 Chuvoso Normal Forte Não 7 Nublado Alta Forte Sim 8 Chuvoso Alta Forte Não 9 Ensolarado Normal Fraco Sim 10 Chuvoso Alta Fraco Sim 11 Nublado Normal Fraco Não 12 Nublado Alta Forte Sim 13 Nublado Alta Fraco Sim 14 Ensolarado Alta Fraco Não 2 semanas de Julho João joga tênis?
- 19. 19 Árvore de Decisão Tempo Ensolarado Nublado Chuvoso Umidade NormalAlta JogaNão Joga Umidade NormalAlta Joga Não Joga Vento NormalFraco Joga Não Joga
- 20. 20 Sub-conjuntos (im)puros Tempo Ensolarado Nublado Chuvoso Umidade Vento 0 / 4 Profundidade = 2 Puro 3 / 2 Impuro 2 / 3 Impuro
- 21. 21 Sub-conjuntos (im)puros Tempo Ensolarado Nublado Chuvoso Profundidade = 2 Joga Não Joga Joga
- 23. 23 Treinamento Supervisionado 100% de amostras 70% Treino Teste 30%
- 24. 24 Como comparar desempenho? Palpite do Classificador ClassificaçãoReal Joga Joga Não Joga NãoJoga Verdadeiro Positivo (TP) Verdadeiro Negativo (TN) False Negativo (FN) False Positivo (FP) Matriz de Confusão
- 25. 25 Como comparar desempenho? Palpite do Classificador ClassificaçãoReal Joga Joga Não Joga NãoJoga Verdadeiro Positivo (TP) Verdadeiro Negativo (TN) False Negativo (FN) False Positivo (FP) Precisão = TP TP + FP Recall = TP TP + FN Acurácia = TP + TN Total F1 Score = 2 . Precisão . Recall Precisão + Recall
- 27. O que são modelos Ensemble
- 28. 28 Exemplo: US Open Em qual atleta eu posso apostar como finalista do US Open?
- 29. Opinião 1 29 No passado, ele teve êxito em 68% de seus palpites Conhece bem o esporte … mas tendencioso Não é imparcial
- 30. Opinião 2 30 Acompanha apostas há 10 anos Estuda atletas individualmente Excelência em apostas esportivas No passado, ela teve êxito em 73% de seus palpites Ⓡ
- 31. Opinião 3 31 Mais afinidade com atletas mulheres Desconhece atletas novos Não vem acompanhando o esporte No passado, ela teve êxito em 70% de seus palpites
- 32. Opinião 4 32 ... No passado, ela teve êxito em 62% de seus palpites
- 33. Combinação das Avaliações = 1 - (68% x 73% x 70% x 62%) = 79% de acurácia Guga Empresa Sharapova Galvão Correlacionados Acurácia 33 Ⓡ
- 34. Modelos Ensemble Classificador 1 Classificador 2 Classificador 3 Classificador 4 Classificador N Hipótese Coletiva Classificador Ensemble 34 H1 H2 H3 H4 HN
- 36. Classificadores Árvore de Decisão 1 Árvore de Decisão 2 Árvore de Decisão 3 Árvore de Decisão 4 Árvore de Decisão N Algoritmos da mesma natureza SVM Árvore de Decisão Rede Neural Deep Learner Regressor Linear Diversidade de Algoritmos 36
- 37. PositivoNegativo Hipótese Coletiva Classificadores Árvore de Decisão 1 Árvore de Decisão 2 Árvore de Decisão 3 Árvore de Decisão 4 Árvore de Decisão N +1 +1 -1 -1 -1 SVM Árvore de Decisão Rede Neural Deep Learner Regressor Linear +2 -1 +3 -1 -1 37
- 38. 38 Hipótese Coletiva: -1 Hipótese Coletiva: +2 Árvore de Decisão 1 Árvore de Decisão 2 Árvore de Decisão 3 Árvore de Decisão 4 Árvore de Decisão N +1 +1 -1 -1 -1 SVM Árvore de Decisão Rede Neural Deep Learner Regressor Linear +2 -1 +3 -1 -1 Classificadores
- 39. Alguns tipos de Ensemble Com árvore de decisão como algoritmo base
- 42. Random Forest 42
- 43. Boosted Decision Tree (BDT) 43
- 46. Ensemble com outros algoritmos Conjunto de Treino Nearest Neighbor SVM Decision Tree Random Forest AdaBoost 46
- 47. Na vida real...
- 48. 4 8 ...João joga tênis no Kinect...
- 51. 51
- 52. 52
- 53. @asivolella Para feedbacks, entre em contato =) asivolella@ .com
- 58. GradBoosted 58