TDC2018FLN | Trilha Data Science - Explainable Machine Learning
•
1 gostou•257 visualizações
O documento discute a importância da explicabilidade em modelos de machine learning. Apresenta diferentes técnicas para fornecer explicações das predições de modelos, incluindo árvores de decisão aleatórias, boosted trees e modelos agnósticos. Discutem casos de uso como detecção de vazamentos de dados e shift de conjunto de dados.
Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a TDC2018FLN | Trilha Data Science - Explainable Machine Learning
Semelhante a TDC2018FLN | Trilha Data Science - Explainable Machine Learning (20)
Mais de tdc-globalcode
Mais de tdc-globalcode (20)
Último
Último (20)
TDC2018FLN | Trilha Data Science - Explainable Machine Learning
- 1. Explainable Machine Learning Gabriel Cypriano TDC 2018 Floripa
- 2. Creditas
- 3. Nós precisamos de explicações das predições?
- 4. E se usarmos modelos lineares?
- 5. Mas... E se nós conseguirmos treinar uma Random Forest com desempenho muito melhor?
- 6. Random Forest Feature Importances
- 7. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 8. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 9. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 10. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 11. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 12. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 13. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 14. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 15. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 16. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 17. Decision Paths Predições para: RM LSTAT NOX DIS 3.1 4.5 0.54 2.6 http://blog.datadive.net/interpreting-ra ndom-forests
- 18. treeinterpreter / Pivotal — Contribuição x Valor da Feature (1 Decision Tree)
- 19. treeinterpreter / Pivotal — Contribuição x Valor da Feature (Random Forest)
- 20. treeinterpreter / Pivotal — Explicação de 1 predição
- 21. Como utilizar em Boosted Trees? Ao invés de tirar a média das contribuições das árvores, só precisamos somá-las. Disponível no seguinte pacote: ● ELI5 e.g., XGBoost, LightGBM
- 22. ELI5 — XGBoost — Feature Importances (dataset do Titanic)
- 23. ELI5 — Predições do XGBoost— dataset do Titanic
- 24. Explicações agnósticas ao modelo e.g., para modelos não baseados em árvores
- 25. Lime ● Aproximações locais ● Agnóstico ao modelo ● Consegue selecionar um conjunto de instâncias representativas para exibir explicações
- 27. Lime — utiliza superpixels para explicações no reconhecimento objetos em imagem
- 28. Lime — reconhecimento de objetos em imagem
- 29. Lime para Processamento de Linguagem Natural
- 30. Mais casos de uso Amazon, Netflix
- 31. Mais casos de uso ● Entender se o modelo aprende com as features corretas / sofre de overfitting com features em específico ● Indentificar data leakage ● Dataset shift (dados de treino diferentes de dados de teste) ● Caso de pneumunia/asma ● Caso Stripe Amazon, Netflix
- 32. Mais casos de uso ● Entender se o modelo aprende com as features corretas / sofre de overfitting com features em específico ● Indentificar data leakage ● Dataset shift (dados de treino diferentes de dados de teste) ● Caso de pneumunia/asma ● Caso Stripe Amazon, Netflix
- 33. Mais casos de uso ● Entender se o modelo aprende com as features corretas / sofre de overfitting com features em específico ● Indentificar data leakage ● Dataset shift (dados de treino diferentes de dados de teste) ● Caso de pneumunia/asma ● Caso Stripe Amazon, Netflix
- 34. Mais casos de uso ● Entender se o modelo aprende com as features corretas / sofre de overfitting com features em específico ● Indentificar data leakage ● Dataset shift (dados de treino diferentes de dados de teste) ● Caso de pneumunia/asma ● Caso Stripe Amazon, Netflix
- 35. Mais casos de uso ● Entender se o modelo aprende com as features corretas / sofre de overfitting com features em específico ● Indentificar data leakage ● Dataset shift (dados de treino diferentes de dados de teste) ● Caso de pneumunia/asma ● Caso Stripe Amazon, Netflix
- 36. ● Não só útil quando as coisas não estão funcionando bem ● Custos diferentes para tipos de erro
- 37. Referências Interpreting Random Forests Random forest interpretation with scikit-learn Random forest interpretation – conditional feature contributions Interpreting Decision Trees and Random Forests XGBoost Decision Paths Explaining XGBoost predictions on the Titanic dataset “Why Should I Trust You?” Explaining the Predictions of Any Classifier
- 38. Referências (podcasts) TWiML: Exploring Black Box Predictions with Sam Ritchie TWiML: Carlos Guestrin – Explaining the Predictions of Machine Learning Models Data Skeptic: Marco Ribeiro - Trusting Machine Learning Models With Lime