Paralelismo em ML e suas aplicações
•
1 gostou•162 visualizações
Uma apresentação feita pelo time do Data Bootcamp. Como funciona e aplicações de paralelismo em Machine Learning. Como funcionam as CPUs, GPUs e como os algoritmos de Machine Learning e Deep Learning se beneficiam disso. No final temos um trabalho interessante que mostra como técnicas de Machine Learning têm sido usadas para melhorar o paralelismo de aplicações
Recomendados
Recomendados
Mais conteúdo relacionado
Mais de Diogo Munaro Vieira
Mais de Diogo Munaro Vieira (9)
Paralelismo em ML e suas aplicações
- 2. Diogo Munaro Vieira Co-Founder @ Data Bootcamp Machine Learning Engineer @ OLX PhD Student @ PUC Rio Paralelismo em Machine Learning e suas aplicações /in/dmvieira @diogomvieira
- 3. “Computação paralela é uma forma de computação em que vários cálculos são realizados ao mesmo tempo.” - Wikipedia Afinal, o que é paralelismo?
- 4. O paralelismo Como as coisas são executadas?
- 5. Como o PC Processa O Paralelismo https://www.tutorialspoint.com/control-unit-and-cpu
- 6. https://computing.llnl.gov/tutorials/parallel_comp/ (Lawrence Livermore National Laboratory CA) Instruções Seriais O Paralelismo
- 7. https://computing.llnl.gov/tutorials/parallel_comp/ (Lawrence Livermore National Laboratory CA) Instruções Paralelas O Paralelismo
- 8. https://computing.llnl.gov/tutorials/parallel_comp/ (Lawrence Livermore National Laboratory CA) Unidades de Processamento O Paralelismo
- 9. https://computing.llnl.gov/tutorials/parallel_comp/ (Lawrence Livermore National Laboratory CA) Tipos de Comunicação O Paralelismo
- 10. SETI@home (setiathome.berkeley.edu) Folding@home (folding.stanford.edu) Aplicações Legais O Paralelismo
- 11. O paralelismo Como é CPU comparada com GPU?
- 12. Arquitetura CPU vs GPU O Paralelismo nvidia blog 2011 (https://www.researchgate.net/figure/Figura-10-Arquitetura-de-CPU-e-de-GPU-Fonte-NVIDIA-2011-A-arquitetura- Fermi-da_fig1_303483769)
- 13. Arquitetura CPU vs GPU O Paralelismo
- 15. Chegada da TPU (Google) O Paralelismo https://heartbeat.fritz.ai/step-by-step-use-of-google-colab-free-tpu-75f8629492b3
- 16. Paralelismo em ML Como os modelos funcionam?
- 17. Técnicas de ML Paralelismo em ML https://heartbeat.fritz.ai/step-by-step-use-of-google-colab-free-tpu-75f8629492b3
- 18. Treinando algoritmo baseado em memória (KNN) Paralelismo em ML https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0044000
- 19. Predizendo baseado em memória (KNN) Paralelismo em ML https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0044000
- 20. Calculando as distâncias para todos os pontos e guardando Como entra o paralelismo nisso?
- 22. Predição baseada em modelo (Rede Neural) Paralelismo em ML https://heartbeat.fritz.ai/step-by-step-use-of-google-colab-free-tpu-75f8629492b3
- 23. Cálculos simples e iguais dos neurônios em várias camadas Como entra o paralelismo nisso?
- 24. Paralelismo em DL Como isso ajuda Deep Learning?
- 27. Paralelismo em modelo e nos dados Paralelismo e ML https://leimao.github.io/blog/Data-Parallelism-vs-Model-Paralelism/
- 28. Paralelismo em modelo e nos dados Paralelismo e ML https://leimao.github.io/blog/Data-Parallelism-vs-Model-Paralelism/ Dependência!
- 29. Paralelismo em modelo e nos dados Paralelismo e ML https://leimao.github.io/blog/Data-Parallelism-vs-Model-Paralelism/ Dependência! E o erro?
- 30. Paralelismo de dados Paralelismo e ML http://www.telesens.co/2017/12/25/understanding-data-parallelism-in-machine-learning/
- 32. Paralelismo e ML Mas então é só pra deixar ML rápido?
- 33. Redundância em modelos Paralelismo e ML https://www.kdnuggets.com/2019/01/ensemble-learning-5-main-approaches.html
- 35. ML para paralelismo Paralelismo e ML https://www.sciencedirect.com/science/article/pii/S0167739X17314668
- 36. Desafios Quais são os maiores desafios na área?
- 38. Modelos gigantes (GPT-2) Desafios 1,6 Bilhões de parâmetros! http://jalammar.github.io/illustrated-gpt2/
- 39. Obrigado! www.databootcamp.com.br Diogo Munaro Vieira Co-Founder @ Data Bootcamp Machine Learning Engineer @ OLX PhD Student @ PUC Rio /in/dmvieira @diogomvieira