A apresentação discute a migração de modelos de classificação do Scikit-Learn para o MLlib do Apache Spark, incluindo uma demonstração de KMeans em um conjunto de dados pequeno, o uso de DataFrames e pipelines para classificação de spam em produção, e as vantagens do MLlib em relação ao Scikit-Learn para análise em larga escala.

1. De Scikit-Learn para MLLib
CLASSIFICAÇÃO EM LARGA ESCALA

2. Agenda
● O quê: Spark
● O quê: MLlib
● Exemplo KMeans em "Toy Dataset"
● DataFrames
● Classificação de Spam em Produção
● Por quê?

3. Quem Somos

4. ● Computação genérica distribuída
● Até 10 a 100x mais rápido que Hadoop MapReduce
O Quê: Spark

5. O Quê: Spark

6. O Quê: Spark

7. ● Machine Learning escalável
● Construído em cima do Spark
O Quê: MLLib

8. ● Clustering [KMeans, LDA]
● Classificação [SVM, Naïve Bayes, Random Forests]
● Regressão
● Extração de características
● Recomendação, timização de parâmetros, avaliação de
modelos...
Algoritmos

9. KMeans Toy Example

10. DataFrames
● Schema definido
● Formato tabular
● Operações, queries otimizadas
● Pipelines

11. Pipelines
● Transformer
○ Gera um DF a partir de outro DF
● Estimator
○ Abstrai o conceito de um algoritmo que é treinado sob um
conjunto

12. Classificação de Spam em Produção

13. Classificação de Spam em Produção

14. Classificação de Spam em Produção

15. Por que MLlib?

16. Por que MLlib?

17. Por que MLlib?

18. Por que MLlib?

19. Desenvolvimento ~== Produção
Por que MLlib?

20. /in/guilhermepeixoto
guilherme.peixoto@inlocomedia.com
@gppeixoto