De Sci-kit-learn para MLlib: classificação em larga escala

1. De Scikit-Learn para MLLib
CLASSIFICAÇÃO EM LARGA ESCALA

2. Agenda
● O quê: Spark
● O quê: MLlib
● Exemplo KMeans em "Toy Dataset"
● DataFrames
● Classificação de Spam em Produção
● Por quê?

3. Quem Somos

4. ● Computação genérica distribuída
● Até 10 a 100x mais rápido que Hadoop MapReduce
O Quê: Spark

5. O Quê: Spark

6. O Quê: Spark

7. ● Machine Learning escalável
● Construído em cima do Spark
O Quê: MLLib

8. ● Clustering [KMeans, LDA]
● Classificação [SVM, Naïve Bayes, Random Forests]
● Regressão
● Extração de características
● Recomendação, timização de parâmetros, avaliação de
modelos...
Algoritmos

9. KMeans Toy Example

10. DataFrames
● Schema definido
● Formato tabular
● Operações, queries otimizadas
● Pipelines

11. Pipelines
● Transformer
○ Gera um DF a partir de outro DF
● Estimator
○ Abstrai o conceito de um algoritmo que é treinado sob um
conjunto

12. Classificação de Spam em Produção

13. Classificação de Spam em Produção

14. Classificação de Spam em Produção

15. Por que MLlib?

16. Por que MLlib?

17. Por que MLlib?

18. Por que MLlib?

19. Desenvolvimento ~== Produção
Por que MLlib?

20. /in/guilhermepeixoto
guilherme.peixoto@inlocomedia.com
@gppeixoto