O documento apresenta uma introdução ao Apache Spark, incluindo sua visão geral como engine para processamento de dados em larga escala. Apresenta alguns conceitos-chave como RDDs, operações básicas e clusters Spark. Demonstra exemplos práticos de geração de regras de associação, clustering com K-Means e classificação com árvore de decisão usando Spark.

1. Machine Learning com
Apache Spark
Sandys Nunes

2. Quem sou eu?
- Campo-grandense
- Estudante de Ciência da Computação
- Desenvolvedor na Tecsinapse
Twitter: @SandysNunes

3. Agenda
- Visão Geral sobre o Apache Spark
- Algumas ferramentas
- Geração de regras de associação
- Clustering com K-Means
- Classificação com Árvore de Decisão

4. O que é o Apache Spark?
Engine para processamento de dados em larga escala.

5. Fácil de usar
● Suporte a várias
linguagens
● Shell interativo
● API rica
Python
Scala
Java

6. Lendo os dados

7. Exemplo - Frequência de palavras

8. RDD - Resilient Distributed Datasets
Uma abstração para que os programadores possam executar
cálculos/operações em memória em um cluster tolerante à
falhas.
Coleções imutáveis
Particionadas e Distribuídas
Armazenadas em memória
Partições são “recomputadas” em caso de falha

10. RDD - Operações

11. Spark Cluster

12. Spark standalone cluster

13. Vamos aos dados

14. 1 - Apache Zeppelin

15. Exemplo - Vamos Explorar!

21. Spark
+
Jupyter
+
Python
+
Pandas/
Matplotlib

22. Spark
+
Jupyter
+
Python
+
Seaborn

23. Regras de Associação

24. Analisando transações
Ex. suporte: {leite, pão, manteiga} = 20%
Ex. confiança: {leite, pão} => {manteiga} = 50%

26. K-Means

27. Clustering: K-Means

28. Calculando o erro até 10 centróides (Iris Data Set )

29. Gráfico “Cotovelo”

30. Árvore de Decisão

31. KDD Cup 1999 Data

32. Leitura dos dados

34. Treinamento e Validação

37. Para saber mais

38. Referências
RDD: https://www.cs.berkeley.edu/~matei/papers/2012/nsdi_spark.pdf
Spark: http://spark.apache.org/docs/latest/
Matplotlib: http://matplotlib.org/examples/index.html
Jupyter: http://jupyter.readthedocs.org/en/latest/index.html
KDD Cup 1999: http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html
Seaborn: http://stanford.edu/~mwaskom/software/seaborn/
Pandas: http://stanford.edu/~mwaskom/software/seaborn/

39. Obrigado!