Apresentação sobre o uso da biblioteca .NET for Apache Spark

1. USANDO .NET NO
APACHE SPARK
FABIO GOUW

2. FABIO GOUW
@fabiogouw
fabiogouw
fabiogouw.com
Arquiteto de Soluções @ Itaú

3. AGENDA
1. O que é o Apache Spark?
2. História e Motivadores
3. Casos de uso do Spark
4. Arquitetura
5. .NET for Apache Spark
6. Demo – Batch
7. Demo – Streaming

4. É um motor de análise para processamento
distribuído de dados em larga escala.
O QUE É O APACHE SPARK?

5. BIG DATA

6. HISTÓRIA E MOTIVADORES
2003
Google’s
Distributed
Filesystem
2004
MapReduce
2005
Nutch
Distributed
Filesystem
+ MapReduce
2009
Matei Zaharia
2002
Doug Cutting Mike Cafarella
2006
HDFS
+ MapReduce

7. HADOOP VS. SPARK
• Spark processa até 100 vezes mais rápido
que o Hadoop
• Spark possui processamento em tempo
real e batch, enquanto Hadoop processa
apenas em batch
• API do Spark é mais concisa

8. CÓDIGO HADOOP VS. SPARK

9. HADOOP VS. SPARK

10. CASOS DE USO DO SPARK
MACHINE LEARNING
EXECUÇÃO
INTERATIVA
PROCESSAMENTO EM
TEMPO REAL
INGESTÃO DE DADOS

11. CASOS DE USO DO SPARK

12. ARQUITETURA
Spark Core
MLLib Spark GraphX
Spark
Streaming
Streaming
Sources
Spark SQLData Sources
Cluster Management
Scala RJava Python

13. Node
Cluster Manager
ARQUITETURA
Driver Program
Spark Context
Node
Executor
Cache
Node
Executor
Cache
Task
Task
Task
Task
User Program
P1 P2Data

14. .NET FOR APACHE SPARK

15. .NET FOR APACHE SPARK
Motivação: Fornecer aos desenvolvedores .NET uma opção de primeira
classe para trabalhar com Apache Spark e Big Data
Não é objetivo converter programadores Scala, Python, Java ou R para
usarem .NET
.NET for Apache® Spark™ - projeto Open Source lançado em 2019 (Spark +
AI Summit 2019)
Suporte para C# e F# para .NET Framework 4.6.1 e .NET Core 2.1 e 3.x
Abstração em cima da API do Spark SQL (DataFrame)

16. Spark Core
Spark Interop Layer
SparkR PySpark
Spark SQL
.NET FOR APACHE SPARK
.NET for
Apache Spark
Java / Scala API

17. DEMO - BATCH

18. DEMO - STREAMING
Producer

19. • http://bit.ly/SparkNetDemo
• https://spark.apache.org/
• https://dot.net/spark
• http://dot.net/ml
• https://github.com/dotnet/spark
@fabiogouw
fabiogouw
fabiogouw.com
PARA SABER MAIS