Apache Spark Overview and Applications

•

0 gostou•82 visualizações

Diogo Munaro Vieira

O documento discute as principais funcionalidades do Apache Spark, incluindo processamento de dados em larga escala, DataFrames, streaming de dados, machine learning e análise de grafos.

Apache Spark
is a uniﬁed analytics engine for large-scale data processing.
Diogo Munaro Vieira
https://spark.apache.org/

Apache Spark

Hadoop?

Sabores do Spark

Spark DataFrames

Arquitetura

Arquitetura com Hadoop

Execução de código (Python)

Execução de código

Spark Context

UI do Spark

Spark DataFrames

Vendo Schema de dados

Vendo 2 primeiras linhas

Selecionando colunas

Filtrando colunas
ou

Agrupando dados

Criando View e usando SQL puro

UDF (User Deﬁned Function)

UDAF (User Deﬁned Aggregate Function)

UDAF (User Deﬁned Aggregate Function)

Operações de Join

Operações de Join

Spark Structured Streaming

Programando em Streaming

Word Count no Socket

Spark Structured Streaming

Spark Structured Streaming

Spark Structured Streaming

Checkpoint

Exemplo Checkpoint com Kafka

Usando Janela de Tempo

Usando Janela de Tempo
Janela Slide

Dados atrasados (Watermark)

Dados atrasados (Watermark)
Janela Slide

Spark MLib

Processamento de Texto

TF-IDF nos termos extraídos

Aplicando modelo

Avaliação de resultados do modelo

Spark GraphX

Carregando grafo

Agregando informação no grafo

Pagerank em subgrafo
Vai brincar lá: http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html

Submetendo Jobs

Monitorar Jobs

Ferramentas para Bioinformática
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6113509/table/tbl1/?report=objectonly

Mais conteúdo relacionado

Semelhante a Apache Spark Overview and Applications

Introdução Play framework

Introdução Play framework

Introdução Play frameworkKeuller Magalhães

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Da Exploração à Produção - Inteligência Artificial com a plataforma MarvinDaniel Takabayashi, MSc

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...Eiti Kimura

Python e Django

Python e Django

Python e Djangopugpe

Java Seminararmeniocardoso

Surpreenda-se com o Silverlight 3

Surpreenda-se com o Silverlight 3

Surpreenda-se com o Silverlight 3Rodrigo Kono

JavaFX 8, Collections e Lambdas

JavaFX 8, Collections e Lambdas

JavaFX 8, Collections e LambdasjesuinoPower

JavaServer Faces

JavaServer Faces

JavaServer Facesarmeniocardoso

Pegue tweets com Python e Spark Streaming

Pegue tweets com Python e Spark Streaming

Pegue tweets com Python e Spark StreamingRicardo de Avila Amaral

Introdução ao Kafka

Introdução ao Kafka

Introdução ao KafkaDavi Alves

Apresentação palestra ireport

Apresentação palestra ireport

Apresentação palestra ireportfpsgyn

Curso Enterprise Architect

Curso Enterprise Architect

Curso Enterprise Architectrandearievilo

AnaliseDeDados_SQLSat906

AnaliseDeDados_SQLSat906

AnaliseDeDados_SQLSat906Orlando Mariano

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...Affinitas GmbH

Processamento em Big Data

Processamento em Big Data

Processamento em Big DataLuiz Henrique Zambom Santana

Treinamento ASP.NET 2014

Treinamento ASP.NET 2014

Treinamento ASP.NET 2014Eric Gallardo

pgModeler: muito mais que um modelador de bancos de dados PostgreSQL

pgModeler: muito mais que um modelador de bancos de dados PostgreSQL

pgModeler: muito mais que um modelador de bancos de dados PostgreSQLRaphael Silva

Pos-QCon-BigData

Pos-QCon-BigData

Pos-QCon-BigDataFernando Cicconeto

JavaEE 7, na era do cloud computing

JavaEE 7, na era do cloud computing

JavaEE 7, na era do cloud computingEder Magalhães

Framework web 01 - Aula UTFPR 2018

Framework web 01 - Aula UTFPR 2018

Framework web 01 - Aula UTFPR 2018André Luiz Forchesatto

Semelhante a Apache Spark Overview and Applications (20)

Introdução Play framework

Introdução Play framework

Introdução Play framework

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

Da Exploração à Produção - Inteligência Artificial com a plataforma Marvin

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...

[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...

Python e Django

Python e Django

Python e Django

Java Seminar

Surpreenda-se com o Silverlight 3

Surpreenda-se com o Silverlight 3

Surpreenda-se com o Silverlight 3

JavaFX 8, Collections e Lambdas

JavaFX 8, Collections e Lambdas

JavaFX 8, Collections e Lambdas

JavaServer Faces

JavaServer Faces

JavaServer Faces

Pegue tweets com Python e Spark Streaming

Pegue tweets com Python e Spark Streaming

Pegue tweets com Python e Spark Streaming

Introdução ao Kafka

Introdução ao Kafka

Introdução ao Kafka

Apresentação palestra ireport

Apresentação palestra ireport

Apresentação palestra ireport

Curso Enterprise Architect

Curso Enterprise Architect

Curso Enterprise Architect

AnaliseDeDados_SQLSat906

AnaliseDeDados_SQLSat906

AnaliseDeDados_SQLSat906

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...

Python Brasil 2020 - Desmitificando pipeline de dados com Python: o que apren...

Processamento em Big Data

Processamento em Big Data

Processamento em Big Data

Treinamento ASP.NET 2014

Treinamento ASP.NET 2014

Treinamento ASP.NET 2014

pgModeler: muito mais que um modelador de bancos de dados PostgreSQL

pgModeler: muito mais que um modelador de bancos de dados PostgreSQL

pgModeler: muito mais que um modelador de bancos de dados PostgreSQL

Pos-QCon-BigData

Pos-QCon-BigData

Pos-QCon-BigData

JavaEE 7, na era do cloud computing

JavaEE 7, na era do cloud computing

JavaEE 7, na era do cloud computing

Framework web 01 - Aula UTFPR 2018

Framework web 01 - Aula UTFPR 2018

Framework web 01 - Aula UTFPR 2018

Mais de Diogo Munaro Vieira

Testes metamórficos em problemas complexos

Testes metamórficos em problemas complexos

Testes metamórficos em problemas complexosDiogo Munaro Vieira

Paralelismo em machine learning e suas aplicações

Paralelismo em machine learning e suas aplicações

Paralelismo em machine learning e suas aplicaçõesDiogo Munaro Vieira

MLOps: Transformando seus modelos de ml em produtos

MLOps: Transformando seus modelos de ml em produtos

MLOps: Transformando seus modelos de ml em produtosDiogo Munaro Vieira

Desenvolvedor de software para Big Data

Desenvolvedor de software para Big Data

Desenvolvedor de software para Big DataDiogo Munaro Vieira

Machine learning em Produção

Machine learning em Produção

Machine learning em ProduçãoDiogo Munaro Vieira

Machine Learning integrado ao produto de software: No more XGH

Machine Learning integrado ao produto de software: No more XGH

Machine Learning integrado ao produto de software: No more XGHDiogo Munaro Vieira

Big Data na Globo.com

Big Data na Globo.com

Big Data na Globo.comDiogo Munaro Vieira

Conhecendo o desejo de mais de 10 milhões de usuários por dia

Conhecendo o desejo de mais de 10 milhões de usuários por dia

Conhecendo o desejo de mais de 10 milhões de usuários por diaDiogo Munaro Vieira

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)Diogo Munaro Vieira

Mais de Diogo Munaro Vieira (9)

Testes metamórficos em problemas complexos

Testes metamórficos em problemas complexos

Testes metamórficos em problemas complexos

Paralelismo em machine learning e suas aplicações

Paralelismo em machine learning e suas aplicações

Paralelismo em machine learning e suas aplicações

MLOps: Transformando seus modelos de ml em produtos

MLOps: Transformando seus modelos de ml em produtos

MLOps: Transformando seus modelos de ml em produtos

Desenvolvedor de software para Big Data

Desenvolvedor de software para Big Data

Desenvolvedor de software para Big Data

Machine learning em Produção

Machine learning em Produção

Machine learning em Produção

Machine Learning integrado ao produto de software: No more XGH

Machine Learning integrado ao produto de software: No more XGH

Machine Learning integrado ao produto de software: No more XGH

Big Data na Globo.com

Big Data na Globo.com

Big Data na Globo.com

Conhecendo o desejo de mais de 10 milhões de usuários por dia

Conhecendo o desejo de mais de 10 milhões de usuários por dia

Conhecendo o desejo de mais de 10 milhões de usuários por dia

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)

Tutorial JupyterHub, Jupyter e PySpark (PythonSudeste)

Apache Spark Overview and Applications

1. Apache Spark is a uniﬁed analytics engine for large-scale data processing. Diogo Munaro Vieira https://spark.apache.org/

2. Apache Spark

4. Sabores do Spark

5. Spark DataFrames

7. Arquitetura com Hadoop

8. Execução de código (Python)

9. Execução de código

10. Spark Context

11. UI do Spark

12. Spark DataFrames

13. Vendo Schema de dados

14. Vendo 2 primeiras linhas

15. Selecionando colunas

16. Filtrando colunas ou

17. Agrupando dados

18. Criando View e usando SQL puro

19. UDF (User Deﬁned Function)

20. UDAF (User Deﬁned Aggregate Function)

21. UDAF (User Deﬁned Aggregate Function)

22. Operações de Join

23. Operações de Join

24. Spark Structured Streaming

25. Programando em Streaming

26. Word Count no Socket

27. Spark Structured Streaming

28. Spark Structured Streaming

29. Spark Structured Streaming

31. Exemplo Checkpoint com Kafka

32. Usando Janela de Tempo

33. Usando Janela de Tempo Janela Slide

34. Dados atrasados (Watermark)

35. Dados atrasados (Watermark) Janela Slide

37. Processamento de Texto

38. TF-IDF nos termos extraídos

39. Aplicando modelo

40. Avaliação de resultados do modelo

41. Spark GraphX

42. Carregando grafo

43. Agregando informação no grafo

44. Pagerank em subgrafo Vai brincar lá: http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html

45. Submetendo Jobs

46. Monitorar Jobs

47. Ferramentas para Bioinformática https://www.ncbi.nlm.nih.gov/pmc/articles/PMC6113509/table/tbl1/?report=objectonly