Baixar para ler offline
Carregado porDiogo Munaro Vieira
Apache Spark Overview and Applications
O documento discute as principais funcionalidades do Apache Spark, incluindo processamento de dados em larga escala, DataFrames, streaming de dados, machine learning e análise de grafos.
![[DEVFEST] Apache Spark Casos de Uso e Escalabilidade](https://cdn.slidesharecdn.com/ss_thumbnails/apachespark-casosdeusoeescalabilidade-171106111137-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Datafest 2018] Apache Spark Structured Stream - Moedor de dados em tempo qua...](https://cdn.slidesharecdn.com/ss_thumbnails/datafest2018-apachesparkstructuredstreammoedordedadosemtempoquasereal-181101180406-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DTC21] Lucas Gomes - Do 0 ao 100 no Big Data](https://cdn.slidesharecdn.com/ss_thumbnails/dtc21lucasgomes-do0ao100embigdata-210316214734-thumbnail.jpg?width=640&height=640&fit=bounds)
Apache Spark Overview and Applications
- 1. Apache Spark is aunified analytics engine for large-scale data processing. Diogo Munaro Vieira https://spark.apache.org/
- 2.
- 3.
- 4.
- 5.
- 6.
- 7.
- 8. Execução de código(Python)
- 9.
- 10.
- 11.
- 12.
- 13. Vendo Schema dedados
- 14. Vendo 2 primeiraslinhas
- 15.
- 16.
- 17.
- 18. Criando View eusando SQL puro
- 19. UDF (User DefinedFunction)
- 20. UDAF (User DefinedAggregate Function)
- 21. UDAF (User DefinedAggregate Function)
- 22.
- 23.
- 24.
- 25.
- 26. Word Count noSocket
- 27.
- 28.
- 29.
- 30.
- 31.
- 32. Usando Janela deTempo
- 33. Usando Janela deTempo Janela Slide
- 34.
- 35.
- 36.
- 37.
- 38. TF-IDF nos termosextraídos
- 39.
- 40. Avaliação de resultadosdo modelo
- 41.
- 42.
- 43.
- 44. Pagerank em subgrafo Vaibrincar lá: http://ampcamp.berkeley.edu/big-data-mini-course/graph-analytics-with-graphx.html
- 45.
- 46.
- 47.