Meetup @Viadeo • 19h45-20h : Extension de Spark (Tachyon / Spark JobServer). Jonathan Lamiel - Talend Labs -La mémoire partagée de Spark avec Tachyon -Rendre Spark Interactif avec Spark JobServer

1. 1
©2015 Talend Inc.©2015 Talend Inc.
Spark Meetup
Jonathan Lamiel
Talend Labs

2. 2
Présentation de Spark Packages & Co
 Comment partager de la données entre différents job Spark ?
 Comment s’interfacer avec Spark ?
 Comment rendre une application Spark interactive ?

3. 3

4. 4
Comment partager de la données entre
différents job Spark ?
 Cas d’usage : Plusieurs contextes Spark utilisant un même
fichier d’enrichissement.
 Solution 1 : Lire et relire et rerelire le même fichier à chaque
fois.
 Solution 2 : Utiliser Tachyon

5. 5
 Open Source
 Système de fichier distribué In-memory

6. 6
 Utilisation avec Spark mais pas seulement

7. 7
 Avec Spark comment ca marche ?

8. 8
 Et mon problème de réutilisation ?

9. 9
 Et mon code Spark il devient quoi ?

10. 10
 Tachyon accède aux données de manière intelligente ?

11. 11
 Coté Perf ?

12. 12

13. 13
Spark Packages

14. 14
 Spark
 Des RDDs :
 HadoopRDD, PairRDD, AvroRDD, JsonRDD, JdbcRDD,
ESSpark, CassandraRDD etc …
 Pour le reste : Hadoop InputFormats
Comment s’interfacer avec Spark ?

15. 15
 Spark Streaming
 Des Dstreams:
 File systems, Socket, Akka actors, Kafka, Flume,
Kinesis, Twitter
 Pour le reste : Custom Receiver ou Camel ???
Comment s’interfacer avec Spark ?

16. 17

17. 18
Comment rendre une application Spark
interactive ?
 Cas d’usage : Créer une API Rest pour exécuter du Spark et
aider au management des contextes Spark.
 Solution 1 : Le faire à la main à base d’Akka + Spray etc …
 Solution 2 : Utiliser ce qu’il y’a de disponible dans les Spark-
Packages

18. 19
Spark-jobserver
 Open Source
 Gestion des contextes Spark par le JobServer
 Gestion des « applications » sous forme de jar
 Appel d’applications Synchrone ou Asynchrone
 Statuts des jobs exécutés
 Gestion de la validation des paramètres avant soumission a
Spark

19. 20
Spark-jobserver
 Ca ressemble à quoi ?

20. 21
Spark-jobserver
 A quoi ressemble mon code Spark ?

21. 22
Spark-jobserver
 Comment je l’utilise ?

22. 23
Spark-jobserver
 D’un point de vue architecture ?

23. 24
 Suivre l’évolution des projets sortant.
What next ?
….

24. 25
Q&A ?