QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
•
14 gostaram•3,544 visualizações
QCon Tokyo 2015での発表資料です。 「Apache Sparkがデータサイエンティストの次世代分析基盤となる」というテーマで発表しました。 前編はこちら→http://www.slideshare.net/x1ichi/spark-47265009?qid=75406dab-5016-4a0e-ba9a-772265434480
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Destaque
Destaque (20)
Semelhante a QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Semelhante a QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」 (20)
Último
Último (8)
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
- 2. Introduction ■ 所属: SAT (Scientific Advertising Team) ■ 職業: Data Scientist ■ 最近気になる技術: ■ Apache Spark ■ Presto.io ■ React.js 2
- 5. アドテクにおける データサイエンティスト ■ ビッグデータとの格闘 ■ 数億レコード/日のデータ量 ■ 多種多様なデータ (impressions, users, conversions etc..) ! ■ ビジネスの意思決定スピード ■ 意思決定を支援することが非常に重要 ■ 正確かつ素早いデータ分析が求められる 5
- 7. Agenda ■ MLlib ■ Spark SQL ■ DataFrame 7 Spark SQL Spark Streaming MLlib (machine learning) GraphX (graph) Apache Spark
- 8. MLlib
- 10. MLlib ■ Sparkのエコシステムの中の機械学習ライブラリ ■ Statistics ■ Classification ■ Regression ■ Tree ■ Clustering ■ Recommendation ■ Feature ■ Evaluation ■ etc... 10
- 11. ■ User ItemのRating情報からレコメンド Case1: 推薦アルゴリズム 11 Item A Item B Item C Item D Item E Item F User A 4.0 3.0 User B 1.0 2.0 User C 3.0 5.0 3.0 User D 4.0 4.0 Q. UserにどのItemを推薦するのが良いか？
- 12. Case1: 推薦アルゴリズム 12 User A, Item B, 4.0 User A, Item E, 3.0 User B, Item C, 1.0 ・ ・ ・ Text File (Train) Rating(User, Item, Rating) Rating(User, Item, Rating) Rating(User, Item, Rating) ・ ・ ・ RDD Array(User, Item) Array(User, Item) Array(User, Item) ・ ・ ・ RDD ALS train MLlib ALS predict User A, Item A User A, Item C User A, Item F Text File (Test) Model Load User A, Item A, 4.0 User A, Item C, 0.0 User A, Item F, 1.0 Result train test New Feature!
- 13. Case2: トピックモデル 13 ■ ある文章を各単語に与えられたトピックで表現 ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ Topic A Topic B 学生 システム 授業 機能 大学 開発 学科 データ 0 2 3 5 6 学生 授業 大学 学科 システム 機能 開発 データ トピックモデル ※上の単語ほどトピックの 意味を強く表現 ある文章の単語の出現頻度 Topic Bに分類
- 14. Case2: トピックモデル 14 ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ ̶̶ MLlib 0 2 4 5 7 A B C D E F G H I0 2 4 5 7 A B C D E F G H I0 2 4 5 7 A B C D E F G H I0 2 4 5 7 A B C D E F G H I0 2 4 5 7 A B C D E F G H I LDA (Latent Dirichlet Allocation) TF-IDF (重要語抽出) + WordCount 各単語の出現頻度 0% 8% 15% 23% 30% A B C D E F G H I 0% 13% 25% 38% 50% A B C D E F G H I トピックA トピックB ・ ・ ・ 文章群 New Feature!
- 15. MLlibのこれから ■ Deep Learning ■ Neural Network ■ Auto Encoder, RBM etc... ■ Streaming ML ■ LogisticRegression (Released in 1.3.1) 15
- 16. Spark SQL
- 18. Spark SQL ■ データサイエンティストのボトルネックはETL ■ ETL (Extract, Transform, Load) ■ 散らばった大規模データを収集, 利用する形に加工 ! ■ Spark SQL ■ 複数のリソースに接続可能 ■ 取得したデータをそのままMLlibなどに使える 18
- 19. Data Sources ■ RDD (TextFile, HDFS, AWS S3) ■ JSON Files ■ Parquet Files ■ Hive Tables ■ JDBC / ODBC (New Feature!) 19
- 20. SchemeRDD ■ RDD[Row] ■ RDDの各要素がテーブルの行 ■ Scheme名とDataTypeをプロパティとして所持 ■ 通常のRDDの機能に加えてクエリの機能を追加 20
- 21. Query SchemeRDD ■ registerTable()によりテーブルを登録 ■ クエリは基本的なSQLに対応 21 val user = sqlContext.jsonFile( user.json ) user.registerTable( users ) val result: SchemeRDD = sqlContext.sql( SELECT name FROM users WHERE age >= 20 )
- 22. DataFrame
- 24. DataFrame ■ データサイエンティスト待望の機能 ■ SchemeRDD ( 1.2) => DataFrame (1.3 ) ■ パフォーマンスもRDDでの処理より高速 ■ Python => pandas, R => DataFrame ■ 従来の分析環境に慣れている人の移行コスト減 24
- 25. Query DataFrame ■ 取得してきたデータをそのまま加工 ■ メソッド(filter, groupby, agg, etc…)チェーンして いくことで柔軟に必要なデータを取得 ■ UDF(User Defined Functions)も自ら実装可能 25 val result = user.filter( age >= 20 )
- 26. Pandasとの連携 ■ 多くのデータサイエンティストに利用されている pandas.DataFrameに変換可能(逆も可) ビッグデータ => spark.sql.DataFrame スモールデータ => pandas.DataFrame 26 pandas_df = df.toPandas()
- 27. Conclusion
- 28. Data Platform 28 Extract, Transform, Load DataFrame Spark SQL Streaming Analysis, Learning MLlib GraphX Python R Data Sources
- 29. Summary ! ■ Apache Sparkは大規模データを高速にETLから 分析まで可能な次世代分析基盤 ! ■ 1.3.0のリリースで既存のデータサイエンティストの 移行コストが大幅に減少 29