事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11

4. ® © 2015 MapR Technologies 4 Web アプリケーションの進化 Web 1.0 Web 2.0 メモリディスクランダムIO Write Read Write Read Write Read memcached Coherence RDBMS ディスクシーケンシャルIO RDBMS メモリテーブル書き込みログ・テーブルファイル BigData 時代の Webアプリアクセス速度

6. ® © 2015 MapR Technologies 6 NoSQL の系譜 Google FileSystem Google MapReduce Google BigTable Apache Hadoop HyperTable Apache HBase Facebook Cassandra Amazon S3 Amazon Dynamo Amazon SimpleDB LinkedIn Voldemort

9. ® © 2015 MapR Technologies 9 NoSQL と RDBMS におけるインデックス方式の比較 • LSM (Log Structured Merge) Tree – NoSQL でよく使われるインデックス構造 – メモリ上のデータ構造を効率よくシーケンシャルディスク IO に変換する – 時間の経過とともに Read 性能が落ちてくるためコンパクション（データファイルの再構築）が必要になり、その際高い IO 負荷がかかる – Write が低遅延で安定する一方、Read 性能の振れ幅が大きい • B+Tree – RDBMS で使われるインデックス構造 – Write に高いコスト（処理時間, IO負荷）がかかる一方、Read が非常に早い

11. ® © 2015 MapR Technologies 11 HBase アーキテクチャが優れている点 • 強い一貫性モデル – 書き込み完了後、すべての読み出しは同じ値になることを保証 – 他のNoSQLの「Eventually Consistent」は、実際にはときどき「Eventually Inconsistent」に • 効率の良いスキャン – ブロードキャストを行わない – Ring ベースの NoSQL データベース (例: Cassandra, Riak) はスキャンが大変 • 自動的にスケール – Regionが大きくなると自動で分割される – データ分散や格納スペースの管理に HDFS を利用 • Hadoop との連携 – HBase のデータをMapReduce で直接処理できる

13. ® © 2015 MapR Technologies 13 先進ユーザの課題 • ビジネス上の課題 – ユースケースの増加: 不正検知、レコメンデーション、レポーティング – 既存のRDBMSを基盤としたアーキテクチャの拡張ではコストに見合わない – 応答性が悪い: リアルタイムの異常検知や、インタラクティブ/大規模 /SaaSベースのデータ配信 • 技術的な課題 – RDBMSテクノロジの性能・スケーラビリティの限界 – 既存の NoSQL データベースが技術的にフィットする領域は意外に少ない • 性能、データ一貫性、運用管理 – クラスタを分離することの弊害 • ネットワークトラフィック • 最新のデータが利用できない • 複雑さが原因の障害リスク • データの二重持ち

15. ® © 2015 MapR Technologies 15 MapR-DB の特徴 1. 分析とオペレーションを統合できる単一プラットフォーム 2. エンタープライズグレードの運用管理 3. 高い性能、スケーラビリティ 4. コンパクションの単位が細かいのでコンパクションの影響が少ない 5. インデックスの方式(LSM-Tree と B+Treeのいいとこどり) 6. ファイルシステムと統合する事でリージョンサーバ・マスターサーバが不要に

17. ® © 2015 MapR Technologies 17 ファイルとテーブルの管理理を統合 $ pwd /mapr/default/user/dave $ ls file1 file2 table1 table2 $ hbase shell hbase(main):003:0> create '/user/dave/table3', 'cf1', 'cf2', 'cf3' 0 row(s) in 0.1570 seconds $ ls file1 file2 table1 table2 table3 $ hadoop fs -‐ls /user/dave Found 5 items -‐rw-‐r-‐-‐r-‐-‐ 3 mapr mapr 16 2012-‐09-‐28 08:34 /user/dave/file1 -‐rw-‐r-‐-‐r-‐-‐ 3 mapr mapr 22 2012-‐09-‐28 08:34 /user/dave/file2 trwxr-‐xr-‐x 3 mapr mapr 2 2012-‐09-‐28 08:32 /user/dave/table1 trwxr-‐xr-‐x 3 mapr mapr 2 2012-‐09-‐28 08:33 /user/dave/table2 trwxr-‐xr-‐x 3 mapr mapr 2 2012-‐09-‐28 08:38 /user/dave/table3

19. ® © 2015 MapR Technologies 19 HBase と MapR-DB MapR-DB HBase CAP CP CP データ分散シャーディングシャーディングデータモデル列指向列指向ストレージ MicroWAL+MapRコンテナ WAL+MemStore+HFile コンパクションによる停止なしあり（影響大）単一障害点なしなしロック単位行行最大テーブル数無制限 100 最大カラムファミリ数 64 3程度ノード障害時のアクセス瞬時に別ノードに切り替え別ノードに移動するまで待ち

22. ® © 2015 MapR Technologies 22 Aadhaar とは • インド国民のためのマイナンバー制度 • 指紋、網膜スキャン、顔画像を登録 • １日あたり約2000万のバイオメトリク情報が登録される。(160万人 x 12バイオメトリクス) • 8箇所のデータセンターに分散 • 高いパフォーマンス要件 • 絶対にデータは失ってはならない • 2015年現在で約6億人が登録

23. ® © 2015 MapR Technologies 23 Aadhaar システムゴール • 全ての住民にIDを付与する – 重複は許されないためバイオメトリクス情報を採用 • 登録 – 複数のバイオメトリクス情報(指紋, 網膜) – 12桁のユニークな Aadhaar number が割り当てられる • 認証 – 本人確認 – 認証は速くなければならない (数百万の同時検索をサポートしながら、100ミリ秒のレイテンシを満たす) • 非同期レプリケーション – 複数のデータセンタをまたがり、HBase上のデータを更新

24. Template Tables Audit Tables Auth, BFD, OTP Auth Data Server FMS, Portals Template Tables Audit Tables Auth, BFD, OTP FMS, Portals B Data Center A Data Center Read Read Write Write Read Read Write S y n c S y n c Aadhaar システムアーキテクチャ概要

25. ® © 2015 MapR Technologies 25 Apache Hadoopでは満たせなかった機能 • データセンター間でレプリケーションをするとデータに矛盾が生じた • Hadoop クラスタのレスポンスが遅いことに加え、Tasktracker が頻繁にブラックリストに登録された • DR運用に課題があった • リージョンサーバが良く落ちた • 高い可用性要求を NameNode と JobTracker が満たせなかった • 簡単なアップグレードの手法が必要だった • 管理のオーバーヘッドを最小限にする必要があった。 (ノード管理やミラーリング、スナップショット)

29. ® © 2015 MapR Technologies 29 MapR-‐‑‒DB 利利⽤用時の構成データ収集データ蓄積データ検索索照会対応呼情報検索索位置情報分析収集収集 MapR−DB • ユーザプロファイル・ステータス • ユーザのインタラクション • リアルタイム位置情報 • Web およびモバイルセッション・ MapR-DB を使う事でETLが不要に・高いスケーラビリティ・安定した高い書き込み性能(1秒間に数百万件のインサートへの対応) FTP FTP NFS NFS

31. ® © 2015 MapR Technologies 31 Elasticsearch にリアルタイムでインデクシングアプリケーションストリーミング (Storm, Spark Streaming) アドホック (Drill, Impala, Presto, ...) MapR Data Platform DISTRIBUTION INCLUDING HADOOP MapR-DB クリックストリームバッチ (MR, Spark, Hive, Pig, …) WEB リアルタイムレコメンドデータソース MapR-FS 顧客トランザクション購買情報コールセンター顧客サポート Data Access 可視化分析分析

32. ® © 2015 MapR Technologies 32 Traditional vs. Real-Time Search Indexing Traditional NoSQL Applications HBase API Elasticsearch API HBase Elasticsearch Batch indexing HBase API MapR-DB Updates Real-time indexing Updates Searches MapR-DB/Elasticsearch をリアルタイムにインデックスを生成 • データの更新はデータストアと検索インデックスの整合性を保証 • インデックス作成に追加開発の必要はない HBase/Elasticsearch はバッチ処理でインデックスを生成 • ユーザはデータを探すまでに遅延が発生する • インデックス作成には追加開発が必要 Real-Time NoSQL Applications

33. ® © 2015 MapR Technologies 33 データ分析基盤 MapRがデータ分析基盤を最適化データソース販売・顧客系データ自動販売機、配送経路データ LOG FILES, CLICKSTREAMS SENSORS BLOGS, TWEETS, SNS DATA WAREHOUSE Data Movement Data Access 検索スキーマレスデータ探索 BI, BA Ad-hoc integrated analytics ETL / 統合 Recommendation 不正検知 (Fraud Detection) 物流最適化機械学習 MAPR DISTRIBUTION FOR HADOOP ストリーム (Spark Streaming, Storm) MapR Data Platform MapR-DB MAPR DISTRIBUTION FOR HADOOP バッチ (MapReduce, Spark, Hive, Pig) MapR-FS アドホック (Drill, Impala) 業務アプリケーション分析

事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11

事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados(20)

Destaque

Destaque(20)

Similar a 事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11

Similar a 事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11(20)

Mais de MapR Technologies Japan

Mais de MapR Technologies Japan(20)

事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11