More Related Content
Similar to Mongo db勉強会の補足
Similar to Mongo db勉強会の補足 (20)
More from CROOZ, inc. (15)
Mongo db勉強会の補足
- 5. MongoDB Wire Protocol
Cの構造体ライクのデータを作成してソケットに流す。
struct OP_UPDATE {
MsgHeader header; // standard message header
int32 ZERO; // 0 - reserved for future use
cstring fullCollectionName; // "dbname.collectionname“
int32 flags; // bit vector.
document selector; // the query to select the document
document update; // specification of the update to perform
}
• ここでのdocument型はBSONオブジェクト。JSONをBSONに予
め変換して送信する。
• 基本的な機能しかサポートされていないため、書き込み確認など
は自前ハンドリングする必要がある。
© CROOZ,Inc
5
- 16. MongoDB Connector for Hadoop
• Hadoop用MongoDBコネクタはHadoopのプラグインで、Mongoを
Hadoopのデータソースあるいは出力先にできる。
• HadoopとMongoDBの連携は以下の用途が考えられる。
– MongoDB組み込みMapReduce機能の代替。
バッチ処理等でMongoのデータをHadoop処理ノードにロードし、処理完了後
Mongoのコレクションに格納する。
– データウェアハウス
データウェアハウスとしてのHadoopのデータソースの一つとしてMongoDBを
利
用する。
– ETLデータ
MongoDBからHadoopを経由して、データを変換整形して、他のDBに格納する。
© CROOZ,Inc
16