1. NoSQLと
ビッグデータ入門編
at eXtream HAGO 3(みーち)
2012/03/03 @k_nishijima / 西島 幸一郎

2. 自己紹介
西島 幸一郎 / にしじま こういちろう
twitter : @k_nishijima
とある会社のCTOをやってます。基本はJavaな人。
主戦場はBigData系 / MapReduceとか、Cassandraとか。。。
ダイビング好きが高じて2011年9月頭に沖縄に移住してきました
JAWS−UG沖縄の副代表、やらせて頂いてます

3. よく耳にするNoSQLって何？
諸説ありますが、現状のコンセンサスは
「Not only SQL」 = 「SQLだけじゃない！」
の略であるということで意見が一致。
※この辺の紆余曲折は http://www.publickey1.jp/blog/09/nosqlnot_only_sql.html
が詳しいです。
SQLを使わないデータベースシステムの実装だったり、
そのような実装を利用したシステムを構築するときに、
「NoSQLデータベースを使おう」などと言ったりします。
なので、特定の実装を指す単語ではなく、
製品群、もしくは考え方を示す単語になります。

4. 実装は多数あります
以下、本資料では @yutuki_r さんが第10回Cassandra勉強会に
て発表したスライドから図をパクｒ^h^h^h流用させてもらっていま
す。かなりいい資料なので一読をおすすめします！
http://www.slideshare.net/yutuki/cassandrah-baseno-sql

5. 実装は多数あります
実装にキーとそれに紐づく値を格納する方式を取るものが多い
ため、そのようなNoSQL実装のことをKVS（キーバリューストア）
などとも言います。

6. NoSQLの存在意義
『SQLチョーベンリなのに
使わない意味が全然わかんない』
はい、アナタは大変正しいです。
RelationalDataBaseとSQLが
カバーできる問題領域は大変広く
ほとんどの場合は事足ります。

7. NoSQLの存在意義
では、RDBがカバーできない問題領域とはなに
か？
例えば
● データを正規化せずとも柔軟なスキーマで保存すること
（JSONとか、連想配列まるごと保存、みたいな）
● とてつもなく高速/大量の書き込み/読み込みへの対応
● 大規模なデータセンター分割への対応
など、ちょっと違った視点からデータベースを見て
みると、なるほど苦手な問題領域もあったりしま
す。

8. ブリュワーのCAP定理
どんなシステムデザインにも言えることですが、
全ては「何を捨てて、何を取るか」の問題。
※これ、最近の教科書には出てるのかな？

9. ブリュワーのCAP定理
Consistency = 一貫性
Availability = 可用性
Partition-tolerance = ネットワーク分断耐性

10. ブリュワーのCAP定理
Consistency = 一貫性
どのような状況でも、例えばサーバが１０００台あっ
ても、どのサーバにあるデータに付いて問い合わ
せたら、必ず一貫性のあるデータが返ってくるこ
と。

11. ブリュワーのCAP定理
Availability = 可用性
バルスに耐えるtwitterの様に、
何があっても常に利用できること。
（普通のRDBで25088write/secに耐えられるか？）

12. ブリュワーのCAP定理
Partition-tolerance = ネットワーク分断耐性
よく「分散できること」と思っている人がいますがこれは誤り。
ネットワークに障害が起こっても、出来る範囲で正しく応答しよう
とする能力、の事です。

13. RDBはACID特性を満たす
トランザクションを提供する
故に高い一貫性を持ちますが、
一般にネットワーク分断耐性は低い = CA型。
（勿論、お金をたっぷりかければ可能です）

14. じゃあ、どっち取る？
それによって、各プロダクトの特色が出てきます。
● Google BigTable
● Amazon Dynamo
● Apache Cassandra
● Apache HBase
※ビッグデータのバズワード
生みの親Hadoopプロジェクト

15. Google BigTable
Webのクロールとインデックシング（ページランク作成の
MapReduceなど）に利用されてい[る|た]。
（未公開ゆえ２００６年公開の論文などから推測ですが）
今ではGoogleAppEngineから利用可能。
GAEから利用できるBigTableは、一貫性を担保する範囲を「限
定的」とし、高い可用性と分断耐性を持つAP型
Consistency = 一貫性
Availability = 可用性
Partition-tolerance = ネットワーク分断耐性

16. Amazon Dynamo
自社のコマースサイト向けに作られたと言われている実装で、
２００７年に論文が公開。
そのノウハウをつぎ込み、２０１２年１月にAmazon DynamoDBと
してサービス提供開始。Kindle Fireのバックエンドにも使われて
いるとのこと。
一貫性を利用するユーザが選択可能（強一貫性も指定できる
が料金が2倍！）とし、高い可用性とネットワーク分断耐性を保
つ（ハズ）のAP型
Consistency = 一貫性
Availability = 可用性
Partition-tolerance = ネットワーク分断耐性

17. Apache
元々Facebookのメッセージボックス検索のために開発された
ものを、２００８年にオープンソース化。
マスタノードが必要なく、例えネットワークが分断されても
動作し続け読み書きが可能
（勿論場合によっては読み込み不可の場合もある）。
合言葉は「eventually consistency」＝結果整合性！
一貫性を利用するユーザが選択可能とし、高い可用性とネット
ワーク分断耐性を保つAP型
Consistency = 一貫性
Availability = 可用性
Partition-tolerance = ネットワーク分断耐性

18. Apache
GoogleのBigTableをモデルに実装された列指向分散データ
ベース。
現在はHadoopプロジェクトの一部だが、色々あるらしい。。。
高い一貫性とネットワーク分断耐性を持つが、SPoFが存在する
ため可用性には劣るCP型
Consistency = 一貫性
Availability = 可用性
Partition-tolerance = ネットワーク分断耐性

19. 最近のトレンドは
Consistency = 一貫性をどう扱うか、にフォーカスが
当たってるような気がしますね。
他にも
● どうやってデータを分散させるの？
= Consistent Hashingとか
● そもそもキーとバリューでどうやってデータ取り出すの？
= じゃあsecondery index使おうか、とか
● データモデリングはどうするの？
などなど、話のネタは付きませんが以下次号。。。

20. まとめ
取りあえず @yutuki_r さんの
http://www.slideshare.net/yutuki/cassandrah-baseno-sql
を読めば一発です。
BigDataに興味のある人、そもそもMapReduceってなに？とか、
プロダクトとしてのApache Cassandraに興味がある人は
@k_nishijima までコンタクトください。
ご要望があれば勉強会でも何でも開いちゃいます。