実務で役立つデータベースの活用法

1. 実務で役立つ！データベースの活用法オープンセミナー2015＠香川

2. What is it? データベースは何を基準に選んでますか？

3. What is it? 利用するデータベースを正しく選ぶことはプロジェクトの成功にとても大切です

4. What is it? しかし、時代は大NOSQL時代

5. What is it? RDBすら多いのに… NOSQLって何よ… どれがいいのよ…

8. What is it? そう言ったお悩みに種類別データベースの活用方法を今日は発表します

9. What is it? ただしチューニングやDB設計の話は今日はしません

10. What is it? 主にデータベースの選び方の話です

11. What is it? 正しいDB選択で未来の自分を助ける方法を説明します

12. あじぇんだ１自己紹介２データベースの種類と特徴３データベースの選び方４まとめ

14. 自己紹介名前：曽根壮大（そねたけとも）年齢：３０歳（三人の子供がいます）職業：Webエンジニア所属：日本PostgreSQLユーザ会中国支部支部長技術的にはLL系言語とかRDBが好きです

15. https://dbstudychugoku.github.io/

17. データベースの種類と特徴 RDBとNOSQL

18. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph

20. データベースの種類と特徴 RDB リレーショナルデータモデルの理論に基づいたDBMSで現在もっとも広く使われているデータベースシステム

21. データベースの種類と特徴 NOSQL（Not Only SQL） RDB以外のDBシステムの総称グラフデータモデルなどのリレーショナルモデル以外のサポートなどRDBが不得意な分野に特化している

22. データベースの種類と特徴 ACIDとCAP定理とBASE

23. データベースの種類と特徴 ACID

24. データベースの種類と特徴 ACID 関連する複数の処理を一つの処理単位にまとめて管理するトランザクション処理に求められる4つの特性

25. データベースの種類と特徴 ACID • 原子性（Atomicity） • 一貫性（Consistency） • 独立性（Isolation） • 永続性（Durability）

26. データベースの種類と特徴 ACID • 原子性（Atomicity） • 一貫性（Consistency） • 独立性（Isolation） • 永続性（Durability） Atomicity（原子性）とは、トランザクションに含まれる個々の手順が「すべて実行される」か「一つも実行されない」のどちらかの状態になるという性質

27. データベースの種類と特徴 ACID • 原子性（Atomicity） • 一貫性（Consistency） • 独立性（Isolation） • 永続性（Durability） Consistency（一貫性）とは、トランザクションの前後でデータの整合性が保たれ、矛盾の無い状態が継続される性質

28. データベースの種類と特徴 ACID • 原子性（Atomicity） • 一貫性（Consistency） • 独立性（Isolation） • 永続性（Durability） Isolation（独立性）とは、トランザクション実行中の処理過程が外部から隠され、他の処理などに影響を与えない性質

29. データベースの種類と特徴 ACID • 原子性（Atomicity） • 一貫性（Consistency） • 独立性（Isolation） • 永続性（Durability） Durability（永続性）とは、トランザクションが完了したら、その結果は記録され、失われることがないという性質

30. データベースの種類と特徴 CAP定理

31. データベースの種類と特徴 CAP定理 Webサービスを想定して作られた分散化データベースの定理全てを完璧に満たすことができず、いずれかに偏る形でしか出来ない

32. データベースの種類と特徴 CAP定理 • 整合性 (Consistency) • 可用性 (Availability) • 分断耐性 (Partitions)

33. データベースの種類と特徴 CAP定理 • 整合性 (Consistency) • 可用性 (Availability) • 分断耐性 (Partitions) 整合性 (Consistency)とは、全てのクライアントが常に同一のデータを見る性質

34. データベースの種類と特徴 CAP定理 • 整合性 (Consistency) • 可用性 (Availability) • 分断耐性 (Partitions) 可用性 (Availability)とは、全てのクライアントが読み出しと書き込みが出来る性質

35. データベースの種類と特徴 CAP定理 • 整合性 (Consistency) • 可用性 (Availability) • 分断耐性 (Partitions) 分断耐性 (Partitions)とは、物理ネットワークが分断されても間違った結果が発生しない性質

36. データベースの種類と特徴 A：可用性C：整合性 P：分断耐性

37. データベースの種類と特徴 A：可用性C：整合性 P：分断耐性 CA型 PostgreSQL、MySQLなど（RDB全般）

38. データベースの種類と特徴 A：可用性C：整合性 P：分断耐性 Dynamo、Cassandraなど AP型

39. データベースの種類と特徴 A：可用性C：整合性 P：分断耐性 MongoDB、Redisなど CP型

40. データベースの種類と特徴 BASE

41. データベースの種類と特徴 BASE 整合性(C)と分断耐性(P)を重視した場合はACIDを満たす必要があるしかし整合性(C)よりも可用性(A)と分断耐性(P)を重視する場合はBASEを満たす必要がある

42. データベースの種類と特徴 ACID(CP型)とBASE(AP型)

43. データベースの種類と特徴 BASE • Basically Available • Soft-State • Eventual Consistency

44. データベースの種類と特徴 BASE • Basically Available • Soft-State • Eventual Consistency どんな時でもアプリケーションが動く

45. データベースの種類と特徴 BASE • Basically Available • Soft-State • Eventual Consistency 常に整合性を保つ必要がない

46. データベースの種類と特徴 BASE • Basically Available • Soft-State • Eventual Consistency 結果として整合性が取れる状態に至る

47. データベースの種類と特徴アーキテクチャ

48. データベースの種類と特徴アーキテクチャ ↓ ACIDやBASEをどのように実現するか

49. データベースの種類と特徴アーキテクチャ ↓ マスタ型とP2P型

50. データベースの種類と特徴マスタ型マスタスレーブスレーブスレーブ

51. データベースの種類と特徴マスタ型 • RDB • MongoDB • Bigtable • HBase …など

52. データベースの種類と特徴 P2P型マスタマスタマスタマスタ

53. データベースの種類と特徴 P2P型 • Cassandra • Dynamo • Riak • Voldemort …など

54. データベースの種類と特徴データモデル

55. データベースの種類と特徴データモデル ↓ どのようなデータを扱うか

56. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …など

58. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …など RDBの元となるデータモデル集合と関連でデータを表現する

59. データベースの種類と特徴リレーショナル user_id name 1 hoge 2 fuga 3 bar 4 foo role_id name 1 開発部 2 営業部 3 運用部 4 総務部 user_id role_id 1 1 1 3 3 2 4 4

60. データベースの種類と特徴リレーショナル user_id name 1 hoge 2 fuga 3 bar 4 foo role_id name 1 開発部 2 営業部 3 運用部 4 総務部 user_id role_id 1 1 1 3 3 2 4 4 集合を定義する関係を定義する

62. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …など KeyとValueの組み合わせでデータを表現するシンプルな構造なのでスケールアウトに適している keyとvalueが1対1

63. データベースの種類と特徴キーバリュー key value 1 hoge 2 fuga 3 bar 4 foo 5 test 6 花子 7 一太郎 8 三四郎

64. データベースの種類と特徴キーバリュー key value 1 hoge 2 fuga 3 bar 4 foo 5 test 6 花子 7 一太郎 8 三四郎 1:1の関係を保持する

66. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …などキーバリュー型を拡張して行とカラムの概念を追加 RDBのテーブルに似ているがカラムは事前に定義しない keyに対してvalue（カラム）が1対多も可能

67. データベースの種類と特徴カラム指向 key name 所属所属2 年齢 1 hoge 開発運用 30 2 fuga 営業 25 3 bar 総務運用 22 4 foo 運用 35 5 test 開発 42 6 花子デザイン運用 25 7 一太郎ドキュメント開発 25 8 三四郎表計算総務 25

68. データベースの種類と特徴カラム指向 key name 所属所属2 年齢 1 hoge 開発運用 30 2 fuga 営業 25 3 bar 総務運用 22 4 foo 運用 35 5 test 開発 42 6 花子デザイン運用 25 7 一太郎ドキュメント開発 25 8 三四郎表計算総務 25 1:Nの関係を保持する

70. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …など階層構造を持たず、ドキュメントそのものを保持するドキュメントにはユニークなIDが振られるスキーマレスなので柔軟な変更が可能

71. データベースの種類と特徴ドキュメント指向 name : hoge role1 : 開発 role2 : 運用 age : 30 name : fuga role1 : 営業 from : 広島 age : 25 name : bar role1 : 総務

72. データベースの種類と特徴ドキュメント指向 name : hoge role1 : 開発 role2 : 運用 age : 30 name : fuga role1 : 営業 from : 広島 age : 25 name : bar role1 : 総務それぞれが独立したドキュメントドキュメントにはユニークなIDでアクセスが可能

73. データベースの種類と特徴ドキュメント指向 name : hoge role1 : 開発 role2 : 運用 age : 30 name : fuga role1 : 営業 from : 広島 age : 25 name : bar role1 : 総務それぞれが独立しているので自由な変更が可能

75. データベースの種類と特徴データモデル • リレーショナル • キーバリュー • カラム指向 • ドキュメント指向 …など他にもグラフ型やツリー型など多種多様にある

76. データベースの種類と特徴これらの組み合わせでデータベースの種類と特徴が決まる

79. データベースの選び方ドメインに合わせて選ぶ ACIDの必要性、CAP定理の条件でどれが必要か考えて選択肢を選ぶ

80. データベースの選び方 RDBは多くのデータに対応している

81. データベースの選び方しかしRDBは万能ではない

82. データベースの選び方 NOSQLは目的を絞り込んだDB

83. データベースの選び方まずはRDBで検討する ↓ その後、不足をNOSQLで補う

84. データベースの選び方 RDBで問題なければRDBのみ

85. データベースの選び方 RDBで問題なければRDBのみ ↓ 無理にNOSQLを使わない

86. データベースの選び方 RDBも要件によって選ぶ

87. データベースの選び方 SQL Server • 開発環境(VS,C#など)の連携が強力 • 標準的な機能の多くをサポート • GUIツールが便利

88. データベースの選び方 Oracle • Active - Activeな構成が可能(RAC) • 独自・標準的な多くの機能 • GUIやサードパーティが充実 • 強力なOracleサポートチーム(有償)

89. データベースの選び方 MySQL • レプリケーションが柔軟で強力 • 自動フェイルオーバー完備 • 高速なコネクション(multi Thread) • OSSなサードパーティが充実 • SSDと相性が良い

90. データベースの選び方 PostgreSQL • Oracleにも負けない豊富な機能 • 企業に属さない中立なOSS • コミュニティを含めたサポート • OSSなサードパーティが充実

91. データベースの選び方デメリットも見る

92. データベースの選び方 SQL Server • 商用なので有償 • スケールアウトが苦手 • MS以外の環境でメリットが少ない • CUIの連携が少ない

93. データベースの選び方 Oracle • 商用なので有償(しかも高い) • 行連鎖や行移行など設計が難しい • サードパーティが有償(しかも高い) • ORA-00600のトラウマ

94. データベースの選び方 MySQL • 実装されてない機能がある Window関数が無いマテビューがない等 • ギャップロック • 相関サブクエリが苦手(遅い)

95. データベースの選び方 PostgreSQL • 追記型の制約(VACUUM、HOT等) • SSDにしても劇的な高速化はしない • GUIが弱い(設定を含め、CUIベース) • デフォルトがdataチェックサム無効そもそも9.3以上の機能

96. データベースの選び方 RDBで解決できない問題

97. データベースの選び方 RDBで解決できない問題 ↓ それをNOSQLで解決する

98. データベースの選び方 RDB全般の問題 • 大量のデータを処理(ビックデータ) • DBの水平拡張(スケールアウト) • 多種多様なデータモデル対応

100. データベースの選び方大量のデータを処理 • テラやペタ級を処理 • それを高速に処理 • 結果を高速に表示 …など

102. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph 大量のデータから高速に結果を場合

103. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph 結果のみを高速に返す場合

104. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph 大量のデータを集計する場合

105. データベースの選び方大量のデータを処理 PaaS(クラウド)がマッチしやすい・BigQuery ・RedShift ・TreasureData

106. データベースの選び方高速に処理キャッシュのようにKVSを使う・Memcached ・DynamoDB ・Redis

108. データベースの選び方 DBの水平拡張(スケールアウト) • 参照の負荷分散 • 更新の負荷分散 • 可用性の確保 …など

109. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph RDBでも出来るが高速ではなかったり、サードパーティが必要だったりする

110. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph Dataは分散するが偏ったアクセスなどは分散しない場合も多い

111. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph MongoDBはマスタ型だか自動フェイルオーバーするので要件によってはマッチする

112. データベースの選び方 DBの水平拡張(スケールアウト) • RDBでも可能シャーディングやレプリケーション・負荷の予測と分散化が難しい・RDBよりも簡単にNOSQLで行う

113. データベースの選び方 DBの水平拡張(スケールアウト) • NOSQLは弱い整合性が多い(AP型) • データにリアルタイム性が不要な場合がにマッチする(履歴ログなど） • データの一貫性が不要な場合もマッチする(ブログなど)

116. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph JSONなど非構造化データを格納最近、PostgreSQLやMySQLも対応してきた領域

117. アーキテクチャーーーーーーーデータモデルマスタ型 P2P型その他リレーショナル RDB全般 pgpool2などキーバリュー Hibari Dynamo Riak Memcached Redis カラム指向 Bigtable HBase Cassandra ドキュメント指向 MongoDB CouchDB グラフ指向 Neo4J InﬁniteGraph グラフ型はRDBが苦手なデータモデルの最たる例 RDBでは難しいデータ構造の表現を可能にする

118. データベースの選び方多種多様なデータモデル対応 • リレーショナルモデルで表現出来ないデータ構造は無理しない無理に表現すると問題の原因になる • データモデルが違う場合、お互いのデータ利用にインターフェイスが必要多くの場合はプログラムが結合する

120. まとめデータの寿命はコードより長い

121. まとめ一度作ったデータは変更が難しい

122. まとめ一度作ったデータは変更が難しい ↓ ソフトウェアの選択が大事

123. まとめ長所と短所を把握する

124. まとめ長所と短所を把握する ↓ 苦手なことをさせない

125. まとめ ACIDとCAP定理で比較する＋データモデルと要件を比較する

126. まとめデータモデルとソフトウェアの特性を理解する

127. まとめリレーショナル・データベース

128. まとめリレーショナル・データベース ↓ グラフやツリーを表現させない

129. まとめ ACIDを担保してないNOSQL

130. まとめ ACIDを担保してないNOSQL ↓ お金の管理や集計をさせない

131. まとめインフラをデザインする ¦¦ 得意分野を組み合わせる

132. まとめ適切な設計は適切な拡張を生む

133. まとめ適切な設計は適切な拡張を生む ↓ Scale UpやScale Outを可能にする

134. まとめデータの寿命はコードより長い大事なことなので二回（ｒｙ

135. まとめオススメの書籍

136. まとめ

137. まとめ

138. まとめ

139. まとめもし現在のアプリケーションがRDBで上手く動いているのであれば、それをNOSQLに置換する理由は無いし、それを勧めたりはしない Nate McCall(@zznate)

140. ご静聴ありがとうございました。

実務で役立つデータベースの活用法

Soudai Sone

実務で役立つデータベースの活用法