1. Oracle Coherence勉強会 2011/02/22 @making

2. Contents 概要説明 Oracle Coherenceとは 分散キャッシュを用いたアーキテクチャ例 キャッシュの仕組み ハンズオン Coherenceインストール Oracle Coherenceにアクセス Coherence APIを使用してJavaからアクセス Java Beansのキャッシュ キャッシュデータの検索・集計処理 CohQL (Coherence Query Language)

3. 概要説明

4. Oracle Coherenceとは クライアント インメモリデータグリッド 複数サーバに渡る分散キャッシュ キャッシュ以外の機能 クエリ機能 イベントリスナ機能 データ処理のパラレル実行機能 Javaベース 実体はJavaクラスライブラリ coherence.jarがあれば動く クライアントはJava/C++/.NET 利用目的 スケーラブルなシステム構築 DBボトルネックの解消 類似製品 IBM WebSphereeXtremeScale (IBM) Gemstone Gemfire (SpringSource) EhCache (Teracotta) Coherenceデータグリッド WEBサービス データベース

5. 分散キャッシュ 複数のJVMでクラスタ形成 データを分散して配置 透過的なデータアクセス クライアント B C A JVM JVM JVM A B C

6. Map型インタフェース java.util.Mapを継承したkey/valueインタフェース NamedCachecache = CacheFactory.getCache("person"); Person p1 = (Person) cache.get(key1); cache.put(key2, p2);

7. データグリッドを用いる場合の基本的なアーキテクチャ 従来型 データグリッド クライアント クライアント APサーバ APサーバ APサーバ APサーバ 個別データ 個別データ 個別データ 個別データ 共通データ 共通データ キャッシュサーバ キャッシュサーバ キャッシュサーバ 共通データ データベース データベース 永続化データ 永続化データ

8. 基本的な適用パターン例 大量のマスタデータのキャッシュする 大量のHTTPセッションを扱う

9. パターン1：大量のマスタデータのキャッシュ 従来 APサーバ APサーバ マスタデータ マスタデータ データ読み込み データ読み込み 起動時に全部読み込む データベース

10. パターン1：大量のマスタデータのキャッシュ データグリッド APサーバ APサーバ マスタデータ マスタデータ データ読み込み データ読み込み 必要な時に読み込む キャッシュサーバ キャッシュサーバ マスタデータ 起動時に全部読み込む データベース データ読み込み

11. パターン1：大量のマスタデータのキャッシュ データグリッド APサーバ APサーバ マスタデータ マスタデータ データ読み込み データ読み込み キャッシュサーバ キャッシュサーバ マスタデータ データが増えたら… データベース データ読み込み

12. パターン1：大量のマスタデータのキャッシュ データグリッド APサーバ APサーバ マスタデータ マスタデータ スケールアウトで 容量増加 データ読み込み データ読み込み キャッシュサーバ キャッシュサーバ キャッシュサーバ マスタデータ データベース データ読み込み

13. パターン2：大量のHTTPセッション 従来 メモリはスケールしない セッションレプリケーションがネックであまりスケールしない APサーバ APサーバ スケール小 セッション管理 セッション管理 レプリケーション

14. パターン2：大量のHTTPセッション データグリッド APサーバ APサーバ スケール大 キャッシュサーバ キャッシュサーバ マスタデータ

15. パターン2：大量のHTTPセッション データグリッド APサーバ APサーバ スケール大 キャッシュサーバ キャッシュサーバ キャッシュサーバ マスタデータ

16. パターン2：大量のHTTPセッション データグリッド APサーバ APサーバ スケール大 キャッシュサーバ キャッシュサーバ キャッシュサーバ フェールオーバ マスタデータ

17. Coherenceが提供するキャッシュ方式 レプリケーションキャッシュ 全てのキャッシュアイテムが全ノードに複製される パーティションキャッシュ 複数のノードに分散してキャッシュする ニアキャッシュ(次回) 二層混成キャッシュ(フロント：ローカルキャッシュ、バック：パーティションキャッシュ) 以降「ITアーキテクト Vol.22」の内容を改編して説明

18. レプリケーションキャッシュ 全てのキャッシュアイテムがグリッド内のすべてのノードに複製される ->書き込み性能は設定次第(レプリケーションの同期をとるか、非同期にするか) アプリケーションと同一のプロセス内にキャッシュ領域を作成 ->読み込みは遅延時間0なので速い

19. レプリケーションキャッシュの読み込み 読み取りはプロセス内で完結 キャッシュノード1 キャッシュノード2 キャッシュノード3 アプリケーション アプリケーション アプリケーション A B A B A B C D C D C D

20. レプリケーションキャッシュの書き込み 書き込みは他のノードへ レプリケート キャッシュノード1 キャッシュノード2 キャッシュノード3 アプリケーション アプリケーション アプリケーション A B A B A B C D C D C D

21. パーティションキャッシュ 各ノードに分散して保存 通常アプリケーションと別プロセス内にキャッシュ領域を作成する 読み込みはあるノードからネットワーク経由で行う 書き込みはプライマリデータとバックアップデータをそれぞれ別のノードにネットワーク経由で行う バックアップ数は変更可能であるが1が推奨値

22. パーティションキャッシュの読み込み 読み取りは1往復の ネットワークアクセス アプリケーション アプリケーション キャッシュノード1 キャッシュノード2 キャッシュノード3 P P P A C D B B A C D B B B P…プライマリデータ、B…バックアップデータ

23. パーティションキャッシュの書き込み 書き込みは2往復の ネットワークアクセス アプリケーション アプリケーション キャッシュノード1 キャッシュノード2 キャッシュノード3 P P P A C D B B A C D B B B P…プライマリデータ、B…バックアップデータ

24. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード1 キャッシュノード2 キャッシュノード3 P P P A C D B B A C D B B B P…プライマリデータ、B…バックアップデータ

25. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード2 キャッシュノード3 P P C B B A D B B P…プライマリデータ、B…バックアップデータ

26. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード2 キャッシュノード3 P P バックアップが プライマリに昇格 C B A D B A D B B P…プライマリデータ、B…バックアップデータ

27. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード2 キャッシュノード3 P P バックアップが プライマリに昇格 C B A D B B B P…プライマリデータ、B…バックアップデータ

28. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード2 キャッシュノード3 P P プライマリから バックアップを作成 C B A D C B D A B B P…プライマリデータ、B…バックアップデータ

29. パーティションキャッシュのリカバリ アプリケーション アプリケーション キャッシュノード2 キャッシュノード3 P P C B A D C B D A B B P…プライマリデータ、B…バックアップデータ

30. パーティションキャッシュのノード追加 アプリケーション アプリケーション キャッシュノード1 キャッシュノード2 キャッシュノード3 キャッシュノード4 P P P P A C D B B A C D B B B B P…プライマリデータ、B…バックアップデータ

31. パーティションキャッシュのノード追加 アプリケーション アプリケーション 再パーティショニング キャッシュノード1 キャッシュノード2 キャッシュノード3 キャッシュノード4 P P P P D A C D B B A C D B B B B B P…プライマリデータ、B…バックアップデータ

32. パーティションキャッシュのノード追加 キャッシュ容量を 追加できる アプリケーション アプリケーション キャッシュノード1 キャッシュノード2 キャッシュノード3 キャッシュノード4 P P P P D A C B A C D B B B B B P…プライマリデータ、B…バックアップデータ

33. レプリケーションキャッシュとパーティションキャッシュの比較

34. ハンズオンではパーティションキャッシュを使用します

35. ハンズオン

36. 資材 coherence-handsonフォルダで mvneclipse:eclipse 要maven設定(proxy, Eclipseのクラスパス変数M2_REPO) Eclipseからインポート 別テキストをベースに進める

37. Oracle Coherenceインストール http://www.oracle.com/technetwork/middleware/coherence/downloads/index.html 「Oracle Coherence for Java Version 3.6.1」をクリックしてダウンロードして展開 展開したディレクトリを環境変数COHERENCE_HOMEに設定 JAVA_HOMEが未設定の場合は設定

38. キャッシュサーバー起動 %coherence_home%inache-server.batを実行

39. クラスタのメンバ情報

40. プライベートクラスタ作成 同一ネットワーク上でCoherenceサーバを立ち上げると、デフォルト設定で同じマルチキャストアドレスとポートを使用するので、同一クラスタに参加してしまう (回避策1)マルチキャストアドレス/ポートを変更 -Dtangosol.coherence.clusteraddress=224.0.0.7 -Dtangosol.coherence.clusterport=33333 (回避策2)TTLを0にする -Dtangosol.coherence.ttl=0 ↑のJVM起動オプションをcache-server.batやcoherence.batのjava_optsに設定 設定ファイルで設定することも可能

41. 今回は TTL=0の設定を設定ファイルに記述 クラスパス上にtangosol-coherence-override.xmlを作成し、%coherence_home%ib上に置く。 cache-server.batとcoherence.batのjavaコマンドの-cpを“%coherence_home%ib;%coherence_home%iboherence.jar”に変更

42. 設定内容 tangosol-coherence-override.xmlに以下の設定を記述 <coherence> <cluster-config> <multicast-listener> <!-- TTLの設定 --> <time-to-live>0</time-to-live> <!-- 既存のクラスタの確認をあきらめ新しいクラスタを開始するまでの時間 --> <join-timeout-milliseconds>1000</join-timeout-milliseconds> </multicast-listener> </cluster-config> </coherence>

43. キャッシュサーバーをもう一度起動 設定ファイルが上書きされていることを確認 TTL=0になっていることを確認

44. コマンドラインからデータグリッドにアクセス coherence.batを実行 Map (?): cache test Map (test): put 1 One Map (test): get 1 One Map (test): put 2 Two Map (test): list 1 = One 2 = Two

45. Javaからデータグリッドにアクセス 新規のNamedCacheを作成 java.util.Mapを拡張しているので操作がわかりやすい 作成したNamedCacheへオブジェy九とのputとget

46. 簡単なサンプル packagehandson.coherence.lab3; importcom.tangosol.net.CacheFactory; importcom.tangosol.net.NamedCache; publicclassMyFirstSample { publicstaticvoid main(String[] args) { NamedCachecache = CacheFactory.getCache("mycache"); cache.put("Name", "Taro Yamada"); System.out.println("Value in cache is " + cache.get("Name")); } }

47. Java Beansのキャッシュ 2種類の方式 java.io.Serializableインタフェースを実装する方法 Portable Object Format(POF)を実装する方法 POFはC++/.NET間でも利用可能な上、高速かつ低容量なシリアライゼーション機構 ただし、実装がやや面倒かつ、POF構成ファイルへの登録が必要

48. SerializableとPOFの比較例 Coherenceを使う場合、POFを用いるのが推奨されている

49. java.util.Serializableを実装する方法 hashCode/equalsを実装すること EclipseでAlt+Shift+S -> H デフォルトコンストラクタを作成すること

50. POFを実装する方法 com.tangosol.io.pof.PortableObjectを実装する java.util.Serializableの条件に加えて readExternal(PofReader), writeExternal(PofWriter)を実装 @Override publicvoidreadExternal(PofReaderreader) throwsIOException { id = reader.readInt(0); surname = reader.readString(1); firstname = reader.readString(2); address = reader.readString(3); age = reader.readInt(4); gender = reader.readString(5); } @Override publicvoidwriteExternal(PofWriterwriter) throwsIOException { writer.writeInt(0, id); writer.writeString(1, surname); writer.writeString(2, firstname); writer.writeString(3, address); writer.writeInt(4, age); writer.writeString(5, gender); }

51. POF構成ファイルの設定 間に合いませんでしたm(_ _)m 口頭で説明します

52. 検索集計処理 間に合いませんでしたm(_ _)m 口頭で説明します

53. CohQL 間に合いませんでしたm(_ _)m 口頭で説明します

54. 次回予定 キャッシュの構造(キャッシュトポロジ、バッキングマップ) キャッシュデータの更新検知 エントリプロセッサによる複数キャッシュデータ同時並行処理 複合キーとデータアフィニティ インボケーションサービスによる非同期処理 Spring連携 永続化層の実装(JPA/SpringJDBC連携)

55. 参考書籍 ITアーキテクト Vol.22 Oracle Coherence入門(アスキー・メディアワークス)