![自己紹介
山河 征紀
ウルシステムズ株式会社
マネージングコンサルタント
{
“分野” ： ”金融系”,
“得技” ： [“分散処理”,
“インメモリー処理”],
“その他” ： ”サンデープログラマー”
“その他” ： ”Apache Geodeコミッター”
}](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 20190523 IMC meetup-IMDG&DS
Semelhante a 20190523 IMC meetup-IMDG&DS (20)
Mais de Masaki Yamakawa
Mais de Masaki Yamakawa (11)
Último
Último (8)
20190523 IMC meetup-IMDG&DS
- 1. インメモリーデータグリッドと分散処理 2019.5.23 Thu. In-memory Computing Meetup Vol.1 #imtech_jp
- 2. 自己紹介 山河 征紀 ウルシステムズ株式会社 マネージングコンサルタント { “分野” ： ”金融系”, “得技” ： [“分散処理”, “インメモリー処理”], “その他” ： ”サンデープログラマー” “その他” ： ”Apache Geodeコミッター” }
- 3. インメモリー処理はどれ？ 2 • 全部インメモリー処理だけど・・・ APP APP APP DB インメモリーDB DG 処理 処理 処理 ディスク キャッシュ インメモリーDB インメモリー処理 今日のトークテーマ！ キャッシュ
- 9. 使い方はとても簡単 • java.util.Mapを使用してる感覚でデータが分散される 8 Cache cache = new CacheFactory() .set("cache-xml-file", “cache.xml").create(); Region<Long, User> region = cache.getRegion(“Users"); Long userId = 1; User user = new User(…); // データ登録 region.put(userId, user); // データ取得 User value = region.get(userId); // データ削除 region.remove(userId); ※リージョンはRDBにおけるテーブルみたいなもの
- 13. データの分散を意図的行う場合の実装例 • キーオブジェクトでPartitionResolverを実装してリージョンの設定に指定する 12 public class OrderKey implements PartitionResolver { private Long userId; private Long orderId; … @Override public Serializable getRoutingObject(EntryOperation op) { return this.userId; } } <cache> <region name=“Orders“ refid="PARTITION"> <region-attributes> <partition-attributes redundant-copies="1"> <partition-resolver name=“OrderUserIdPartitionResolver"> <class-name>myPackage.OrderKey</class-name> </partition-resolver> </partition-attributes> </region-attributes> </region> </cache> リージョン設定キーオブジェクト実装
- 15. 複数リージョンのデータ分散を意図的行う場合の実装例 • 2つのリージョンには関連があることを示すキーワード「colocated-with」を指定する 14 <cache> <region name=“Users“ refid="PARTITION"> <region-attributes> <partition-attributes redundant-copies="1“ /> </region-attributes> </region> <region name=“Orders“ refid="PARTITION"> <region-attributes> <partition-attributes redundant-copies="1“ colocated-with=“Users"> <partition-resolver name=“OrderUserIdPartitionResolver"> <class-name>myPackage.OrderKey</class-name> </partition-resolver> <partition-attributes> </region-attributes> </region> </cache> Colocated-withを設定する 2つするリージョンのキーは同じ になっていないといけない
- 20. Apache GeodeでC#は使えるのか？ • サーバーはJava実装 • C++＆.NET Appに「ネイティブキャッシュ」を提供 19 Apache Geodeドキュメントより抜粋
- 21. つまり… • C# APPでは今回のテーマのインメモリー処理が出来ない 20 C# APP RDB C# APP DG C# APP DG 一般的なAPP+RDB構成のC# APP この構成を取ることは出来るが 通信が発生してしまう処理 処理 この構成を取ることは出来ない Javaのサーバーを立てる必要がある 処理ビフォー 理想 現実
- 22. そこでFunction Execution！ • 任意の処理をデータの存在する場所で実行する機能 21 C# APP （クライアント） ①クライアントは データと実行したい 処理を指定 DG#1 データA DG#2 データB DG#3 データC 処理 （データA） 処理 （データB） 処理 （データC） ②指定された処理がデータのある ノードで並列に実行される
- 23. C# APPでもインメモリー処理が出来る • 特にパフォーマンスの求められる処理をFunction Executionを用いて実装 22 C# APP DG処理 C# APP RDB C# APP DG C# APP DG 一般的なAPP+RDB構成のC# APP この構成を取ることは出来るが 通信が発生してしまう処理 処理 この構成を取ることは出来ない Javaのサーバーを立てる必要がある 処理ビフォー 理想 現実 アフター Function Execution C#で実装していた処理をJavaで再実装して インメモリー処理を可能とした
- 24. Function Executionのコード例 • FunctionをJavaで実装。C#は注文情報を渡して呼び出すだけ 23 var cacheFactory = new CacheFactory(); var cache = cacheFactory.Create(); var region = cache.GetRegion(“Orders"); … ArrayList orders = new ArrayList(); orders.Add(order); var exc = Client.FunctionService<object> .OnRegion(region); Client.IResultCollector<object> rc = exc.WithArgs<object>(orders) .Execute(“ExecuteOrder"); ICollection<object> res = rc.GetResult(); public class ExecuteOrder implements Function { @Override public void execute(FunctionContext context) { Order order = (Order) context.getArguments(); // 注文処理（リージョン参照・登録・更新） // インメモリー処理 … context.getResultSender().lastResult(result); } } サーバー側実装（Java）呼び出し側実装（C#）
- 29. つまり… • C++時価計算ロジックをそのまま使おうとすると今回のテーマのインメモリー処理が出来ない 28 C++ APP RDB C++ APP DG 一般的なAPP+RDB構成のC++ APP この構成を取ることは出来るが 通信が発生してしまう処理 この構成を取ることは出来るがFunction ExecutionはJava実装のため使えない 処理ビフォー 現実 C++ APP DG処理理想 Function Execution 時価計算ロジック 時価計算ロジック 時価計算ロジック
- 30. キャッシュのPush更新！ • 時価計算時に参照するデータが最新になっていれば良い 29 C++ APP DG処理 キャッシュ ①変更があれば キャッシュを更新 ②C++ APPからは常にメモリー上 のキャッシュを参照する キャッシュは変更があれば更新さ れるため、常に最新の状態となる 銘柄情報 マーケット情報 リアルタイム リアルタイム
- 31. C++ APPでもインメモリー処理が出来る • C++APP内のキャッシュを常に最新に保つ 30 C++ APP RDB C++ APP DG 一般的なAPP+RDB構成のC# APP この構成を取ることは出来るが 通信が発生してしまう処理 この構成を取ることは出来るがFunction ExecutionはJava実装のため使えない 処理ビフォー 現実 C++ APP DG処理理想 Function Execution C++ APP DG処理 キャッシュアフター クライアントキャッシュを常に最新に保つ設定 によりインメモリー処理を可能とした 非同期Push更新
- 32. 時価計算システム リアルタイム債券時価計算システム（アフター） • インメモリーデータグリッドを内包する計算サーバーを新設 • 高い処理性能とスケーラビリティを実現した 31 時価計算サーバー 時価計算サーバー 時価計算サーバー 時価計算サーバー 銘柄情報 Apache Geode マーケット情報 Apache Geode 分散処理 キュー Apache Geode 債券時価計算 ロジック （C++） リアルタイム リアルタイム 銘柄管理 システム 時価計算 クライアント 計算 顧客時価 配信システム リスク管理 システム
- 33. まとめ Part 4
- 35. Thank you! 34