バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri

•

33 gostaram•23,978 visualizações

Kazuki Negoro

2016/01/30 @negokaz http://scalamatsuri.org/

Tecnologia

Copyright © 2016 TIS Inc. All rights reserved.
根来和輝
TIS 株式会社生産技術R&D室
‣
‣  
‣

Copyright © 2016 TIS Inc. All rights reserved.
今日話すこと
Akka Streams を使ってバッチの処理速度を100倍にした事例

Copyright © 2016 TIS Inc. All rights reserved.
パフォーマンスに問題を抱えた本番運用されているバッチ処理

Copyright © 2016 TIS Inc. All rights reserved.
バッチ処理
毎日夜間に、その日の取引情報をCSVファイルに書き出す

Copyright © 2016 TIS Inc. All rights reserved.
アーキテクチャ
Active
Record

Copyright © 2016 TIS Inc. All rights reserved.
DBから一括で時刻順の取引情報を取得し、一行ずつ処理し、
一行ずつファイルへ書き出す

Copyright © 2016 TIS Inc. All rights reserved.
問題は何か
処理が終わるのが遅い。応急処置でなんとか凌いでいる。

Copyright © 2016 TIS Inc. All rights reserved.
遅い原因はなにか？

Copyright © 2016 TIS Inc. All rights reserved.
調査環境として仮想マシンを構築。
本番環境と同じリソースを割り当て。
‣
‣
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
調査のシナリオでは100万件のデータを用意

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒4件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに3日

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックはどこか？
スワップ領域が大量に消費
0
1000
2000
3000
4000
5000
6000
0:00 0:20 0:40 1:00 1:20 1:40 2:00 2:20 2:40
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
処理のボトルネック

Copyright © 2016 TIS Inc. All rights reserved.
メモリを潤沢に用意すれば問題ないのか？

Copyright © 2016 TIS Inc. All rights reserved.
‣
‣
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
調査のシナリオでは100万件のデータを処理

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒100件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに3時間

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックは解消されたのか？ 
メモリ不足は解消
0
1000
2000
3000
4000
5000
6000
7000
0:00 0:05 0:10 0:15 0:20 0:25
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
使われているCPUコアは1つのみ
‣

Copyright © 2016 TIS Inc. All rights reserved.
第2のボトルネック

Copyright © 2016 TIS Inc. All rights reserved.
少しずつデータを取得。処理を並列で行う。 
ただし、取得したデータの並びは維持。
‣

Copyright © 2016 TIS Inc. All rights reserved.
DBから時刻順のデータを少しずつ取得。並列で処理。 
取得した順序で書き出し。

Copyright © 2016 TIS Inc. All rights reserved.
ここに Akka Streams が使える

Copyright © 2016 TIS Inc. All rights reserved.
Akka Streams は Reactive Streams の Akka を使った実装
‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
アーキテクチャ
Streams

Copyright © 2016 TIS Inc. All rights reserved.
Reactive Streams の Publisher を通じてデータを 
ストリーミングするAPIを提供
Streams

Copyright © 2016 TIS Inc. All rights reserved.
同期的な入出力と並列処理
Streams

Copyright © 2016 TIS Inc. All rights reserved.
既存のバッチと同じ結果が得られるように実装。
キャッシュも既存のものと同様に実装。

Copyright © 2016 TIS Inc. All rights reserved.
実装の構成要素
‣ ‣
‣

Copyright © 2016 TIS Inc. All rights reserved.
実装 
※ 説明用に簡略化したコード

Copyright © 2016 TIS Inc. All rights reserved.
入力、処理、出力、実行

Copyright © 2016 TIS Inc. All rights reserved.
この部分の処理は並列に実行される

Copyright © 2016 TIS Inc. All rights reserved.
結果、処理速度は毎秒1,180件

Copyright © 2016 TIS Inc. All rights reserved.
100万件処理するのに14分

Copyright © 2016 TIS Inc. All rights reserved.
ボトルネックは解消されたのか？ 
メモリ不足は発生していない
0
200
400
600
800
1000
1200
1400
1600
1800
2000
0:00 0:00 0:01 0:02 0:03 0:04 0:05 0:05 0:06 0:07 0:08 0:09
- - Memory - - Swap
‣

Copyright © 2016 TIS Inc. All rights reserved.
CPUの全コアが使われている
‣

Copyright © 2016 TIS Inc. All rights reserved.
メモリがボトルネックになっていた場合と比較

Copyright © 2016 TIS Inc. All rights reserved.
CPUがボトルネックになっていた場合と比較

Copyright © 2016 TIS Inc. All rights reserved.
ハードウェアを変更せずに大幅な性能改善できた。
experimental なので本番環境への適用は注意。

Copyright © 2016 TIS Inc. All rights reserved.
ストリームなのにメモリ不足。Slick の streaming API を使っ
てデータを取得しているのに一括で取得されてしまう。

Copyright © 2016 TIS Inc. All rights reserved.
MySQL固有の問題 
解決方法: enableStreamingResults() を設定

Copyright © 2016 TIS Inc. All rights reserved.
非同期キャッシュ - spray-caching 
非同期ノンブロッキングでスレッドセーフなキャッシュ

Copyright © 2016 TIS Inc. All rights reserved.
2016年2月2日 7:00PM-10:30PM、場所は西新宿

Mais conteúdo relacionado

Mais procurados

モノリスからマイクロサービスへの移行～ストラングラーパターンの検証～（Spring Fest 2020講演資料）

NTT DATA Technology & Innovation

Data platformdesign

Ryoma Nagata

ソーシャルゲームのためのデータベース設計

Yoshinori Matsunobu

5分でわかった気になるインセプションデッキ

Takao Oyobe

AWSのログ管理ベストプラクティス

Akihiro Kuwano

Yahoo!ニュースにおけるBFFパフォーマンスチューニング事例

Yahoo!デベロッパーネットワーク

Java ORマッパー選定のポイント #jsug

Masatoshi Tada

最近勉強を始めたコンテナ技術に関する基礎的な知識をまとめました。 [訂正と注釈] p.27-30: 「Deployment」内の「Version: 1」 => 「Version: 2」 p.37: 「終了コードをから」 => 「終了コードから」 p.39: 「HTTPSが利用できない」=> AWS上では、SSL終端するLBがサポートされています。https://kubernetes.io/docs/concepts/services-networking/service/#ssl-support-on-aws p.40: 「ユーザがingress controllerをmaster上にセットアップする必要」 => master上にセットアップしなければならないという制約はありません。例えばGCEのingress controller(GLBC)はPodとして動作します。https://github.com/kubernetes/ingress-gce/blob/master/README.md p.71: 「Pod container」 => 「pause container」

コンテナ未経験新人が学ぶコンテナ技術入門

Kohei Tokunaga

強いて言えば「集約どう実装するのかな、を考える」な話

Yoshitaka Kawashima

マイクロサービスに至る歴史とこれから - XP祭り2021

Yusuke Suzuki

2019年8月12日に開催されたセミナー「トラディショナル企業のための、“ビジネスに効く”、アプリケーションモダナイゼーション実践法～アプリ開発・提供の「スピードと品質」をどう両立するか～」での基調講演「“実ビジネス”のための、アプリケーションモダナイゼーション導入ステップ　なぜ「マイクロサービス“化”」が必要なのか――」の資料です。 https://itmedia.smartseminar.jp/public/application/add/2203

なぜ「マイクロサービス“化”」が必要なのか

ネットワークでなぜ遅延が生じるのか

MySQLアーキテクチャ図解講座

「速」を落とさないコードレビュー

DevOpsにおけるAnsibleの立ち位置と使い所

Hidetoshi Hirokawa

Kubernetesのしくみやさしく学ぶ内部構造とアーキテクチャー

Toru Makabe

Docker Tokyo

cyberblack28 Ichikawa

もしSIerのエンジニアがSRE本を読んだら

Tomoki Ando

Apache Sparkに手を出してヤケドしないための基本～「Apache Spark入門より」～（デブサミ 2016 講演資料）

NTT DATA OSS Professional Services

コンテナにおけるパフォーマンス調査でハマった話

Yuta Shimada

Mais procurados (20)

モノリスからマイクロサービスへの移行～ストラングラーパターンの検証～（Spring Fest 2020講演資料）

Data platformdesign

ソーシャルゲームのためのデータベース設計

5分でわかった気になるインセプションデッキ

AWSのログ管理ベストプラクティス

Yahoo!ニュースにおけるBFFパフォーマンスチューニング事例

Java ORマッパー選定のポイント #jsug

コンテナ未経験新人が学ぶコンテナ技術入門

強いて言えば「集約どう実装するのかな、を考える」な話

マイクロサービスに至る歴史とこれから - XP祭り2021

なぜ「マイクロサービス“化”」が必要なのか

ネットワークでなぜ遅延が生じるのか

MySQLアーキテクチャ図解講座

「速」を落とさないコードレビュー

DevOpsにおけるAnsibleの立ち位置と使い所

Kubernetesのしくみやさしく学ぶ内部構造とアーキテクチャー

Docker Tokyo

もしSIerのエンジニアがSRE本を読んだら

Apache Sparkに手を出してヤケドしないための基本～「Apache Spark入門より」～（デブサミ 2016 講演資料）

コンテナにおけるパフォーマンス調査でハマった話

Destaque

How Scala code is expressed in the JVM

Koichi Sakata

Everyone is talking about microservices, and there is more confusion than ever about what the promise of microservices really means and how to deliver on it. To address this we will explore microservices from first principles, distilling their essence and putting them in their true context: distributed systems. What many people forget is that microservices are distributed and collaborative by nature and only make sense as systems—one collaborator is no collaborator. It is in between the microservices that the most interesting and rewarding, and also challenging, problems arise—enter the world of distributed systems. Distributed systems are by definition complex, and we system developers have been spoiled by centralized servers for too long to easily understand what this really means. Slicing an existing system into various REST services and wiring them back together again with synchronous protocols and traditional enterprise tools—designed for monolithic architectures—will set us up for failure. As if that wasn’t enough, we can’t just think about systems of microservices. In order to make each microservice resilient and elastic in and of itself, we have to design each individual microservice as a distributed system—a «microsystem»—architected from the ground up using the reactive principles.

From Microliths To Microsystems

Jonas Bonér

Abstract: The demands and expectations for applications have changed dramatically in recent years. Applications today are deployed on a wide range of infrastructure; from mobile devices up to thousands of nodes running in the cloud—all powered by multi-core processors. They need to be rich and collaborative, have a real-time feel with millisecond response time and should never stop running. Additionally, modern applications are a mashup of external services that need to be consumed and composed to provide the features at hand. We are seeing a new type of applications emerging to address these new challenges—these are being called Reactive Applications. In this talk we will discuss four key traits of Reactive; Responsive, Resilient, Elastic and Message-Driven—how they impact application design, how they interact, their supporting technologies and techniques, how to think when designing and building them—all to make it easier for you and your team to Go Reactive. Intended Audience: Programmers, architects, CIO/CTOs and everyone with a desire to challenge the status quo and expand their horizons on how to tackle the current and future challenges in the computing industry.

Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems

Jonas Bonér

Pragmatic Real-World Scala (short version)

Jonas Bonér

Everyone is talking about Microservices and there is more confusion than ever about what the promise of Microservices really means—and how to deliver on it. To address this situation, we will explore Microservices from first principles, distill their essence and put them in their true context: Distributed Systems. Distributed Systems is very hard and we—system developers—have been spoiled by centralized servers for too long. Slicing an existing system into various REST services and wiring them back together again with synchronous protocols and traditional enterprise tools—designed for Monolithic architectures—will set us up for failure. As if that wasn’t enough, we can’t only think about systems of Microservices. In order to make each Microservice scalable and resilient in and of itself, we have to design each Microservice as a Distributed System—a «Microsystem»—architected from the ground up using the Reactive principles and Events-first Domain Driven Design. In this talk I’ll walk you through the evolution of such a system, discussing what you need to know in order to design a Scalable Microservices Architecture.

Reactive Microsystems: The Evolution of Microservices at Scale

Jonas Bonér

Event-driven architecture and design have been getting a lot of attention in recent years. It’s an old concept that has been around for decades, so why this sudden peak of interest? In this talk, we will explore the nature of events, what it means to be event-driven, and how we can unleash the power of events. The goal is to arm you with a solid theoretical understanding of how to design an event-driven system, what tools and techniques you can use to reap the most benefit from its design, and perhaps most importantly, what to avoid. We'll discuss how an event-driven design can help: - drive autonomy - reduce risk - increase certainty - increase loose coupling - increase scalability - increase resilience - increase traceability Skeptics should definitely attend.

How Events Are Reshaping Modern Systems

Jonas Bonér

A talk given at Scala Matsuri 2016 in Tokyo, Japan. New Scala practitioners often experience the uncomfortable feeling of "not quite getting it." If you've studied the syntax and written tests, maybe production code; if you're becoming comfortable with the language and libraries, but keep worrying that there's "a better way", or that your code isn't "idiomatic enough" - this session is for you. By refactoring a real, live codebase, this talk will provide you with new tools and increased confidence. Between the provided examples and the ensuing discussion, you will walk away with a better feel for Scala and how to employ it in the real world.

Scala Refactoring for Fun and Profit (Japanese subtitles)

Tomer Gabel

Contributing to Scala OSS from East Asia #ScalaMatsuri

Kazuhiro Sera

Why Reactive Matters #ScalaMatsuri

Yuta Okamoto

ScalaMatsuri 2016

Yoshitaka Fujii

あなたのScalaを爆速にする７つの方法(日本語版)

x1 ichi

Zen of Akka

Konrad Malawski

Learn how to build Reactive Systems with Akka. Examples in both Java 8 and Scala. Abstract: The demands and expectations for applications have changed dramatically in recent years. Applications today are deployed on a wide range of infrastructure; from mobile devices up to thousands of nodes running in the cloud—all powered by multi-core processors. They need to be rich and collaborative, have a real-time feel with millisecond response time and should never stop running. Additionally, modern applications are a mashup of external services that need to be consumed and composed to provide the features at hand. We are seeing a new type of applications emerging to address these new challenges—these are being called Reactive Applications. In this talk we will introduce you to Akka and discuss how it can help you deliver on the four key traits of Reactive; Responsive, Resilient, Elastic and Message-Driven. We will start with the basics of Akka and work our way towards some of its more advanced modules such as Akka Cluster and Akka Persistence—all driven through code and practical examples.

Building Reactive Systems with Akka (in Java 8 or Scala)

Jonas Bonér

Destaque (13)

How Scala code is expressed in the JVM

From Microliths To Microsystems

Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems

Pragmatic Real-World Scala (short version)

Reactive Microsystems: The Evolution of Microservices at Scale

How Events Are Reshaping Modern Systems

Scala Refactoring for Fun and Profit (Japanese subtitles)

Contributing to Scala OSS from East Asia #ScalaMatsuri

Why Reactive Matters #ScalaMatsuri

ScalaMatsuri 2016

あなたのScalaを爆速にする７つの方法(日本語版)

Zen of Akka

Building Reactive Systems with Akka (in Java 8 or Scala)

Semelhante a バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri

Mc web controllerご紹介資料2017.03.13

MPN Japan

AWSオンリーで実現するIoTクラウド基盤

Godai Nakamura

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

Yahoo!デベロッパーネットワーク

Db2 Warehouse (旧名：dashDB Local)は、Dockerコンテナベースで提供され、DWHとSparkを統合した新しいコンセプトを持った製品です。本セッションでは、「Db2 Warehouse 実機検証やってみた! シリーズ」として、ネットワールド様、インサイトテクノロジー様が実施されたDb2 Warehouse 検証結果のご紹介に加え、DWH基盤だけではない、機械学習分析基盤としてのDb2 Warehouseの価値をご紹介します。

[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ！～スケールアウト検...

Insight Technology, Inc.

Diskless Compute Nodeを使ったImmutable OpenStack

Yuki Yamashita

Akkaを使ったスケーラブルなLINE BOT

Takashi Sugimoto

Developers Summit 2016 Yahoo! JAPAN Tech Conference http://event.shoeisha.jp/devsumi/20160218/tokusetsu 【18-A-5】15:15～16:00【第2部】 Yahoo! JAPANの実践から学ぶ、超大規模Webシステムのフロントエンドとインフラ『Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用』システム統括本部サイトオペレーション本部インフラ技術1部部長伊藤拓矢

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

Yahoo!デベロッパーネットワーク

JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様事例紹介

Daisuke Ikeda

20180220 AWS Black Belt Online Seminar - Amazon Container Services

Amazon Web Services Japan

Python / R で使うSAS Viya

SAS Institute Japan

バッチソリューションAzarea cluster 2016

AzareaCluster

HANAのハナシの基本のき

Koji Shinkubo

分析用RDBMSとして世界最速の座に君臨し続けるActian Vector。実は、ビッグデータ分析基盤のデファクトスタンダードであるHadoopとも深い仲なのです。HadoopやSparkとのデータ連携はもちろん、これまではシングルノードでしか実行できなかったActian Vectorが、Hadoopの力によってスケールアウト可能となるのです。本セッションでは、「そもそもActian Vectorって何」という方からこれまでのHadoop上のSQLソリューションに満足できない方までを対象に、Hadoop上で動作するActian VectorやSpark connectorのデモを交えてご紹介します

[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...

Insight Technology, Inc.

Contrail deploy by Juju/MAAS

Ikuo Kumagai

弊社IoT事例とAlexaSkil開発レシピ

Takashi Kozu

Docker国内外本番環境サービス事例のご紹介

ThinkIT_impress

知って得する！パブリッククラウドをオンプレミスのように使う裏ワザ

エクイニクス・ジャパン

クラウドファースト時代の最適なシステム配置について

エクイニクス・ジャパン

Enterpriseapi20160210

Shinichiro Takezaki

OpenStack環境の継続的インテグレーション

エクイニクス・ジャパン

Semelhante a バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri (20)

Mc web controllerご紹介資料2017.03.13

AWSオンリーで実現するIoTクラウド基盤

Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから

[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ！～スケールアウト検...

Diskless Compute Nodeを使ったImmutable OpenStack

Akkaを使ったスケーラブルなLINE BOT

Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi

JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様事例紹介

20180220 AWS Black Belt Online Seminar - Amazon Container Services

Python / R で使うSAS Viya

バッチソリューションAzarea cluster 2016

HANAのハナシの基本のき

[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...

Contrail deploy by Juju/MAAS

弊社IoT事例とAlexaSkil開発レシピ

Docker国内外本番環境サービス事例のご紹介

知って得する！パブリッククラウドをオンプレミスのように使う裏ワザ

クラウドファースト時代の最適なシステム配置について

Enterpriseapi20160210

OpenStack環境の継続的インテグレーション

Último

Utilizing Ballerina for Cloud Native Integrations

WSO2

Amazon SES を勉強してみるその３2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.

論文紹介：Selective Structured State-Spaces for Long-Form Video Understanding

Toru Tamaki

LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル

CRI Japan, Inc.

知識ゼロの営業マンでもできた！超速で初心者を脱する、悪魔的学習ステップ3選.pptx

sn679259

論文紹介：Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...

Toru Tamaki

NewSQLの可用性構成パターン（OCHaCafe Season 8 #4 発表資料）

NTT DATA Technology & Innovation

LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス

CRI Japan, Inc.

論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games

atsushi061452

新人研修　後半 2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.

Observabilityは従来型の監視と何が違うのか（キンドリルジャパン社内勉強会：2022年10月27日発表）

Hiroshi Tomioka

Amazon SES を勉強してみるその２2024/04/26の勉強会で発表されたものです。

iPride Co., Ltd.