Qlik TechFest C-8 パフォーマンス問題との闘い方

Copyright © 2021 GRANVALLEY CO. LTD. 1
パフォーマンス問題との闘い方
2021年6月15日
グランバレイ株式会社
システムコンサルティング部
西日本グループ
小川睦子

データと人間の力で、明日を見通す。
See the unseen.
データ×経営のスペシャリストがいる。
（http://www.granvalley.co.jp/）
設立：2005年1月
本社：東京都千代田区西神田3-8-1 千代田ファーストビル東館 7F
西日本支社：大阪府大阪市北区梅田2丁目4番9号ブリーゼタワー 11F
名古屋支社：愛知県名古屋市中区丸の内3-20-17 KDX桜通ビル5F
事業内容：
・ Analyticsツールを活用した経営管理システムの導入支援
・ Analyticsツールのパッケージ販売およびサポート
・ AI（人工知能）や機械学習を利用したソリューション提供

アジェンダ
 我々が直面した課題
 パフォーマンス改善の施策
 ロード処理速度の向上
• 関数や集計処理の見直し
• データモデルの変更
• トランザクションQVDの分割
 タスク実行
• 並列処理化

我々が直面した課題

システム構成
POSシステム Qlik Sense
POS
データ
POS
データ
QVD
ジェネレータ
QVD
ジェネレータ
QVD
QVD
QVF
QVF
ユーザ
約300名
マスタ：10個
トラン：20個
小売業におけるPOSデータをQlik Senseで分析

システム構成
POSシステム Qlik Sense
POS
データ
POS
データ
QVD
ジェネレータ
QVD
ジェネレータ
QVD
QVD
QVF
QVF
ユーザ
約300名
マスタ：10個
トラン：20個
5億件のデータを処理
小売業におけるPOSデータをQlik Senseで分析

大量データを処理する際に、、、
ロード処理時間がかかってしまう
サーバ負荷が大きくなる
分析画面上でのレスポンスが悪くなる

処理 N時 N+1時 N+2時 N+3時 N+4時 N+5時
イベント
POSシステム
連携処理
QVD生成
レポート読込
ロード処理の時間制限があった
マスタデータ
連携
マスタQVD生成
トランザクション
データ連携
レポート読込
サービス開始
リミット
3時間の間に数億件の処理を行わなければならない
3時間の制約
QVD生成

イベント
POSシステム
連携処理
QVD生成
レポート読込
マスタデータ
連携
マスタQVD生成
データ連携
レポート読込
サービス開始
リミット
パフォーマンス検証により、制限時間内に間に合わないことが判明
QVD生成
30分超過
3時間の制約

パフォーマンス改善の施策

パフォーマンス改善の施策
 関数や集計処理の見直し
 データモデルの変更
 トランザクションQVDの分割
 タスク実行
 並列処理化

パフォーマンス改善の施策の詳細
• ロード処理速度の向上
• タスク実行
• 並列処理化

スクリプトの工夫
Qlik Helpを参考に下記の改善策を実施しました。
 データモデルから不要な項目を削除する
 可能な場合は AutoNumber を使用する
 複合キーを単純なキーに置き換えてデータサイズを小さくする場合など
にAutonumber関数を使用します。
 加工時に必要ないデータの結合は最後に実施する
 大量データに対する加工処理をなるべく避けるため、加工処理前のデー
タ結合は必要最低限のみに留めておきます。
 可能な場合は QVDを使用する
 QVDファイルからのデータの読み取りは、他のデータソースから読み取
る場合よりも、一般に10～100倍速くなります。
 項目の数が少ないテーブルを非正規化する
5分短縮

• タスク実行
• 並列処理化

Qlik Senseで構築できる基本のデータモデル
※QlikView Best Practices-Development v0.5 JPN.pdf より抜粋

データモデルの使い分け
単一テーブルスタースキーマ
概要
全データを1つのテーブルにまとめた
データモデル
ファクトテーブルを基準に周辺にディ
メンションテーブルを配置するデータモ
デル
モデル採用により
期待できる効果
画面描画を早くし、レスポンスの良い
操作性を実現させる。
(他のモデルに比べて)スクリプト処理
時間を短縮する。
注意点
データ件数の多いテーブル同士を結
合する場合はスクリプト処理にかなり
時間を要する。
※Outer Joinの場合は特に注意！
下記問題が発生しやすい。
・インデックス生成の時間増加
・合成キー/循環参照の発生
モデル構築時の
ポイント
不必要なデータ結合が発生しないよ
うデータ結合順を工夫する。
ディメンションテーブルの数を増やし
過ぎない。
Autonumber関数を活用する。
実績
(明細)
実績
(集計)
マスタ
データ
加工
1千万件 4百万件
マスタ
■加工時には不要なマスタの場合
5分短縮

• タスク実行
• 並列処理化

トランザクションQVDの分割
改善前
改善後
QVD
ジェネレータ QVD QVF
１つのQVDにデータを蓄積
QVD
ジェネレータ QVF
QVD
QVD
QVD
QVD
QVDを月別に分割し、差分更新の処理速度を向上
2018/01
2018/02
2021/02
2021/03
2018/01
~2021/03
最新月QVDのみ
差分更新
全期間データ蓄積
QVDに差分更新
抽出条件で
取込期間を指定
取込ファイル範囲選択で
取込期間を指定
月別でQVDを分割
➡QVDデータの全件読込
が必要なため処理が遅くなる
➡QVD読込件数に比例して
処理速度が向上
Where 年月>=
201804
and年月<= 202103
201804_実績データ.qvd
~ 202103_実績データ
.qvd
10分短縮

イベント
POSシステム
連携処理
QVD生成
レポート読込
マスタデータ
連携
マスタQVD生成
データ連携
サービス開始
リミット
パフォーマンス検証により、制限時間内に間に合わないことが判明
QVD生成
3時間の制約
レポート読込
10分超過

• タスク実行
• 並列処理化

タスク実行の並列化によるパフォーマンス向上
・タスク実行は並列処理することが可能
・並列数は、QMC>ScheduerのMax concurrent reloadsで設定

タスクの並列処理における注意点
 メモリのオーバーフローに気を付ける
サーバ負荷を考慮した並列数を見つける必要がある
メ
モ
リ
使
用
率
経過時間
メモリオーバーフロー
Qlikによる
メモリ開放
最小閾値
最大閾値

最適な並列数
並列数所要時間
最大メモリ
使用率
1本あたりの
処理時間
備考
３ 3時間10分 60 % 16分
並列数が少なく
処理時間が長くなる
４ 2時間40分 75 % 18分最適
５ 3時間5分 86 % 30分
並列数が多いと
単体の処理時間が遅くなる
６ー 100 % ー
メモリオーバーフロー
となる
タスク実行の並列数別の処理時間、最大メモリ使用率を調査
30分短縮

パフォーマンス改善策実施の結果
 関数や集計処理の見直し
 データモデルの変更
 トランザクションQVDの分割
 タスク実行
 並列処理化
-5分
-10分
-5分
-30分
短縮した時間
合計で50分の
処理時間の短縮を実現

イベント
POSシステム
連携処理
QVD生成
レポート読込
制限時間内でのロード処理完了
マスタデータ
連携
マスタQVD生成
データ連携
サービス開始
リミット
パフォーマンス改善の施策実施により制限時間内に処理を完了
QVD生成
3時間の制約
レポート読込
！達成！

ご清聴いただき、ありがとうございます。
本講演の内容に関するご質問及びお問合せは下記までご連絡ください。
お問合サイト：https://www.granvalley.co.jp/inquiry
電話番号：（東京） 03-3230-1133
（大阪） 06-6343-7733
（名古屋）052-265-9384

Qlik TechFest C-8 パフォーマンス問題との闘い方

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Qlik TechFest C-8 パフォーマンス問題との闘い方

Semelhante a Qlik TechFest C-8 パフォーマンス問題との闘い方 (20)

Mais de QlikPresalesJapan

Mais de QlikPresalesJapan (20)

Qlik TechFest C-8 パフォーマンス問題との闘い方