Recomendados
Recomendados
Mais conteúdo relacionado
Semelhante a Qlik Cloudデータ統合：データマート作成機能のご紹介
Semelhante a Qlik Cloudデータ統合：データマート作成機能のご紹介 (20)
Mais de QlikPresalesJapan
Mais de QlikPresalesJapan (20)
Qlik Cloudデータ統合：データマート作成機能のご紹介
- 1. 中嶋 翔 Senior Solution Architect, Qlik Qlik TECH TALK Qlik Cloudデータ統合：データマート作成機能の ご紹介 2023年3月14日
- 3. 3 Q&Aについて • 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時Q&Aパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させてい ただきます。
- 4. 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開さ れます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版資料のダウンロードは、SlideShareへ の登録が必要となります。
- 5. 5 5 アジェン ダ • Qlik Cloudデータ統合の概要（復習） • データモデルの作成 • データマートの作成 • データマートの管理 • データマートタスクのスケジュール • データマート設定 • データマートビューの構造 • Q&A • その他の情報
- 7. 7 Qlik Cloud データ統合 エンタープライズ・データの配信、変換、一元化 拡張分析 ビジュアライゼーション 組込み分析 アラート /モバイル データ統合 分析 基盤サービス カタログ・リネージ 人工知能・機械学習 連想エンジン オーケストレーション ガバナンス・セキュリティ コラボレーション API クラウドプラットフォーム DWH データレイク ストリーム SaaS RDBMS アプリ メインフレーム ファイル On-premises 広範な接続性 データ移動 データウェアハ ウス 自動化 アプリケーショ ン 自動化 データ変換
- 9. 9 Qlik Cloud データ統合 Transform : ローデータを分析可能なデータに変換する • ノーコードデータモ デリング • シンプルなインライ ンデータ変換 • プッシュダウン式 SQL処理 • グローバル変換ルー ル • データマート自動生 成 • 再利用可能 • カスタムSQLによる 複雑な変換 プッシュダウンデータ変換
- 10. 10 10 データの オンボード ※実施済 Data Movement ※実施済 このWebセミナーの説明範囲 • Qlik Cloudデータ統合のコンポーネントは多岐にわたるため、本日のテックトークでは、データマート作成について 解説します。 • 他のパートについては、過去のテックトークの動画をご覧ください。 データ変換 ※実施済 データマート 作成 データカタログ リネージ ※実施済 概要 ※実施済 システム連携・プロセス自動化 (Qlik Application Automation) ※実施済 本日の 説明範囲
- 11. 11 データモデルの作成
- 12. 12 12 データモデルの作成 • ストレージタスクまたはデータ変換タスクに含まれる複数データセット間の関係を作 成して、論理的なデータモデルを作成できます。これらのタスクの後続に作成するデー タマートタスクでこのデータモデルを使用して、軸とファクトテーブルの非正規化 (JOINによる結合)のためのSQLスクリプト生成を自動化できます。 • 手順：ストレージタスクか変換タスクの設計ビューを開き、[モデル] をクリックして、 データモデルビューを開きます。 - ※データ変換タスクでは複数のストレージタスクやデータ変換タスクからのデータソースを使 用できるため、複数ソースのデータモデルを作成したい場合は、仮にデータの変換が不要な場 合でもデータ変換タスクをデータモデル用に作成することになります。（ストレージタスクは ひとつのランディングタスクからのデータソースのみに対応しています。） • Qlik Cloudデータ統合による推奨を利用して「関係」を作成することや、マニュアル で「関係」を追加することができます。
- 13. 13 DEMO データモデル作成
- 14. 14 14 モデルタブのビュー • モデルタブには、リストビューとモデルビューがあります。右上のアイコンで切り替え ます。 - モデルビュー：データセットのリレーションモデルを視覚的に表示しています。 - リストビュー：リレーションシップの詳細をリストテーブル形式で表示しています。 モデルビュー リストビュー アイコンで 切り替え
- 15. 15 15 • データセットの主キーと列名に基づいて、作成する関係の推奨事項を取得できます。 - 「モデル」タブでリレーションシップのアイコンをクリックします。推奨される関係のリストが右に表示され ます。各関係を展開して、提案された列を調べて、データセットを関連付けることができます。 - 使用する推奨関係を選択します。モデル ビューが点線で更新され、作成される関係が示されます。 推奨される関係の使用
- 16. 16 16 • [適用] をクリックして関係を作成します。 • モデル ビューの線が実線になり、関係が作成されたことを示します。 推奨される関係の使用
- 17. 17 17 関係の追加 • 推奨される関係に含まれていない場合は、関係を手動で追加することもできます。 - [リレーションシップを追加] をクリックします。 - 子データセットと親データセットを選択します。親データ セットの主キーに基づいて、推奨される関係が表示 されます。 - 子データセットの列の選択を調整できます。関係の名前を調整することもできます。準備ができたら、[OK] を クリックして関係を作成します。
- 18. 18 18 関係の編集 • モデルビューで、編集対象のデータセット(子・親の何れか)を選択し、「詳細」をクリックします。 • 「関係」をクリックし、Actions列「・・・」＞「編集」 を選択します。リレーションシップの編 集画面が開きます。 • 編集が完了したら、[OK] をクリックします。
- 19. 19 19 関係の削除 • 関係を削除するには、2 つの方法があります。 - リストビューで、リストのActions列「・・・」＞「削除」を選択します。 - モデルビューで、「関係」のActions列「・・・」＞「削除」を選択します。※関係タブを表示させる方法は前 ページ参照 • ※関係を削除すると、下流のデータ アセットに影響を与える可能性があります。
- 21. 21 データマートの作成
- 22. 22 22 データマートの作成と管理 • データをオンボーディングしたら、ストレージタスクまたはデータ変換タスクのデータを使用して データマートを作成できます。ビジネスニーズに応じて、複数のデータマートを作成できます。理 想的には、データマートには、組織内の特定のセクションまたはユニット (営業部門など) で分析す るために収集された集計データが含まれている必要があります。 • ※データ マートの作成手順は、データマートがストレージタスクに基づいているか、変換タスクに 基づいているかに関係なく同じです。このセクションの手順では、データマートがストレージタス クに基づいていることを前提としています。 • 前提条件 • データマートを作成する前に、以下を実施する必要があります。 - データのオンボーディング手順によって、データマートで使用する (ランディングからの) データをストレージ タスクに入力します。 - 前項のデータモデルを作成して、ソースデータセット間の関係を定義します。
- 23. 23 DEMO データマート作成
- 24. 24 24 データマートの作成 • データプロジェクトを開き、以下のいずれかを行います。 - 右上の [新規ボタンの追加] をクリックし、[データマートを作成] を選択します。 - ストレージアセットまたはデータ変換アセットの右にある「・・・」を選択し、 [データマートを作成] を選択 します。 • [データマートを作成] ダイアログが開きます。
- 25. 25 25 データマートの作成 • データマートの名前を指定し、任意で説明も指定します。 • 後でデータマートを構成する場合は、[開く] チェック ボックスをオフにして、[追加] をクリック します。すぐに作業する場合は、 [開く] チェック ボックスをオンにして[追加] をクリックします。 [データマート] タスクが開きます。
- 26. 26 26 ソースデータの選択 • ストレージデータタスクまたはデータ変換タスクのデータセットからソースデータを選択します。 • [ソースデータの選択] ツールバー ボタンをクリックします。[ソースデータの選択] ダイアログが 開きます。
- 27. 27 27 ソースデータの選択 • [データアセット] ドロップダウンリストから、使用したいストレージタスクまたは変換タスクを選 択します。（データマートタスクを作成したアセットが既定でソースに指定されていますが、ここ で変更も可能ということです。） • [データセット名]で、データセットを検索します。入力欄を規定の「%」のままにしてすべての データセットを検索するか、特定のデータセットの名前を入力して検索します。次に [検索] をク リックします。
- 28. 28 28 ソースデータの選択 • 目的のデータセットを選択し、[選択したテーブルの追加] をクリックします。 • [OK] をクリックしてダイアログを閉じます。 • ※このプロセスを繰り返して、他のデータ アセットからデータセットを追加できます。
- 29. 29 29 データマートへの軸とファクトの追加 • ソースデータを選択したら、データマートの構築に進むことができます。データマートには、ファ クトデータセット、軸データセット、または両方の組み合わせ (軸データセットがファクトデータ セットに論理的に関連付けられている場合：データモデル) を含めることができます。
- 30. 30 データマートへの軸とファクトの追加 • [ディメンションを追加] ボタンをクリックします。 • [ディメンションを追加] ダイアログが開きます。 軸（ディメンション）の追加
- 31. 31 データマートへの軸とファクトの追加 • 次の設定を利用できます。 - 最も粒度の細かいデータセット: 軸データセットを選 択します。 - 名前: 軸の表示名を指定します。デフォルトは、最も 粒度の細かいデータセット名です。 - 説明: 任意で、説明を入力します。 - 履歴タイプ: 次のうち 1つを選択します: • タイプ 1: ストレージ内の対応するレコードが更新されるた びに、軸内の既存のレコードが更新されます。 • タイプ 2: ストレージ内の対応するレコードが更新されるた びに、軸に新規レコードが追加されます。 - 非正規化するリレーションされたデータセット: 軸 データセットで (ソースデータアセットモデルの関係 に従って) 非正規化できるデータセットは、ここで選 択できます。 • [OK] をクリックして設定を保存します。左側の [軸] リストに軸が追加されます。 軸（ディメンション）の追加
- 32. 32 データマートへの軸とファクトの追加 • 軸を選択すると、中央のペインに [ソースリレーショナルモデル] タブが表示されます。このタブに は、軸に統合されたソース データセットが表示されます。軸を追加したときに非正規化することを 選択したデータセットは、選択されて表示されます (グレー表示されます)。 軸に関する情報の閲覧
- 33. 33 データマートへの軸とファクトの追加 • [スタースキーマを追加] ボタンをクリックします。[スタースキーマの追加] ダイアログが開きます。 ファクトの追加
- 34. 34 データマートへの軸とファクトの追加 • 次の設定を利用できます。 - ファクト: ファクトとなるデータセットを選択します。 データセットは、作成するファクトの粒度を定義する必 要があります。 - 名前: ファクトの表示名を指定します。デフォルトは ファクト名です。 - 説明: 任意で、説明を入力します。 - 非正規化するリレーションされたデータセット: ファク トデータセットで非正規化できるデータセットはすべて、 ここで選択できます。 - 詳細設定 • 現在のデータを使用: 選択すると (既定)、ファクトにはトラン ザクションの日付列が含まれません。 • トランザクションの日付を選択: 特定のトランザクション日付に 従ってデータを検索するには、このオプションを選択してから、 日付列を選択します。これは、スタースキーマにタイプ2の軸が 含まれ、特定のトランザクションに対して正しいデータを見つけ る必要がある場合に便利です。例えば、顧客に複数の住所がある 場合、注文日付に従って正しい住所を見つけることが可能かもし れません。 • [OK] をクリックして設定を保存します。ファクト は、左側のスタースキーマリストに追加されます。 ファクトの追加
- 35. 35 データマートへの軸とファクトの追加 • ある小売業者は、注文と顧客の関係を分析するためのデータマートを作成する必要があります。 データマートは、次のようなクエリに応答できる必要があります。 - 2022年第4四半期の注文額が最も多かったのは米国のどの州ですか? • 小売業者が [現在のデータを使用] オプションを選択した場合、[顧客]テーブルの最新のレコード バージョンのみが計算に含まれます。 • トランザクションの日付を無視すると、下図に示すようにデータが不正確になります。 （参考）トランザクション日付の設定：ユースケース
- 36. 36 データマートへの軸とファクトの追加 • ただし、小売業者が [トランザクションの日付を選択] オプションを選択した場合、顧客の注文は [顧客] テーブルの正しいレコード バージョンに関連付けられます。 • これにより、小売業者は 2022 年第4四半期の州ごとの注文合計額を正確に計算できるようになり ます。 • [トランザクションの日付を使用] が選択されている場合の [注文] ファクト テーブルと [顧客] 軸 の関係を示します。 • ※ビジネスニーズに応じて、各データ マートでトランザクションの日付を異なる方法で利用できる ことに注意してください。例えば、あるデータ マートでは注文日の分析に使用でき、別のデータ マートでは出荷日の分析に使用できます。 （参考）トランザクション日付の設定：ユースケース
- 37. 37 データマートへの軸とファクトの追加 • ファクトを選択すると、次のタブが中央のペインに表示されます。 - スタースキーマモデル (デフォルト): データマート内のデータセットの関係をグラフィカルに表示します。 - ファクトモデル: ファクト データセットに関連するデータセットを表示します。ファクトを追加したときに非 正規化することを選択したデータセットは、選択されて表示されます (グレー表示されます)。 - トランザクションの日付: ファクトを追加する際に、[トランザクションの日付を選択] オプションを選択した 場合、トランザクション列の名前が表示されます。 ファクトに関する情報の閲覧 スタースキーマモデル ファクトモデル トランザクションの日付
- 38. 38 38 スタースキーマの構築 • 軸をデータマートに追加したら、それらをファクトデータセットに接続して、スタースキーマを作 成できます。 • これを行うには、次の手順に従います。 - 左側の [スタースキーマ] リストでスタースキーマを選択します。 - 右側の推奨される軸リストから、追加する軸を選択します。推奨される軸は、ファクトデータセットに点線で 接続されて表示されます。 - [適用] をクリックして軸を追加します。軸は、ファクト データセットに実線で接続されて表示されます。 推奨される軸はこち らから表示/非表示 切替
- 39. 39 39 データマートへのデータ投入 • データマートの設計が完了したら、データマートへのデータ投入の手順に進むことができます。 • これを行うには、次の手順に従います。 - 右上の [準備] ツールバーボタンをクリックします。準備プロセスには、データマートでのデータセットと ビューの作成、およびカタログの更新が含まれます。準備が完了すると、[準備] ボタンが [実行] に変わりま す。 - [実行] ボタンをクリックします。ウィンドウがモニタービューに切り替わり、データマート内のデータセット の読み込みの進行状況とステータスが表示されます。 • すべてのソースレコードは、削除されたレコードも含め、データマートによって処理されます。これは、履歴情報が 確実に保持されるようにするために行われます。 • ※タイプ2の履歴を持つ軸の場合、処理されたレコード数にはレコードのすべてのバージョン行が含まれ、実際に処 理されたレコード数よりも大きい値が表示されます。
- 40. 40 データマートの管理
- 42. 42 42 ファクトまたは軸の改良 • [データセット] タブでは、さまざまな操作を実行して、変換ルールの作成 (列の値の置換など) や 列レベルの式の追加など、ファクトと軸を調整できます。[データセット] タブは、[データマート] タブの右側にあります。
- 43. 43 43 ルールの追加 • グローバル変換ルールを追加する方法の説明については、複数のデータセットを変換するルールの 作成を参照してください。 - ※ルールおよびデータセットに対して実行できるその他の操作の詳細については、データセットの管理 を参照 してください。データマートのデータタスクでは、データセットのフィルタリングや名前の変更など、一部の オプションを使用できないことに注意してください。
- 45. 45 45 その他の管理オプション スコープ 対処方法 その他のソースデータセットを追 加 「ソース データの選択」を参照してください。 その他のファクトを追加 「ファクトの追加」を参照してください。 その他の軸を追加 「データ マートへの軸とファクトの追加」を参照してください。 軸を削除 [ディメンション] ペインで軸を選択し、メニューから [削除] を選択し ます。 ファクトを削除 [スタースキーマ] ペインでファクトを選択し、メニューから [削除] を 選択します。 データマートを再作成 右上の「・・・」ボタンをクリックし、[テーブルを再作成] を選択し ます。たとえば、データマートに自動的に同期できない変更がスト レージにある場合、データマートの再作成が必要になることがありま す。 実行中のデータマートタスクを停 止 右上の [停止] ボタンをクリックします。
- 47. 47 47 データマートタスクのスケジュール • データマートタスクを定期的に更新するようにスケジュールできます。時間ベースのスケジュール を設定することや、入力データタスクの実行が完了したときにイベントベースでタスクを実行する ように設定できます。 • スケジュールを作成するには、データマートタスクの [・・・] をクリックし[スケジュール] を選 択するか、データマートタスクを開いて[スケジュール]を選択します。デフォルトのスケジュール 設定は、データプロジェクトの設定から継承されます。 • スケジュールを有効にするには、[スケジュール] を [オン] に設定する必要があります。 データパイプラインビュー データマートタスク内
- 48. 48 48 時間ベースのスケジュール • 入力データソースが更新されるタイミングに関係なく、時間ベースのスケジュールを使用してタス クを実行できます。 • [データタスクを実行] で、[特定の時刻] を選択します。 • 時間、日、週、または月単位でスケジュールを作成できます。
- 49. 49 49 イベントベースのスケジュール • イベントベースのスケジュールを使用して、入力データ タスクの実行が完了したときにタスクを実行できます。 • [データタスクを実行] で、[特定のイベント発生時] を選 択します。 • 「入力タスクのいずれかが正常に完了した場合」にタス クを実行するか、「選択したデータタスクのいずれかを 正常に完了した場合」にタスクを実行するかを選択でき ます。 • ※スケジュールがトリガーされたときに入力タスクまたはダウンス トリームタスクが実行されている場合、タスクは実行されません。 タスクは、次のスケジュールされた実行までスキップされます。
- 51. 51 データマート設定
- 52. 52 52 データマート設定 • [設定] ツールバーボタンをクリックして、[設定: <データマート名>] ダイアログを開きます。 - ※タスクが既に実行されている場合、ランタイム設定以外の設定を変更するには、データセットをリロードす る必要があります。 • [基本設定] タブ - データベース: データマートが作成されるデータベース - データアセットスキーマ: データセットが作成されるスキーマ - 内部スキーマ: 内部データセットが作成されるスキーマ • [実行時間] タブ - 並列実行:Qlik Cloudがタスクのために開くことができるデータベース接続の最大数を入力します。既定値は10 です。 - ウェアハウス: Snowflakeのみの設定項目です。Snowflakeで使用するウェアハウスを指定できます。
- 53. 53 データマートビューの構 造
- 54. 54 54 データマートビューの構造 • このトピックでは、データマートの内部ヘッダー列 (項目名に「hdr__」プレフィックスが付いて いる項目) について説明します。データパイプラインは、多くの場合、データをスタースキーマに 非正規化するデータマートに集約します。スタースキーマは、ディメンションモデリングを使用す るアナリストが利用するのに便利な構造です。したがって、ヘッダー列の役割を理解することで、 分析および下流のアプリケーションによる消費のために、より焦点を絞ったレポートを作成するこ とができます。
- 55. 55 55 ファクトビュー • ビュー名の形式: <データアセットスキーマ名>.[<プレフィックス>]<ファクト> • 次のヘッダー列がビュー構造に追加されます。 列 タイプ 説明 hdr__deleted ブール値 レコードがファクトテーブルから削除されたかどうか を示します。 hdr_{軸名}_key_id int64 タイプ1およびタイプ2の軸への参照。ファクトビュー には、スター スキーマの軸ごとに個別の列が含まれま す。 例: hdr__EMPLOYEES_key_id
- 56. 56 56 タイプ1の軸のビュー • ビュー名の形式: <データアセットスキーマ>.[<プレフィックス>]<ディメンション> • 次のヘッダー列がビュー構造に追加されます。 列 タイプ 説明 hdr_{軸名}_key_id int64 レコードごとに増加するシーケンス hdr__deleted ブール値 レコードが軸テーブルから削除されたかどうかを示し ます。
- 57. 57 57 タイプ2の軸のビュー • ビュー名の形式: <データアセットスキーマ>.[<プレフィックス>]<ディメンション> • 次のヘッダー列がビュー構造に追加されます。 列 タイプ 説明 hdr_{軸名}_key_id int64 レコードごとに増加するシーケンス hdr__from_timestamp タイムスタン プ このバージョンのレコードの、開始の日付と時刻 (UTC)。例えば、顧客が特定の 所に住み始めた日付を示す列があるとします。 この列では、次のことができます： •過去の情報に基づいてデータを分析する。例えば、注文が保留状態になっていた 期間、または顧客の住所変更による売上への影響を昨年のデータと比較して判断で きます。 •日付ごとにデータを分析しますが、現在わかっていることを認識しています。対 照的に、以下で説明する hdr__was_current_from_timestamp を使用すると、 定の日付までのデータを、その時点でわかっていたことだけを認識して分析できま す。 非正規化されたエンティティを含むタイプ2の軸の場合、これは、ストレージまた はデータ変換アセット内の更新されたデータセットからの日付と時刻です。 hdr__to_timestamp タイムスタン プ このバージョンのレコードの、終了の日付と時刻 (UTC)。この列は、特定のレ ド バージョンの日付範囲を区切るために使用されます。例えば、顧客が特定の住 所に住まなくなった日付を示す列があります。 上記の hdr_from_timestamp 列の説明も参照してください。
- 58. 58 58 タイプ2の軸のビュー 列 タイプ 説明 hdr__operation varchar(1) フルロード操作: •L: フルロード中に挿入 変更差分処理中の操作 (変更テーブルを使用): •D: 削除済 •U: 更新済 •I: 挿入済 比較および適用の操作の結果として生じるアクション: •d: 削除済 •u: 更新済 •i: 挿入済 hdr__was_current_fro mestamp タイムスタ ンプ 最後の更新がレコードに適用されたときの日付と時刻 (UTC) を示します。 この列を hdr__was_current_to_timestamp 列と一緒に使用すると、特定の日付 でのデータを、その時点でわかっていたことだけを認識して分析できます。例えば、 毎日午前 2 時に前日の注文合計を計算するとします。12 月 1 日の前日の注文合計 は $1,000,000 になります。しかし、12 月 2 日に、11 月 30 日に合計 文があったというレコードが挿入されています。つまり、11 月 30 日の注文額は実 際には $1,500,000 でした。ただし、12 月 1 日の午前 2 時の時点に基づいて 11 30 日の注文の合計額のレポートを生成すると、結果は $1,000,000 のままになり hdr__was_current_to_t stamp タイムスタ ンプ この列は、レコードが新しいレコードに置き換えられたときに入力されます。レコー ドが処理されたときの日付と時刻 (UTC) が表示されるため、最新のレコードではな くなります。 上記の hdr__was_current_from_timestamp 列の説明も参照してください。
- 59. 59 Q&A
- 61. 61 その他の情報
- 62. 62 オンラインでの技術情報提供 • Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。 セミナー トレーニング LT形式のTips共有 技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情報が届
- 64. 64 64 【Qlik Japan Live】 Qlik Senseここまでできるの！？ ユーザーミートアップの発表を振り返ろ う！ • 日時：3月29日(水) 12:30~ • 会場：オンライン(Zoom) • 申込：テックプレイで告知中 • アジェンダ： ユーザーミートアップ振り返り QlikWorldについて その他お楽しみに！ 視聴申込URL
- 66. 66 66 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK SlideShare QlikPresalesJapan
- 68. 68 68 68 68 68 68 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイ ブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大 幅にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用 編）をできるだけ丁寧に紹介
- 69. 69 その他の情報 セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan YouTube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公 開
- 70. Thank You!