Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化
Semelhante a TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化 (20)
Mais de QlikPresalesJapan
Mais de QlikPresalesJapan (20)
TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化
- 1. TECH TALK Webセミナー Qlik DataTransfer 2020年10月 鈴木 由紀 Senior Solution Architect, Qlik
- 3. 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき ます。
- 4. 4 • Qlik DataTransferでできること • Qlik DataTransferの使用準備 • Qlik DataTransferによるSaaSへのデータのアップロード • 補足情報 • FAQ • Q&A 本日の内容
- 7. 7 Qlik DataTransferでデータを自動でアップロード ▪ オンプレミスのデータソースに接続し、そのデータ をクラウド版Qlik Senseにアップロード ▪ Qlik Senseのあらかじめ定義したスペースに アップロードが可能 ▪ 手動、スケジュール、データ変更によりアップロー ドを実施 ▪ データアップロードに伴い、Qlik Senseのアプリ を更新 Cloud On-premise QSE SaaS On-premise RDBMS Private Cloud RDBMS
- 10. 10 Qlik DataTransferの使用準備ー手順 1. Qlik DataTransferの取得 QSB,QS SaaSの管理画面よりダウンロード 2. Qlik DataTransferのインストール 3. クラウド版Qlik Senseの開発者ロールの設定 APIキー設定のために必要 4. クラウド版Qlik SenseのAPIキーの設定 Qlik SenseとQlik DataTransferの安全な接続に必要 5. Qlik DataTransferとQlik Senseの接続
- 11. 11 Qlik DataTransferの使用準備ー前提 1. 稼働環境 ✓ Microsot Windows Server 2012 R2、2016、2019 Microsoft Windows 10 64-bit （テスト・開発のみ） ✓ メモリ 最低８G ✓ ディスク インストールに５G必要 ★詳細はHelpサイトでご確認ください 2. クラウド版Qlik Senseにアクセスできる ✓ テナント管理者または開発者である ✓ データをアップロードするスペースにアクセスできる 3. オンプレミスの対象データへのアクセス権 注意： 起動するとメモリと処理リソースを消費 します。 またアップロード用データはディスクに格 納されます(qvd）。
- 12. 12 Qlik DataTransferの取得 ①クラウド版Qlik Senseのハブ画面でアカ ウントのアイコンをクリック ②[設定]をクリック ③Qlik DataTransfer の欄で[ダウンロード]をクリック 既にQlikをご契約済みのお客様はQlikのダウンロードサイトからも取得できます。 クラウド版Qlik Senseの画面からQlik DataTransferのモジュールをダウンロードします。 あらかじめアカウントの登録と、テナントの作成が必要です。
- 13. 13 1. Qlik Sense Client Managed (オンプレミスサーバー版）が導入されている環境の 場合は、Qlik Senseのサービスを停止 2. ダウンロードした を実行 Qlik DataTransferのインストール １ 注意： Microsoft .Net 4.7 が導入されていない場合は、最初に .Netのインストールがはじまります。 終了後、システムを再起動し、 再度QSのサービスを停止して、QDT をインストールしてください。
- 14. 14 Qlik DataTransferのインストール ２ 導入後はQlik Data Transfer というサービスが実行されます。 使用条件を許諾 インストールフォルダ を指定 インストール開始 終了
- 15. 15 クラウド版Qlik Senseの開発者ロールの設定 クラウド版Qlik Senseの作業 ② ① ③ ④ ⑤ ⑦ ①ハブでアカウントのアイコンをクリック ②[管理]をクリック ③Management Consoleのユーザー画面を開く ④ユーザのメニュー[…]をクリック ⑤[役割の変更]をクリック ⑥[開発者]をチェック ⑦[保存]をクリック ⑥ APIキー発行のために必要な開発者の役割を付与します。
- 17. 17 Qlik DataTransferとQlik Senseの接続 Qlik DataTransferの作業 ① ② ③ ④ ⑤ ①Qlik DataTransferアイコンをクリックして起動 ②[名前]を入力 ③クラウド版Qlik SenseのURLを入力 ④APIキーを入力 ⑤[適用]をクリック
- 18. 18 DEMO
- 29. 29 DEMO
- 30. 30 制限事項 •データセットごとに最大 200 のテーブルまたはファイルをアップロード ✓ データセットに 200 を超えるテーブルまたはファイルがある場合、最初の 200 のみアップロード ✓ 例：データ接続または Qlik アプリで 200 を超えるテーブルを選択、 200 を超えるファイルを含むデータ フォルダ •アップロードするファイルは 500 MB 以下 •Essbase または Dropbox 内のファイルへの接続はサポート外 •データ フォルダからファイルを削除してもアップロードファイルはクラウドから削除されない •アプリのアップロードを使用する場合、アプリはQlik DataTransferの環境でリロードできること ✓ Qlik Sense Desktop で作成されている、またはQSサーバーでロードできる
- 31. 31 補足情報
- 32. 32 共有フォルダはサポート 〇： sharedata マップフォルダはサポート外 × : Z:data インストールフォルダ（初期設定） C:Program FilesQlikDataTransfer C:ProgramDataQlikDataTransfer ログ C:ProgramDataQlikDataTransferLog C:Users[user]AppDataLocalTemp • Qlik DataTransfer_*.log • Qlik DataTransfer_*_DataTransferService.log ブラウザからアクセス可能 URL: http://localhost:5505 コネクタ C:Program FilesQlikDataTransferConnectors システム情報 ポート データ アップロード サービス 5505 エンジン サービス 5506 コネクター レジストリ プロキシ 5507
- 33. 33 Qlik SaaS Cloud Based RDBMS Cloud Based Flat Files Replicate MAINFRAMEFILESEDW / RDBMS NoSQLSAP Compose 大規模に、リアルタイムでデータをアップロード Qlikデータ統合製品のご紹介 • さらに大規模容量のデータをアップロード • リアルタイムで最新のデータを反映 • 多様なデータソースに対応 Qlik Replicate リアルタイムで高速にデー タを転送 Qlik Compose for DataWarehouse Qlik Compose for Data Lake 最適化されたデータウェアハウスやデータレイクを 自動構築
- 34. 34 FAQ
- 35. 35 FAQ No. 質問 回答/対応 1 他のQlikのデータ統合ツールと比べての利点はなんですか。 無償の軽量ツールで、ITスキルがないユーザーでもすぐに使い始めることがで きます。 2 社内の他のスケジューラーと接続できますか。 Qlik DataTransferではできません。必要な場合はQlik CLI（Qlik Command Line Interface）を使用して直接 SaaS APIs に接続す ることができます。 3 バックアップや復元、冗長化の仕組みはありますか。 バックアップや復元、冗長化の機能はありません。必要に応じて下記をバッ クアップしてください。 C:ProgramDataQlikDataTransferDataUploadstorage 4 設定情報はどこにありますか。 C:ProgramDataQlikDataTransferDataUploadstorage 5 アップロード用ファイルはどこに格納されますか。 C:ProgramDataQlikDataTransferDataUploadqixdata に、QVDファイルとして格納されます。 6 すべてのシステムが共通の時刻参照を持つように、同期化され たタイムサービスプロトコル（NTPなど）を使用していますか？ Qlikデータ転送のスケジューリングは、インストールされているサーバーのロー カルタイムに基づいています。 7 1つのData Transfer Agentのインスタンスで複数のテナント をサポートできますか？例えば、本番環境と非本番環境が分 離されている場合など。 対応していません。
- 36. 36 FAQ No. 質問 回答/対応 8 転送可能なデータ量に制限はありますか。 Qlikエンジンとコネクタが消費するメモリに依存します。 9 メモリの使用は制限できますか。 制限はできません。 10 ソースデータはアップロードした後はどうなりますか。 そのままローカル側に残ります。 11 データリネージは確認できますか。 できません。Qlik データ統合製品のご使用をお勧めします。 12 データが重複でアップロードされたり、正規の環境以外で使用さ れないよう制限する方法はありませんか。 機能はありません。ユーザー側で対応していただく必要があります。 13 データ管理・監査の責任について定義され文書化されています か。 ありません。 14 転送先の地理的な場所を制限することをできますか。 制限はできません。オンプレミスのソースに関係なく、登録された一か所のテ ナントに転送します。 15 前回のアップロードとの差分のみをアップロードすることはできます か。 常に全件をアップロードします。ただしデータベースに対して、「今日追加され たデータのみ」といったフィルタを設定したり、Qlikのアプリに差分データを作成 するロジックを組み込んで実現することは可能です。 16 管理スペースにもデータをアップロードすることはできますか。 管理スペースを含め、すべてのスペースにアップロードすることができます。
- 37. 37 FAQ No. 質問 回答/対応 17 ODBCドライバーを使用時に、シングルサインオンによる接続は できますか。 できます。 18 Qlik DataTransferのエージェントはどのようなユーザー認証 (NTLM, MSAD, SAML or IdP) が行えますか。 データソースに対して、Qlik Sense DesktopやClient Managedと同様 の認証をサポートしています。 19 セキュリティについて httpsプロトコルを使用しています。 テナント情報や接続情報などの機密情報を暗号化するために、AES （Advanced Encryption Standard）アルゴリズムを使用しています。 一般的なSaaSプラットフォームの要件に従って、プライバシー侵害の監視を しています。 プロキシを設定している場合も使用できます。 20 エラーが発生した場合に、通知機能や再実行の機能はありま すか。 通知機能や再実行の機能はありません。エラーはQlik DataTransferの ログに出力されます。
- 38. 38 Q&A
- 39. 39 Q&A 質問 回答 DataTransferを利用するにあたって、必要なポートと URLはありますでしょうか？ 5505、5506、5507が必要です。 下記リンクをご参照ください。 https://help.qlik.com/ja-JP/cloud- services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/install- Qlik-DataTransfer.htm#anchor-3 QDTはサーバーリソースを消費するということですが、デー タ転送用としての使用を考慮する際のデータボリュームは どの程度と考えておけば良いでしょうか。 下記に制限事項があります。ファイルのサイズや個数などに制限があります。 https://help.qlik.com/ja-JP/cloud- services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/qlik- datatransfer.htm#anchor-5 フォルダに配置したファイルアップロードは、サービスがポーリ ングして検知していると思いますが、ポーリング間隔は何 秒か？ポーリング間隔を設定ファイル等で制御できるか、 ご教示ください。 ポーリング間隔については公開しておりません。ユーザー向けの設定機能もございません。 R&D開発者の内部の実装詳細になってしまいますが、Windows APIのShell APIを使用し て、Windowsフォルダ内の変更監視をリアルタイムで行っていると思われます。もしポーリングし て監視すると、仮にファイル数が1万個ほどあるフォルダの場合、ポーリングだけで処理時間がか かってしまいますので、そのためのフォルダ内用の変更通知APIがWindows API(Shell API) に存在します。これ以上の内容については、必要があればテクニカルサポートにご連絡ください。
- 40. 40 Q&A 質問 回答 Data TransferのインストールにQlik Senseは必須で しょうか？ Qlik DataTransferのインストールには、Qlik Senseは必要ありません。接続する(設定す る)際には、クラウド版Qlik Senseが必要となります。 データのアップロード時にネットワークエラーが起こったときは、 ロールバックですか？リトライでしょうか？ 自動でロールバックやリトライを行う機能はありません。アップロード状況とログをご確認の上、対 応していただくことになります。 Qlik DataTransferの環境にQlik Senseは、データ接 続と、データフォルダを利用するのみ場合は不要でしょう か？ Qlikアプリを使う場合に必要という認識でしょうか？その 場合、Qlik Sense Desktopではだめでしょうか？ Qlikアプリを使用する場合はDataTransferがアプリのロードスクリプトを実行します。Qlik DataTransferにはQlikのエンジンが含まれているのでQlik Senseは必要ありませんが、アプリ に含まれるデータ接続に接続できる必要があります。またアップロードに使用するアプリを開発す るためのQlik Senseが必要となります。データ接続と、データフォルダを利用するのみ場合はオン プレミス環境にQlik Senseは不要です。 エラーの通知機能はないですか？ エラー通知機能はありません。
- 41. 41 Appendix
- 42. 42 Qlik Senseの書籍出版 タイトル：Qlik Sense ユーザーのためのデータ分析実践バイブル ・仕様：B5 変 ・ 500ページ ・定価：4,200円＋税 ・刊行日：2020年9月7日 発売中！ • QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ＆加筆 • 1 冊でQlik Sence の基本をマスターし（＝基本編）、ニーズの高い分 析例（＝応用編）をできるだけ丁寧に紹介
- 43. 43 各種情報のご提供 QlikSpace Qlik Community Japan YouTube – Qlik Japan Qlik Partner Portal 製品最新情報、イベント情報、チュートリアル、サンプルアプリ 製品・技術Q&A、製品関連資料 新製品リリースの説明ムービーなど 製品プレゼンテーション資料など（PPT)
- 45. 45 これまでのTech Talkはこちらから Qlik Espresso Web セミナーシリーズ
- 46. For more information, visit: qlik.com/products/nprinting