OCI Data Integration Overview 2021年5月版

Oracle Cloud Infrastructure Data Integration
2021年5月版
日本オラクル株式会社
テクノロジー事業戦略統括ビジネス推進本部
Senior Business Development Manager
谷川信朗

データ統合(Data Integration)における課題
Copyright © 2021, Oracle and/or its affiliates
2
アクセスできないデータの存在
と、その影響による機会損失
信用できないデータに基づく
機械学習処理の実行
不完全で質の低いデータによる、
ビジネス判断力の低下

ユーザー部門がIT部門に求める”いつでもどこでもデータにアクセスできる基盤”
データ統合分野におけるトレンド
3
2022年までに
自動化される
従来型
データ統合タスク
(Gartner 2019)
80%
の企業
39%
のDBA
45%
が自動化
2025年までに
従来型
データセンターの
運用を停止
(Datamation 2019)
50以上の
データベースを
常時管理
(Oracle Survey)

Cloud, Big Data Analytics and AI/ML
新たなビジネス機会を牽引する最新のテクノロジー
4
Cloud：
無限のストレージ上で展開可能な即時かつ弾力的実行環境
Big Data：
データレイクが支える予測分析
Data Science AI & ML：
競争優位を得るためのデジタルトランスフォーメーション
最新のテクノロジーの恩恵を取り込むことでの解決・改善

データドリブンな組織に必要とされる統一された”Data Ecosystem”
5
データドリブンを実践する組織には、データを理解し、変換/管理し、価値を獲得し、その価
値を活用するための統一されたデータエコシステムが必要

データベース
ファイル等
センサー
ソーシャル
モバイル
業務部門
IT
開発者
データ
サイエンティ
スト
6 Copyright © 2021, Oracle and/or its affiliates
各種サービスを組み合わせることで、クラウド上に Data Lake を含むデータ基盤を実現
Oracleが提供する包括的な Cloud Data Platform ソリューション
Object
Storage
OCI Data Flow
OCI GoldenGate
OCI Streaming
Stream Analytics
for OCI
Analytics Cloud
Fast
Connect
Data Providers
(対象データ)
Data Consumers
(データ利用者)
*1) 2021年5月現在、Big Data Serviceに含まれたサービスとして提供中
Big Data Service
ADW/ATP/ExaCS
OCI
Data Integration
OCI Data Science
Cloud SQL(*1)
OCI Data Catalog
Ingest, Integration,
Data Refinery
(収集)
Data Persistence, Data Lake
(蓄積/管理)
Serving
(提供)
Visualize, Analytics, Data Science
(可視化/分析/データサイエンス)

GUIベースのクラウドETLサービス
サービス概要/特徴
• OCI Data Integration は、様々なデータ変換処理を行
うためのETL機能と、コーディング無しで設計する
グラフィカルなインタフェースを提供します
• OCI Data Integration により、簡単にデータの準備、
統合、ロードを行うことが可能です。
こんな課題に役立ちます
• データサイエンスやアナリティクスに使用される
データレイクへの大規模なデータのロードと変換を
効率的に実行したい
• 分析目的で使用されるDW（自律型データウェアハ
ウスなど）へのスケーラブルなデータロードと変換
を効率的に実行したい
サービス価格
• Oracle Cloud Infrastructure - Data Integration -Workspace(ETL
開発時):
19.2 [Workspace Usage Per Hour]
• Oracle Cloud Infrastructure - Data Integration(ETL実行時):
4.8 [Gigabyte of Data Processed Per Hour]
• Oracle Cloud Infrastructure - Data Integration - Pipeline
Operator Execution(Pipeline/Schedule実行時)：
36.0 [Execution Hour]
Oracle Cloud Infrastructure - Data Integration
7

主な特徴
8

開発者の生産性を最大化
• データフローを構築するための強力なグラ
フィカルエディタ
• Data Xplorerでデータを視覚的にプレビュー
• データフローをパラメータ化して柔軟性を最
大化
[ベネフィット]
• 開発者がより迅速にイノベーションを起こせ
るようにする
• 簡素化されたETL設計と保守
• パワフルで柔軟なデータ統合変換
“No Code Data Flow Design”
9

データの移動と統合を簡単に
• タスクによりデータ統合プロセスの構成を簡
素化し、価値を迅速に提供
• データローダタスク(Data Loader Task)：データ
Xplorerを使って反復的にデータセットを準備し
変換を実行
• 統合タスク(IntegrationTask)：データフローの設
定と実行
• 短時間で生産性を向上させ、データをロード
• ベストプラクティスの推進とデータフロー
ルールの再利用が可能
ガイド付きタスクの提供
10
Data LoaderTaskによる
データロード
基本的なプロファイリングやData Preparation

Oracle Cloud に最適化された接続性
• Oracle Cloud およびオンプレミス環境のデータ
ソースに接続が可能
• Oracle Autonomous Database (ADW/ATP)
• Oracle Database & Exadata DB Systems
• Oracle Object Storage: CSV, JSON, Parquet, Avro
• MySQL / PostgreSQL / Apache Hive
• Microsoft SQL Server & Azure SQL Database
• Amazon RDS (MySQL, Oracle, Microsoft SQL
Server)
• Oracle Cloudに最適化された接続性
• 使いやすいネイティブアダプタの拡張セット
Broad Connectivityの提供
11
Data Integration
OCI Data Integration
ORACLE
AUTONOMOUS
DATABASE
ORACLE
AUTONOMOUS
DATABASE
Amazon
RDS

複数タスクのオーケストレーションとスケジュール機能を提供
• パイプラインを設計して、データフローアプ
リケーションやデータサイエンスモデルの呼
び出しに加えて、データ統合タスクを用いて
データおよびAIプロセスをエンドツーエンドで
実行
• シーケンシャルまたはパラレル実行の作成、
条件付きリンクの追加、エラー処理のリトラ
イロジックの追加が可能
• スケジュール実行は毎時、毎日、毎月が可能
Pipeline & Scheduling
12

運用フェーズでのメンテナンス負荷削減
• 運用フェーズでしばしば発生する、データ
ソース側のスキーマ変更による影響(スキー
マ・ドリフト)に対する、手動メンテナンスの
高コスト化を抑制
• 事前準備したルールベースにより、スキーマ
の変更を動的に処理することで、スキーマの
ドリフトから保護
• シンプルなメンテナンスで開発コストを最小
化
• 開発者の時間を解放して、データからより多
くの価値を得ることが可能
Schema Drift Protection の提供
13

業界をリードするパフォーマンス
• ETLとE-LTの両方の処理をサポート
• 高性能なエンジンで実行するコードを生成
• 分散データ処理のためのSparkベースのETL
• DBMSエンジン上でのE-LT処理のプッシュダウ
ン最適化
• データを大規模に処理するための高効率な実
行
• 完全に管理されたサーバーレスランタイム
Spark ETLまたはSQLプッシュダウンを搭載
14
Integration Execution Service
Optimizer
Spark
Execution

各コンポーネントと機能概要
15

OCIコンソールから一元的に操作
OCI Data Integration で使用するコンポーネント(1/2)
16
WORKSPACE
Project, Folder, Data Asset,Task, Data Flow, Applicationをまとめる統合的なリソース・コンテナ
PROJECT 設計時リソース(Task, Data Flow)のためのコンテナ
FOLDER Projectや別のFolder内に設計時リソースを分けて格納するためのフォルダー
DATA ASSET メタデータを含むデータソースや物理ストアを表すコンポーネント
CONNECTION データソースへの接続情報コンポーネント(1つのDataAssetに関連付け)
DATA ENTITY テーブルやビュー、ファイルなどのデータ集合体を表すコンポーネント
SCHEMA Data Asset内のData Entityの集合体を表すコンポーネント
DATA FLOW
ソースからターゲットの間のデータの流れおよび操作を定義する設計時リソース(Integration
Taskに追加)
PIPELINE 複数タスクを順番に接続するためのオーケストレーション・コンポーネント

OCIコンソールから一元的に操作
OCI Data Integration で使用するコンポーネント(2/2)
17
OPERATOR Data Flowの設計時に使用する入出力やデータ操作を表すコンポーネント
PARAMETER Operatorの詳細に割り当てることが出来る変数コンポーネント
TASK
データ操作を行う設計時リソース(IntegrationTask, Data Loader Task, PipelineTask)、Application
Applicationに登録して実行するコンポーネント
APPLICATION 依存関係とともに登録されたTaskなどの実行用コンテナ(テスト環境および本番環境)
PATCH アプリケーションの更新を表現するコンポーネント(ログとして格納)
RUN Taskの実行を表現する実行用コンポーネント
SCHEDULE スケジュール実行を定義するランタイムリソース
TASK SCHEDULE スケジュールのランタイムリソースとタスクを関連付けたランタイムリソース

Data Flow の設計時に使用するOperator
Operator コンポーネント一覧
18
Data Flow で処理を設計する際に、キャンバスへ各Operatorをドラックアンドドロップして設定を追加していきます。
他にも将来のリリースで様々なOperatorが追加される予定です。
Source Operator
入力元となるデータエンティティ。
Data Asset, Connection, Schemaなどを設定する。
Target Operator
変換後のデータをロードする出力先となるデータエンティティ。
Insert, Overwrite, Mergeが選択可能。また、Mappingの設定もTarget側で設定する。
Filter Operator データに対するフィルター処理を行うOperator。
Join Operator データのJoin(結合)を行うOperator。Inner, Left Outer, Right Outer, Full Outer が選択可能。
Expression Operator データに対して派生フィールドを追加する式のOperator。Parameterを割り当てることも可能。
Aggregate Operator すべての行または行のグループに対して、集計やカウントのような計算処理を行うOperator。
Distinct Operator 一意の値を持つ個別の行を返す
Sort Operator データの並べ替えを昇順または降順で実行
Union Operator Union(統合)処理を行うOperator
Minus Operator 片方のエンティティにデータが存在しない行を返す
Intersect Operator 重複行を見つけ排除可否を設定する
Split Operator 単一の入力データを2つ以上の出力に分割する
Lookup Operator プライマリソースの条件と値に基づいてルックアップソースを参照する

データのサンプリング、プロファイリング、Data Preparation
Data Xplorer は、Task実行前にサンプリングやプロファイリングが可能な機能で、Data Flow や Data
Loader 作成中に使用します。
• データプロファイル : 行の総数や属性などのデータの概要を表示します。
• 属性プロファイル : データタイプ、最小値、最大値など、選択した属性の概要を表示します。
Data Xplorer
19

Data Xplorer内で適用するPreparation処理
Transformationコンポーネント
20
Data Xplorerの属性ごとに変換処理を適用するためのコンポーネントです。下記以外にも、今後のリリースで随時機
能追加が予定されています。
Change Case 指定した属性のデータを大文字/小文字変換します
Change Data Type 指定した属性のデータ型を変更します
Create Unique ID 一意のIDを生成します
Exclude 指定した属性およびそのデータをDATA ENTITYから除外します
Extract 指定した属性から正規表現や文字列で抽出した値を新しい属性として追加します
Format 日付や数字のフォーマットのような特定のフォーマットルールをデータに適用します
Hash データXplorerで属性の暗号化された値を生成します
Merge Attributes 指定した2つ以上の属性およびそのデータをマージします
Null Fill Up 指定した属性に含まれるNULLを指定した文字列等で埋めます
Rename 指定した属性の名前を変更します
Replace 指定した属性のデータを指定した文字列で置換します
Replace by Pattern パターン指定でのデータ変換をおこないます
Sort データを昇順または降順で並べ替えます

主な利用ステップ
OCI Data Integration の操作プロセス
21
Workspace にアクセス OCIコンソールからインスタンスのWorkspaceにアクセスします。
DataAsset の作成 Data Integrationに使用するデータソースを登録します。
Connectionの作成と登録接続情報を作成し、DataAssetに追加します。
Project/Folderの作成適宜、設計時リソースとしてProjectとFolderを作成します。
Data Flowの作成 Data Flow をデザインします。
Integration/Data LoaderTaskの作成作成したData FlowをIntegrationTask に登録、適宜Data LoaderTaskを追加します。
Applicationへの登録作成したTaskをApplicationに登録し、テスト環境実行や本番環境にデプロイします。
Taskの実行とモニタリング実行およびモニタリングを行います。
1
2
3
4
5
6
7
8

2021年5月現在
サポートされるデータソース
22
Data SourceType Version Source Target
Amazon RDS for SQL Server 2019/2017/2016SP2/2014SP3/2012SP4 ✔
Amazon Redshift Amazon Redshift ✔
Apache Hive CDH 5.4 and higher/Apache 1.0, 2.0, 3.0+ ✔
Azure SQL Database 11.0+/12.0+ ✔
Microsoft SQL Server 2019/2017/2016SP2/2014SP3/2012SP4 ✔
MySQL 5.7.x and 8.0.x ✔ ✔
MySQL on Amazon RDS 5.7.x and 8.0.x ✔
Amazon S3 Amazon S3 ✔
Autonomous DataWarehouse 18c/19c ✔ ✔
AutonomousTransaction Processing 18c/19c ✔ ✔
Oracle Database 12.1 / 12.2 / 18 / 19 / 20 / 21 ✔ ✔
Oracle Database on OCI 12.1 / 12.2 / 18 / 19 ✔ ✔
Exadata DB Systems 12.1 / 12.2 / 18 / 19 ✔ ✔
Oracle Object Storage Latest ✔ ✔
Oracle on Amazon RDS 12.1 / 12.2 / 18 / 19 / 20 / 21 ✔
PostgreSQL 12.0+/11.0+/10.1/ 9.6, 9.5, 9.4, 9.3, 9.2, 9.1, and 9.0 / 8.4, 8.3, and 8.2 ✔
*「+」と記載されているものはオンラインドキュメント上” and higher”と記載されているものです

 Oracle Object Storage、AmazonS3データアセットでサポートされるオブジェクトタイプ
• CSV, JSON, Parquet, Avro
 Oracle Object StorageでCSV/JSON使用時にサポートされる圧縮タイプ/メソッド
• Auto(Default), Gzip, Bzip2, Deflate, Lz4, Snappy
 Oracle Database でサポートされないデータ型
• ROWID, UROWID, BFILE,TIMESTAMPWITH LOCALTIMEZONE, INTERVAL DAYTO SECOND, INTERVAL
YEARTO MONTH, XMLTYPE, SDO_GEOMETRY
データソースに関する補足
23

2021年5月時点
OCI Data Integration 価格(日本円)
24
Pay as
You Go
Annual
Flex
Metric Metric Minimum
Oracle Cloud Infrastructure –
Data Integration - Workspace
19.2 19.2
Workspace Usage Per
Hour
-
Data Integration
4.8 4.8
Gigabyte of Data
Processed Per Hour
-
Data Integration - Pipeline Operator Execution
36.0 36.0 Execution Hour -
【補足】
• 金額は1$=120円換算の日本円表記です。
• 以下の合計で課金されます。
• Workspace利用時間[perWorkspace/Hour]
• 1時間あたりに処理(読み込んだ)したデータの量[perGB/Hour]
• Pipeline OperatorおよびSchedulerを使用する場合は以下がように課金が加わります。
• テナントごとに月に最初の30時間分の実行時間は無償
• 最小1分単位の実行時間で計算

GUIベースのクラウドETLサービス
サービス概要/特徴
• OCI Data Integration は、様々なデータ変換処理を行
うためのETL機能と、コーディング無しで設計する
グラフィカルなインタフェースを提供します
• OCI Data Integration により、簡単にデータの準備、
統合、ロードを行うことが可能です。
こんな課題に役立ちます
• データサイエンスやアナリティクスに使用される
データレイクへの大規模なデータのロードと変換を
効率的に実行したい
• 分析目的で使用されるDW（自律型データウェアハ
ウスなど）へのスケーラブルなデータロードと変換
を効率的に実行したい
サービス価格
• Oracle Cloud Infrastructure - Data Integration -Workspace(ETL
開発時):
19.2 [Workspace Usage Per Hour]
• Oracle Cloud Infrastructure - Data Integration(ETL実行時):
4.8 [Gigabyte of Data Processed Per Hour]
• Oracle Cloud Infrastructure - Data Integration - Pipeline
Operator Execution(Pipeline/Schedule実行時)：
36.0 [Execution Hour]
Oracle Cloud Infrastructure - Data Integration
25

本資料に関するお問合せ
NobuTanigawa
nobuaki.tanigawa@oracle.com
26

OCI Data Integration Overview 2021年5月版

OCI Data Integration Overview 2021年5月版

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a OCI Data Integration Overview 2021年5月版

Semelhante a OCI Data Integration Overview 2021年5月版 (20)

Mais de オラクルエンジニア通信

Mais de オラクルエンジニア通信 (20)

Último

Último (8)

OCI Data Integration Overview 2021年5月版