データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み（NTTデータテクノロジーカンファレンス 2020 発表資料）

© 2020 NTT DATA Corporation 1 © 2020 NTT DATA Corporation
NTTデータテクノロジーカンファレンス 2020
データ活用を俊敏に進めるためのDataOps実践方法と
その高度化のためのナレッジグラフ活用の取り組み
2020年10月14日
株式会社NTTデータデジタル技術部
八木香充 / 大山真実

© 2020 NTT DATA Corporation
DXからDataOpsへ
2

© 2020 NTT DATA Corporation 3
DX（デジタルトランスフォーメーション）とは？
現行
ビジネス
デジタル
ビジネス
DX
アプリケーション
モダナイズ
データ活用

DataOpsはシステム化フェーズで特に重要になる
MLOps MLOps MLOps
DataOps DataOps
実証実験(PoC)フェーズシステム化フェーズ基幹系更改フェーズ
一部データでスピーディーに
低コストで繰り返しモデル開発
全量データをスピーディーにモデ
ルに供給するシステムを開発
データ構造を最適化するため
既存APをモダナイズ
データをいかに素早く分析側に
供給できるかが重要なポイント
データ活用基盤への素早いデータ供
給のために既存アプリケーションの
モダナイズが必要
データ活用アプリケーションモダナイズ
アプリケーション
モダナイズ

DataOpsとは？
5

データを活用できている企業は少ない
データを全社的に利活用できている日本企業は 20% (※1)
利活用
できている
（※1）https://www.gartner.com/jp/newsroom/press-releases/pr-20190527
DataOps が有効な武器のひとつ

DataOpsの定義
組織全体のデータ管理者とデータ消費者の間のデータフローの
コミュニケーション、統合、自動化を改善することに
焦点を当てた協調的なデータ管理手法(※)
（※）https://www.gartner.com/en/information-technology/glossary/dataops

DataOpsは、情報系と何がちがうのか？
データ量
分析内容
定型
非定型
情報系
少多
DataOps
双方向性
データ分析者が必要としているデータを供給す
るため、データ分析者からのフィードバックを重
要視する。
スピード
データ分析者の要望をこまめに取り入れるため、
すばやい構築を行う。

DataOpsの登場人物
データエンジニアデータスチュワードデータサイエンティスト
データ共有のパイプラインを構築し、メン
テナンスを行うエンジニア。
データエンジニアとデータサイエンティスト
をつなぐコミュニケーター。データガバナン
スに関する責任者でもある。
統計や機械学習を駆使して、データを
分析しビジネスに貢献する。
DataOpsで特に重要な役割

データスチュワードによる
DataOpsの実践
10

NTTデータが考えるDataOpsとは？
スピード双方性
目的意識 Oneチーム
SE、データエンジニア、機械学習エ
ンジニア、データサイエンティストが
１つチームとなり、データスチュワー
ドを中心としてDataOpsを実現す
る必要がある。
データ供給者側も、データ分析者
の目的を意識しながら、データ供
給基盤を構築しないと、手段と目
的が入れ替わる危険がある。

DataOps実現へのロードマップ
レベル1
古いDWHが乱立して
おり、分析もアドホック
に実施されている。
レベル2 レベル3
データがサイロ化
手動で
データを整理・統合
自動で
データスチュワードが中
心となり、データ統合
を進めている。
自然言語処理やグラ
フテクノロジーを使って
データ統合を自動化。
DataOps オントロジー
NLP
PoC
データスチュワード
まずはここをめざす

よくあるデータ分析基盤
見えていない領域
データ加工 DWH1 DM1
システム A
DM2
システム B
データサイエンティスト A
データサイエンティスト B
分析基盤 B
分析基盤 A

【レベル1】各所でサイロ化が進んでいる
システム A
DM2
システム B
分析基盤 B
分析基盤 A
システム間のサイロ化
上流-下流のサイロ化

【レベル1】サイロ化に起因してさまざまな課題が発生する
システム A
DM2
システム B
システムの違い
ベンダの違い
セキュリティ要件の違い
データ活用への意識の違い
加工処理が属人化
分析基盤 B
DSとデータエンジニアの連携不足
コミュニケーション不足
コード体系の違い
更新頻度の違い
データ品質の違い
データに関する問い合わせ窓口なし
ベンダの違い
類似処理が放置
仕様が不明確
分析基盤 A
システムのデータ変更
紙媒体・Excel
類似データが大量

【レベル2】データスチュワードがまず担当者をつなぐ
システム A
DM2
システム B
ベンダの違い
分析基盤 B
ベンダの違い
仕様が不明確
分析基盤 A
紙媒体・Excel
最適化
名寄せ
調査
ヒヤリング

【レベル2】担当者を起点にしてシステムを全方位的につなぐ
システム A
DM2
システム B
ベンダの違い
分析基盤 B
ベンダの違い
仕様が不明確
分析基盤 A
紙媒体・Excel
最適化
名寄せ
調査
ヒヤリング

DataOps実践のために大事なこと
コミュニケーション
お客様業務・分析・システムを理
解することで、システムと経営をつ
なぎ、組織間のサイロを打破してい
く。自律的な働きが重要。
標準化→自動化
データスチュワードによって暗黙知
の形式知化をすすめ、さらに標準
化から自動化することで人的作業
を縮小していく。
品質の維持
データ品質・サービス品質を維持
するため、定量的監視を行う。
特に業務要件に近いものは、ド
キュメンテーションにより理解を促進
する取り組みも重要。

ここまでのまとめ
レベル1
手動で
自動で
NLP
PoC
ここまでのおはなし

ここまでのまとめ
ここからのおはなし
レベル1
手動で
自動で
NLP
PoC

ナレッジグラフによる
メタデータ活用の取り組み
21

データスチュワード業務の効率化・高度化を目指して
IT部門
DB, DWH, ETLなど IT部門エンジニア
事業部B
ビジネスユーザ
事業部A
・・・

IT部門
事業部B
事業部A
・・・
現状の理解
 ヒヤリング
 ドキュメント調査

IT部門
事業部B
事業部A
・・・
現状の理解
 ヒヤリング
あるべき姿の提案とそのための作業
 新たなデータ活用の提案
 データの処理と配置の最適化

IT部門事業部B
事業部B
・・・
データスチュワー
ド
多くの企業ではシステムとデータの
現状を理解するためのコストが増大している
• 多種多様な大量のデータが存在
• ビジネス知識の共有の難しさ
現状の理解
 ヒヤリング

IT部門事業部B
事業部B
・・・
データスチュワー
ド
多くの企業ではシステムとデータの
現状を理解するためのコストが増大している
• 多種多様な大量のデータが存在
• ビジネス知識の共有の難しさ
現状の理解
 ヒヤリング
ナレッジグラフによるメタデータ活用！
これらの課題解決を技術の力で支援したい

ナレッジグラフとは？
現実世界の実体（Entity）同士の関係やそれを説明する情報を
グラフ構造で表現したもの
人間と機械が理解できる
RDF（Resource Description Framework）
• W3Cで標準化されている情報の関係をグラフ構
造で表現するための仕組み
機械的に推論することができる
OWL（Web ontology language）
• W3Cで標準化されているオントロジーを表現す
るための仕組み
• 階層化された分類や分類同士の関係、それら
のルールを機械が理解可能な形で表現する
ナレッジグラフの例
http://mowl-power.cs.man.ac.uk/protegeowltutorial/resources/ProtegeOWLTutorialP4_v1_3.pdf

NTTデータによるナレッジグラフを中心とした取り組み

メタデータとは？
データを説明するデータのこと
データはメタデータを付与されて始めて人間が理解できるようになる。
Business Metadata Social Metadata
Technical Metadata Operational Metadata
• 各部署ごとのビジネス知識
例：ビジネス用語集、業務プロセス文書、ドキュメント化さ
れていないビジネスノウハウなど
• データに関わるステークホルダー同士のコミュニケーション
例：データ分析者によるデータの使いやすさの評価
• 組織外部のデータと組織内部のデータの関係
例：3rdパーティデータに関する情報
• データベースやファイルサーバの設計書、設定ファイル
例：ER図、データベースのスキーマ設計図
• 実際にデータベースやファイルサーバに保存されているメタ
データ
• データの処理に関わる設計書
例：バッチ処理設計書、ETLフロー設計書
• データ処理の履歴・リソース情報
例：データの変更履歴、ジョブ実行時のパフォーマンス情報

メタデータをナレッジグラフとして統合する
どこにどのようなデータがあるのか明らかにする
 ビジネスの実体（Entity）と物理データを結びつける
（例：事業部門Aの「SS-001」のデータが「CSA01」テーブルにあることがわかる）
データの価値を明らかにする
 データの重要度、価値を理解できる（例：アクセス頻度、データの履歴・用途）
 不要/冗長なデータや処理を発見できる

ナレッジグラフでデータの流れと価値を可視化する
どこにどのようなデータがあるのか明らかにする
最もビジネスに価値をもたらすデータからデータ活用を進めることができる
データの処理と配置を最適化してデータ活用基盤のコスト最適化ができる
 ビジネスの実体（Entity）と物理データを結びつける
（例：事業部門Aの「SS-001」のデータが「CSA01」テーブルにあることがわかる）
データの価値を明らかにする
 データの重要度、価値を理解できる（例：アクセス頻度、データの用途）
 不要/冗長なデータや処理を発見できる

ナレッジグラフによるメタデータ活用実現に向けた取り組み
メタデータをどのように集めてナレッジグラフに統合するか？
課題

課題
NTTデータによる「データカタログソリューション」
ビジネスメタデータをどのように集めるか？

NTTデータ流通サービス事業部の「Data-Driven Catalog」

NTTデータによる「データカタログ実践事例」
こちらの発表にぜひご注目ください！

課題
NTT ソフトウェアイノベーションセンタによる「協働型機械学習技術」

NTT ソフトウェアイノベーションセンタによる
「協働型機械学習技術」

課題
NTTデータによる「ドメイン特化BERT」
自然文で記述されているメタデータをどのように集めるか？

課題
ABLERによる「ナレッジグラフ構築FW」
自然文で記述されているメタデータをどのように集めるか？
ナレッジグラフの構築を如何に機械化・自動化するか？

IT部門
事業部B
事業部A
・・・
ナレッジグラフ
テクニカルメタデータ、オペレーショナ
ルメタデータをナレッジグラフに統合
ビジネスメタデータ、ソーシャルメ
タデータをナレッジグラフに統合
インターネット
Linked Open Data をナ
レッジグラフに統合
データカタログ
ビジネス文書
データカタログ
ビジネス文書
機械学習によるビジネス
メタデータ入力支援機能
自然言語処理技術による自
然文からの情報抽出機能
• 最もビジネスに価値をもたらすデータから
データ活用を進めることができる
• データの処理と配置を最適化して
データ活用基盤のコスト最適化ができる

データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み（NTTデータテクノロジーカンファレンス 2020 発表資料）

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み（NTTデータテクノロジーカンファレンス 2020 発表資料）

Semelhante a データ活用を俊敏に進めるためのDataOps実践方法とその高度化のためのナレッジグラフ活用の取り組み（NTTデータテクノロジーカンファレンス 2020 発表資料） (20)

Mais de NTT DATA Technology & Innovation

Mais de NTT DATA Technology & Innovation (20)

Último

Último (9)