O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

データ利活用を促進するメタデータ

5.065 visualizações

Publicada em

ヤフーのメタデータ可視化の取り組みについて紹介します。メタデータを3つのlayerに分類してそれぞれの課題と対応について説明します

Publicada em: Tecnologia
  • Entre para ver os comentários

データ利活用を促進するメタデータ

  1. 1. ヤフー株式会社 データ&サイエンスソリューション統括本部 エリア関西 尾崎 弘宗 データ利活用を促進するメ タデータ 2017年2月10日
  2. 2. 自己紹介 2 尾崎 弘宗 ヤフー株式会社 データ&サイエンスソリューション統括本部 D&Sエリア関西 経歴 〜2005年 某SIer会社(官公庁、金融系のデータベース設計、開発) 2005年〜 ヤフー株式会社入社(データベースプラットフォーム設計〜運用) 2014年〜 データ&サイエンスソリューション統括本部 (DMP、データマネージメント) 2016年〜 大阪オフィス勤務
  3. 3. アジェンダ 3 ・ヤフーのビッグデータ ・メタデータ可視化の取り組み ・メタデータ分類 ・メタデータ収集 ・今後の課題 ・まとめ
  4. 4. ヤフーのビッグデータ
  5. 5. 100種を超えるYahoo!サービス
  6. 6. 100以上のデータバラエティ
  7. 7. 670億ページビュー/月 8,900万/日ユニークブラウザ 670 億PV 膨大なデータボリューム
  8. 8. 約125TB at 1day
  9. 9. 約50,000アクセス in 1sec
  10. 10. Variety Volume Velocity
  11. 11. メタデータ可視化の 取り組み
  12. 12. 取り組み 12 メタデータを集約して 横断的にデータを探せる 「データカタログ」を作成中
  13. 13. 背景 13 どこにどんなデータがあるか 分からない データ利活用の妨げに ・他サービス、他部門がどんなデータを持っているか知らない ・データを探すのに時間がかかる
  14. 14. 目的 14 どこにどんなデータがあるか 分からない 分かる データ利活用を促進 ・他サービス、他部門がどんなデータを持っているか分かる ・データをすぐに探せる
  15. 15. 実現方法 15 バナナ バナナ 価格:98円 賞味期限:2017/3/10 生産者:矢風農場 販売店:スーパー矢風
  16. 16. 実現方法 16 データの意味や価値、所在地などの メタデータを可視化する バナナ バナナ 価格:98円 賞味期限:2017/3/10 生産者:矢風農場 販売店:スーパー矢風 安心
  17. 17. データカタログ利用イメージ 17 ユーザーデータ データ提供者:数十人 (エンジニア) サービス Hadoop メディア系 コマース系 デ ー タ カ タ ロ グ RDB 共通API 可視化 ①メタデータ参照 ・データの種類・意味の検索 ・利活用のナレッジ共有 ・データ利用までナビゲーション データ利活用アイデア DWH 生データ 共通データ ファイナンス系 ②メタデータ登録 ・データ構造・意味管理 ・データ利用者、連絡先管理 データ利活用者:数千人 (企画・エンジニアetc.) KVS
  18. 18. メタデータ分類
  19. 19. データ基盤と規模 19 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes Hadoop 6,000nodes
  20. 20. データ構造 20 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes 構造化データ 非構造化データ 構造化+非構造化+半構造化データHadoop 6,000nodes
  21. 21. メタデータ数 21 DWH 1.7PB RDB 1,000dbs KVS 2,000nodes Object Storage 1,500nodes Hadoop 6,000nodes 推定 テーブル数:約23,000 カラム数:約320,000
  22. 22. メタデータ分類 22 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 Layer3
  23. 23. メタデータ分類 23 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer3 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明
  24. 24. メタデータ分類 24 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3 マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール
  25. 25. メタデータの課題 25 Layer1 テクニカルメタデータ データアクセスするために必要な情報 ・データ所在地 ・データ構造 Layer2 ビジネスメタデータ データの意味を理解するために必要な情報 ・データ内容説明 Layer3 マルチユースメタデータ データ取得目的とは別の用途、他部門で利用するために必要な情報 ※データの「価値」を可視化する必要がある ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 ・データの組み合わせによるセキュリティルール 課題 ・システム毎に点在している情報を どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・社内に点在しているドキュメントを どうやって収集すべきか(How) ・収集した情報をどうやって最新に保つのか(How) 課題 ・どんな情報を収集すべきか(What) ・どうやって情報を収集すべきか(How) ※出来るだけ機械的に収集したい。 ・どうやって見せるか(How)
  26. 26. メタデータ収集
  27. 27. テクニカルメタデータ収集方法 27 種類 説明 項目 保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
  28. 28. ビジネスメタデータ収集方法 28 種類 説明 項目 保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
  29. 29. マルチユースメタデータ収集方法 29 種類 説明 項目 保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)
  30. 30. メタデータ登録コスト 30 種類 説明 項目 保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発(自動) ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア(自動)小 大 コスト
  31. 31. データ利活用までのコスト 31 種類 説明 項目 保存先(現状) 収集方法 Layer3: マルチユースメタデータ データ取得目的とは別の 用途、他部門で利用する ために必要な情報 ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内Wiki) ・データ登録 UI ・登録API開発 ※データ量など Layer2: ビジネスメタデータ データの意味を理解する ために必要な情報 ・データ内容説明 ・社内Wiki/Excel ・データモデリング ツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカルメタデータ データアクセスするため に必要な情報 ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリング ツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメント ソフトウェア 小 大 コスト
  32. 32. メタデータ登録コストパフォーマンス 32 マルチユース可能なデータ マルチユースが難しいデータ 全てのデータに対して 詳細なメタデータを登録するのは コストに見合わない
  33. 33. メタデータ収集粒度 33 種類 項目 保存先(現 状) 収集方法 Layer3: マルチユース メタデータ ・活用knowledge ・品質情報 ・データ量 ・SLA ・活用条件 ・活用範囲 基本存在しない。 (一部は社内 Wiki) ・データ登録 UI ・登録API開発 ※データ量など Layer2: ビジネス メタデータ ・データ内容説明 ・社内Wiki/Excel ・データモデリン グツール(様々) ・データ登録 UI ・Excel読み込み Layer1: テクニカル メタデータ ・データ所在地 ・データ構造 ・社内Wiki/Excel ・GitHub ・データモデリン グツール(様々) ・データベース/ データストア ・データ登録 UI ・Excel読み込み ・GitHub連携 (DDL読み込み) ・ETL/マネージメントソフトウェア (Informatica,Alation) 対象データ マ ル チ ユ ー ス 可 能 な デ ー タ 分 析 用 共 通 デ ー タ サ ー ビ ス 固 有 デ ー タ 登 録 コ ス ト 活 用 ま で の コ ス ト プライオリティー 高 低 大 小 小 大
  34. 34. メタデータ収集全体図 34 メタデータ リポジトリDB Hadoop DWH RDB KVS データ説明、構造情報 UI/ UI IF データカタログ 参照UI Hadoop DWH RDB KVS データの状態情報 Hadoop <ファイルサイズ/レコード数etc> API DWH RDB KVS UI <品質情報> Hadoop DWH RDB KVS 機械学習 <データ構造> <データ名、データ内容説明、値説明etc> データ利活用情報 メタデータ検索、参照 <キーワード検索、タグ検索、各種情報参照etc> UI/ UI/ <利用サービス、Knowledge、タグetc> <インテリジェエンス機能> (クラスタリング、自動タグ付け) =検討中 ETLツールなど ETLツールなど ETLツールなど 社内 Wiki 社内 Wiki
  35. 35. 今後の課題
  36. 36. 課題1 36 魅力的なコンテンツ (活用できるデータ)を揃える
  37. 37. 課題2 37 メタデータ登録のモチベーション
  38. 38. まとめ
  39. 39. 本日のまとめ 39 ・メタデータ可視化の目的を定める ・目的を達成するのに必要なメタデータを定める ・データ毎に適切な粒度でメタデータを登録する
  40. 40. 40 END

×