逻辑数据编织如何完善IT架构，盘活数据资产
•
0 gostou•52 visualizações
Watch full webinar here: https://bit.ly/3h4JKiO 在Denodo网络研讨会中，我们讨论了创建逻辑数据编织的好处，以及为什么数据编织通常是数据集成项目中唯一成功的现代架构。 同时，我们还分享了逻辑数据编织如何消除业务用户、数据科学家和其他数据消费者在使用数据湖、数据中心、数据仓库和其他数据孤岛中不同数据源时遇到的其他数据架构的挑战。 观看Denodo网络研讨会，了解： - 数据编织作为一种流行的新架构，如何与现有的事务数据和数据交付系统进行集成 - 将消费层与数据源解耦的好处 - 逻辑数据编织的关键属性，包括集中式数据安全、嵌入式元数据支持、面向记录和面向集合的数据访问的内置支持以及人工智能支持
Recomendados
Mais conteúdo relacionado
Semelhante a 逻辑数据编织如何完善IT架构，盘活数据资产
Semelhante a 逻辑数据编织如何完善IT架构，盘活数据资产 (20)
Mais de Denodo
Mais de Denodo (20)
逻辑数据编织如何完善IT架构，盘活数据资产
- 2. AGENDA 1. 历史和发展 2. 逻辑数据编织 3. Denodo 平台 4. 关键功能 I. 逻辑数据访问 II. 高级语义/数据目录 III. 统一的安全和治理 IV. 实时数据集成 V. AI/ML 建议和自动化 VI. 性能/查询加速 5. 客户应用场景 6. 关键要点
- 4. 历史和发展
- 7. 7 数据编织 – Gartner 通俗地说 • “集成来自不同数据来源 的数据” • 安全地提供不同数据对 象的“集成视图” • 将“集成数据”用于分析和 操作目的 • 使用 AI/ML（人工智能/机 器学习）使整个流程自动 化
- 8. 8 数据编织 – Gartner 通俗地说 • “集成来自不同数据来源 的数据” • 安全地提供不同数据对 象的“集成视图” • 将“集成数据”用于分析和 操作目的 • 使用 AI/ML（人工智能/机 器学习）使整个流程自动 化 数据编织网络 混合内容 客户 产品 应用 RDBMS/OLTP 传统分析/BI 数据湖 云数据存储 应用程序和文档存储库 平面文件 第三方 传统 集市 数据仓库 集市 ETL ETL XML • JSON • PDF DOC • WEB
- 9. 逻辑数据编织
- 10. 10 分布式数据环境 点对点式数据集成方法面临困境： ▪ 提取和移动数据会增加延迟、提高成本，并 降低质量 ▪ 每个项目都以不同方式解决数据访问和集成 问题 ▪ 解决方案与数据来源联系紧密，影响灵活性 和敏捷性 ▪ 没有集中治理和控制 数据 来源 数据 使用者 数据 治理 工具 DB、DW 和 数据湖 文件 BI 控制面板 报告和工具 数据科学和 机器学习 应用程序 移动和 企业应用程序 微服务 应用程序 云 DB 和 SaaS 流式 数据和 IoT 多维数据集
- 11. 11 逻辑数据编织 ▪ “集成来自不同数据来源的数据” ▪ 安全地提供不同数据对象的“集成视图” ▪ 将“集成数据”用于分析和操作目的 ▪ 使用 AI/ML（人工智能/机器学习）使整个流程自动化 企业架构师必须修改他们的数据架构，以满足快速访问数据的需求。” –“为实时敏捷型自助数据平台创建路线图”，Forrester Research
- 12. Denodo 平台
- 13. 13 Denodo 平台：一个适用于您的所有数据的逻辑平台 以逻辑方式集成、管理和交付分布式数据 任何数据 来源 任何数据 使用者 任何平台环境 本地 | 云 | 多云 | 容器化 数据 治理 工具 BI 控制面板 报告和工具 数据科学和 机器学习 应用程序 移动和 企业应用程序 微服务 应用程序 DB、DW 和 数据湖 文件 云 DB 和 SaaS 流式 数据和 IoT 多维数据集 智能查询 加速 AI/ML 建议 和自动化 高级语义 和可用数据 目录 统一的安全防护和 治理 逻辑数据 抽象化 实时数据 集成
- 14. 14 BI 工具 数据科学工具 Denodo 平台架构 数据目录 发现 - 探索 - 记录 数据即服务 RESTful/OData GraphQL/GeoJSON SQL 使用者 自助服务 混合/ 多云 查询 优化 AI//ML 建议 安全 数据集成、管理和交付平台 数据源 150+ 数据 适配器 应用程序 流式数据 数据 治理 SaaS 文件 OLAP Hadoop 和 NoSQL 云 存储 传统 DB 和 DW 集成 任意位置、格式或有任意延迟的不同数据 管理 相关数据，使其形成具有通用语义模型的视图 交付 利用 BI 和数据科学工具、数据目录及 API 进行交付
- 15. 关键功能
- 16. 16 数据虚拟化：逻辑和分布式架构的基础 “数据虚拟化功能提供的访问和交付层可以用作逻辑数据编织的基础，带来在数据管理领域非常重要的自动化功能。这些包括数据推荐、数据质量、 数据治理和策略的自动化，以及数据虚拟化的核心集成功能。” – Gartner：评估现代数据架构中数据虚拟化的相关性，2021 年 6 月 逻辑和分布式数据架构中的 6 个关键功能 应用场景 角色 混合/多云数据 集成 自助服务 BI 数据湖库/ 分析查询加速器 3600 全方位 实体视图 数据复制 数据科学 企业数据服务 数据编织/ 数据网格 数据/BI 分析师 数据科学家 架构师 数据工程师/ 开发人员 数据运维管理 实时 数据集成 逻辑数据 抽象化 智能查询 加速 高级语义 自动化和建议 统一的安全 和治理 数据目录 AI/ML
- 17. 逻辑数据抽象化
- 18. 18 逻辑数据访问和抽象化 ▪ 简化对不同数据源的访问。 ▪ 充当单一虚拟存储库。 ▪ 抽离数据复杂性，例如位置、格式、协议 ▪ 便于访问所有内部和外部数据 ▪ 创建反映业务分类的通用语义模型 ▪ 连接数据孤岛，以提供最佳可用信息，进而驱动业务决策 …隐藏数据复杂性，以方便业务部门访问数据 企业架构师必须修改他们的数据架构，以满足快速访问数据的需求。” –“为实时敏捷型自助数据平台创建路线图”，Forrester Research 数据准备工作量 减少 65%
- 19. 高级语义/ 数据目录
- 20. 20 弥合 IT 与业务之间的鸿沟 数据目录 ▪ 企业级数据集目录可供使用 ▪ 发现与特定需求相关的数据集，并了解它们提供的数据 ▪ 业务元数据；描述、标签、自定义属性等 ▪ 协作和治理功能：背书、警告、弃用 ▪ 集成使用情况统计、数据沿袭、关系图谱 ▪ 与交付层完全集成 ▪ 专为业务用户设计的 UI 支持高级搜索和查询功能 ▪ 集成安全 ▪ 与多种报告工具集成：“Open with”（打开方式）和“Export to”（导出到） 选项
- 21. 21 发现和了解数据 • 了解数据是否满足需求，即查询数据或 对数据进行采样 • 了解相关数据 • 了解数据沿袭 • 通过剖析数据了解数据包含的内容 • 了解数据的使用情况 …支持信息发现和自助服务
- 23. 实时数据集成
- 24. 24 与位置无关的架构，适用于多云、混合加速 • 通过将数据、应用程序和分析工作负载迁移到云端来优化 成本，而不会对业务造成影响 • 允许创建中心化架构，以支持跨混合工作负载的数据集 成。 • 对迁移/升级和持续交付流程进行端到端管理。 …促成采用云计算 平台可在极短的周转时间内快速‘解锁’来自其他孤岛和旧有系统的数据。无论是 提供数据（北向）还是从数据源访问数据（南向），Denodo 对 Restful/Odata 标 准的支持都罕有供应商（如果有）能与之比肩。” – 瑞士再保险业务分析师
- 25. 25 实时信息 ▪ 向使用者实时提供数据 ▪ 跨多个数据源创建数据的实时逻辑视图 ▪ 支持转换和质量功能，不像传统方法那样存在延迟、冗 余及僵化等问题 …助力及时作出决策 Denodo 的数据结构设计基于数据虚拟化技术，能够快速为业务用户提供所需的集成数据，加快成效实现速度。” – Gartner 数据集成工具魔力象限，2020 年 8 月 18 日
- 26. 自动化和推荐
- 27. 27 基于 AI 的自动化可提供更好的数据服务 Denodo 在数据架构中作为唯一数据通道，可以收集有关数据访问和数据交付 的关键信息 ▪ 何人在何时通过何种方式使用哪些数据 ▪ 数据源被访问的方式及其响应 ▪ 数据集如何组合，以及如何 ▪ 何人使用哪些使用工具 使用情况统计信息（元数据）作为 AI 算法的输入项，驱动推荐引擎
- 28. 28 自动推荐以获得更出色的性能 • Denodo 使用人工智能自动推荐数据集来选择性物 化数据集（摘要）以提升性能。 • 使用的 AI 算法可以结合使用历史信息和成本估算信 息来生成推荐。
- 29. 智能查询加速
- 30. 30 性能 ▪ Denodo 是逻辑层，它只存储元数据 ▪ PK、数据类型、统计等 ▪ 因此，所有数据都是外部的 ▪ 外部源通常具有处理计算能力 ▪ Denodo 的工作是以最佳方式仔细协调源系统的执行 ▪ 最大限度将处理下推到数据源 ▪ 最大限度地减少通过网络传输的数据 ▪ 此外，选择性物化技术（如缓存和摘要）可用于加速实时执行 概述
- 31. 31 智能查询加速 ▪ 如果实时关联不够快，还可使用 Denodo 提供的其他加速技术，如智能查 询加速 ▪ 它基于大型事实表和常见维度的部分聚合理念，这些聚合提前物化并用作 加速查询的起点 ▪ 与某些 BI 工具和 OLAP 数据库使用的聚合感知概念类似 ▪ Denodo 调用这些部分聚合：摘要 ▪ 摘要远小于原始表格，因此查询速度更快 ▪ Denodo 的查询优化器会分析每个查询，并在符合其要求的可用摘要中进 行选择 ▪ 此过程对最终用户完全透明
- 32. 32 嵌入式 MPP 执行引擎 ▪ Denodo 提供了一个基于 Presto 的 MPP 引擎，用于： ▪ 轻松、高效地访问数据湖内容（S3/ADLS/等中的 Parquet 文件） ▪ 无需其他引擎 ▪ 集成安全和管理 ▪ 缓存和加速功能的开箱即用 MPP 选项 ▪ 高效集成式存储大量可用元数据/查询历史记录，以支 持即将推出的 AI 功能 ▪ 不会取代 Denodo 执行引擎，而是扩展功能，以便在某 些场景中提高性能。 逻辑层 DB 和 DW 云 Excel 湖文件系统 (S3/ADLS) 湖引擎 MPP 引擎
- 33. 统一的安全和治理
- 34. 34 集中化元数据、安全和治理 • 抽象化数据源安全模型，并支持单点安全和治理。 • 跨云和本地架构扩展单点控制 • 提供多种形式的元数据（技术、业务、运营）以促进对数据的 理解。 …简化数据安全、隐私和审计 “Denodo 的部署是我见过最简单也最成功的一种关键企业软件部 署。平台立竿见影地处理了我们初始安全应用场景的问题，此后亦展 示出涵盖其他应用场景的强大能力，特别是还可以通过其 Web 服务 功能充当数据抽象层。” – Asurion 企业架构师
- 35. 35 集中管理数据访问
- 36. 客户应用场景
- 37. 37 BHP（必和必拓）– 数据和用户分布于全球 休斯顿数据中心 圣地亚哥数据中心 珀斯数据中心 布里斯班数据中心 AWS 美国 东部 AWS 亚太地区 埃斯康迪达 杨森 (Jansen，加拿 大萨斯喀彻温 省) 伦敦 新加坡 吉隆坡 上海
- 38. 38 BHP（必和必拓）– 混合多区域集成 休斯顿数据中心 圣地亚哥数据中心 珀斯数据中心 布里斯班数据中心 AWS 美国 东部 AWS 亚太地区 埃斯康迪达 杨森 (Jansen， 加拿大萨斯喀 彻温省) 伦敦 新加坡 吉隆坡 上海 每个数据虚拟化群集均连接至本地数据源，并且是本地 使用者应用程序（如商业智能和分析工具）的访问点；对 于所有其他群集提供的数据集，每个数据虚拟化群集均 拥有可见性，并可根据最终用户的要求，请求其对等群 集提供这些数据
- 40. 关键要点
- 41. 41 Denodo 平台：一个适用于您的所有数据的逻辑平台 混合/ 多云 安全和 治理 Al/ML 推荐 查询 优化和加速 高级语义 数据目录发现/探索/ 记录 BI 工具 SQL/MDX 数据科学 工具 数据即服务 RESTful/Odata GraphQL/GeoJSON 文件 多维数据集 数据湖和 NoSQL 云 存储 传统 DB 和 DW 文件 易于使用 查询响应 速度快 集成、 主动数据目录 通用连接性 现代数据 服务 API 层 动态数据脱敏 自动化 云管理 关键差异化优势 集成 管理 交付 任意位置、 格式或有任意延迟的 不同数据 使用通用语义模型 和 AI/ML 功能来 管理数据，支持 重要数据治理 利用 BI 和数据科学工具、 数据目录及 API，交付数据 并实现数据民主化 实现收入所需时间 缩短 83% 数据准备工作量 减少 67% 与 ETL 相比， 交付时间缩短 65% 来源：Forrester 2021 年报告：数据虚拟化的总体经济 影响 (Total Economic ImpactTM )
- 43. 43 Denodo 联系方式 ✔ Denodo官网：denodo.com.cn ✔ Denodo社区：community.denodo.com ✔ Denodo博客：www.datavirtualizationblog.com ✔ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✔ 联系我们： ✔ 添加微信 ✔ 电话至 +86.18518356610 ✔ 邮件至 cli@denodo.com
- 44. Q&A
- 45. 45 立即开始使用 欢迎在云应用商店开启 Denodo 30 天 免费试用之旅 选择 在您的云账户进行选择 支持 通过社区论坛和远程销售工程师获取 支持 机会 享受 Denodo 云专家提供的 30 分钟 免费咨询 denodo.com/free-trials
- 46. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.