如何快速实现数据编织架构
•
0 gostou•409 visualizações
Watch full webinar here: https://bit.ly/3tPpLsa 随着数据量的增加、企业上云、物联网的发展，数据的分散式存在和存储将使传统型方法给企业带来诸多挑战。那么，如何解决？在Gartner 2022年重要战略技术趋势分析演讲中，第一个提到的即数据编织（Data Fabric），一种新型的数据管理和数据整合的理念和架构。 2022年，许多组织都将创建一个数据编织架构，用以促进整个企业范围内的数据进行整合和分析，并实现许多数据集成、数据准备、探索任务的自动化。数据编织架构使用逻辑、物理或混合方法统一分布在不同位置、具有不同格式和传输时间的数据资产。若各组织能够选择最合适的方法，利用这些数据编织架构就可以缩短交付时间并可以将其作为来年的首选数据管理方法。 注册参加Denodo网络研讨会，了解： - 数据编织架构的优势，如何使企业受益，并确保数据架构能够适应未来的新需求； - 跨本地和云虚拟集成，管理和治理企业数据，以生成见解和业务决策；
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 如何快速实现数据编织架构
Semelhante a 如何快速实现数据编织架构 (20)
Mais de Denodo
Mais de Denodo (20)
如何快速实现数据编织架构
- 1. 如何快速实现 Data Fabric 数据架构 Andy Yang Michael Liu 大中华区销售总监 首席架构师
- 2. 1. 数据架构的发展趋势 2. 如何快速实现 Data Fabric 数据架构 3. Data Fabric 核心功能展示及案例介绍 4. Data Fabric 的价值总结 5. Q&A
- 3. 3 数据虚拟化技术的领导者 Denodo 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2021 Forrester Wave 的领导者 - 大数据结构 ▪ 2021 Gartner 数据集成工具魔力象限领导者 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和 拉丁美洲的全球业务。 客户 客户超过1000+，包括所有主要行业的财富 500和全球2000强公司，利用数据虚拟化显 著提高了业务灵活性和投资回报率。 财务状况 有超过 40 亿美元的私有公司支持。 年增长 60% 以上。
- 4. 5 Denodo 资源
- 5. 6 Denodo 资源
- 6. 7 Denodo 联系方式 ✓ Denodo官网：denodo.com.cn ✓ Denodo社区：community.denodo.com ✓ Denodo博客：www.datavirtualizationblog.com ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 cli@denodo.com
- 7. 如何快速实现 Data Fabric 数据架构 采用先进数据虚拟化技术
- 8. 从新冠疫情、动荡政局到气候变化，企业机构不断遭受意外事件的冲击。但利用 数字业务在 颠覆环境中繁荣成长、脱颖而出的思路却未曾改变，始终明确印刻 在人们的脑海中。 IT领导者需要为数字业务提供技术支持，承担相应的责任，并通过使用能够成倍 增加IT力量 的创新趋势，加速增长，战略性推动企业机构进步。 这些创新趋势将能够： • 随时随地为员工和设备提供可靠的数字连接 • 随时随地为快速扩展数字创意提供解决方案 • 提供创新能力，加速业务增长 这些趋势彼此成就，相辅相成。若结合使用，Gartner 2022年重要战略技术趋 势将助您协助 CEO完成优先任务，达到扩大规模、适应变化和加速增长的预期 目标。 David Groombridge Gartner基础设施和通讯服 务 副总裁分析师 趋势 数据编织 (Data Fabric) 网络安全网格 隐私增强计算 云原生平台 组装式应用 决策智能 超级自动化 AI 工程化 分布式企业 全面体验 自治系统 生成式 AI 2022 塑造数字业务未来的12大趋势
- 9. 10 企业级数据平台发展的主要趋势 数据湖 数据编织 湖仓一体 数据架构的变革， Data Fabric（数据编织）架构的兴起，已经成为全球最新的架构设计趋势。 数据仓库 数据湖 基于云的数据平台 数据编织 传统数仓 2000 2015 2018 2020
- 10. RESTRICTED DISTRIBUTION 16 © 2021 Gartner, Inc. and/or its affiliates. All rights reserved. 数据 问 题 已知 未知 已 知 未 知 ETL / 批处理 数据复制 基础核心 数据同步 流数据集成 数据虚拟化 解决已知问 题 用于快速原型设计 等 数据虚拟化 进一步探索已知数 据 支持预测建模和 数据科学原型 建立价值 数据准备 （通过治理规则） 数据目录 数据自服务 数据探索准备 创新与探索 未知数据 或 未知问题的业务需求越来越多
- 11. RESTRICTED DISTRIBUTION 12 © 2021 Gartner, Inc. and/or its affiliates. All rights reserved. “收集”数据 与“连接”数据的平衡 元数 据 使用场景（运营、分析、多样化） 描述 组织 结合 共享 治理 实现 数据资产类型 数据, SQL 查询, 报告, 建议, 仪表板,数据服务,KPI, 虚拟数据资产 基础设施 “收集”数据在解决未知数据和未知问题时，存在严重的效率问题，分析结果的时效性 和 准确性也得不到保证。
- 12. 14 2020：Data Fabric Data Fabric 业务 客户 产品 服务 RDBMS/OLTP 传统分析/BI 数据湖 云数据存储 应用程序和文档存储库 Flat Files 第三方 Legacy Mart 数据仓库 Mart ETL ETL XML • JSON • PDF DOC • WEB ▪ 利用元数据构建数据资产，实现企业范围内的全数据结构的统一管理。 ▪ 满足数据时效性，更快速的获取数据，灵活的数据访问和数据共享能力。 ▪ 各种结构的数据标准化接入，实现跨平台的数据治理和数据访问安全控制。 Data Fabric 是一种通用的数据体系结构，无论什么样结构的数据、技术平台、云 上云下、多地数据中心，都可以执行统一的数据集成、安全治理、服务和部署。
- 13. 15 Denodo 是实现 Data Fabric 的关键 揭开数据结构的神秘面纱， 9月 2020 Data Fabric的核心: 能够通过一个公共层，将可 信数据从所有相关数据源， 交付给所有相关数据消费者， 从而能够以更加高效的方式 整合不同的数据源快速得到 分析结果。
- 14. 16 使用 各种数据访问 整合 异构数据 2 3 Enterprise Applications, Reporting,BI, Portals, ESB, Mobile, Web, Users, IoT/Streaming Data 连接 各种数据源 不同的数据源 数据库 & 传统数仓, 业务系统 / 云应用, 大数据, 外部数据,非结构化数据, Web服务, XML, Excel, Hbase, TD... 非结构化 1 结构化 多个协议 格式 链接数据服务 查询、搜索、浏览 请求/回复 事件驱动 安全交付 Library of wrappers Web automation Any data or content Read & Write 数据使用者 DATA CONSUMERS 数据分析 数据应用 数据虚拟化 合并 消费 发现、改造、准 共享、交付、发 备、提高质量、 布、管理、协作 整合 连接 异构数据的规 范化视图 异构实时集成 标准治理建模 数据开放共享 数据资产管理 智能优化引擎 数据访问加速 数据安全管控 图形运维开发 Denodo 功能介绍
- 15. 17 示例：Denodo 通用数据架构 低代码开发平台 分析 数据科学 AI/ML 数据货币化 数据市场 iPaaS Kafka ETL CDC Sqoop Flume 暂存 区 原始数据区 域 域 核心 DWH 监理数据区 域 模型 已有的数据中台或传统数仓 数据湖 Denodo 跨平台数据管理 云视图 混合视图 DWH 视图 分析视图 数据科学视图 λ 视图 实时视图 通用数据服务目 录 集中访问控 制 Data Fabric 数据架构 异 构 数 据 标 准 化 接 入 统 一 数 据 治 理
- 16. 18 云应用 Salesforce.com AWS Ecosystem AWS 数据源 Amazon Redshift Amazon Aurora Amazon Dynamo DB Amazon Athena Amazon S3 数据消费者 Amazon QuickSight 本地数据源 SAP Data Sources MS Excel 其他数据 示例：Denodo 实现多云及云上云下混合架构 Azure Ecosystem Denodo Data Virtualization 数据目录 SQL API Denodo Data Virtualization SQL API Azure 数据源 Azure Synapse Azure Delta Lake
- 17. Demo演示
- 19. 示例 分析不同地区、不同营销活动的销售 情况。 • 历史销售数据，在大数据平台 (Impala)上，节省存储成本。 • 营销活动数据，存储在云服务(REST API)。 • 客户信息，存储在本地数据仓库 (DW) 中。 数据 源 合并 转换 集成 使用 基本 视图 按地区分组 连接 连接 销售额 活动 客户
- 20. Denodo 智能优化引擎的最佳性能优化策略 SELECT c.state, AVG(s.amount) FROM customer c JOIN sales s ON c.id = s.customer_id GROUP BY c.state 分组依据 连接 客户 销售额 临时客户表 临时数据移动策略 客户 创建临时表 格 连接 销售额 原生策略 分组依据 选项 1？ 选项 2？ 选项 3？ 客户 和 销售额 来自不同的数据源。 最佳执行计划是什么？ 3亿 2百万 2百万 50万 销售额 部分聚合下推策略 客户 按 ID 分组 按地区分组 连接 2百万 2百万
- 21. 客户案例
- 22. 24 必和必拓 – 数据和用户遍布全球 HoustonDC Santiago DC Perth DC Brisbane DC AWS US East Escondida Jansen London Singapore Kuala Lumpor Shanghai AWS APAC
- 23. 25 必和必拓 – 构建 Data Fabric 架构体系 HoustonDC Santiago DC Perth DC Brisbane DC AWS US East AWS APAC Escondida Jansen London Singapore Kuala Lumpor Shanghai 每个数据虚拟化集群都连接到本地数据源， 是本地消费者应用程序(如BI和分析工具)的 接入点。每个数据虚拟化集群都可以看到来 自所有其他集群的可用数据集，并根据最终 用户的需要从它的对等集群请求这些数据。
- 24. 26 必和必拓 – 构建 Data Fabric 架构体系 HoustonDC Santiago DC Perth DC Brisbane DC AWS US East AWS APAC Escondida Jansen London Singapore Kuala Lumpor Shanghai
- 25. 27 支持所有角色人员使用 RDBMS/OLTP Flat Files Legacy Third Party Traditional Analytics/BI Data Lakes Cloud Data Stores Apps and Document Applications/APIs Data Warehouse ETL ETL Mart Mart Repositories XML • JSON • PDF DOC • WEB REST OData SOAP/XML GraphQL 数据集成服务 管理服 务 数据市场 数据访问服务 数据编织服务 数据计算服务 数据专员 系统管理员 数据编织 管理员
- 26. 价值总结
- 27. 29 消除数据孤岛实时互通 大幅减少数据移动复制 大幅减少数据管理工作 快速提供多种数据服务 异构数据标准治理接入 管理集中物理分散减少复制，节省资源降本增效 逻辑数据分离，异构数据整合统一的数据模型中 集中管理跨平台的元数据和主数据 一键发布多种数据服务，Rest API、 SOAP WS 异构数据扁平化、标准化治理，采用集中式数据 安全治理接入策略 单独确定目标和虚拟化概念的 实际匹配度 根据业务价值调整解决方案，充分发挥 虚拟化的业务价值 采取行动！ 发现痛点 和待做事项！ 提升数据时效性，降低开发成本 提升业务自服务，释放数据价值 提高管理敏捷性，降低复杂度。 基于数据虚拟化技术构建的Data Fabric 架构，实现管理集中、物理分散，从容应对各种数据挑战。 挑战 数据虚拟化技术 业务价值 Data Fabric 数据架构的好处
- 28. 30 Denodo 资源
- 29. 31 Denodo 联系方式 ✓ Denodo官网：denodo.com.cn ✓ Denodo社区：community.denodo.com ✓ Denodo博客：www.datavirtualizationblog.com ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.18518356610 ✓ 邮件至 cli@denodo.com
- 30. Q&A
- 31. Thanks! www.denodo.com info@denodo.com © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.