1. 借助Denodo加速数据科学运营：
企业人工智能之旅
1
Stanley Zhang
Denodo Senior SE
18930226403
szhang@denodo.com

2. Agenda
1. 成功部署数据科学
2. Demo演示
3. 案例
4. 问答

3. 数据驱动的企业

4. 4
可视化
ML / AI
数据科学
数据质量
数据虚拟化助力企业数据科学运营
数据源
Data Warehouse
noSQL
RDBMS
数据治理，元数据管理，数据集市
数据安全
数据访问
Data Virtualization Data Services

5. 5
Denodo数据虚拟化平台
DATA CATALOG
Discover - Explore - Document
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
BI Tools Data Science Tools
SQL
CONSUMERS
LOGICAL
DATA
FABRIC
SOURCES
Traditional
DB & DW
150+
data
adapters
Cloud
Stores
Hadoop
& NoSQL OLAP Files Apps Streaming SaaS
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Abstraction
连接

6. 6
Denodo数据虚拟化平台
DATA CATALOG
Discover - Explore - Document
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
BI Tools Data Science Tools
SQL
CONSUMERS
LOGICAL
DATA
FABRIC
SOURCES
Traditional
DB & DW
150+
data
adapters
Cloud
Stores
Hadoop
& NoSQL OLAP Files Apps Streaming SaaS
Unified
View
Unified
View
Unified
View
Unified
View
A
J
J
Derived
View
Derived
View
J
J
S
Transformation
& Cleansing
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Abstraction
合并

7. 7
Denodo数据虚拟化平台
DATA CATALOG
Discover - Explore - Document
DATA AS A SERVICE
RESTful / OData
GraphQL / GeoJSON
BI Tools Data Science Tools
SQL
CONSUMERS
LOGICAL
DATA
FABRIC
SOURCES
Traditional
DB & DW
150+
data
adapters
Cloud
Stores
Hadoop
& NoSQL OLAP Files Apps Streaming SaaS
U
Customer
360
View
Virtual
Data Mart
View
J
Unified
View
Unified
View
Unified
View
Unified
View
A
J
J
Derived
View
Derived
View
J
J
S
Transformation
& Cleansing
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Base
View
Abstraction
消费

8. 数据科学工作流
发现有用数据 整理数据为有
用格式
分析数据 执行数据科学算法
(机器学习,人工智
能等)
准备机器学
习算法的数
据
8

9. 发现有用数据
• 如果企业有一个覆盖良好的虚拟层的数据源，大
大简化这部分工作
• 像 Denodo 这样的数据虚拟化工具可以提
供统一访问公司中可用的所有数据
• 它抽象了底层技术，提供了一个用于查询
和操作的标准 SQL 接口
• 为了进一步简化挑战，Denodo 提供了一个数据
目录用于搜索、查找和探索您的数据资产
9

10. 搜索浏览：元数据
使用描述、标签和业务类别搜索目录并优化结果
10

11. 搜索浏览： 内容
与 Lucene 和 Elasticsearch 集成，用于索引和对内容执行基于关键字的搜索
11

12. 数据科学工作流
发现有用数据 修改数据为有
用格式
分析数据 执行数据科学算法
(机器学习,人工智
能等)
准备机器学
习算法的数
据
12

13. 集成和数据操作
• 通常，数据科学家通过各种格式和协议从各种地方获
取数据。 从关系数据库到 REST Web 服务或 noSQL
引擎。
• 数据通常导出到 CSV 文件或加载到 Spark
• 稍后，数据在脚本中进行操作（例如 Pandas和
Python）
• 数据虚拟化提供了使用标准 SQL（连接、聚合、转换
等）访问、操作和分析任何数据的独特机会
• 清洗和转换步骤很容易在 SQL 中完成
• 建模功能支持视图定义嵌入逻辑以便可重用
13

14. Denodo设计器
14

15. Denodo Zeppelin笔记本
15

16. Denodo和Spark: 大数据量下数据科学
16
• Spark作为源：Spark以及许多其他Hadoop系统（Hive、Presto、
Impala、HBase 等）都可以被 Denodo 用作数据源来读取数据
• Denodo 将执行下推到这些系统，将SQL翻译成相应的方言
• Spark作为处理引擎：在Denodo需要对数据进行后处理的情况下，例如
在多源查询中，Denodo能够提升和转移以自动使用Spark的引擎进行执
行
• Spark作为数据目标：Denodo可以自动保存任何执行的数据
• 在目标Spark集群中当您的处理需求（例如 SparkML）需要本地数据
时

17. Demo演示

18. 18
挑战
• 来自低成本供应商的竞争
• 降低价格，影响利润率？
• 现在，保持高价，但以其他方式区分？
客户案例 - 大型重型设备制造商

19. 19
好处
客户案例 - 大型重型设备制造商
自助服务/预测分析 - 物联网集成
提高资产性能和主动维护
服务和零件销售收入增加
降低零件故障的保修成本

20. 20
数据虚拟化优势
✓ Denodo 在数据科学生态系统中发挥关键作用，可以减
少数据探索和分析时间
✓ 为所有数据科学需求和其他消费者应用程序启用受管理的
数据访问
✓ 提供精选的数据集和语义驱动的模型方法，可以确保数据
一致性
✓ 可以满足所有数据需求的单一平台，促进企业数据应用协
作

21. 21
Denodo 资源
✓ Denodo官网：denodo.com.cn
✓ Denodo社区：community.denodo.com
✓ Denodo博客：www.datavirtualizationblog.com
✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives
✓ 联系我们：
✓ 添加微信
✓ 电话至 +86.18518356610
✓ 邮件至 cli@denodo.com

22. Thanks!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm,
without prior the written authorization from Denodo Technologies.