The 2019 Apache Kylin Data Summit hosted this year in Shanghai provided Big Data analytics experts in IT and on the business side an early look at where this powerful OLAP technology is going. This presentation highlights the work Kyligence is doing to support the Apache Kylin project and deliver a commercial OLAP solution suitable for enterprises working with massive datasets. Founded by the initial creators of Apache Kylin, learn more about Kyligence here: https://kyligence.io/

1. 增强分析
Kyligence 下一代产品发布
韩卿 (Luke) | 联合创始人兼 CEO
2019-07-12 | 上海

2. 中国首个
Apache 顶级开源项目
全球领先的
开源 OLAP for Big Data
InfoWorld
2015，2016 最佳开源大数据工具奖

3. Github Stars JIRA Issues
Apache Kylin – 社区蓬勃发展

4. • 用户行为分析
• 日志分析
• 数据集市/数据仓库
• 自服务数据服务
• 零售分析
• 资产管理
• 广告分析
• 实时分析
• Redshift 迁移
Apache Kylin – 全球超过 1000+ 公司使用
Yahoo!
Japan

5. 实时
新存储
容器化
Full
Spark
Apache Kylin 路线图

7. • 35.0 mm
• 1/125 s
• Iso 3200
• f/ 2.0
• - 0.7
• 4200k
•7952 x 5304
• …
复杂的基于场景的参数和调优
Credit to Huawei

8. AI 增强 – 专业技术平民化
Credit to Huawei

9. 世界最有价值的资源将不再是石油，而是数据。—《经济学人》
175 Zettabytes By 2025
60x Data Growth in US/China

10. 当前大数据的主要矛盾，
是指数级增长的数据及应用需求，
与极其短缺的产业工人之间的矛盾

11. What my friends think I do What my mom thinks I do What society thinks I do
What my boss thinks I do What I think I do What I actuallydo
Data Scientist vs SQL Monkey

12. Kyligence = Kylin + Intelligence
基于 AI 增强的
大数据管理与分析平台

13. 业务用户 数据洞察
模式识别
自动建模 数据预计算
受管理的数据
AI 增强
OLAP 引擎
(系统自学习)
分析师
数据工程师
管理员
模型训练
治理
管理
原始数据

14. Governed
治理的
Kyligence 路线图 – GAME 战略
Augmented
增强的
Managed
管理的
Enterprise
企业级

15. Kyligence Enterprise 4.0
AI 增强的大数据分析平台
The Game: Augmented

18. 自适应 Schema增强引擎 全栈 Spark 下一代存储 更好性能

19. 基于机器学习的
增强引擎
• 基于规则
• 自学习
• 自动构建
• 自动调优
• 可扩展

20. 自适应 Schema
• 动态 Schema
• 基于 SQL 的自动建模
• 按需构建索引

21. • CPU 向量化
• 重复数据删除
• 优化的列式存储压缩算法
Kyligence Storage Gen 2
存储
50%

22. 全栈 Spark

23. 高性能
Same 4 physical nodes
-Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz * 2
-Totally 86 vCores, 188 GB mem
0.00
20.00
40.00
60.00
80.00
100.00
120.00
140.00
160.00
180.00
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
QueryResponse(seconds)
5亿条数据TPC-HKyligence Spark SQL 2.4Kyligence 4.0 Spark SQL 2.4

24. OOM
871.03
1182.84
2036.89
0.00
86.55 130.91
249.25
416.30
0.00
500.00
1000.00
1500.00
2000.00
2500.00
tpch50 tpch100 tpch500 tpch1000
Query Latency SummarySpark SQL Kyligence 4.x
Spark SQL is
OOM here
高性能
Same 4 physical nodes
-Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz * 2
-Totally 86 vCores, 188 GB mem
Kyligence 4.0 Spark SQL 2.4

25. Beta 用户报告 1
30 分钟自动建模
vs 2 周设计一个模型
20TB / 次
60% 降低数据加载时间
80,000 查询/天
95% 推荐成功率

26. Beta 用户报告 2
低 TCO
仅 300 美元/天
3 千亿数据
超高维
1200 + 维度
1 个 Cube
构建
不到 1 小时
每日加载 80 亿数据
On

27. Kyligence Insight 1.0
业务自助式数据服务
The Game: Governed

28. 大数据语义层 Apache Superset
自助取数 使用审计

30. Kyligence Cloud 3.0 Beta
一站式云端大数据分析
The Game: Managed

31. 云原生 无 Hadoop 依赖 分钟级部署 弹性伸缩 低 TCO

32. Kyligence Cloud 3.0 Beta
2 分钟集群伸缩 3 – 5 分钟集群创建 2 分钟集群启停
缩短 75% 缩短 88% 缩短 91%

33. 即日起开放 Beta 测试申请

35. Kyligence 解决方案
传统 OLAP 替换
IBM Cognos
MS SSAS
Oracle EssBase
SAP BW
…

36. Kyligence 解决方案
传统数仓迁移
• 数据 ETL 加工效率平均提升 8 倍
• 查询效率平均提升 58 倍
• 并发可达 100 以上，且可线性扩展
• 迁移自动化程度可达 60% 以上
某国有大行
服务
产品
方法论

37. 场景方案
管理会计
成本分摊
资产管理
实时分析
Kyligence 解决方案
绩效管理
风险管理
用户行为分析
…

38. 释放大数据生产力
info@kyligence.io
上海跬智信息技术有限公司