Data & AI Driven Digital Transformation
Denunciar
Sky shiSeguir
6 de Jan de 2019•0 gostou•230 visualizações
Data & AI Driven Digital Transformation
6 de Jan de 2019•0 gostou•230 visualizações
Baixar para ler offline
Denunciar
Software
数字化转型进入了数据和智能驱动的时代 人工智能最重要的是算法么？ 如何构建企业的数据和智能的能力？ 这里用多个实际案例来展示了数据和智能驱动的数字化转型赋能体系：精益数据创新体系
Sky shiSeguir
Mais conteúdo relacionado
Mais procurados
Advanced Analytics and Machine Learning with Data Virtualization (Chinese)Denodo
现代数据集成解决方案及应用案例介绍（下）Denodo
Leverage Modern Enterprise Architecture To Speed Up Work ResumptionDenodo
医药企业的数字化转型 - 逻辑数据结构策略Denodo
数据科学运营：企业人工智能之旅Denodo
Can data virtualization uphold performance with complex queries? (Chinese)Denodo
Similar a Data & AI Driven Digital Transformation
大型製造業實踐DevOps 團隊之路Edward Kuo
04 陈良忠ibm cloud forum ibm experience 0611ikewu83
i聯網29：AIoT數位轉型Youtube演講第十二集-AIoT數位轉型是商業模式轉型Richardpei AIOT 綠色轉型顧問與數位轉型教練
i聯網31：AIoT數位轉型Youtube演講第十四集-AIoT數位轉型的各種作法Richardpei AIOT 綠色轉型顧問與數位轉型教練
05 朱近之 ibm云计算解决方案概览 0611ikewu83
451 云欧种子轮商业计划书Rui (Nash) Yang
Data & AI Driven Digital Transformation
- 3. ⽬目录 1 从流程驱动到数据驱动的数字化转型 2 ThoughtWorks数据和AI使能数字化转型实践分享 3 精益数据资产创新体系(L-DAIM) 4 ⼀一个彩蛋
- 5. kshi@thoughtworks.com 5 数字化时代的三个特点 信息透明 速度为王 边界消失 知识、经验、信息 不不再被垄断 快速连接 快速反馈 快速迭代 没有永远的护城河 能做的就是持续快速发展
- 8. kshi@thoughtworks.com 8 从流程驱动到数据驱动的数字化转型 数据驱动创新的挑战 数据获取 数据治理理 数据分析 业务创新 数据服务 数据⽣生态 全⾯面⾼高质量量实时 采集价值数据 跨越数据孤岛 数据开放共享 数据资产的管理理 ⾼高性能处理理 多样化海海量量数据 治理理企业数据质量量 数据安全挑战 多源数据分析 多种数据分析技术 智能技术的应⽤用 实时/协作数据分析架构 数据创新的不不确定性 创新价值优先级 数据创新可⾏行行性验证 数据中台构建 数据服务构建 数据服务消费治理理 打造企业数据⽣生态 数据资产变现 数据服务的分享交易易 如何在海海量量的数据中快速发现业务价值点，并通过⼤大数据、智能技术进⾏行行实验，验证价值，变成 产品和服务，是数据驱动的创新和运营的关键挑战 传统的数据治理理、数据仓库实施⽅方法论⽆无法满⾜足业务的快速变化需求 kshi@thoughtworks.com
- 11. Stream Data Processing Platform 流式⼤大数据处理理平台敏敏捷数据战略略咨询 某全球顶级能源客户
- 19. 外呼模型创建⼯工具 开源⼯工具（H2O&Spark R） 闭源⼯工具 （SPSS） 前台服务 19 企业数据平台架构实践分享 技术架构 分布式数据库 ⼀一期功能 HBase Sqoop Pentano 结构化数据源 IVR Oracle CSR Oracle ⼯工单系统 Oracle HBase HBase… 关系型数据库 My SQL 数据分析平台层级逻辑数据传递⽅方式 OBTM 分布式搜索引擎 ES Cluster1 ES Cluster2 分布式⽂文件系统 HDFS ENVIS Retrieval Spark-外呼模型部署环境 外呼模型 卡中⼼心新增 功能 外呼中⼼心 功能 综合服务中 ⼼心功能 价值输出 OBTM
- 20. Stream Data Processing Platform 流式⼤大数据处理理平台
- 22. 22 企业数据平台架构实践分享 技术架构 T24 WM Trading Ideas New idea generated Feedbacks transaction analysis segmentation portfolio analysis recent trade excess cash … Waiter (API)recipe client profile foodmerger weights merger model Ingredients Prepare merger
- 25. 25 企业数据平台架构实践分享 技术架构 传统线 批处理理 流式处理理 HDFS Hive SparkSql AzkabanCDC Loader 分布式消息 Spark Streaming 流式服务 storm/flink Azkaban 全量量／增量量 Kafka Connect MirrorMaker HDFS Kafka 主题3 全量量／增量量 数据源 数据接⼊入 数据集成 数据处理理 数据存储 主题数据 主题1 主题2 主题4 主题5 …… 数据可视 数据服务 RESTFUL Tableau 数据服务 ⾃自助分析 定制化开发 ECharts/VUE datastage+mysql RDBMS
- 26. Intelligent Education Data Platform 智能⼤大数据平台
- 28. 28 企业数据平台架构实践分享 整体架构 企业数据平台 业务1 业务1 业务1 业务1 业务1 业务1 个性化教学服务层 数据分析 控制台 辅导模 型 监控模 型 决策模 型 ………. OLAP预处理理 cube cube 业务1 业务2 业务3 业务4 业务5 业务1 数据资产服务 元数据 分析平台 数据⾃自服务 终端 采集层 计算层 服务层 ⽹网关&管理理 学习计 划制定 学习计 划制定 学习计 划制定 学习计 划制定 学习计 划制定 模型参数平台管理理 权限监控 权限流程 采集参数 权限流程 数据协作 业务系统对接API
- 29. 29 企业数据平台架构实践分享 逻辑架构 云/物理理机器器 数 据 通 道 未来课堂 微课 资源库 ……. 内部数据 外部数据 线下数据 竞品数据 第三⽅方库 …….. 智 能 教 学 运维体系 数 据 平 台 学⽣生基础数据 数 据 湖 ⽼老老师基础数据 ⾏行行为数据 爬⾍虫数据 数 据 预 处 理理 数据抽取 数据建模 ⽤用户⾏行行为轨迹 ⽤用户⾏行行为轨迹 元数据管理理 元信息管理理 元信息检索 业务实体管理理 ⽤用户⾏行行为数据清洗 ⽤用户⾏行行为数据转换 学⽣生数据画像 ⽼老老师数据画像 数 据 服 务 统⼀一数据访问接⼝口 数据挖掘⼯工具 数据沙箱 数据分析 学⽣生 ⽼老老师 运营服务⽅方 数据安全 性能监控 运维管理理系统 ⽇日志收集 权限管理理 ⽤用户管理理
- 30. 30 企业数据平台架构实践分享 技术架构—智慧教育 基础数据平台 数据保存 数据读取 服 务 管 理理 器器 服务解析器器 模型 规则 告警过滤 流量量预测 模型 求助分类 规则 模型切换器器 模型 规则 模型 规则 模型切换器器 模型 规则 模型 规则 模型切换器器 向量量化 训练 持续训练 泛化检查 模型同步
- 31. Data Asset Innovation Platform 数据资产创新平台
- 34. 34 事件订阅 应⽤用⽬目录 模型⽬目录 企业数据平台架构实践分享 逻辑架构 DaaS 数 据 平 台 K8S / Rancher 云 / 物理理机IaaS 运维体系 ⽤用户管理理 权限管理理 后台管理理 开发⼯工具 部署⼯工具 安全管理理 运维监控 内部数据 业务数据 业务数据 财务数据 ⽤用户数据 其他数据 …… 数据治理理 元数据管理理 主数据管理理 数据⽣生命周期管理理 数据脱敏敏 数据质量量管理理 数据标准 数据挖掘和分析平台 数据挖掘 数据分析 数据沙箱 数 据 流 ⽔水 线 数据抽取 数据清洗 数据加载 数据关联 数据建模 …… 数 据 湖 财务数据 业务数据 业务数据 业务数据 业务数据 业务数据 业务数据 …… 数 据 通 道 数 据 采 集 外部数据 宏观经济 数据 ⾏行行业数据 第三⽅方合作伙伴 数据 统⼀一数据访问接⼝口 数据集市 数据服务 应⽤用服务 API服务 数据同步 ⽂文件共享 数据可视化 数据探索 …… 智能算法模型 数据API 数据运营 系统管理理 增值运营 交易易管理理 计费财务 创新应⽤用商店 数据协作
- 38. AI使能业务的挑战和应对
- 42. 智能类项⽬目的典型周期
- 51. Lean - Data Asset Innovation Architecture 精益数据资产创新架构(L-DAIA) 数据资产的识别和治理理 数据资产的获取和存储 数据资产的开放和协作 业务价值的分析和挖掘 数据服务的构建和利利⽤用 服务价值的迭代和度量量 数据驱动的战略略和创新 数据 中台
- 53. kshi@thoughtworks.com 53 精益数据资产创新架构的提出 ⼯工作⽅方法 Think BIG Move FASTERStart SMALL 计 划 式 演 进 式
- 54. kshi@thoughtworks.com 54 精益数据资产创新架构的提出 从价值探索到交付落地 Discovery Data Ideas Inception Data Product Definition Delivery Data Products 探索 地图 数据 价值点 服务 地图 实施 地图 数据 原型 MVP 轻量量数据架构 持续交付
- 57. 57 基于HDP的数据⼯工⼚厂架构 DATA MARKET OR STORE Atlas Metadata Talend Masterdata Falcon Lifecycle Jupyterhub LABORATORYBatch/Streaming Spark | Spark Streaming DATA SOURCE Data Integration Service DATA SOURCE Ship to RDBMS Elastic Search HBase MySQL HIVE Others Git: Project Management Ranger: Security GoCD: CI/CD LDAP: Users Ambari/HUE Hadoop EFK Logs Oozie Scheduling
- 58. kshi@thoughtworks.com 58 精益数据资产创新架构的提出 典型精益数据资产创新架构参考 数 据 通 道 业务系统 业务系统 业务系统 业务系统 微信 微博 今⽇日头条 简书 数 据 采 集 数 据 抽 取 ⽤用户管理理 权限管理理 调度管理理 持续集成 ⽇日志管理理 运维监控 代码仓库 ⼯工单管理理 市场活动数据数 据 湖 社区活动数据 销售线索 员⼯工信息 房产信息 宏观经济 汽⻋车论坛 社交媒体 政府公开 ⾦金金融市场 元数据管理理 数据治理理 主数据管理理 ⽣生命周期管理理 数据质量量管理理 数据脱敏敏 数据实验室 模型管理理 机器器学习 数据探索 数据预处理理 数据沙箱 数 据 加 ⼯工 链 批处理理 实时处理理 ETL 语义标签 分类／预测 异常检测 数据质量量 指标计算 数 据 集 市 活动数据 客户画像 员⼯工画像 房产信息 经济数据 社交媒体 数 据 商 店 数据库同步 数据服务 事件订阅 ⽂文件服务 API服务 数据API 智能API…… ……
- 59. kshi@thoughtworks.com 59 Envis 精益数据资产创新架构的提出 技术选型参考 Data Resolver Analysis Visualizatio n Data LakeData Channel MetaData ManageMent Scheduler 任务调度系统 GPFS DW WhereHows Infomatic SPA Oracle Data Assets Data Service Data Discovery
- 60. ⼀一个彩蛋 “
- 62. DEEPLEARNING.SCALA 是什什么? 62 DeepLearning.scala是个简单的框架，能以⾯面向对象和函数式编程范式创建复杂的 神经⽹网络。 • DeepLearning.scala运⾏行行在JVM上，既可以⽤用于单独的JVM应⽤用和服务，也能 运⾏行行在Jupyter Notebook⾥里里。 • DeepLearning.scala 建模能⼒力力强，各种类型的神经⽹网络都可以通过map、 reduce等lambda表达式组装出来。 • DeepLearning.scala⽀支持插件。任何算法、⼦子⽹网络、超参数都可以做成插件 发布到Github Gist上，复⽤用到各种模型中。 • 以上所有功能都⽀支持静态类型检查。