Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (14)
Semelhante a 新浪微博大规模基于Docker的混合云应用实践 -王关胜
Semelhante a 新浪微博大规模基于Docker的混合云应用实践 -王关胜 (20)
新浪微博大规模基于Docker的混合云应用实践 -王关胜
- 2. Weibo DCP 基于Docker的混合云应用实践 @王关胜 微博研发中心-运维架构师 Docker Container Platform Twitter/FB：@wgs0120
- 6. 2.面临的挑战 l 产品功能迭代快，系统变更及代码上线次数多 l 业务上复杂的依赖关系 l 突发的热点事件 #周一见# #马航370# #刘翔摔倒# #明星丑闻# l 大型运营活动及三节保障：红包飞 l 每日不定时段的Push（推送） n 分类：应用内Push，应用外，活动Push，运营Push n 用户互动时间：<1h n 下发速度：快，中，慢 n 用户模型：全量，高中低频，地区，灰度模型
- 7. 3 三节业务场景-春晚 • 特点： • 瞬间峰值高 • 互动时间短 • 挑战：传统应对手段成本高 • 设备成本 • 时间成本
- 8. 4.1 痛点1：扩缩容流程繁琐 Text in here Step1 设备申请 - 设备申请，项目评审 - 入CMDB，装机 Step2 机器初始化 - 设备录入资源池，初始化 Step3 服务部署 - 环境部署 - 监控部署 - 服务部署（代码 & confs） - 流量引入 Step4 自动报修&下架 - 服务自动上下线 - 机器置换或下架 业务运维可控 上架装机 Title in here 服务部署 新机器 初始化 Title in here 分配给业务 管理员 CMDB Title in here 流量引入 Title in here 自动报修 Title in here 过期下架
- 9. 4.2 痛点2：服务弹性能力不足 • 闲置设备资源在现有的技术框架下未能被充分利用 冗余度 业务A集群 冗余度 业务B集群 冗余度 业务C集群 扩容成本 = 集群数 * 冗余度 业务A集群 业务B集群 业务C集群 冗余度 旧的应对手段 弹性扩容 扩容成本 = max(冗余度)
- 11. 5. 构建弹性的混合云
- 12. 混合云技术可 行性 Part 2
- 13. 1 业界趋势
- 14. 2 业界案例 • 12306 两地三中心 混合云架构
- 16. 4.1 混合云部署方案一 LVS Nginx Web RPC MC/Redis Mysql/HBase LVS Nginx Web RPC MC/Redis Mysql/HBase RPC MC/Redis 土城 永丰 阿里云 SLB Nginx Web
- 19. 1.1 Docker 选型 l 裸机 or VM n 私有云采用裸机，公有云采用VM（ECS） l 网络选型 n 线上环境：Host模式 n 灰度环境：Ovs Bridge模式 + L2 Switch （改造成本高） l 参数设置 n --bridge，--iptables，控制网桥和NAT，host模式下关闭 n 开启2376端口 l 版本搭配 CentOS 6.6/Kernel 2.6.32 DeviceMapper-loop Docker Daemon 1.3.2 CentOS 7.1/Kernel 3.10.0 DeviceMapper-direct-lvm Docker Daemon 1.6.2 Mesos0.25 Swarm 1.0.0 Mesos 0.25Dispatch 1.1 旧版容器调度方案 新版容器调度方案
- 20. 1.2 单机部署方案 Graphite Logs1 容器调度 ScribeCadvisor ELK 数据 分析 HOST(10.75.0.2) 镜像服务 8080 APP1 8081 APP2 Logs2 容器监控 行为日志 业务日志 -v -link -host -host 容器 存储卷 系统 工具
- 21. 2.1 Docker Registry l 构建私有Registry Hub n docker-registry：V1 -> V2 n storage driver：Ceph n docker-registry-frontend：Nginx 内网 阿里云 业务集群 业务集群 分布式存储 Registry RegistryRegistry 镜像缓存Mirror
- 22. 2.2 镜像分层服务 l 镜像服务 n 分层设计，逐层复用 n 基础环境/运行时/容器/业务 n 优化大小，dockerignore n 禁止使用latest
- 23. 3.1 Nginx Upsync l 核心功能 n Fix Nginx Reload时的服务抖动 n Fix Web容器的服务发现 l 开源：https://github.com/weibocom/nginx-upsync-module Nginx worker worker worker docker-server backend-server Consul update - module core-module pull pull pull register
- 24. 3.2 Nginx Upsync-Online l 线上部署 n 162,159：Nginx + Upsync n 116,160：Nginx l 分析结果 n 请求量：普通reload会丢10%请求（大并发） n 平均耗时：差异不大，新模块稍有优势
- 27. 2 Weibo DCP系统框架 私有机房 公有云 主机资源 Adapter Docker Swarm Mesos Dispatch 基 础 设 施 Java Web RPC PROC Hadoop PHP 数据分析 Feed 红包飞 用户 无线 通信 平台 广告 有信 主 机 调 度 编 排 业 务 专线 VPC l 方案设计：来源于官方三驾马车（Machine + Swarm +Compose）
- 28. 3 Weibo DCP功能模块图 OS升级 自动化 Docker 镜像市场 主 机 Consul 工具管理 Docker 版本管理 Docker调度 调 度 Swarm调度 Mesos调度 Dispatch调度 策略中心 容器类型 调度监控 容量监控 主机管理 ECS管理 SLB管理 初始化 共享池管理 Buffer管理 配额管理 多租户管理 框 架 功能框架 权限中心 账户体系 工单系统 包管理（Yum） DNS管理 Puppet管理 成本管理 服务管理 编 排 配置管理 构建管理 发布管理 扩缩容管理 4/7层管理 退库管理 监控中心 Docker 工具体系
- 29. 3.1 DCP-主机层核心组件 OS升级 自动化 Docker 镜像市场 主 机 Consul 工具管理 Docker 版本管理 Docker调度 调 度 Swarm调度 Mesos调度 Dispatch调度 策略中心 容器类型 调度监控 容量监控 主机管理 ECS管理 SLB管理 初始化 共享池管理 Buffer管理 配额管理 多租户管理 框 架 功能框架 权限中心 账户体系 工单系统 包管理（Yum） DNS管理 Puppet管理 成本管理 服务管理 编 排 配置管理 构建管理 发布管理 扩缩容管理 4/7层管理 退库管理 监控中心 Docker 工具体系
- 30. 3.2 DCP-调度层核心组件 OS升级 自动化 Docker 镜像市场 主 机 Consul 工具管理 Docker 版本管理 Docker调度 调 度 Swarm调度 Mesos调度 Dispatch调度 策略中心 容器类型 调度监控 容量监控 主机管理 ECS管理 SLB管理 初始化 共享池管理 Buffer管理 配额管理 多租户管理 框 架 功能框架 权限中心 账户体系 工单系统 包管理（Yum） DNS管理 Puppet管理 成本管理 服务管理 编 排 配置管理 构建管理 发布管理 扩缩容管理 4/7层管理 退库管理 监控中心 Docker 工具体系
- 31. 3.3 DCP-业务层核心组件 OS升级 自动化 Docker 镜像市场 主 机 Consul 工具管理 Docker 版本管理 Docker调度 调 度 Swarm调度 Mesos调度 Dispatch调度 策略中心 容器类型 调度监控 容量监控 主机管理 ECS管理 SLB管理 初始化 共享池管理 Buffer管理 配额管理 多租户管理 框 架 功能框架 权限中心 账户体系 工单系统 包管理（Yum） DNS管理 Puppet管理 成本管理 服务管理 编 排 配置管理 构建管理 发布管理 扩缩容管理 4/7层管理 退库管理 监控中心 Docker 工具体系
- 32. 4 DCP核心设计思想 l 核心思想：借鉴于银行的运作机制 l 弹性方案：内网共享池 + 公有云 l 服务：IP + Port 私有云：共享池 公有云：阿里云 设备 BufferPool 服务池 SrvPool 集群 Group 层级关系 l DCP：分为多个集群 l 集群：为独立平台，对应业务线 n 集群内：自由调度（跨Pool） n 集群外：配额调度 l 服务池：同一业务线的同构服务 l 设备：共享池 + buffer池 + ECS
- 33. 1 5 DCP管理员视角 超级 管理 员 集群 管理 员 服务 池管 理员 l 内网共享池管理 l 阿里云ECS管理 l 计费及账单管理 l 服务器录入/还原 l Buffer池管理 l 配额及申请管理 l 服务池扩缩容 l 代码构建及发布 l 业务监控 l 容量管理 l 超级管理员：负责阿里云ECS管 理以及内网集群间设备交换 l 集群管理员：负责产品线内设备 管理以及从共享池，阿里云筹借 机器 l 服务池管理：负责具体业务的扩 缩容以及代码变更等 管理员分工及权限
- 34. 6 大规模集群操作自动化 1 2 3 设备申请 初始化 服务上线 l 设备申请 n 内: 共享池 n 外: 阿里云 l 初始化 n 包标准化 n 配置管理 l 服务上线 n 容器动态调度 n 服务弹性扩缩容
- 35. 7.1 大规模集群第一步：设备 l 私有云：共享池（离线集群，低负载集群，错峰） l 公有云：阿里云（动态创建） 业 务 管 理 员 视 图 集群内 跨池调度 缩容 服务池A 集群外 Buffer足 集群外 Buffer不足 直接使用 向共享池 发起申请 共享池 进行审批 通过后 划拨设备 通知申请者 入buffer池 查看 配额 申请配额 1 2 通过后 增加配额 向共享池 发起申请 。。。 1 2 配额足 配额不足
- 36. 7.2 主机设备生命周期 未录入状态 共享池状态 Buffer池状态 运行中状态 下线状态 未初始化 已初始化 容器启动 容器上线 运行中状态 宕机状态 下线状态 Buffer池状态 Buffer池状态 报修状态 正 常 主 机 状 态 变 迁 异 常
- 37. 7.3 共享池使用方式案例 业务A 业务B 业务C 业务D 业务E 共享池 业务C 业务C 因峰值 流量申请3台服 务器 接入混合云 体系 共享池 归还申请的 服务器 业务C 共享池 共享策略
- 38. l 操作系统 u 安装/升级自动化 u 操作API化 l 基础软件及配置 u 版本化，可配置 u 安装操作模板化 l 方案选型 u RPM + Puppet MasterLess l 关联关系 8.1 大规模集群第二步：初始化 模板 软件模块 1：n 主机 模板 n：1 • 应用简单，迁移成本高，可维护性强 • 案例：CoreOS，RancherOS，Atomic，DCOS 标准的容器操作系统 • 应用复杂，迁移成本低，可维护性一般 • 案例：包管理（rpm）+配置管理（Puppet） 支持软件反安装的方案 • 应用简单，迁移成本低，可维护性极差 • 案例：init.sh 自编写初始化脚本 业界实践
- 39. 8.2 主机初始化-流程 混合云软件 安装模块 本地 文件1.修改 Gitlab 通道机/Dispatch Host1 5.命令下发 2.提交 4.下发任务 主机初始化流程 配置修改 应用变更 线上实例 Host2 7.Puppet apply/report 7.Puppet apply/report 模板库 Consul集群 8.录入及打标签
- 40. 9.1 大规模集群第三步：扩容 l 扩容 n 输入：服务池名称、服务类型，容器类型、数量、镜像地址等 n 输出：扩容报告 l 告警机制 n 用户在使用完80%的资源时，短信和邮件提供 n 用户在使用超过90%的资源时，需要审批机制 l 记账中心 n 资源拥有者、使用方、型号、使用时间、日期、信用等 l 容器服务类型：按照dPxx(dockerPxx)命名 dP01 8核12G dP02 12核12G dP03 12核16G dP04 16核16G
- 42. 9.3 弹性扩容-Swarm调度
- 43. 9.4 弹性扩容-Swarm调度策略 Ø Swarm创建容器过程，调度分为两个阶段 l 1 根据条件过滤出符合要求的节点 n Constraints（约束过滤器） n Affinity（亲和性过滤器，） n Dependency（依赖过滤器） n Health（会根据节点状态进行过滤，会去除故障节点） n Ports（会根据端口的使用情况过滤） l 2 在过滤出的节点中根据策略选择一个最优节点 n Binpack：在同等条件下，选择资源使用最多的节点 n Spread：在同等条件下，选择资源使用最少的节点 n Random：随机选择一个 Ø 调度颗粒度 n Memory：docker run –m 1g … n CPU：docker run –c 1 …
- 44. 9.5 弹性扩容-服务发现 LB Nginx Nginx Upsync Consul Cluter Health Check Consul SrvA：ip:port Consul Agent Host1 SrvB：ip:port Consul Agent Host2 服务check 服务check register register Discover 前端类： 1 2 2 1 3 4 4
- 46. 1 三节保障-监控 集群 App log Jvm log logstash ELK StatsD Mfiter Graphite 资源依赖 Http依赖 服务依赖 RPC 依赖层 4/7层 Sina Watch Sina Scripts Sina Atp 用户 Spark Hbase WatchMan 部署线 日志查询 报警平台 Dashboard Trace l 参考：http://www.slideshare.net/wgs0120/wot2015
- 47. 2 三节保障-阿里云部署前提 网通1 微博 阿里云 网通 网通2 电信1 电信专线日常1G 春节10G VPN/VPC网络 专线日常1G 春节10G VPC网络
- 48. 3 三节弹性调度解决方案 l 部署模式 n 优先调度内网共享池资源 n 存储节点、主要计算节点仍部署在公司内网，以确保数据安全 n 红包飞，春晚等峰值流量应对计算节点部署在阿里云 l 对阿里云的要求 n 日常提供1000节点计算能力，可以5~10分众完成在阿里云的部署 n 春晚提供3000节点计算能力，微博信息流、红包飞均可支持
- 49. 4 阿里云弹性方案 W W W W W W W W C C D D D 前端机 缓存 存储 微博内网 W C C 前端机 缓存 阿里云 春晚峰值应对 申请一倍服务器 W W W W W W W W C C D D D 前端机 缓存 存储 W C 前端机 缓存 W W W W W W W W W C
- 50. 5.微博混合云DCP迁入进展 l 混合云进展 u 项目上线：15年10月 u 容器数：3000+ l 双十一考验 u 单日10次扩缩容 u 单次操作时间：<5分钟 微博平台 58% 红包飞 11% 手机微博 23% 其他 8% 主要业务方 微博平台 红包飞 手机微博 其他
- 51. We are hiring… l 招聘职位 u 高级系统工程师 u 高级运维开发工程师 u 运维架构师 l 简历投递 u guansheng@staff.weibo.com u mazhen@staff.weibo.com