Mais conteúdo relacionado
Semelhante a 辽宁大学私有云项目分析 (20)
辽宁大学私有云项目分析
- 1. Liaoning
University
辽宁大学私有云项目分析
辽宁大学 网络中心
孟博
- 2. 项目概况
Liaoning
University
• 2009年初开始探索
– 全面测试
– 逐渐迁移
- 4. Liaoning
逐渐迁移 University
• 测试系统配置
– 2台Linux Server提供NFS/iSCSI
– 5台主机运行vSphere、ESXi、XEN、KVM
• 变为开发系统
– 开发人员、管理人员适应虚拟化
• 部署生产系统
– 部分开发系统转变为生产系统
– 部分生产系统物理机故障
• “鸡蛋都往篮子里放了”可靠性成为问题
- 5. 所有鸡蛋都放在一个篮子里 Liaoning
University
我们需要什么样的篮子？
The Basket Building in Ohio
- 6. 项目概况
Liaoning
University
• 2010年末开始论证
– 多方论证
– 广泛调研
– 选择VBLOCK解决方案
- 7. 项目概况
Liaoning
University
• 2011年末开始实施
- 8. Liaoning
系统架构 University
• 虚拟化平台
– vCenter Server Standard
– vSphere Enterprise Plus
• 数据库系统
– 操作系统采用OEL 5.7运行2.6.18-274.el5内核
– Oracle RAC 11gR2（11.2.0.1.0）
- 9. Liaoning
系统架构 University
EMC Celerra NS-120
UCS 5108
UCS 6120XP
UCS 6120XP
UCS 5108
EMC Celerra NS-120
- 10. Liaoning
系统架构 University
• 存储系统
– 采用2台EMC Celerra NS-120
– 通过MirrorView互为镜像
- 11. Liaoning
系统架构 University
• 主机系统
– 由2台思科6120XP组成冗余的统一交换平台
– 连接2台思科5108刀片服务器机箱
• 配置2个2104XP阵列扩展模块
• 每个2104XP有4个10G上行端口
- 12. Liaoning
系统架构 University
• 主机系统
– 10台B200 M2刀片服务器
• 48G内存
• 1块M81KR虚拟接口卡
– 2台B440 M1刀片服务器
• 64G内存
• 2块M81KR虚拟接口卡
- 13. Liaoning
系统架构 University
• 主机系统
– 双万兆接入核心网络
– 4条链路全冗余直接连接存储系统
- 18. Liaoning
方案特点 University
• 易管理
– 机房布线
• 采用UCS系统降低了机房环境的压力，减少了虚拟
化主机对数据中心的布线压力。
- 19. Liaoning
虚拟化和数据中心布线 University
没有UCS系统 有了UCS系统
• 每台主机至少3个千兆上联 • 两对万兆上联光纤
– 管理 • 四个千兆管理端口
– 业务
– 迁移
• 支持16台主机
• 考虑链路冗余6个千兆上联 • 鸭梨真的没有了
• 按照每个机柜6台主机计算
– 6 * 6 = 36 条网线
• 线槽表示鸭梨很大
• 交换机也表示鸭梨很大
- 20. 疯狂布线大赛
Liaoning
University
- 21. 疯狂布线大赛
Liaoning
University
有些兄弟真的有希望 他们一直在努力
- 22. 疯狂布线大赛
Liaoning
University
我们真的不如他们 有了UCS我们只能“失败”了
- 23. Liaoning
方案特点 University
• 故障恢复
– 无状态计算
• 什么是状态
– NIC
– HBA
– BIOS
• 是谁无状态
– Server
• 状态在那里
– Service Profile
• 真的无状态
– Association
- 25. Liaoning
方案特点 University
• 可靠性
– 存储全冗余
• 链路全冗余
• MirrorView镜像
– 无状态计算
– 虚拟化特性
• HA
• FT
– 数据库集群
- 26. 有了FT或RAC 还需要“无状态”么？
Liaoning
University
• 没有“无状态计算” 如果服务出现故障
– 维修/替换硬件设备
– 重新安装/配置系统（麻烦、冗长）
– 故障恢复周期长
• 有了“无状态计算”如果服务出现故障
– 维修/替换硬件设备（对，就一步，完事儿了。）
– 故障恢复周期短
– 技术人员再也不用为故障恢复操心了
• 有备用服务器和Server Pool就更简单了
- 27. Liaoning
方案特点 University
• 高性能
– 新技术应用
• DirectPath I/O with vMotion/VM-FEX
• PowerPath/VE
– 高整合比
• 得益于大内存
– 服务器性能
• 得益于CPU
- 28. Liaoning
技术要点 University
• VN-LINK
– 需要被重视
• PowerPath/VE
– 容易被忽略
- 29. Liaoning
VN-LINK University
• 协议及标准
– SR-IOV
• SR即Single Root
• IOV为I/O Virtualization
• 将单个PCIe设备虚拟化为多个独立的PCIe设备
– VN-tag/IEEE 802.1Qbh
• 相关产品线：UCS、Nexus 1000v ……
– VEPA/IEEE 802.1Qbg
• 相关产品线：这个真没有
- 30. Liaoning
VN-LINK University
• 产品和功能
– M81KR
– Nexus 1000v
– VM-FEX
– DirectPath I/O with vMotion
- 39. 经验教训
Liaoning
University
• 前期项目规划
– 详查兼容性列表
– 尽早获得相关软件、驱动、许可
– 尽量完善实施规划
• 尽量扩展内存
– 软件的授权都是按照CPU计算
– 通过扩充内存可以大幅度的提高性价比
• 特别提示
– vNIC/vHBA Placement是必须设置的
