2018 PVE 進階使用者研討會台北場 @集思台大會議中心 完整議程：https://tfc.kktix.cc/events/pve-tw-2018

1. 耀達電腦
JASON CHENG
Proxmox VE 5.3
Cluster, High Availability & Others
2018-12-23 PVE 進階使用者研討會 @ 集思台大會議中心

2. 錢能解決的問題都不是問題
「問題是沒有錢」

3. 1Language

4. 呃...學PVE，可是英文好難?

5. 嘿...不再是理由了。

6. 臺灣繁體中⽂文

10. 2Cluster

11. Pacemaker
Corosync
叢集建立
嗯..認真嗎?

12. 害怕叢集？
操作複雜？
復原困難？管理理困難？

13. 呃...叢集好難

14. 不用叢集才可怕
資訊分散
難以查看
權限難管
無法遷移

15. 使用叢集優點

16. Node A
任一節點都能管理
Node B
Node C

17. Node A
虛擬機遷移不停機
Node B
Node C

18. 建立加入叢集

19. 建立叢集只要幾秒

20. 加入叢集只要幾秒

21. 很難嗎？

22. 建立叢集只要幾秒

23. 加入叢集只要幾秒

24. 很難嗎？

25. 呃...叢集救援好難

26. 叢集失效操作

27. Node A
叢集故障服務繼續
Node B
Node C

28. 叢集有效節點數不足

29. 無法操作虛擬機或容器

30. 叢集失效如何操作
暫時降低有效節點數要求

31. 很難嗎？

32. 切回獨立節點

33. 最快方法
重新安裝!
Minutes ≦ 5

34. • service pve-cluster stop
• service corosync stop
• pmxcfs -l
• rm -rf /etc/corosync/*
• rm /etc/pve/corosync.conf
• vi /etc/pve/priv/known_hosts
• killall pmxcfs
• service pve-cluster start
或手動處理
重新整理後再登入 WebUI

35. 很難嗎？

36. 節點運作數目

37. Nodes ≦ 32
Proxmox VE 建議限制

38. Nodes ≦ 64
Proxmox VE 最大限制
(低網路延遲為關鍵)

39. 叢集網路劃分

40. Storages
NodesNode
ServicesNIC1
NIC2
NIC3
⼿手冊
建議

41. 驗證叢集網路

42. PVE Cluster 通訊
UDP
5404
5405
TCP
22
Multicast

43. omping 驗證工具

44. omping -c 10000
-i 0.001
-F
-q ip1 ip2 ip3
omping 基本指令
每個節點都要執行

45. omping 使用方式

46. 無法廣播修改

47. /etc/pve/corosync.conf

48. systemctl restart corosync
重啟叢集服務
每個節點都要執行
systemctl restart pve-cluster

49. 備用叢集 IP

50. 第二組叢集溝通IP介面

51. 3High
Availability

52. 多機故障轉移
依據優先權進行失敗自動遷移

53. VM
Node ANode B

54. Cluster
Ready
Fence
Device
Share/Sync
Storage
HA 先決條件

55. 優先順序
HA 接手模式
自動接手

56. HA 群組建立

57. HA 群組細節設定
restricted
限定運作節點
nofailback
不需容錯回復

58. HA 資源建立

59. HA 虛擬機或容器設定
Max. Relocate
最多重新遷移(次)
Max. Restart
最多重新啟動(次)

60. Watchdog
系統運作情況監測機制

61. Watchdog 層級
OS
LOM
}
} 作業系統級監測
Soft Watchdog
硬體物理級監測
IPMI Watchdog
預設

62. Watchdog 運作
自動重啟
Auto Reset
定時檢測
Timeout Check

63. 如何設定

64. 提醒
By default, all hardware watchdog
modules are blocked for security
reasons. They are like a loaded gun if
not correctly initialized.

65. Enable IPMI Watchdog

66. Check Service

67. Check IPMI Ｗatchdog

68. Fencing
節點故障隔離移轉機制

69. VM移轉啟動時間
Seconds ≧ 120

70. VM 自動移轉等待時間
Timeout = 60
+
Timeout ≦ 60!
"
官方預先定義數據

71. VM 移轉啟動時間
可以縮短嗎？
沒問題，不過... 需要修改原始碼。

72. 歡迎
一起加入開發
貢獻者行列！
😎

73. 4Others

74. 啟動 Proxmox VE 巢狀虛擬化支援
Nested
Virtualization

75. 啟用巢狀虛擬化
modprobe -r kvm_intel
modprobe kvm_intel nested=1
echo “option kvm_intel
nested=1” >> /etc/modprobe.d/
modprobe.conf
執⾏行行前需將該節點所有虛擬機關機

76. 找出VM啟動參數
qm showcmd <vmid>

77. 手動加上參數
…-cpu kvm64,+vmx,+lahf_lm,…
將VM開機後確認是否成功啟⽤用
egrep “vmx|svm” /proc/cpuinfo

78. Proxmove
跨 Proxmox VE 叢集遷移虛擬機

79. https://github.com/ossobv/proxmove
proxmove

80. 跨叢集遷移虛擬機
支援 KVM
支援 Share/Local Stoage
支援 Block/File Level
不是 Live Migration

81. 虛擬機監測重新啟動機制
VM Watchdog

82. https://github.com/dmitriypavlov/pve-watchdog
PVE VM watchdog

83. 虛擬機自動化監測
透過 qemu-guest-agent
無回應即強制重啟虛擬機
經由 Mail/Telegram 告警

84. Autosnap
支援PVE叢集與快照機制的排程快照工具

85. https://github.com/EnterpriseVE/eve4pve-autosnap
eve4pve-autosnap

86. 結合PVE的排程快照
支援獨立節點或叢集
支援 KVM/LXC
支援保留份數上限
原生 PVE / Syslog 整合

87. 相容PVE原生快照機制

88. zstorage
對 PVE Storage 做排程同步抄寫

89. FreeNAS 可簡單設定 zpool 異機排程同步
那 Proxmox VE 呢？

90. https://github.com/EnterpriseVE/eve4pve-zstorage
eve4pve-zstorage

91. 以Storage為單位同步
支援獨立節點或叢集
支援 KVM/LXC
基於 ZFS SEND/RECV
保持最新一份同步

92. 以ZFS快照功能實現
若若為跨叢集，VM/CT 設定檔會⼀一併複製

93. 監控叢集、節點、儲存與客體狀狀況
LibreNMS

94. 服務健康狀況檢測

95. Apps: Proxmox

96. Apps: Proxmox

97. Apps: ZFS

98. https://github.com/jasoncheng7115/check_pve
plugin: check_pve

99. 跨叢集管理理虛擬機與容器
HyperProxmox

100. 多個叢集如何單一管理
Node A Node B
Node C
Node A Node B
Node C
Node A Node B
Node C
Cluster2 Cluster3
Cluster1

105. 5更更多資源

106. facebook.com/
groups/pve.tw

107. jasontools.
blogspot.com

108. slideshare.net/
jasoncheng7115

109. 真正的價值不在於免費。
⽽而是開放源碼、通⽤用架構、
⾃自由使⽤用、眾⼈人協作。
「
」

110. END