解決VMware vSAN分區故障

在VMware vSAN群集中，不用怕一個主機掉線或死機，也不怕單獨一個磁盤組損壞，更不怕單獨一個硬盤損壞，最怕的是“主機分區”。當出現分區時，vSAN存儲會部分或全部不能使用，導致虛擬機不能啟動或正在運行的虛擬機死機。

VMware vSAN群集出現分區的主要原因有：

1.網絡問題：這些問題包括vSAN節點主機之間，vSAN流量網卡網絡不通；vSAN見證主機，vSAN見證流量網絡不通，或vSAN數據流量網絡中斷。

2.版本問題：vSAN見證虛擬機版本與vSAN節點主機版本不一致，主要是vSAN見證虛擬機版本低于vSAN節點主機版本。

3.存儲提供程序脫機。下面通過具體實例介紹。

圖1 某4節點vSAN群集拓撲圖

檢查vSAN網絡

要檢查vSAN分區問題，需要先了解vSAN群集節點主機數量，知道每個節點的管理IP地址、vSAN流量IP地址，最好是根據拓撲圖檢查。例如圖1所示為某4節點vSAN群集的拓撲，本文以該拓撲為例進行介紹。

根據拓撲圖，記住vSAN群集中每個主機的管理地址（例如ESXi41的管理地址 是 172.18.96.41）、vSAN流量VMkernel的IP地址（例如ESXi41的vSAN地址是172.18.93.41）。

1.使 用vSphere Web Client登 錄vCenter，依次檢查每臺主機的“配置→網絡→VMkernel適配器”，查看vSAN流量的VMkernel的IP地址以及是否啟用vSAN流量。

2.檢查每臺主機配置正確之后，使用SSH工具登錄到其中一臺主 機（例 如 172.18.96.41），使用esxcli vsan network list命令查看啟用vSAN流量的網卡。

3.使用“esxcli network ip interface ipv4 get”命令查看當前主機IP地址配置，得知當前主機有兩個IP地址，分別是172.18.96.41（管理地址）、172.18.93.141（vSAN流量地址）。

4.檢查到其他主機管理端口的連通性，使用Ping命令，依次Ping其他主機管理地址，例如：

ping 172.18.96.42

ping 172.18.96.43

ping 172.18.96.44

5．檢查到其他主機vSAN流量的連通性，使用Ping命令，依次Ping其他主機vSAN流量地址，例如：

ping 172.18.93.142

ping 172.18.93.143

ping 172.18.93.144

6. 如果第（4）、（5）兩步全部連通，訪問正常，表示vSAN分組不是由于網絡問題造成的，需要檢查其他原因。如果到某臺主機的管理流量或vSAN流量不通，則檢查該主機的配置或網線連接情況。也可以使用ssh登錄該主機（網絡或vSAN流量不通）做進一步的檢查。

如果配置無誤，在vSAN群集的“配置→vSAN→磁盤管理”中，可以看到所有主機都在“組1”。

vSAN流量配置相關命令

圖2 某2節點延伸群集主機情況

使 用“esxcli vsan network ip set”命 令 將管理VMkernel網絡適配器配置為支持見證流量，該命令要求在圖形界面中為VMkernel網絡啟用vSAN流量服務，該命令將vSAN流量設置為見證流量。

esxcli vsan network ip set -i vmk0 -T=witness

如果未在圖形界面中將VMkernel網絡啟用vSAN流量服務，可以直接為VMkernel增加vSAN見證流量，命令如下：

esxcli vsan network ip add -i vmk0 -T=witnes

最后，可以使用“esxcli vsan network list”命令驗證新網絡配置，命令如下：

esxcli vsan network list

vSAN延伸群集網絡檢查

對于2節點直連的vSAN延伸群集，其vSAN見證流量與vSAN數據流量相分離，在這種類型的vSAN群集中，在圖形界面中不能檢查vSAN見證流量配置在哪一個VMkernel上，需要使用ssh登錄到節點主機檢查。本文以圖2所示為例進行介紹。

該vSAN延 伸 群 集的兩個節點主機管理地址 分 別 是10.66.64.28、10.66.64.29；對 應 的 vSAN流量地址是172.31.255.28、172.31.255.29；見 證 主 機管理地址為10.66.64.24，vSAN流 量IP地 址 是10.66.64.34。

1.在“配置→vSAN→磁盤管理”中檢查到見證主機在組1，2臺節點主機在組2。

2.在“監 控 → vSAN→運行狀況”測試失敗，提示“vSAN群集分區”。

3.使 用ssh登 錄10.66.64.28主 機，執 行“esxcli vsan network list”命令查看啟用vSAN流量的網卡，通過命令查看得知vmk0為vSAN見證流量網卡，vmk1為vSAN流量網卡。

4.使 用“esxcli network ip interface ipv4 get”命令查看當前主機IP地址配置。vmk0的 IP地址 是10.66.64.28（vSAN見 證 流 量），vmk1的IP地 址是172.31.255.28（vSAN流量）。

5.使用Ping命令Ping另一節點主機的vSAN流量地址（172.31.255.29）、Ping 見證虛擬機的vSAN流量地址10.66.64.34，都能Ping通。此檢查表示vSAN分區不是由網絡問題引起的。

6.在vSphere Web Client管理控制臺，在“監控→vSAN→運行狀況”中，經過檢查出現“軟件版本兼容性”的失敗信息，提示升級主機的ESXi軟件。

7.檢查節點主機、見證虛擬機的ESXi版本，發現見證虛擬機的版本較低。

經過分析，是用戶升級了ESXi主機但未升級見證虛擬機，導致了vSAN群集出現分區。知道問題原因之后，故障解決就比較簡單了。部署一臺與ESXi節點主機同版本的見證虛擬機，在“配置→vSAN→故障域和延伸群集”中單擊“更改見證主機”，將見證主機改為新部署的見證設備即可。

圖3 5節點vSAN群集

通常情況下更改了見證虛擬機之后，即可解決vSAN群集分區問題。但更改見證主機之后，經過檢查發現仍然存在分區現象。

在vSphere Web Client控制臺中，左側單擊vCenter Server的名稱，在“配置→存儲提供程序”中，發現新添加的10.66.64.24的見證虛擬機為 “脫機”狀態。

選中狀態為脫機的10.66.64.24的見證虛擬機，單擊“X”取消注冊選中的儲提供程序，然后單擊“”按鈕將所有存儲提供程序與環境的當前狀態同步，等脫機的存儲提供程序狀態為“聯機”后，vSAN群集分區的故障解決。

主機配置不一致造成的分區

如果是全新組建的標準VMware vSAN群集，出現分區現象一般是網絡問題。如果是2節點直通的vSAN群集，出現分區現象一般是版本、存儲提供程序脫機或網絡問題。如果是已配置好了vSAN群集，新增加的節點主機與原有的主機出現分區現象，則可使用vSAN工具修復。下面通過具體實例介紹。

在 圖3中， 最 初ESXi01～ESXi04共4臺主機組成vSAN群集，其管理地址分別是202.206.195.91～202.206.195.94， 其 vSAN 流量地址分別為192.168.11.91～ 192.168.11.94；后來添加了ESXi05到vSAN群集中，在配置了管理地址202.206.195.95及vSAN流量的VMkernel的IP地址192.168.11.95后，出現分區。

對于出現的vSAN群集分區現象，在檢查新添加的vSAN節點主機的網絡連接，并 且 使 用ssh登錄到節點主機，使用Ping等命令檢查后，發現分區不是由于網絡問題引發的。

在導航器左側選中vSAN群 集（本 示 例 中vSAN群集名稱 為 JGZX），在“監控→vSAN→運行狀況”中，發現“失敗 vSAN群集分區”的提示，并在分區列表中顯示了分區主機名稱及分區情況。

在“群集→ vCenter狀態具有權威性”檢查失敗，單擊“更新ESXi配置”按鈕，更新ESXi主機成員資格。

在“群 集 → vSAN群集配置一致性”中，提示202.206.195.95（這是新添加的vSAN節點主機）的網絡配置未同步，單擊“修復不一致的配置”按鈕。在彈出的“確認-更新ESXi配置”對話框中，單擊“是”按鈕。

更新之后，再次返回到“配置→磁盤管理”中，可以看到所有vSAN主機牌“組1”，分區問題解決。