排查網站數據存儲故障

■河南 劉進京

某單位的Web服務器使用的是LNMP架構，采用CentOS 7.X系統，在其上運行公司的網站。為了便于和客戶交流，在其中提供了留言板模塊，最近卻出現了比較奇怪的問題。

當用戶試圖在其中添加各種信息，并上傳文件等內容時，出現諸如“上傳失敗，服務器錯誤”等的提示信息，但是網站卻可以正常訪問。Web服務器的運行看起來比較正常，監控程序也沒有收到相關的報警信息。

故障排查

對于這種情況，最直觀的判斷是數據庫出現故障，或是磁盤空間耗盡的問題。因為提交的數據最終是保存到磁盤中的，如果磁盤存在問題，自然會造成上述故障。

進入“/usr/local/mysql/data”路徑，使用“tail-f xxx.log”之類的命令查看MySQL相關日志信息，沒有發現可疑信息，這說明MySQL數據庫本身不存在明顯的問題。進入Tomcat的運行路徑下的“logs”目錄，執行“tail-f catalina.out”命令，發現存在“Java.lang.RuntimeException:Can not make directory:file:/web/data/html/xxx”的提示，說明在指定的目錄下無法創建文件，該目錄就是網站的存儲路徑。

進入到該目錄，執行“mkdir”命令，隨便建立一個目錄進行測試，顯示“cannot create directory:Readonly file system”信息，這說明該路徑所在的分區出現了故障，導致無法寫入數據。執行“dmesg | more”命令，顯示sdb1分區出現“Remounting filesyatem read-only”警告，該磁盤設備掛載在上述“/web/data/”路徑下。但是MySQL的數據是保存在其他分區中的，該分區處于正常狀態，所以MySQL是可以正常運行的，不會產生錯誤信息。但當用戶上傳文件時，因為文件保存在“/web/data/html”目錄下，因為該目錄對應的分區是只讀的，所以操作無法進行。

磁盤分區之所以出現只讀故障，可能由多種原因造成。EXT4、XFS等常用的文件系統擁有很強的自動修復功能，對于簡單的磁盤故障，系統可以自動修復。當遇到比較嚴重的問題，例如當大量讀寫數據時突然掉電等，就會造成無法修復。系統為保證數據的一致性，會暫時屏蔽文件系統的寫操作，將文件系統變成只讀狀態，就會造成無法寫入數據的問題。

該Web服務器采用的是XFS文件系統，是日志文件系統，可以有效解決因為各種原因造成的元數據不一致的問題。其原理是在進入文件系統寫操作時，會進行一系列的步驟來實現。例如，在inode中添加指向數據塊指針，從Data Block Bitmap中分配數據庫，將數據寫入數據庫等。XFS文件系統會將這些環節預先記錄下來，并保存在Journal日志空間，只有日志保存完成后才會執行實際的寫操作，即將元數據和用戶數據寫入磁盤中。

在寫入過程中如果出現故障，當再次掛載文件系統時，只需重新執行之前保存的日志，就可以有效保證數據的一致性。該過程會通過Mount命令迅速完成，當然這只能應對簡單的文件系統故障。對于嚴重的故障，只能使用fsck，xfs_repair等文件系統檢測程序來解決。使用這些工具，不僅僅是執行簡單的Journal Replay操作，而是對文件系統進行深度的檢測，檢測對象包括所有的存儲文件元信息的inode區域、超級區塊SuperBlock、目錄等對象。

故障修復

對于CentOX 7.X來說，使用的是XFS文件系統，使用xfs_check命令，雖然可以對XFS文件系統進行檢測，但其執行的速度太慢。相比之下，使用xfs_repair命令則效率要高的多。在執行修復操作之前，最好對需要修復的分區進行備份。

例如，執行“mount-o ro,norecovery/dev/sdb1/destpath”命令，以只讀的方式將目標分區加載到指定路徑。執行“xfsdump-f /usr/data/backupfile/destpath-L part_dump-M part_dump”命令，將該分區的數據備份到“/usr/data/backupfile”文件中，“-L”參數指定備份會話標簽，“-M”參數指定設備的標簽。執行“xfs_repair/dev/sdb1”命令，開始對目標分區進行修復操作。

根據提示信息，可以看到修復過程實際上分為7個步驟，當修復完成后，執行“mount /dev/sdb1 /destpath”命令，來掛載目標分區，執行“xfsrestore-f/usr/data/backupfile”命令，將備份的數據恢復到目標分區中。這樣，就將該分區恢復到了正常的狀態。如果執行“xfs_repair-n/dev/sdb1”命令，表示僅僅對文件系統進行檢查操作，不修改文件系統任何數據。如果在加載分區時出現失敗，說明XFS文件系統的Journal Replay動作出錯，很可能Journal日志已經損壞，這說明錯誤難以正常恢復。可以執行“xfs_repair-L/dev/sdb1”命令，來清除Journal Log信息。當然，清除日志存在風險，在之前最好對目標分區進行備份。

順便說一下，如果采用的是EXT4文件系統，分區只讀故障修復方式是不同的。首先執行“tune2fs-c 0-i 0/dev/sdb1”命令，禁止重啟后執行全面檢測操作，否則重啟時間會過長。執行“fuser-m/dev/sdb1”命令，檢測哪些進程正在使用該分區，之后關閉相關進程。執行“umount/web/data”命令，卸載故障所在磁盤分區。執行“fsck-y/dev/sdb1”命令，對目標分區進行修復，修復時間的長短取決于磁盤容量和文件系統損壞程度。如果無法修復，可以根據需要選擇是否執行刪除操作，被刪除的文件保存在對應分區掛載點的lost+found目錄。修復完成后，執行“mount/dev/sdb1/web/data”命令，完成掛載操作。