U.2 NVMe SSD熱插拔導致服務器藍屏死機的解決方案

文/王愛梅 胡澤志 鄭洪濤

1 前言

隨著U.2 NVMeSSD固態硬盤的普及，如何能夠實現方便地插拔硬盤而不會導致拔除硬盤的信號干擾CPU的正常工作而導致服務器藍屏或死機，成為行業發展的需求。特別是針對數據中心業務，在服務器運行過程中，需要頻繁的拔除或者安裝硬盤，而為了保證業務的持續運行，服務器不能關機。如果不能很好的解決熱插拔問題將嚴重影響數據中心的持續穩定運行。本文將探討一種避免藍屏死機的方案。我們先來認識下何為U.2 NVMe SSD固態硬盤，U.2 NVMe SSD固態硬盤指的是采用U.2接口支持NVMe協議的固態硬盤，而U.2是一種硬盤的接口形式，如圖1和圖2所示。U.2的接口相比其它的M.2/SATA/SAS接口插拔比較方便。

2 U.2 NVMe SSD接口插拔的優勢

圖1

圖2

隨著U.2 NVMe SSD的普及，為了插拔硬盤操作的方便性，NVMe SSD可以插在機箱的前面板安裝有背板的槽位中，因此U.2需要像以前SATA/SAS硬盤一樣方便地插拔，也就是要求支持熱插拔功能。另外由于硬盤位于服務器機箱前面板上，數據線比較長，隨著數據線的增長，信號傳遞過程中會衰減，這時候需要解決信號增強問題，retimer和switch都具有增強信號的功能。而由于硬盤位于前面板上，為了能夠方便地拔除，需要有支持熱插拔的功能。目前有支持熱插拔同時能增強信號的方案是采用NVMeswitch卡，但是NVMeswitch卡的價格非常昂貴，限制了該方案的普及。而目前采用便宜的retimer卡對信號進行增強的方案又存在熱插拔的局限性，因為retimer卡的方案不支持surprise hotplug，只能支持software managed hot plug，surprise hotplug是通過硬件管理的方式實現的熱插拔；而software managed hot plug是通過軟件管理方式，需要通過人為干預，首先需要通過操作應用軟件完成reject，才能進行熱插拔操作。如果熱插拔都需要先進行軟件操作的reject步驟，之后才能拔除硬盤的操作過程，又限制了操作的便捷性。而本文是致力于尋找一種采用便宜的retime卡來增強和調節信號，但又能支持surprise hotplug的方案。

3 避免U.2 NVMe SSD熱插拔導致服務器藍屏死機的解決方案

下面我們來介紹下該方案的實現原理和過程。

眾所周知PCIe作為高速信號，隨著鏈路長度的增加，信號中的高頻分量會急劇損耗，這會導致信號幅度和上升沿的退化、信號帶寬的降低，引起碼間干擾從而導致眼圖的閉合及抖動增加，最終在接收端產生誤碼，而安裝鏈接retimer卡可以解決信號傳輸質量下降的問題，retimer卡是內部具有CDR(數據時鐘恢復)的IC，實現數據的恢復之后再按照串行通道把信號發送出去，這樣可以減輕信號的抖動。retimer 卡可有效提高數據吞吐量和擴展性，適用于數據密集型應用。其信號在經過retimer的時候，通過內部的時鐘重構信號，使其信號傳輸能量增加，然后再繼續傳輸。而且，retimer卡價格便宜，利于普及。

NVMe SSD作為一種新的高性能SSD極大地提升了存儲介質的讀寫速度，同時縮短了CPU與存儲介質之間的訪問時間。對于U.2的NVMeSSD在提供熱插拔的時候帶來了使用上的方便，但是目前支持NVMeSSD的熱插拔方案有兩大類，一類是基于IntelPurleyCPU的VMD模塊的；一類是基于CPUBios的。基于IntelVMD的方式雖然使用上相對比較簡單，但是熱插拔靈活性上卻需要受IntelVMDdrive和操作系統驅動的限制，有很多自定義的功能和方式就很難實現。

圖3

基于CPUBios的方式相對比較靈活，主要是通過SMbus管理來實現NVMeSSD的熱插拔，這種方式在實現模式上主要是通過NVMe背板和主板CPU之間搭建直連的SMbus通道來實現。但是通過通用的PCIeslot實現比較麻煩，因為PCIeslot上的SMbus總線不是直接連到CPU上的，這樣時效性上會有限制。另外，基于CPU Bios的熱插拔方案還存在的問題是NVMeSSD的突然熱插拔需要CPU在很短的時間內知道是否需要釋放PCIe資源，如果在一定時間內沒有釋放，而且這時候又發生了NVMeSSD的突然拔出，很可能導致PCIe的中斷干擾CPU的正常工作而出現服務器藍屏或死機現象。

針對上述熱插拔方案的問題，我們下面來探討一種新的方案。還是基于CPUBios實現熱插拔的方式，我們嘗試對主板電路進行修改，通過在主板上設計PCIeSlot和CPU之間的直接SMbus總線，從而方便實現NVMeSSD的熱插拔的管理。實現方式是在主板上增加一個I2C mux一分二的開關，其中一路還是通向BMC，作為默認路徑，插入普通卡的時候就是用這個通道。當PCIe插槽上插入retimer卡時熱插拔的信號則經過FPGA通往CPU，而一分二開關在不同模式下的切換通過FPGA的IO來控制。如圖3所示。

圖3展示的熱移除過程是：當U2NVMe SSD從機箱背板上拔除時，拔除信號通過I2C信號線傳遞給Retimer卡，通過一分二的控制開關傳遞到FPGA，FPGA將拔除信號告知CPU這個信號只是發生了熱移除，無需CPU進行處理，從而避免熱拔除硬盤的信號不能被CPU及時處理，而大量信號的堆積容易導致CPU處理不過來，而出現藍屏或死機的情況。

而文章開頭時提到的采用NVMe Switch卡來實現熱插拔的方案，相比retimer卡只有對信號提供增強不能對信號進行處理功能的限制，switch卡本身具有處理信號的能力，因此硬盤被熱移除的信號，可以被switch卡處理掉，不會將干擾信號傳遞給CPU。但是缺點是switch卡的成本很高，是采用普通retimer卡的方案的10倍以上，因此難于被普及。

4 結語

本文提供了一種價格便宜，簡單易行，便與普及的實現服務器U.2 NVMe SSD固態硬盤熱插拔的方案，希望對U.2 NVMe SSD熱插拔方案在服務器上的應用推廣起到一定的幫助。