國(guó)產(chǎn)人工智能平臺(tái)的磁盤故障預(yù)測(cè)應(yīng)用

揚(yáng)州萬(wàn)方電子技術(shù)有限責(zé)任公司 朱洪斌 李 悅

隨著國(guó)產(chǎn)軟硬件技術(shù)的不斷成熟，目前已具備融合人工智能的應(yīng)用研究和設(shè)計(jì)能力，但仍處于起步階段。傳統(tǒng)的磁盤故障檢測(cè)具有滯后性，往往是已經(jīng)出現(xiàn)問(wèn)題后才將其檢測(cè)出來(lái)，本文結(jié)合主動(dòng)容錯(cuò)技術(shù)——自我監(jiān)測(cè)、分析與報(bào)告技術(shù)(Self-Monitoring Analysis and Reporting Technology，SMART)和深度學(xué)習(xí)算法構(gòu)建了一種適應(yīng)于國(guó)產(chǎn)存儲(chǔ)設(shè)備的磁盤故障預(yù)測(cè)方法，實(shí)驗(yàn)結(jié)果表明了預(yù)測(cè)的準(zhǔn)確性，與閾值判定方法監(jiān)測(cè)SMART屬性值的方法（故障檢測(cè)率為3%-10%）相比，故障檢測(cè)率有了極大的提升，驗(yàn)證了國(guó)產(chǎn)人工智能平臺(tái)的應(yīng)用可行性。

1 國(guó)產(chǎn)人工智能平臺(tái)環(huán)境搭建

國(guó)產(chǎn)人工智能平臺(tái)是面向深度學(xué)習(xí)、智能分析等場(chǎng)景，融合國(guó)產(chǎn)環(huán)境和人工智能芯片，適配基礎(chǔ)層驅(qū)動(dòng)和運(yùn)行環(huán)境，打造的一個(gè)集數(shù)據(jù)處理、模型加工、訓(xùn)練推理、智能化應(yīng)用的基礎(chǔ)平臺(tái)，支持高效的模型訓(xùn)練、推理等開發(fā)框架，并支持多場(chǎng)景、集群式的部署運(yùn)行，能夠?yàn)楦黝愑脩籼峁┏醪降腁I解決方案。

本文基于國(guó)產(chǎn)飛騰處理器和銀河麒麟操作系統(tǒng)，搭建了國(guó)產(chǎn)基礎(chǔ)軟硬件平臺(tái)，并部署適配Python、Cmake等基礎(chǔ)開發(fā)環(huán)境。人工智能芯片采用國(guó)產(chǎn)華為Atlas300，并開展了驅(qū)動(dòng)適配、環(huán)境移植、框架適配、模型以及應(yīng)用開發(fā)等研制工作。

2 基于深度學(xué)習(xí)算法的磁盤故障預(yù)測(cè)

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文中使用的實(shí)驗(yàn)數(shù)據(jù)來(lái)自BACKBLAZE官網(wǎng)的2018年四個(gè)季度的ST8000DM002型號(hào)的樣本，采集頻率為24h一次。除去含有空值以及采集天數(shù)小于兩天的樣本，最終選取了9954塊硬盤，其中故障硬盤為90塊，正常硬盤為9864塊。該型號(hào)樣本具有48個(gè)屬性，包含原始值（raw）和廠商根據(jù)一定規(guī)則轉(zhuǎn)換后的值（normalized）。所有樣本隨機(jī)分為60%的訓(xùn)練集、10%的驗(yàn)證集和30%的測(cè)試集。由于SMART數(shù)據(jù)的取值范圍相差較大，為了減少對(duì)模型的影響，通過(guò)最大最小歸一化對(duì)數(shù)據(jù)進(jìn)行了預(yù)處理。

2.2 特征選擇

SMART數(shù)據(jù)中的并非所有屬性都是有用的，其中會(huì)存在一些冗余屬性，不但不利于提高模型的準(zhǔn)確率，還會(huì)降低模型的效率。本文采用XGBoost算法對(duì)屬性進(jìn)行了分析評(píng)估，各個(gè)屬性的重要性排序如圖2所示，圖中已按照從大到小的順序進(jìn)行了排序。從圖1中可知，排在前面幾位的smart_242_raw（磁盤自出廠總共讀取的數(shù)據(jù)）、smart_241_raw（磁盤自出廠總共寫入的數(shù)據(jù)）、smart_9_raw（通電小時(shí)數(shù)）、smart_192_raw（斷電返回計(jì)數(shù)）的得分較高，對(duì)預(yù)測(cè)結(jié)果占有很大的比重，本文最終選擇了圖中的21個(gè)屬性作為模型的輸入。

圖1 特征重要性得分

圖2 FDR和FAR隨閾值變化曲線

2.3 模型建立

基于CNN搭建的故障預(yù)測(cè)模型，采用的是一維卷積窗，包含三個(gè)卷積層（卷積核分別為16、32、64個(gè)，長(zhǎng)度均為3）、三個(gè)池化層（長(zhǎng)度均為2，步長(zhǎng)為1）、一個(gè)全連接層（節(jié)點(diǎn)數(shù)為128個(gè)）和一個(gè)輸出層（節(jié)點(diǎn)數(shù)為1），學(xué)習(xí)率設(shè)置為0.0001，為防止過(guò)度擬合，在最后一個(gè)池化層后以及全連接后增加了Dropout層（取值為0.2），輸出層采用“l(fā)inear”激活函數(shù)，其余均采用“relu”激活函數(shù)，模型訓(xùn)練時(shí)采用Adam優(yōu)化器。

采取故障檢測(cè)率（Failure Detection Rate,FDR）、誤報(bào)率（False Alarm Rate,FAR）以及準(zhǔn)確率（Accuracy）三個(gè)指標(biāo)對(duì)模型進(jìn)行評(píng)價(jià)。故障檢測(cè)率指的是正確檢測(cè)出故障樣本個(gè)數(shù)和實(shí)際故障樣本個(gè)數(shù)的比值，誤報(bào)率指的是將原本為正常樣本卻誤檢為故障的個(gè)數(shù)和實(shí)際正常樣本個(gè)數(shù)的比值，準(zhǔn)確率指的是正確檢測(cè)出的樣本個(gè)數(shù)和總樣本數(shù)的比值。

2.4 結(jié)果分析

模型的輸出層包含1個(gè)神經(jīng)元，通過(guò)設(shè)定閾值的方式預(yù)測(cè)樣本未來(lái)是否會(huì)發(fā)生故障。將硬盤狀態(tài)采用“0”（正常樣本）和“1”（故障樣本）標(biāo)簽進(jìn)行記錄。當(dāng)大于等于閾值時(shí)，視為即將發(fā)生故障，當(dāng)概率小于閾值時(shí)，視為正常。在確定閾值時(shí)，以CNN模型為例，訓(xùn)練集的FDR和FAR隨閾值大小變化的情況如圖2所示。

可知當(dāng)閾值在0.09時(shí)，故障檢測(cè)率較高，誤報(bào)率也較低，相對(duì)來(lái)說(shuō)較為平衡，此時(shí)訓(xùn)練集的故障檢測(cè)率為92.86%，誤報(bào)率為0.64%，根據(jù)此閾值對(duì)測(cè)試集進(jìn)行分類，測(cè)試集的故障檢測(cè)率為85.19%，誤報(bào)率為0.74%。其它模型的閾值選取方法與此類似。

本文將XGBoost+CNN和CNN、XGBoost+MLP模型進(jìn)行了對(duì)比，如圖3和表1所示。圖3為FDR和FAR隨閾值變化的曲線圖，越靠近左上角，模型的誤報(bào)率越低，故障預(yù)測(cè)準(zhǔn)確率越高，可以看出XGBoost+CNN的模型相比其他兩個(gè)模型更接近左上角，當(dāng)閾值為0.05時(shí)，故障檢測(cè)率可達(dá)到96.30%，誤報(bào)率此時(shí)為1.15%。

圖3 各模型FDR和FAR對(duì)比圖

由表1可以看出，在相同F(xiàn)DR的情況下，其他兩個(gè)模型的誤報(bào)率與XGBoost+CNN模型相比略高，因此，XGBoost+CNN模型的準(zhǔn)確率也較高。CNN模型與XGBoost+MLP模型相比，其準(zhǔn)確率較高些，CNN雖未經(jīng)XGBoost算法進(jìn)行特征選擇，但在訓(xùn)練過(guò)程中可自動(dòng)完成特征的選擇和抽象。

表1 各模型精度對(duì)比結(jié)果

3 國(guó)產(chǎn)人工智能平臺(tái)磁盤故障預(yù)測(cè)

為了提高國(guó)產(chǎn)平臺(tái)人工智能應(yīng)用的運(yùn)行效率，在國(guó)產(chǎn)平臺(tái)中適配了華為Atlas300的人工智能芯片，并利用其進(jìn)行了磁盤故障預(yù)測(cè)。首先將完成訓(xùn)練的模型凍結(jié)為pb格式的模型，然后采用工具包中的ATC工具將*.pb格式模型轉(zhuǎn)換為適配Atlas300的*.om格式模型，最后通過(guò)ACL編程接口實(shí)現(xiàn)推理應(yīng)用程序。表2中給出了飛騰CPU和Atlas300的預(yù)測(cè)時(shí)間對(duì)比結(jié)果，可以看出，Atlas300的預(yù)測(cè)速度明顯高于CPU，并且不占用主機(jī)CPU計(jì)算資源。

表2 CPU與Atlas300預(yù)測(cè)時(shí)間對(duì)比結(jié)果

本文基于國(guó)產(chǎn)人工智能平臺(tái)，結(jié)合深度學(xué)習(xí)算法模型，為磁盤故障預(yù)測(cè)這一典型場(chǎng)景形成了一體化解決方案，并通過(guò)構(gòu)建異構(gòu)計(jì)算環(huán)境，提升了國(guó)產(chǎn)平臺(tái)計(jì)算能力，為國(guó)產(chǎn)數(shù)據(jù)中心的自動(dòng)化運(yùn)維提供了支撐。本文的國(guó)產(chǎn)環(huán)境和算法模型，經(jīng)過(guò)一定改造，也可應(yīng)用于工業(yè)、電子、衛(wèi)生等領(lǐng)域的檢驗(yàn)檢測(cè)方向。