航空發(fā)動機性能圖像紋理片段劃分方法

蔡舒妤，史 濤，師利中

（中國民航大學(xué)航空工程學(xué)院，天津 300300）

0 引言

航空發(fā)動機作為飛機的核心部件，其健康狀態(tài)和性能極大地影響著飛機的安全，發(fā)動機性能數(shù)據(jù)作為反映其運行狀態(tài)的重要依據(jù)，為異常診斷與預(yù)警[1-3]、飛行品質(zhì)監(jiān)控與改善[4-6]、排放與環(huán)保評測[7-9]等方面的研究提供了重要的數(shù)據(jù)支持。

近年來，深度學(xué)習(xí)智能算法為航空發(fā)動機的故障診斷提供了新思路，基于性能數(shù)據(jù)的智能診斷方法成為研究熱點。車暢暢等[10]提出了基于深度學(xué)習(xí)的發(fā)動機故障融合診斷模型，利用深度學(xué)習(xí)模型得出故障分類置信度，后對多次故障分類結(jié)果進行決策融合，得出更準確的診斷結(jié)果；鐘詩勝等[11]分析民航發(fā)動機飛行歷史數(shù)據(jù)，結(jié)合深度置信網(wǎng)絡(luò)建立基于不均衡樣本驅(qū)動的民航發(fā)動機故障診斷模型；Zhang 等[12]針對基于卷積神經(jīng)網(wǎng)絡(luò)忽略數(shù)據(jù)的時間序列信息問題，提出了一種基于遞歸神經(jīng)網(wǎng)絡(luò)的旋轉(zhuǎn)機械故障類型識別方法，并在2 個公共數(shù)據(jù)集上取得了很好的效果；Park 等[13]提出了一種基于深度學(xué)習(xí)的液體火箭發(fā)動機起動瞬態(tài)故障檢測與診斷方法，建立發(fā)動機起動過程中潛在故障類型的數(shù)據(jù)集，用于訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)，并利用實際發(fā)射地面試驗數(shù)據(jù)驗證了該方法的有效性；Guo 等[14]提出基于混合特征模型和深度學(xué)習(xí)的無人機傳感器故障診斷方法，利用短時傅立葉變換將故障信號變換為相應(yīng)的時頻圖，然后利用卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，實現(xiàn)了無人機傳感器的故障診斷；Chen等[15]針對電氣傳動系統(tǒng)，提出了一種基于數(shù)據(jù)驅(qū)動和深度學(xué)習(xí)相結(jié)合的方法來處理早期故障；Manjurul I 等[16]提出了一種自適應(yīng)深度卷積神經(jīng)網(wǎng)絡(luò)，利用試驗臺采集的數(shù)據(jù)驗證了所提出的故障診斷方法的有效性。

然而深度學(xué)習(xí)在故障診斷領(lǐng)域仍然存在不適應(yīng)性。基于深度學(xué)習(xí)的故障診斷方法需要大量高質(zhì)量的數(shù)據(jù)，才能取得良好的診斷性能。然而實際的發(fā)動性能數(shù)據(jù)故障樣本遠遠小于正常樣本，會影響深度學(xué)習(xí)模型的檢測結(jié)果，使診斷模型結(jié)果向大樣本傾斜[17]。目前解決不平衡故障診斷問題時通常有2 種手段：第1 種是從數(shù)據(jù)增強方面入手，如利用生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）[18-19]生成和原始數(shù)據(jù)相似的數(shù)據(jù)樣本；第2 種是對數(shù)據(jù)進行預(yù)處理，如采用過采樣和欠采樣技術(shù)來平衡故障數(shù)據(jù)和正常數(shù)據(jù)之間的數(shù)量差異。然而，通過GAN 進行訓(xùn)練對樣本數(shù)量要求嚴苛，訓(xùn)練樣本太小會導(dǎo)致模型無法學(xué)習(xí)到真實樣本的分布，訓(xùn)練樣本太多會脫離發(fā)動機實際工況；對于過采樣預(yù)處理，會復(fù)制少數(shù)樣本以擴充樣本量，但容易出現(xiàn)過度擬合問題，而欠采樣預(yù)處理減少了大多數(shù)類的樣本數(shù)，難免造成信息丟失。針對以上問題，本文提出航空發(fā)動機性能圖像紋理片段劃分方法。

1 發(fā)動機性能圖像的紋理特征表示

1.1 發(fā)動機性能數(shù)據(jù)圖像化

發(fā)動機性能數(shù)據(jù)圖像化通過建立各發(fā)動機性能數(shù)據(jù)值域與RGB 彩色空間的映射關(guān)系，將高數(shù)據(jù)維度的性能參數(shù)數(shù)據(jù)轉(zhuǎn)換為2 維性能圖像，保持性能數(shù)據(jù)的細節(jié)，為性能參數(shù)之間和性能數(shù)據(jù)之間的關(guān)聯(lián)分析提供高效、直觀的支持。

對于任意發(fā)動機性能參數(shù)，其性能數(shù)據(jù)值域空間[imin,imax]與RGB彩色空間[0,255]的映射關(guān)系，如圖1所示。

圖1 發(fā)動機性能數(shù)據(jù)圖像化映射

假設(shè)vij表示第i個性能參數(shù)在第j個時刻采集的數(shù)據(jù)值，則vij∈[imin,imax]其中imin為第i個性能參數(shù)取值的最小值；imax 為第i個性能參數(shù)取值的最大值，則發(fā)動機性能數(shù)據(jù)圖像化公式為

式中：RGB為計算所得顏色分量值。

由此轉(zhuǎn)化的性能圖像橫軸為時間，縱軸為各性能參數(shù)取值。

1.2 基于分形盒維的性能圖像紋理特征表示

分形維數(shù)理論是對非光滑、非規(guī)則、非完整等的極其復(fù)雜形體定量分析的重要參數(shù)，是形體的復(fù)雜度、粗糙度的度量[20]?？蓪⒎中尉S數(shù)理論引入發(fā)動機性能圖像的紋理特征表示[21-22]。

假設(shè)大小為M×N的發(fā)動機性能圖像中，任意像素點(x,y) 定義其灰度值函數(shù)為I(x,y)，均滿足I(x,y)∈[0,255]，且1 ≤x≤M，1 ≤y≤N。

構(gòu)建圖像的灰度空間，如圖2 所示。性能圖像灰度空間中，X軸、Y軸分別表示圖像像素點的坐標值，Z軸表示圖像像素點的灰度值。取邊長為ε的分形盒，像素點(x,y)的分形盒維數(shù)為

圖2 灰度空間

定義像素點(x,y) 處的紋理特征維數(shù)為Nε(x,y)，即以像素點(x,y)為中心，邊長為ε的鄰域內(nèi)像素分形盒維數(shù)最大值和最小值的差值

紋理特征維數(shù)如圖3所示。

圖3 紋理特征維數(shù)

紋理特征維數(shù)表示了像素點ε-鄰域內(nèi)的紋理特征，通過圖像化方法將獨立且離散的性能數(shù)據(jù)相融合。這種融合既包含了不同參數(shù)間的關(guān)聯(lián)，同時包含了不同時刻參數(shù)的關(guān)聯(lián)。

2 基于高頻次生長樹的圖像紋理片段劃分

發(fā)動機性能圖像中，紋理片段出現(xiàn)的不同頻次表征了性能狀態(tài)的不同。高頻次紋理片段體現(xiàn)性能的穩(wěn)定，低頻次紋理片段體現(xiàn)性能的波動。可通過對性能狀態(tài)頻次的提取，實現(xiàn)高低頻次紋理圖像紋理片段的劃分。

2.1 高頻次生長樹理論

依據(jù)發(fā)動機性能數(shù)據(jù)特點，性能圖像中的每一列對應(yīng)于飛機某時刻各參數(shù)的性能狀態(tài)，每一行對應(yīng)于某個參數(shù)各飛行時刻的性能狀態(tài)?？赏ㄟ^性能圖像每列像素的紋理特征維數(shù)表示圖像性能狀態(tài)。

式中：k為圖像性能狀態(tài)的列數(shù)，1 ≤k≤N。

高頻次生長樹理論如圖4 所示。將發(fā)動機性能圖像中每個性能狀態(tài)定義為1 顆種子，其初始狀態(tài)為，計算該性能狀態(tài)在圖像中出現(xiàn)的頻次Pk。當頻次Pk大于等于一定閾值T時，種子開始第1輪生長；第n輪生長可表示為當頻次Pk小于一定閾值T時，種子則停止生長。該過程持續(xù)進行，直至所有種子停止生長。

圖4 高頻次生長樹

2.2 基于高頻次生長樹的圖像紋理片段劃分算法

本文提出一種基于高頻次生長樹的圖像紋理片段劃分算法建立數(shù)據(jù)集，算法流程如圖5所示。

圖5 算法流程

算法的具體步驟：

（1）性能數(shù)據(jù)圖像化。輸入發(fā)動機性能參數(shù)，確定其性能數(shù)據(jù)值域空間[imin,imax]。

（2）依據(jù)式（1）建立與彩色空間的映射關(guān)系，實現(xiàn)發(fā)動機性能數(shù)據(jù)圖像化。

（3）計算分形盒維數(shù)。取邊長為ε的分形盒，根據(jù)式（2）計算性能圖像中每個像素點的盒維數(shù)N(x,y)。

（4）計算紋理特征維數(shù)。計算像素點ε鄰域內(nèi)分形盒維數(shù)的最大值和最小值，根據(jù)式（3）計算紋理特征維數(shù)Nε。

（5）計算性能狀態(tài)的頻次Pk。記圖像中每列特征維數(shù)為一種性能狀態(tài)，計算各性能狀態(tài)在性能圖像中出現(xiàn)的頻次Pk。

（6）高頻次生長。當性能狀態(tài)的頻次Pk小于閾值T則淘汰，大于閾值T 時輸出Pk，然后依據(jù)式（4）開始生長，計算新性能狀態(tài)的頻次P'k再與閾值T比較，重復(fù)此過程直至所有性能狀態(tài)生長完成；

（7）依據(jù)性能狀態(tài)頻次，對圖像進行劃分。

3 實例驗證與分析

3.1 性能數(shù)據(jù)圖像化方法驗證

為驗證基于高頻次生長樹紋理分析的發(fā)動機性能圖像紋理片段劃分方法，選取12 個航段的發(fā)動機性能參數(shù)數(shù)據(jù)，包括左右發(fā)低壓轉(zhuǎn)子振動值N1V（low pressure compressor rotor vibrate）和高壓轉(zhuǎn)子振動值N2V（high pressure compressor rotor vibrate），本文采用的數(shù)據(jù)均來自于某航空公司譯碼后的QAR 數(shù)據(jù)，其數(shù)據(jù)信息見表1。

表1 各航段性能數(shù)據(jù)

3.1.1 本文圖像化方法驗證

依據(jù)性能數(shù)據(jù)與顏色空間映射關(guān)系，將性能數(shù)據(jù)轉(zhuǎn)化成2 維性能圖像，各航段性能數(shù)據(jù)對應(yīng)性能圖像如圖6 所示。從圖中可見，對于正常航段A～J所對應(yīng)的性能圖像，其存在明顯的主色調(diào)區(qū)域，局部區(qū)域呈現(xiàn)相對統(tǒng)一的顏色，如圖中紅框所示，說明該性能狀態(tài)平穩(wěn)。

圖6 各航段性能圖像

對于異常航段K和L，其性能圖像紋理細密，說明性能狀態(tài)波動較大，平穩(wěn)性差，使得圖像顏色變化較大，難以維持局部穩(wěn)定色調(diào)。

3.1.2 時頻圖像化方法驗證

常用的圖像化方法有短時傅里葉變換法，利用短時傅里葉變換法對發(fā)動機性能數(shù)據(jù)進行圖像化，生成的時頻圖像如圖7所示。

圖7 各航段時頻圖像

2 種方法圖像化所需要的時間見表2。從表中可見，本文提出的圖像化方法的運算效率優(yōu)于時頻法的。

表2 圖像化時間結(jié)果對比

圖像的細節(jié)紋理可以用圖像信息熵的大小來衡量，反映了圖像中平均信息量的多少，信息熵越大，說明圖像中所包含的細節(jié)紋理越多。

式中：i表示某像素點的灰度值；j表示某像素點領(lǐng)域灰度值；pij表示某像素點的2維特征。

信息熵計算結(jié)果對比見表3。從表中可見，本文方法生成的圖像信息量遠遠大于時頻法所得的圖像，在融合不同時刻不同性能參數(shù)的情況下，保留性能數(shù)據(jù)更多的細節(jié)，減小信息損失。

3.2 數(shù)據(jù)集建立驗證

3.2.1 本文方法建立的數(shù)據(jù)集

在性能圖像的基礎(chǔ)上，依據(jù)基于高頻次生長樹的圖像紋理片段劃分算法，對性能圖像紋理片段進行劃分，結(jié)果見表4，從表中可見，本文提出的算法可以對完整的性能圖像進行精細劃分，將其劃分為高頻次圖像紋理片段和低頻次圖像片段。其中低頻次圖像紋理片段1189張，高頻次圖像紋理片段1181張，消除了數(shù)據(jù)不平衡。

表4 性能圖像劃分

對于正常航段，劃分后的低頻次圖像紋理片段數(shù)量與高頻次圖像紋理片段數(shù)量接近，增強了低頻次圖像紋理片段的數(shù)量，并且真實客觀，不損失信息細節(jié)；對于異常航段，均為低頻次紋理片段，印證了前文的假設(shè)，即高頻次紋理片段正常，低頻次紋理片段異常。

高、低頻次圖像紋理片段部分樣本分別如圖8、9所示。從圖中可見，高頻次圖像紋理片段與低頻次圖像紋理片段差異明顯，高頻次圖像紋理片段多數(shù)較寬，表明該性能狀態(tài)平穩(wěn)，低頻次圖像紋理片段窄小，表明該性能狀態(tài)波動大。

圖8 高頻次圖像紋理片段部分樣本

圖9 低頻次圖像紋理片段部分樣本

根據(jù)式（5）計算高頻次和低頻次圖像紋理片段的信息熵，結(jié)果見表5。從表中可見，高頻次圖像紋理片段的熵值均小于低頻次圖像紋理片段熵值，這是因為高頻圖像紋理片段在紋理變化上較為穩(wěn)定，能夠維持穩(wěn)定色調(diào)，低頻圖像紋理片段顏色變化波動較大，難以維持穩(wěn)定色調(diào)，進而導(dǎo)致信息熵增加。

表5 信息熵計算結(jié)果

選取正常航段A～J與異常航段L～L中的高頻次和低頻次圖像紋理片段，按照不同比例構(gòu)建數(shù)據(jù)集，見表6。

表6 本文方法構(gòu)建的數(shù)據(jù)集

3.2.2 時頻方法建立的數(shù)據(jù)集

時頻圖像中橫軸每一點對應(yīng)一列性能數(shù)據(jù)，以100 列數(shù)據(jù)為一組對圖像進行劃分，建立數(shù)據(jù)集d，結(jié)合過采樣方法建立數(shù)據(jù)集e，結(jié)合欠采樣方法建立數(shù)據(jù)集f，見表7。

表7 時頻法構(gòu)建的數(shù)據(jù)集

3.3 應(yīng)用驗證與分析

基于VGG16、ResNet18和ResNet50深度學(xué)習(xí)網(wǎng)絡(luò)模型對本文方法建立的數(shù)據(jù)集a、b和c，和傳統(tǒng)方法建立的數(shù)據(jù)集d、e和f分別進行對比驗證，網(wǎng)絡(luò)模型參數(shù)設(shè)置見表8。

表8 網(wǎng)絡(luò)模型參數(shù)設(shè)置

3.3.1 本文方法建立的數(shù)據(jù)集上的訓(xùn)練準確率

VGG16、ResNet18 和ResNet50 模型在數(shù)據(jù)集a、b 和c 上訓(xùn)練過程的準確率變化如圖10～12所示。

圖10 VGG16在數(shù)據(jù)集a、b和c的準確率曲線

圖12 ResNet50在數(shù)據(jù)集a、b和c的準確率曲線

從圖中可見，VGG16 模型在數(shù)據(jù)集a上，隨著訓(xùn)練次數(shù)增加，準確率略微上升，在數(shù)據(jù)集b和數(shù)據(jù)集c上，準確率先突增后保持不變。造成這種結(jié)果是因為數(shù)據(jù)集a中正常樣本和異常樣本數(shù)量幾乎一致，淺層卷積神經(jīng)網(wǎng)絡(luò)無法提取更深層次的圖像特征，最終導(dǎo)致準確率很低。數(shù)據(jù)集b中正常樣本和異常樣本數(shù)量的比例為1∶2，數(shù)據(jù)集c中為2∶1，VGG16 模型將所有輸入樣本識別為數(shù)量占多數(shù)的樣本類型，反而導(dǎo)致準確率高于數(shù)據(jù)集a，可以看出淺層卷積神經(jīng)網(wǎng)絡(luò)效果不好。

ResNet18 和ResNet50 這2 種模型的準確率變化趨勢相似，首先隨著訓(xùn)練次數(shù)增加，準確率先不斷上升，上升到一定程度后開始穩(wěn)定，最終達到收斂。其中數(shù)據(jù)集a的準確率最高，數(shù)據(jù)集b和數(shù)據(jù)集c的準確率相近且都低于數(shù)據(jù)集a，這是因為數(shù)據(jù)集a中的高頻和低頻圖像紋理片段數(shù)量接近，深度學(xué)習(xí)模型能夠準確的學(xué)習(xí)高頻次和低頻次圖像紋理片段的特征，消除了數(shù)據(jù)不平衡對識別精度的影響。

3.3.2 時頻法建立的數(shù)據(jù)集上的訓(xùn)練準確率

VGG16、ResNet18 和ResNet50 模型在數(shù)據(jù)集e、b 和c 上訓(xùn)練過程的準確率變化如圖13～15所示。

圖13 VGG16在數(shù)據(jù)集d、e和f的準確率曲線

圖14 ResNet18在數(shù)據(jù)集d、e和f的準確率曲線

圖15 ResNet50在數(shù)據(jù)集d、e和f的準確率曲線

從圖中可見，VGG16模型在數(shù)據(jù)集d和f上，準確率先迅速上升后保持不變，在數(shù)據(jù)集e 上準確率逐漸上升，最終達到收斂。數(shù)據(jù)集d中正常樣本和異常樣本數(shù)量的比例接近6∶1，正常樣本數(shù)量遠遠大于異常樣本數(shù)量，VGG16 模型將所有輸入樣本識別為正常樣本，反而達到較高的準確率。

ResNet18 和ResNet50 這2 種模型的準確率變化趨勢相似，首先隨著訓(xùn)練次數(shù)增加，準確率快速上升，到一定程度后開始穩(wěn)定，最終達到收斂。經(jīng)過采樣方法建立的數(shù)量平衡數(shù)據(jù)集e和f相較于數(shù)量不平衡的數(shù)據(jù)集d在準確率上提升不明顯，且ResNet18 和ResNet50 模型在數(shù)據(jù)集d、e和f上的準確率均低于數(shù)據(jù)集a、b和c。

選取各數(shù)據(jù)集80%作為訓(xùn)練集，20%作為測試集，訓(xùn)練準確率和測試準確率作為評價指標，分別為

以數(shù)據(jù)集a為例，在VGG16 模型上，隨著訓(xùn)練次數(shù)不斷增加，訓(xùn)練集中檢測正確樣本數(shù)量不斷增多，訓(xùn)練集樣本總數(shù)不變，當訓(xùn)練次數(shù)分別達到50、100、200 和500 次時，根據(jù)式（6）計算訓(xùn)練訓(xùn)練準確率，分別為52.38%、53.23%、53.60%和54.03%，保存訓(xùn)練次數(shù)為500 次的模型對測試集進行測試，測試集樣本總數(shù)不變，根據(jù)式（7）計算得到測試準確率為48.73%。在ResNet18 模型上，隨著訓(xùn)練次數(shù)不斷增加，訓(xùn)練集中檢測正確樣本數(shù)量不斷增多，訓(xùn)練集樣本總數(shù)不變，訓(xùn)練準確率逐漸增加，當訓(xùn)練次數(shù)分別達到50、100、200 和500 次時，訓(xùn)練準確率分別為76.60%、81.96%、83.65%和84.08%，保存訓(xùn)練次數(shù)為500 次的模型對測試集進行測試，測試準確率為80.34%。在ResNet50 模型上，其訓(xùn)練準確率的變化趨勢與ResNet18模型相似，但最終訓(xùn)練準確率測試準確率較高，分別為91.72%和88.37%，這是因為ResNet50 網(wǎng)絡(luò)層數(shù)多于ResNet18網(wǎng)絡(luò)的，提取信息量更多。

上述3 種模型在6 種數(shù)據(jù)集上的訓(xùn)練準確率、測試準確率和運算時間分別見表9、并如圖16所示。

表9 3種模型在各數(shù)據(jù)集上的準確率和運算時間

圖16 3種模型在各數(shù)據(jù)集上的運算時間對比

在準確率方面，VGG16 在數(shù)據(jù)集b、c和d上的訓(xùn)練準確率和測試準確率相同，這是因為數(shù)據(jù)集中正常樣本和異常樣本數(shù)量不平衡，VGG16 模型無法進行有效學(xué)習(xí)，導(dǎo)致將輸入樣本都識別為數(shù)量占多的樣本類型，在數(shù)據(jù)集a、e和f上的準確率均低于ResNet18和ResNet50；這2 種模型在數(shù)據(jù)a的訓(xùn)練集和測試集上的準確率都達到最高，其中ResNet50 模型的準確率最高，分別為91.72%和88.37%，這是因為數(shù)據(jù)集a中的正常樣本和異常樣本數(shù)量接近，減少了數(shù)據(jù)不平衡對模型準確率帶來的影響；數(shù)據(jù)集e訓(xùn)練集和測試集的準確率相差最大，這是因為過采樣的方法只是對少數(shù)樣本進行隨機復(fù)制以增加樣本數(shù)量，造成過擬合現(xiàn)象，從而導(dǎo)致這訓(xùn)練集上的準確率遠高于測試集；數(shù)據(jù)集f 是通過欠采樣方法得到，欠采樣方法隨機丟棄多數(shù)樣本以達到數(shù)據(jù)平衡，這樣會丟失有用的信息，導(dǎo)致準確率難以提升。

在運算時間上，由于本文所采用的ResNet 中的殘差結(jié)構(gòu)減少了運算量，50 層的ResNet 模型運算時間仍略低于16 層的VGG 模型的，且準確率遠高于VGG16模型的，ResNet18模型運算時間最短，相較于ResNet50模型的運算時間最多提升65%，但準確率略低于ResNet50模型的。

傳統(tǒng)的過采樣或欠采樣方法得到的平衡數(shù)據(jù)集不僅準確率提升有限而且容易發(fā)生過擬合問題，本文提出的方法不但避免了過擬合問題，而且準確率提升明顯。

4 結(jié)論

（1）在運算速度方面，本文方法能夠快速完成性能數(shù)據(jù)向性能圖像的轉(zhuǎn)化，時間復(fù)雜度較低。

（2）在劃分效果方面，本文方法在保留原始數(shù)據(jù)信息的同時，對性能數(shù)據(jù)進行圖像化降維并精細劃分，為建立包含數(shù)量相近的正常樣本和異常樣本的數(shù)據(jù)集提供了保障。

（3）在應(yīng)用效果方面，利用本文方法劃分生成的數(shù)據(jù)集相較于采樣方法得到的數(shù)據(jù)集在深度學(xué)習(xí)模型的性能異常檢測中效果更好。