基于網絡結構搜索的工業過程自動故障診斷方法

摘 要：針對現有基于深度神經網絡的工業過程故障診斷方法存在網絡結構設計煩瑣及參數尋優耗時等問題，提出了一種基于網絡結構搜索的工業過程自動故障診斷方法（automatic fault diagnosis，AutoFD），該方法采用AutoFD網絡結構搜索算法，來自動完成卷積神經網絡的網絡結構設計和網絡參數尋優。在此基礎上，首先通過在原始數據上施加操作生成新通道;接著利用表現預測加速獲取通道適應性排序的過程;然后依據通道適應性排序，通過表現預測來快速選取最優卷積通道數;最終根據最優卷積通道來搜索表現最優的多通道卷積神經網絡模型用于工業過程自動故障診斷。采用田納西—伊斯曼（Tennessee Eastman，TE）工業過程和數值系統對提出方法進行驗證，結果表明該方法可以實現網絡結構自動設計及網絡參數的自動尋優，并且具有優良的故障診斷性能。

關鍵詞：自動故障診斷； 工業過程； 網絡結構搜索； 多通道卷積神經網絡； 表現預測

中圖分類號：TP277 文獻標志碼：A

文章編號：1001-3695（2022）03-028-0807-07

doi：10.19734/j.issn.1001-3695.2021.08.0362

基金項目：遼寧省“興遼英才計劃”資助項目（XLYC1808009）

作者簡介：李顯（1997-），男，江蘇宿遷人，碩士研究生，主要研究方向為基于自動機器學習的工業過程故障診斷；李歆（1981-），男，河北昌黎人，碩導，研究員，主要研究方向為可視化、工業自動化、煙草、制藥等制造執行系統研發與應用；周曉鋒（1978-），女（通信作者），遼寧本溪人，碩導，副研究員，主要研究方向為過程檢測和故障診斷（1451024473@qq.com）；李帥（1988-），男，遼寧錦州人，碩導，副研究員，博士研究生，主要研究方向為復雜工業過程檢測與故障診斷；金樑（1991-），男，吉林德惠人，助理研究員，碩士，主要研究方向為大數據機器學習.

Automatic fault diagnosis method based on neural architecture search for industrial processes

Li Xian^{1，2，3，4}， Li Xin^1，2，3， Zhou Xiaofeng^1，2，3?， Li Shuai^{1，2，3，4}， Jin Liang^1，2，3

（1.Key Laboratory of Networked Control Systems， Chinese Academy of Sciences， Shenyang 110016， China; 2.Shenyang Institute of Automation， Chinese Academy of Sciences， Shenyang 110016， China; 3.Institutes for Robotics amp; Intelligent Manufacturing， Chinese Academy of Sciences， Shenyang 110169， China; 4.University of Chinese Academy of Sciences， Beijing 100049， China）

Abstract：In the industrial process， the existing fault diagnosis methods based on deep neural network are a challenging pro-blem due to complicated network structure design and time-consuming parameter optimization. To achieve the problem， this paper proposed an automatic fault diagnosis method （AutoFD） based on neural architecture search. The method used the AutoFD neural architecture search （NAS） algorithm to automatically complete the network structure design of the convolutional neural network and the optimization of the network parameters. On this basis， some new channels were firstly generated by operating the original data. Performance prediction was then used to speed up the process of acquiring channel adaptive sorting， and the optimal number of convolutional channels was quickly selected according to the adaptive sorting of the channels. Finally， through the optimal convolution channels， the best-performing multi-channel convolutional neural network model for automatic fault diagnosis in chemical processes could be searched. It was applied to the Tennessee Eastman （TE） industrial process and numerical system for fault diagnosis to verify the proposed method. The results show that the AutoFD method can automatically design the network structure and optimize the parameters of the multi-channel convolutional neural network， which has excellent performance in fault diagnosis.

Key words：automatic fault diagnosis; complex industrial processes; neural architecture search; multi-channel convolution neural network; performance prediction

0 引言

隨著工業生產設備的不斷升級，工藝流程自動化、數字化程度大幅提高，工業過程的故障診斷技術已經成為工業過程中預防事故、保障工業生產安全進行、穩健工業發展的重要組成部分^[1]。工業過程中會產生大量的運行數據，因此基于數據驅動的故障診斷技術逐漸成為學術界研究的熱點。基于數據驅動的故障診斷方法可分為統計學習、淺層學習和深度學習方法。

用于故障診斷的統計方法包括主成分分析法（principal component analysis，PCA）^[2]、獨立成分分析法（independent component correlation algorithm，ICA）^[3]、偏最小二乘法^[4]（partial least squares，PLS）和Fisher判別分析（Fisher discriminant analysis，FDA）^[5]等。用于故障診斷的淺層學習方法包括支持向量機（support vector machine，SVM）^[6]、高斯混合模型（Gaussian mixture model，GMM）^[7]。統計學習和淺層學習方法的模型雖然簡單，但是通常需要復雜的特征工程。數據和特征決定了上限，模型和算法只是去逼近這個上限，特征的好壞將會直接影響故障診斷結果。深度學習方法很好地彌補了統計學習和淺層學習存在的缺陷，在故障診斷領域也取得了一些研究成果。如文獻[8]使用稀疏自編碼器提取數據，然后訓練網絡以完成故障分類。Zhang等人^[9]提出了一種可擴展的深度信念網絡（extensible deep belief net，EDBN）解決故障診斷問題。但是深度學習方法的網絡模型設計煩瑣、耗時，并且需要相關領域的專家完成網絡的設計。

網絡結構搜索（neural architecture search，NAS）可以自動化網絡結構設計的手動過程，在計算機視覺領域已經取得了領先的水平。網絡結構搜索可以表示成選取特定操作組成特定網絡結構的組合問題，暴力地枚舉所有可能的情況，分別進行網絡的訓練和驗證，必然可以得到一個最優的網絡結構，但是非常耗費計算資源和時間，可以建立一些搜索的策略來優化暴力枚舉的過程。Baker等人^[10]提出將網絡結構搜索建模成馬爾可夫決策過程進行搜索。文獻[11]通過強化學習（reinforcement learning）指導網絡結構的搜索。Real等人^[12]利用進化算法（evolutionary algorithm，EA）優化網絡結構搜索過程。雖然以上的搜索策略可以指導網絡的搜索過程，但是搜索和驗證仍然需要大量的計算資源。對此Brock等人^[13]提出訓練一個輔助網絡來動態生成不同結構模型的權重，節約驗證時間。Elsken等人^[14]通過權重共享減少網絡的訓練內容。Zoph等人^[15]采用層次化表示縮減搜索空間。Liu等人^[16]定義了一種層次化的網絡結構加速網絡的搜索。經過以上方法對搜索空間、訓練時間、模型參數的改進，NAS對于時間和計算資源不再有過高的要求。NAS也在一些新的領域有了應用，如Chen等人^[17]將NAS應用到語義分割領域，Tan等人^[18]將NAS從單目標改進為多目標，都取得了較好的結果。雖然NAS在工業過程故障診斷方向尚無應用，但在工業領域方面實現自動故障診斷有很大的應用前景。

為解決手動設計神經網絡模型需要專家經驗和故障診斷領域知識等問題，本文提出了AutoFD方法，將NAS進行改進并應用于工業過程故障診斷，可以省去設計網絡過程中反復調試、試錯、分析這些耗時的步驟，實現自動化設計故障診斷模型。AutoFD方法利用連續松弛優化，賦予操作權重來表示操作的重要性，將離散的網絡結構搜索過程連續化，通過連續更新操作權重來替代離散的選擇過程，提升了網絡結構搜索的效率。并且還采用多通道卷積增強網絡的表現能力，接著利用表現預測優化輸入通道的選擇過程。

本文的主要貢獻如下：

a）提出的AutoFD方法將改進的NAS用于工業過程故障診斷，實現了自動化設計故障診斷模型，避免了復雜、耗時的網絡設計過程。

b）AutoFD方法采用多通道卷積來增強網絡的表現能力，使得更淺層的網絡模型可以表示更為復雜的判別函數。接著通過表現預測加速尋找最優卷積通道和最優卷積通道數的過程。

1 卷積神經網絡

卷積神經網絡是一種深度學習網絡，它通過卷積層、池化層來學習輸入數據的局部特征^[19]。卷積神經網絡的顯著特點是權值共享，由于權值數量減少，網絡的復雜度更低。卷積神經網絡的本質是一個多層感知機，這種網絡對平移、比例縮放、傾斜或者其他形式的變形具有一定的不變性。卷積神經網絡一般由卷積層和池化層構成。卷積的過程如圖1所示，設特征圖輸入的空間坐標為（x，y），卷積核大小是p×q，卷積核權重為w，特征值為v，卷積過程就是卷積核所有權重與其在輸入特征圖上對應的特征值之和，可以表示為

卷積包含了單通道卷積和多通道卷積，單通道卷積^[20]過程如圖1所示，以圖中一次卷積得到新的特征作為判別函數的變量，網絡訓練后的判別函數為

雙通道卷積過程如圖2所示，同樣以圖中一次卷積得到的新特征作為判別函數的變量，網絡訓練后的判別函數為

池化是一種降采樣操作，主要目的是降低特征圖的特征空間。特征圖太多不利于高層特征的抽取，目前主要的池化操作有最大值池化（max pooling）和平均值池化（average pooling）。如圖3所示，2×2的max pooling就是保留四個像點中的最大值，2×2的average pooling就是取四個點的平均值。

2 AutoFD方法

針對現有基于深度神經網絡的工業過程故障診斷方法存在網絡結構設計煩瑣及參數尋優耗時等問題，本文提出了AutoFD實現工業過程自動故障診斷。該方法在利用改進網絡結構搜索算法實現自動設計網絡模型及參數尋優的基礎上，首先通過對原始通道施加一系列的操作來生成新的通道，再利用表現預測來快速評估新通道的適應性，接著利用表現預測選取最優的卷積通道數，最后利用網絡結構搜索算法搜索最優的多通道卷積神經網絡模型。AutoFD的核心思想可以總結為網絡結構搜索和自動通道選取，具體可以分為網絡結構搜索階段、獲取通道適應性排序階段和獲取最優卷積通道數階段三個階段。AutoFD方法的流程如圖4所示。

2.1 AutoFD網絡結構搜索算法

2.1.1 搜索空間

在網絡結構搜索階段采用了AutoFD網絡結構搜索算法來實現自動網絡搜索，算法采用層次化表示來表示網絡，將網絡看成只由兩種網絡單元（正常單元、減少單元）重復堆疊而成，所以只需要搜索兩種網絡單元就可以完成整個網絡的搜索。

圖5表示了AutoFD網絡結構搜索算法搜索網絡單元的過程。一個單元用一個有向無環圖來表示，每個有向無環圖由n個順序排列的節點構成，每一個節點表示網絡里邊的一個特征圖^[20]。邊表示對起點特征圖進行的操作集，操作完的結果放入終點，節點i到j的邊用eij來表示，邊eij的操作用oi，j（xi）來 表示，中間節點j收集了它所有前繼節點的傳入結果，即

2.1.2 連續松弛優化

利用連續松弛優化來優化搜索過程，用O={o¹i，j，o²i，j，…，o^Mi，j，}表示在邊eij中M個候選操作的集合。這些候選操作是離散的，將操作賦予一個權重α，并通過softmax函數將這些權值進行變換，把操作集O里所有的操作混合在一起，得到一個混合輸出：

這樣每個操作oi，j就和一個與其相對應的權重系數αoi，j聯系起來。連續松弛優化用連續的權重系數來表示離散的候選操作。這個連續的權重系數表示對應的操作在網絡單元中的重要程度，因此可以對網絡在驗證集上的表現采用梯度下降法來快速更新各個操作的權重，有效避免了訓練所有可能的網絡單元并選出表現好的網絡單元這一耗時的過程。在搜索完成后，選取每條邊中權重系數的最大值所對應的操作作為這條邊的最終操作，i.e.，o^（i，j）=arg maxo∈Oα^（i，j）o。

通過連續松弛優化將網絡結構搜索的問題轉變成為學習損失函數Lval（α-，w-）最小的操作權重α-和網絡權重w-的值的雙層優化問題：

2.1.3 近似梯度計算

對式（6）（7）的求解需要反復迭代求解兩個優化參數，需要耗費大量的時間與巨大的計算資源，并且難以求得精確解。考慮以一種近似值來減少計算，則對式（6）求偏導的結果可以近似等于：

2.2 獲取通道適應性排序

在獲取通道適應性排序階段采用了多通道卷積增強網絡表現能力和表現預測優化獲取適應性過程。對比式（2）（3）可得，單通道卷積網絡判別函數是雙通道卷積網絡的判別函數的一個子函數，雙通道卷積網絡的判別函數可表示更復雜的判別界面。因此，多通道卷積網絡表現能力更好。AutoFD方法通過在原通道上施加一系列的操作來生成新通道，通過表現預測得到這些通道的適應性大小。表現預測過程如圖6所示，將對通道施加的所有n個操作放入候選操作集F={f₁，f₂，…，fn}中，再將這些操作施加到原始的通道上得到n個新的通道，將每一個新通道在相同的網絡中訓練很少次數后得到準確率accuracy={Af₁－net，Af₂－net，…，Afk－net}作為對應通道的適應性大小，從而可以獲得通道適應性排序：

2.3 獲取最優卷積通道數

在獲取最優通道數階段利用表現預測來加速尋優過程。通道數的增加會使得網絡的搜索、訓練耗費的時間也相應增加。為了得到最優的通道數，利用式（12）通道的適應性排序，依次選取前k個適應性高的通道作為網絡的輸入inputk，利用AutoFD網絡結構搜索算法搜索、訓練很少的次數，得到前k層作為輸入通道的診斷精度accuracyk和搜索耗時timek。通過診斷精度和搜索耗時，選擇適合的k值作為最終的輸入通道數。獲取最優卷積通道數的流程如圖4中的獲取最優通道數部分所示。

3 應用實例研究

3.1 數據集

3.1.1 TE過程數據集

TE過程是美國Tennessee Eastman公司提出的一個實際工業過程的仿真數據集，已被廣泛用于一些研究領域，如過程控制、優化、監測和故障診斷^[21]。TE過程主要包括化學反應器、冷凝器、汽/液分離器、循環壓縮機和汽提塔五個操作單元。為了模擬真實的工業情況，TE采用如圖7所示的控制結構來進行仿真模擬真實的工業情況^[22]，其中MATLAB仿真源程序的代碼可在網址http：//depts.washington.edu/control/LARRY/TE/download.html獲取。TE過程中有52個變量，包括22個連續過程測量變量、19個組合變量和11個操縱變量，每3 min采集一次數據。本文所用的TE數據包括21個預設不同類型的故障，每種故障的數據集都包括960組訓練數據和480組測試數據，其中訓練數據中前160組為正常數據。此外數據集還包含500組正常條件下的數據作為測試集的一部分，數據都是有標簽的，先將52維的數據尾部用0填充，再轉換成8×8的二維矩陣作為網絡的候選輸入通道，故障信息如表1^[22]所示。先對所有的故障進行單故障診斷實驗，再選取正常工況0、故障1、5、7、12、17作為多故障診斷的研究對象，涵蓋常見的階躍、隨機以及未知的故障類型，選取工況的信息如表2^[21]所示。

3.1.2 數值系統

數值系統通常用來驗證故障診斷模型的可行性和有效性，本文數值系統基于現有研究工作的數值系統^[22]，數據生成過程如下：

其中：v₁是[-2，2]上的均勻分布；v₂是方差為0.25，均值為0的高斯分布；高斯噪聲向量nv₃₄5=[nv₃;nv₄;nv₅]的均值為0，方差為0.1；高斯噪聲向量[nv₆;nv₇;nv₈;nv₉;nv₁₀;nv₁₁]均值為0，方差為0.01；[ns₁₂;ns₃₄5;ns₆;ns₇;ns₈;ns₉;ns₁₀;ns₁₁]是根據式（13）～（21）^[24]離線生成，每條數據中包含了五個時刻的數據[d₁，d₂，d₃，d₄，d₅]，其中di為每個時刻的[ns₁，ns₂，…，ns₁₁]，每條數據有55個特征，故障數據的生成如表3所示。

按照以上方法生成960條正常數據，對于四類故障數據，每類生成960條數據，其中前160條為正常數據，后800條為故障數據，對于每一類故障，將正常數據和對應的故障數據放在一起，再按照7∶3的比例劃分訓練集和測試集。數據尾部用0填充，然后轉換成8×8的二維矩陣作為網絡的候選輸入通道。

3.2 實驗設置

實驗平臺為配置 Intel i7-10875H 2.30 GHz CPU，16 GB DDR4內存，WDC PC SN730硬盤，NVIDIA GeForce RTX 2060顯卡的PC機。所有代碼均屬于Python語言在PyTorch框架下完成，利用CUDA和CUDNN提供的并行加速能力實現快速地訓練和檢測任務。

模型的優化函數為Adam函數，能夠為不同的參數設計獨立的自適應學習率。損失函數為交叉熵損失函數。網絡搜索階段，操作權重初始學習率為0.025，操作權重最小學習率為0.001，操作權重權值衰減為3E-4，網絡權重初始學習率為0.9，網絡權重衰減為3E-4，動量為0.9，TE數據網絡單元數為8，數值系統數據網絡單元數為6，epoch為30，batch_size為64，訓練集測試劃分比例為7∶3。網絡訓練階段，網絡權重初始學習率為0.025，網絡權重最小學習率為0，網絡權重權值衰減為3E-4，動量為0.9，drop path probability為0.2，TE數據的網絡單元數為8，數值系統數據網絡單元數為6，eoph為20，batch_size為96。

搜索空間中共包含以下八種操作：3×3可分離卷積（3×3 separable convolutions，sep_conv_3×3）、5×5可分離卷積（5×5 separable convolutions，sep_conv_5×5）、3×3空洞卷積（3×3 dilated convolutions，dil_conv_3×3）、5×5空洞卷積（5×5 dilated convolutions，dil_conv_5×5）、3×3最大池化（3×3 max pooling，max_pool_3×3）、3×3平均池化（3×3 average pooling，average_pool_3×3）、保持原輸入（identity，skip_connect）、清除原輸入（zero）。

本文網絡單元中有四個中間節點，網絡單元均由搜索完成后得到操作的權重矩陣αnormal和αreduce生成，網絡單元的每條邊保留一個權重最大的操作，每個中間節點保留兩個最大邊對應的前繼節點，如圖8、9所示。最終網絡中包含了八個網絡單元，其中第3個和第6個是減少單元，其余的均為正常單元。單元之間的連接方式與生成單元的內部連接方式相同。網絡連接方式如圖10所示。

TE數據多故障診斷中，用x表示原通道，F={2x， 3x，x，x²，x³，x⁴，e^x，log x}為候選操作集。首先對原始通道x進行網絡搜索，搜索出的網絡記為N，對原始通道施加操作后的通道集合記為channel={C₂x， C₃x，Cx²，Cx³，Cx⁴，Cex，Clogx，Cx}，為了方便表示，把通道的集合相對應地記為channel={C₁，C₂，C₃， C₄，C₅，C₆，C₇，C₈}，各個通道在網絡N上訓練五次的準確率如圖11所示。從圖11可知，八種通道在同一個網絡上訓練后的準確率（通道適應性大小）從高到低排序為ACxgt;ACexgt;AC₂xgt; ACx²gt;ACx³gt;AC₃xgt;ACx⁴gt;AClogx。

3.3 實驗結果分析與對比

3.3.1 TE數據實驗結果

圖12、13為在TE數據上，隨著輸入通道的增加，多故障診斷的網絡結構搜索、網絡訓練所耗費的時間與準確率的變化曲線。設置搜索網絡步數為10，訓練網絡步數為10。由圖12、13可知，當輸入通道數小于5時，搜索時間、訓練時間增長趨勢和故障診斷的準確率的增長趨勢大致相同，但當輸入通道超過5層時，隨著層數的增加，搜索時間和訓練時間的增長速度明顯變快，而故障診斷的準確率卻不再增長。可以看出隨著通道數的增長，網絡的準確率增長到一定閾值后將下降，這意味著當通道數增加到一個值后，準確率的提升和多耗費的資源將不呈比例。因此只有在一定范圍內適當地增加通道數目，才會讓故障診斷的準確率提升。可以得到在本文選取的工況中，輸入通道數為5時，搜索、訓練的時間與故障診斷的準確率均達到最優狀態，對應的操作為F′={x，e^x，2x，x²，x³}。

AutoFD方法在TE數據多故障診斷中搜索網絡結構的時間為45.24 min，相比于專家設計網絡模型的時間大大縮減。訓練網絡模型的時間為33.75 min，與深度學習網絡模型的訓練時間近似。為了驗證AutoFD方法的有效性，對比DCNN^[23]、MCLSTM-CNN^[24]、LDA-SVM^[21] 算法，TE多故障診斷的對比結果如表4所示，多故障的網絡結構搜索的搜索結果為圖8的正常單元和圖9的正常單元。對于正常工況0，各類方法的識別率都高，且AutoFD方法取得了最高的識別率99.6%。對于故障1，DCNN方法最高，達到了99.79%，但是AutoFD方法也達到了98.3%，兩者相差不大。對于故障5，僅AutoFD方法達到了98.3%，其他方法均低于95%。對于故障7，都能被所有方法以100%的準確率識別出來。對于故障12，僅AutoFD方法達到了95.4%，其他方法均低于92%。對于故障17，AutoFD方法取得了92.7%的最高識別率。AutoFD方法取得了最高的平均準確率97.41%，并且在六個工況中，正常工況0、故障5、7、12、17都取得了最高的診斷準確率，可以說明AutoFD方法對故障數據的識別率高。此外，AutoFD方法對每個工況診斷的準確率大致相同，在AutoFD結果中，故障7診斷準確率最高，故障17診斷準確率最低，差值為6.3%，相比于DCNN的10.92%、MCLSTM-CNN的13.4%、LDA-SVM的15.62%，AutoFD方法的準確率差值最小，說明利用AutoFD方法進行故障診斷結果穩定。AutoFD方法多故障診斷的混淆矩陣如圖14所示。

單故障診斷的建模流程和多故障相同，TE數據上的單故障診斷的對比結果如表5所示，每個工況的最優卷積通道數如圖15所示。在四個方法中，AutoFD方法取得了最高的診斷準確率91.11%，而對比方法均未超過84%。對于七個階躍干擾類型的故障，AutoFD方法在對比方法中均取得了最高的診斷準確率。對于5個隨機干擾類型的故障，AutoFD方法在3個故障中取得了最高的診斷準確率，在未取得最高診斷準確率的兩個故障中，與最高的診斷準確率也相差不大。對于緩慢漂移干擾類型的故障13，AutoFD方法取得了最高的診斷準確率86.98%，而對比方法均未達到68%。對于兩個堵塞干擾類型的故障，AutoFD方法都取得了最高的診斷準確率，并且對故障15的診斷準確率為83.35%，對比方法均未達到62%。對于5個未知干擾，AutoFD方法均取得了最高的診斷準確率。在21個工況中，AutoFD方法在18個工況都取得了最高診斷準確率，明顯高于DCNN的5個工況、MCLSTM-CNN的4個工況、LDA-SVM的2個工況上取得最高的診斷準確率。

3.3.2 數值系統實驗結果

數值系統單故障診斷過程同TE數據，單故障診斷結果如表6所示。可以看出在四個方法中，AutoFD方法取得了最高的診斷準確率99.85%。對于故障1，AutoFD方法取得了最高的故障診斷準確率99.89%，對比方法最高的為LDA-SVM的98.69%，未超過99%。對于故障2，AutoFD方法取得了與DCNN、MCLSTM-CNN一樣最高的故障準確率100%。對于故障3，MCLSTM-CNN取得了最高的故障診斷準確率100%，但是AutoFD方法也取得了99.5%的準確率，兩者相差較小，僅為0.05%。對于故障4，AutoFD方法取得了最高的故障診斷準確率100%，對比方法均未超過95.1%。AutoFD方法在3個故障上取得了最高診斷準確率，高于DCNN的1個故障、MCLSTM-CNN的2個故障、LDA-SVM的0個故障上取得最高的診斷準確率。

4 結束語

本文針對為工業過程設計故障診斷模型存在設計過程復雜、依賴專家的設計經驗等問題，提出AutoFD方法。該方法將網絡結構搜索應用于工業過程故障診斷，采用多通道卷積增強網絡的表現能力，并利用表現預測優化輸入通道的選擇過程。以田納—伊斯曼工業過程和數值系統為案例進行了性能評價實驗，將本文方法和DCNN、MCLSTM-CNN、LDA-SVM這些傳統機器學習、深度學習模型進行了對比。結果表明本文方法的準確率高于這些方法，并且建模過程自動化大大減少了設計者的工作量，建模時間大大縮減，使得建模變得簡單、高效，可以有效地解決復雜工業過程中的故障診斷問題。但是現有的網絡結構搜索方法都是關注靜態神經網絡的搜索，缺少對動態神經網絡結構搜索方面的研究。下一步工作重點將放在動態神經網絡結構搜索算法的研究上。

參考文獻：

[1]李軍祥，李春陽，夏麗莎.基于改進KNPE算法的化工過程故障檢測[J].計算機應用研究，2021，38（5）：1459-1462.（Li Junxaing， Li Chunyang， Xia Lisha. Chemical process fault detection based on improved KNPE algorithm[J].Application Research of Compu-ters，2021，38（5）：1459-1462.）

[2]郭金玉，劉玉超，李元.基于概率密度PCA的多模態過程故障檢測[J].計算機應用研究，2019，36（5）：1396-1399，1408.（Guo Jinyu， Liu Yuchao， Li Yuan. Multi-modal process fault detection based on probability density PCA[J].Application Research of Computers，2019，36（5）：1396-1399，1408.）

[3]張啟坤，劉宏哲，袁家政，等.基于改進弦截法的FastICA算法研究[J].計算機應用研究，2019，36（2）：425-429.（Zhang Qikun， Liu Hongzhe， Yuan Jiazheng， et al. Research on FastICA algorithm based on improved string section method[J].Application Research of Computers，2019，36（2）：425-429.）

[4]朱志鵬，杜建強，余日躍，等.融入深度學習的偏最小二乘優化方法[J].計算機應用研究，2017，34（1）：87-90.（Zhu Zhipeng， Du Jianqiang， Yu Riyue， et al. Partial least squares optimization method with deep learning[J].Application Research of Computers，2017，34（1）：87-90.）

[5]杜偉，房立清，齊子元.一種鄰域自適應半監督局部Fisher判別分析算法[J].計算機應用研究，2019，36（1）：99-102，118.（Du Wei， Fang Liqing， Qi Ziyuan. A neighborhood adaptive semi-supervised local Fisher discriminant analysis algorithm[J].Application Research of Computers，2019，36（1）：99-102，118.）

[6]Raja Sree S， Kunthavai A. Hubness weighted SVM ensemble for prediction of breast cancer subtypes[J/OL].Technology and Health Care.（2021-08-10）.https：//doi.org/10.3233/thc-212825.

[7]Qin Yongsong. Empirical likelihood and GMM for spatial models[J].Communications in Statistics-Theory and Methods，2021，50（18）：4367-4385.

[8]孫文珺，邵思羽，嚴如強.基于稀疏自動編碼深度神經網絡的感應電動機故障診斷[J].機械工程學報，2016，52（9）：65-71.（Sun Wenjun， Shao Siyu， Yan Ruqiang. Fault diagnosis of induction motor based on sparse automatic coding deep neural network[J].Journal of Mechanical Engineering，2016，52（9）：65-71.）

[9]Zhang Zhanpeng， Zhao Jingsong. A deep belief network based fault diagnosis model for complex chemical processes[J].Computers amp; Chemical Engineering，2017，107：395-407.

[10]Baker B， Gupta O， Naik N， et al. Designing neural network architectures using reinforcement learning[EB/OL].（2017-03-22）.https：//arxiv.org/abs/1611.02167.

[11]Liu Chenxi， Zoph B， Neumann M， et al. Progressive neural architecture search[C]//Proc of European Conference on Computer Vision.Berlin：Springer，2018：19-35.

[12]Real E， Aggarwal A， Huang Yanping， et al. Regularized evolution for image classifier architecture search[EB/OL].（2019-02-16）.https：//arxiv.org/abs/1802.01548.

[13]Brock A， Lim T， Ritchie J M， et al. Smash： one-shot model architecture search through hypernetworks[EB/OL].（2017-08-17）.https：//arxiv.org/abs/1708.05344.

[14]Elsken T， Metzen J H， Hutter F. Simple and efficient architecture search for convolutional neural networks[EB/OL].（2017-11-13）.https：//arxiv.org/abs/1711.04528.

[15]Zoph B， Vasudevan V， Shlens J， et al. Learning transferable architectures for scalable image recognition[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：8697-8710.

[16]Liu Hanxiao， Simonyan K， Vinyals O， et al. Hierarchical representations for efficient architecture search[EB/OL].（2018-02-22）.https：//arxiv.org/abs/1711.00436.

[17]Chen L C， Collins M D， Zhu Yukun， et al. Searching for efficient multi-scale architectures for dense image prediction[EB/OL].（2018-09-11）.https：//arxiv.org/abs/1809.04184.

[18]Tan Mingxing， Chen Bo， Pang Ruoming， et al. MnasNet： platform-aware neural architecture search for mobile[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：2815-2823.

[19]胡美玉，張云洲，秦操，等.基于深度卷積神經網絡的語義地圖構建[J].機器人，2019，41（4）：452-463.（Hu Meiyu， Zhang Yunzhou， Qin Cao， et al. Semantic map construction based on deep convolutional neural network[J].Robot，2019，41（4）：452-463.）

[20]徐信，李志華，楊越.基于EMD-ICA的激電數據降噪處理方法[J].計算機應用研究，2017，34（6）：1737-1739，1744.（Xu Xin， Li Zhihua， Yang Yue. Noise reduction method of IP data based on EMD-ICA[J].Application Research of Computers，2017，34（6）：1737-1739，1744.）

[21]冀豐偲，余云松，張早校.LDA_SVM方法在化工過程故障診斷中的應用[J].高校化學工程學報，2020，34（2）：487-494.（Ji Fengcai， Yu Yunsong， Zhang Zaoxiao. Application of LDA and SVM method in fault diagnosis of chemical process[J].Journal of Chemical Engineering of Chinese Universities，2020，34（2）：487-494.）

[22]Li Shuai， Zhou Xiaofeng， Shi Haibo， et al. Dynamic non-Gaussian hybrid serial modeling for industrial process monitoring[J].Chemometrics and Intelligent Laboratory Systems，2021，216：104371.

[23]Wu Hao， Zhao Jinsong. Deep convolutional neural network model based chemical process fault diagnosis[J].Computers amp; Chemical Engineering，2018，115（1）：185-197.

[24]Shao Bilin， Hu Xiaoli， Bian Genqing， et al. A multichannel LSTM-CNN method for fault diagnosis of chemical process[J].Mathematical Problems in Engineering，2019，2019：article ID 1032480.