基于輕量化卷積神經網絡的橋梁斜拉索PE護套損傷識別方法

摘要"深度神經網絡和計算機視覺技術近年來在結構健康監測中發揮了越來越重要的作用。利用無人機航拍采集的橋梁斜拉索損傷圖像數據，研究基于深度學習技術的斜拉索PE護套損傷識別方法。為實現在較低運算能力設備上對大跨度橋梁斜拉索表面局部損傷的智能快速識別，解決傳統深度卷積神經網絡的運算效率相對較低、模型參數規模較大的問題，提出輕量化處理的區域推薦型卷積神經網絡模型。介紹區域推薦網絡與其輕量化改進方法的理論基礎，分析輕量化模型處理的必要性，其能在保證識別精度的前提下降低模型訓練與預測的設備性能需求，達到節約計算資源與時間的目的；通過數據增廣等多手段解決損傷樣本數據量不足的問題，設置對比試驗，統計分析結果，驗證了輕量化神經網絡模型的優越性。結果表明，輕量化網絡在犧牲少量識別準確度的前提下，能夠在較大程度上實現對模型復雜度與計算量的改進，在工程應用中能有效拓展神經網絡的實用性。

關鍵詞"橋梁斜拉索;"智能損傷識別;"輕量化神經網絡;"計算機視覺;"深度學習

近年來，隨著橋梁基礎設施建設迅速發展，結構安全問題時有發生。結構發生損傷后，若不能及時發現，極有可能造成重大安全事故，所以建立可靠的結構檢測和監測系統對延長橋梁工程結構使用壽命和減小損失具有重大意義。計算機視覺和深度學習技術近年來在結構檢測和健康監測領域中受到大量關注，取得了很好的進展^[1-3]。但當前研究大多集中于提升損傷檢測的準確性，而少有研究對嵌入式設備與移動設備的運算能力、內存空間進行改進。

以圖像進行結構檢測的相關研究中，被廣泛采用的是深度卷積神經網絡^[4-5]，然而，對于傳統的深度卷積神經網絡而言，最突出的問題是模型參數量過于龐大，在實際應用中面臨著設備內存可能不足的問題；其次，在多類實際應用場景下，存在低延遲，或者響應速度快的需求^[6]。所以，研究輕量而高效的深度卷積網絡模型至關重要。

對于基于計算機視覺的工程結構檢測和監測，目前研究者很少考慮深度神經網絡模型的復雜度與運算量，訓練與識別大多以辦公主機端為載體，沒有為結構檢測和監測現場設備提供實時低運算方法。雖然有研究已經實現了對橋梁的實時監測，但其計算性能仍然依賴于地面端上位機^[7]，若模型性能需求過高，將進一步提高工程監測成本，限制模型的可應用性。也有研究以傳感器或傳統圖像識別完成實時橋梁結構監測，存在傳感器成本較高或抗干擾能力較差等問題^[8]。卷積神經網絡以大數據與深度學習為支撐，具有較強的泛用性和復雜背景適應性，但多篇文獻提到，在傳統卷積神經網絡中訓練過程耗時較長。文獻綜述^[9]指出，普通的卷積神經網絡在大型數據集中訓練時間可達到80 h。文獻[5]提到，即便只有400個訓練樣本，其訓練過程耗時也可達到8～10 h。如此龐大的運算量，時間成本較高，低運算能力設備可能難以勝任。

筆者將對針對此類問題，從計算機視覺和深度學習技術較少關注的大跨度橋梁斜拉索PE護套損傷識別問題出發，針對現場結構非均質背景的強干擾下、由無人機采集的斜拉索表面損傷圖像，在嵌入式設備與移動設備上運行輕量化的區域推薦型卷積神經網絡對損傷進行識別。旨在保證識別準確率的前提下，降低模型所需要的運算能力與內存占用，使深度神經網絡模型能夠在運算能力相對較低、內存空間相對較小的嵌入式設備與移動設備上進行自主訓練與預測，達到通過低運算能力設備實現工程結構損傷實時檢測與識別的目標。

1"輕量化卷積神經網絡構建

1.1"區域推薦型卷積神經網絡

考慮橋梁斜拉索損傷樣本的特性問題，選取區域推薦型卷積神經網絡針對性地完成對損傷目標的智能檢測。該方法相比其他目標檢測方法具有明顯優勢。如，以YOLO^[10]為代表的單階段方法（One-stage Approach）雖然在多次迭代升級后，在標準數據集上具備較好的檢測性能，但由于其架構特性，容易產生過量負樣本，從而導致前景與背景類別不均衡，最終導致在特定數據集下的性能表現不佳^[11]。而在本研究中，橋梁斜拉索PE套的損傷不顯著且數量較少，負樣本過多將進一步產生不利影響。因此，若使用目前性能更優的YOLO等單階段方法，模型將難以避免結構性劣勢。另外，以區域推薦型卷積神經網絡為代表的兩階段法（Two-stage Approach）采用先生成候選框，再進行分類與回歸的分步方法。其相比于YOLO等單階段方法避免了負樣本過多的問題，契合本研究所使用的斜拉索PE護套樣本特征，能夠有效發揮模型效能。在實際應用中，得益于兩階段方法的優勢，在同一條件下其準確率也往往更高^[12]。此外，相比于Mask RCNN^[13]等實例分割網絡，省去了掩碼分支和過多的全連接層等復雜結構^[14]即可以達到檢測目的，節約了大量計算資源。

從斜拉索樣本特征進行分析，矩形候選區域生成機制的特性契合了斜拉索二維平面形狀在整幅圖像中的面積占比相對較小的實際情況，以多尺度的矩形參考框（Anchors）在圖像矩陣上的滑動完成對斜拉索PE護套的損傷定位，充分發揮了以矩形邊界框進行目標檢測的計算簡便優勢^[15]。樣本特征與方法特性具備高匹配度，最終形成高效的注意力集中機制。

在兩階段方法的結構性優勢基礎上，區域推薦型卷積神經網絡將注意力機制與目標檢測相結合，能夠快速確定感興趣區域。區域推薦網絡模塊（Region Proposal Networks，RPN）通過生成約2 000個矩形候選區域，大概率包含待檢測目標，能夠提供候選對象，便于后續網絡模塊進行目標定位^[16-18]。

研究中，獨立的區域推薦網絡模塊與普通的卷積神經網絡結構類似，包含卷積、激活、池化層和全連接層。該模塊通過成組的卷積、激活、池化操作以后，最終通過全連接層同時輸出分類和回歸兩類目標函數的運算結果，在輸出包含待檢測目標的矩形定位框的同時，判斷候選矩形區域有無損傷。在此過程中，模塊的分類層最終輸出一個包含2個元素的一維數組，分別對應候選矩形框內前景概率（包含目標概率）與背景概率，用以確定候選區域包含待檢測損傷對象的可能性；RPN 的回歸層輸出一個包含4個元素的一維數組。總而言之，區域推薦網絡模塊RPN 僅用于確定所建議的若干矩形區域是否高概率囊括損傷目標，用于后續的模型訓練^[19]。

文獻[18]將區域推薦型卷積神經網絡總結為一個獨立且統一的目標檢測網絡，RPN模塊為此網絡提供“注意力集中”的作用，其工作機制總結如圖1所示。可以將其分為4步：1）特征提取。使用由成組的卷積、激活、池化層（Conv"amp; ReLU amp; Pooling Layers）構成的特征提取模塊（Extractor）提取輸入圖像（Input Image）的特征圖（Feature Maps）。該特征圖作為一個共享模塊，同時用于后續全連接層和RPN層。2）區域推薦。RPN模塊用于生成候選區域（Proposals）。該層通過分類層softmax函數判斷參考框（Anchors）屬于待檢測目標還是背景，再利用其中的邊界框回歸方法（Bounding Box Regression）修正參考框獲得精確的候選區域。3）感興趣區域池化（RoI Pooling）。該層同時接收輸入的特征圖和候選區域，綜合兩者后輸出候選區域特征圖（Proposal Feature Maps），送入后續softmax全連接層，根據輸出判定目標類別。4）分類。利用前層輸入的候選區域特征圖通過全連接層得到候選區域的類別，同時再次使用邊界框回歸獲得檢測框最終的精確位置。

本網絡的目標損失函數L（p_i，t_i）由分類損失與回歸損失構成，表達式為

式中：p_i、p_i^*分別為參考框的預測與真實分類概率；t_i、t_i^*分別為預測與真實邊界框坐標；N_cls為每一批訓練的規模（batch size）；N_reg為邊界框數量；L_cls指使用softmax函數進行分類；L_reg指使用Smooth L1函數進行回歸；λ為權重平衡參數。其p_i^*L_cls表示只有在正樣本時回歸邊界框坐標，即：在正樣本時計算分類與回歸損失之和，在負樣本時計算回歸損失無意義，故僅計算分類損失。

在實際工程中，首先需要判斷結構有無損傷，進而細化判斷結構損傷區域與類型。因此，基于深度卷積網絡的softmax分類層，建立先判斷結構有無損傷、再判斷其損傷類型的方法流程。

待預測圖像輸入深度卷積神經網絡后，輸出層同時進行分類與回歸。其中回歸層負責矩形框的生成與定位，分類層采用softmax 函數計算各類別的置信概率。對于斜拉索PE保護層損傷識別問題，雖然一共有2類損傷目標（螺旋線損傷、非螺旋線損傷），但實際分類時包含背景層，共涉及3類。經過softmax分類層輸出后，得到3類目標的置信概率分別為a%、b%、（1-a-b）%。設置閾值X%，若3類目標中任意目標的置信概率均小于X%，則認為該區域無損傷；反之，若2類損傷目標中存在目標的置信概率大于X%，則認為該區域有損傷，且輸出最大置信概率與相應的損傷類型。判斷流程如圖2所示。

1.2"區域推薦型卷積神經網絡的輕量化處理方法

在區域推薦型卷積神經網絡中，多層的網絡結構會包含大量的參數，尤其是來自卷積層的參數，其數量在全部參數中占比極高^[20]。已有研究指出^[21]，卷積神經網絡僅需很少一部分參數即可準確地預測結果。如果不對其結構進行優化，卷積過程中存在冗余信息較多，那么計算機需要較大的存儲空間和運行空間來完成模型訓練和預測任務。此外，傳統形式的卷積過程計算相對復雜，文獻[20]提到，在一些網絡結構中，僅卷積層的計算量甚至能達到總計算量的97%，這說明傳統卷積操作具備一定的優化空間。

輕量化網絡能夠在有限的網絡模型參數量和運算能力條件下，對給定的一個網絡在保證其精度的情況下進行有效壓縮^[22]。筆者在MobileNet方法的基礎上^[23-24]，提出對區域推薦型卷積神經網絡的模型輕量化方法，相比文獻[18]提出的Faster-RCNN網絡運算效率更高，如圖3所示。

1.2.1"基于MobileNet 方法的模型計算量改進

MobileNet將傳統卷積（PointWise）替換為深度可分離卷積（DepthWise，如圖4），在卷積過程中可減少計算次數，大大降低模型訓練的計算量^[23]。

假設輸入的特征映射卷積核F尺寸為（D_F， D_F， M），采用的標準卷積核K的尺寸為（D_K， D_K， M， N），輸出的特征映射卷積核G的尺寸為（D_G， D_G， N）。單次標準卷積的計算公式為

式中：Ki，j，m，n為第n個大小為（i，j，m）的卷積核以滑動窗的方式對大小為（k，l，m）的輸入特征圖F_{k+i-1，l+j-1，m}進行卷積，輸出特征圖G的第n個通道。即如果輸入的通道數為M，輸出的通道數為N，對應這一次標準卷積的理論計算量為：Ω₁=D_K·D_K·M·N·D_F·D_F。可將標準卷積（D_K， D_x， M， N）拆分為深度卷積和逐點卷積：深度卷積起濾波效果，卷積核尺寸為（D_K， D_K，"1， M）；逐點卷積起轉換通道的效果，卷積核尺寸為（1， 1，"M， N）。

深度卷積的計算公式為

式中：K?是深度卷積，其他下標含義同式（2）。卷積核為（D_K，"D_K， 1，"M），其中m_th個卷積核應用在F的第m_th個通道上，產生G?上第m_th個通道輸出。此時深度卷積與逐點卷積計算量之和為：Ω₂=D_K·D_K·M·D_F·D_F+M·N·D_K·D_K。深度可分離卷積與普通卷積計算量之比為

若設置卷積核尺寸D_F為3×3，由式（4）可得出普通卷積計算量是深度可分離卷積的8～9倍。

1.2.2"基于MobileNet 方法的模型參數規模改進

MobileNet引入倒殘差結構（Inverted Residual Block）與線性瓶頸激活層（Linear Bottlenecks），如圖5^[24]所示。其殘差（Residual Block）的概念首先出現在文獻[25]中，最初目的是用于增加特征矩陣的維度，從而加大網絡的訓練深度，以達到更好的訓練效果。

倒殘差結構通過先升維再降維的操作，增強梯度的傳播，避免在深度網絡中的梯度彌散或爆炸問題；線性瓶頸激活層通過將ReLU6函數激活層的非線性激活改進為ReLU函數線性激活，普通DW卷積操作中使用ReLU6函數的方式如圖5（a）所示，經過改進后如圖5（b）所示，使模型在低精度計算時具有更強的魯棒性，同時保留特征多樣性，增強網絡的表達能力，改善了非線性激活層在低維時的特征丟失問題。對于低維特征丟失問題，可以理解為：ReLU激活層對于負的輸入，全部輸出為零；而特征信息已經被“壓縮”，若再經過ReLU線性激活，將加劇特征的損失，不采用ReLU函數進行激活。

2"基于輕量化卷積神經網絡的斜拉索PE護套損傷識別

2.1"斜拉索表面圖像數據預處理

2.1.1"大尺寸樣本圖像預處理

基于武漢天興洲大橋斜拉索無人機航拍圖像進行研究^[26]，由于橋梁斜拉索具有大跨度的特性，搭載的拍攝設備通常需要具備較高的分辨率。最初獲得的斜拉索數據集為8 K（約8 000×5 300）分辨率的大尺寸圖像。

而在深度卷積神經網絡中，輸入圖像樣本的分辨率不能過大。即便是內存為16 G的較高性能主機端也難以在卷積運算中多次堆疊分辨率為8 K的大尺寸圖像矩陣。受限于區域推薦型卷積神經網絡的工作機制，不宜向其輸入尺寸過大的圖像^[27]。因而，需要對大尺寸樣本圖像做切割處理。由于斜拉索軸向尺寸遠遠大于其橫向尺寸，在使用的圖像樣本中，目標主體斜拉索往往在圖像中占比很低（約8%），圖像中大部分區域為背景干擾（約92%）。

在樣本圖像的長和寬各取1/2作為切割線，對得到的包含斜拉索的子圖（即有效子圖集）繼續進行切割，如此反復，直到獲得分辨率適宜、目標主體占比足夠大的子圖像。以切割3次為例，切割后目標主體占比提升48%，提升效果顯著。然而，如此切割得到子圖像，存在部分目標主體丟失的問題，如圖6的左上子圖與右下子圖，分別有一小段斜拉索被錯誤丟失。為解決以上問題，提出改進切割方法：增加超參數Δ，用以控制切割框的重合程度，使切割得到的有效子圖全覆蓋目標主體，達到“寧復檢、不漏檢”地識別目標。在本樣本集中，超參數Δ增加至1/8倍子圖長邊時，可以實現這一目標。

由于二分切割的特性，切割后得到2⁴即16張有效子圖，且有效子圖長寬比與原圖相同，即原圖尺寸7 952×5 304得子圖尺寸550×365。

2.1.2"斜拉索表面不同類型損傷劃分

在切割得到數據集的有效子圖后，對斜拉索圖像數據集進行分析。由于斜拉索各類型損傷的樣本量不足，在模型訓練前，初步對斜拉索數據集進行劃分：首先，斜拉索由螺旋線包裹的PE套組成。如果斜拉索PE護套螺旋線脫落，易產生風雨激振現象^[28]，因此，將螺旋線作為劃分界線，即將斜拉索表面損傷劃分為螺旋線損傷（String）與非螺旋線損傷（Non-String）。在螺旋線有關的損傷中，以螺旋線脫落損傷為主；而在非螺旋線損傷中，主要存在破損（Crack）與污漬（Smudge），如圖7所示。其中，非螺旋線損傷中的破損主要由于PE護套長期使用而產生老化與表面裂縫擴展等現象，容易因內部鋼絲與外部空氣接觸而銹蝕。在實際工程中，有安全問題的斜拉索大多由于PE護套的破損貫穿至內部鋼絲，該類損傷需要及時維修^[29]。而螺旋線損傷以螺旋線脫落為主，由于斜拉索螺旋線纏繞間距越大^[30]，平衡位置穩定性越差，因此，螺旋線的脫落將降低斜拉索的穩定性，從而更容易產生風雨激振等氣動穩定性問題。

考慮到深度神經網絡本質上為黑箱問題，難以確定某種分類方法的準確性，且數據集有限，故對數據集進行模型預訓練后，將對類別劃分進一步改進、測試。就后續實驗的結果而言，而以圖7（a）、（b）所示對斜拉索PE護套損傷進行分類，兩類損傷數據集比例接近1：1，實驗結果較為理想。

2.1.3"多手段數據增廣技術

由于武漢天興洲大橋處于正常服役階段，其斜拉索PE護套并沒有出現大規模的損傷，大部分為未損傷圖像，因此，可用于訓練的斜拉索PE護套損傷樣本數據集不足，需要針對損傷特征進行數據增強。

1）“簡單”復制粘貼數據增廣法。

“簡單”復制粘貼數據增廣法（Simple Copy-Paste）由Google Research團隊提出^[31]。此方法不需要使用公式量化，實驗效果良好。以此方法做數據增廣，結果如圖8所示。

2）過渡融合數據增廣法。

過渡融合法（Mix-up）由Zhang^[32]提出，可讓深度卷積神經網絡傾向于訓練呈線性關系，在已有的數據集上選取兩個子集進行線性變換，從而降低可能出現的模型過擬合現象。

選取簡單數據增強后的樣本與增強前的自身樣本進行過渡融合，如圖9所示，左上角與右下角為兩樣本的初始圖像。

3）噪聲干擾數據增廣法。

在數據采集中可能存在噪聲干擾，如無人機搭載的相機設備老化、采集對象處于暗光環境、傳感器因長期工作而過熱等情況，都可能使樣本圖像產生噪聲^[33]。

為進一步證實提升噪聲抗干擾能力對模型的重要性，加入噪聲訓練數據集之前的模型用于預測加噪聲后的圖像樣本，結果對比顯著：原模型能較好預測原樣本，但不能預測加噪聲后的樣本，如圖10所示。可見，若在模型訓練時進行有噪聲干擾的數據增廣，能夠解決原有模型對噪聲魯棒性低的問題。

采用開源工具Skimage （Scikit- image），選取高斯噪聲（Gauss Noise）與椒鹽噪聲（Salt Noise）對斜拉索樣本圖像進行數據增廣，噪聲強度為Skimage默認值。噪聲干擾數據增廣結果如圖11所示。

2.2"輕量化卷積神經網絡訓練學習

經過大尺寸樣本圖像預處理后，得到有效的原始數據集50份（分辨率約550×365）。其中，螺旋線損傷26份，非螺旋線損傷24份，樣本比例接近1：1，樣本分布較為合理均衡。再進行數據增廣處理：旋轉90°、旋轉180°、旋轉270°、水平鏡像翻轉共獲得數據集50×5=250份。以原始數據集進行“簡單”復制粘貼數據增廣，獲得數據集120份。以原始數據集進行過渡-融合數據增廣獲得數據集50×4=200份。以原始、翻轉樣本之和進行高斯與椒鹽噪聲增廣，均獲得數據集100份。經處理后，原始數據集與增廣數據集合計為820份。

完成斜拉索圖像數據集增廣后，通過開源項目labelImg，以矩形框選擇待檢目標，完成數據集的標注工作。標注完成后，數據集不以圖片特征為區分，將其隨機劃分為訓練集、驗證集與測試集，劃分方式：首先取原始訓練集50份作為測試集。再取增廣數據集770份作為訓練集和驗證集，文獻[34]中的實驗表明，在數據集相對較小時，應該適量增加訓練集的占比、減少驗證集的占比。因此，參照文獻[34]取訓練集與驗證集比例為9：1，即取訓練集共693份，取驗證集共77份。

使用Pytorch開源框架，首先搭建區域推薦型卷積神經網絡，再根據基于MobileNet的輕量化改進方法對網絡模型的計算量與參數量進行改進優化，達到網絡模型輕量化的目標。最后將預處理好的斜拉索圖像數據集輸入網絡中進行訓練。網絡訓練的超參數設置情況如下。

2.2.1"模型評價指標

目標檢測網絡訓練效果一般采用mAP（mean Average Precision）指標進行評估，其中mAP指標由每個目標類別的AP（Average Precision）值加權平均得到。AP為Precision-Recall曲線積分求得結果。因二者均無法單獨衡量目標檢測的準確性，本文采用P-R曲線積分來綜合衡量。Precision（查準率）與Recall（查全率）計算式為

Precision=TPTP"+"FP，Recall="TPTP"+"FNPrecision=TPTP"+"FP，Recall="TPTP"+"FN（5）

其中，TP（True Positive）為真陽性，定義為IoU gt; 0.7，指檢測出的目標中是真目標的樣本；FP（False Positive）為假陽性，定義為IoU lt; 0.3，指檢測出的目標中不是真目標的樣本。

2.2.2"置信概率閾值X%

判斷圖像中有無損傷需要設置置信概率閾值超參數X%。考慮到在工程結構損傷的目標檢測關系到安全問題，應該以“寧錯檢、不漏檢”為原則設置預測網絡，即X%設置值應相對較低。考慮到斜拉索圖像數據集最終以3分類的形式（即螺旋線損傷、非螺旋線損傷、背景）進行分類標注，因此，取值X%=33.33%。

2.2.3"epoch取值

輪次（epoch）定義了學習算法在整個訓練數據集中的工作輪次。區域推薦型卷積神經網絡將特征提取模塊（Extractor Module）作為網絡的共享卷積層模塊（Shared Convolutional Base，SCB）。因此，該網絡存在2個輪次取值，分別控制第1階段SCB的訓練輪次及第2階段后續網絡的訓練輪次。

若輪次過大，在訓練過程中多次出現下降階段，同時mAP增長緩慢，耗時增加，效率低下，不符合輕量化處理的初衷。經過多次實驗，確定效率較高的取值為：epoch1=6，epoch2=18。

2.2.4"其他超參數

每批數據量的大小（Batch_size）設置為2，加載數據的線程（Num_Workers）設置為2，學習率（Learning_Rate）設置為0.005，權值衰減（Weight_Decay）設置為0.000 5。

3"實驗結果

3.1"多手段數據增廣前后對比試驗

多手段數據增廣前，訓練輪次設置為：epoch1=6，epoch2=18。由于原始訓練集僅50份樣本，數據量嚴重不足，每個輪次中mAP指標上升極其緩慢，尤其在第1階段的共享卷積層訓練中，mAP增長值不足0.01。進入第2階段后，增長斜率相比第1階段明顯提升，但在短暫的上升期后迅速進入瓶頸期，mAP值不再隨輪次的迭代而增長，最大mAP僅達到0.18，如圖12所示。其輪次已經偏高，尤其在第2階段，已經在最后兩個輪次連續出現下降。在多手段數據增廣前，模型mAP在第23輪次左右達到極限。

多手段數據增廣后，訓練集與驗證集總計770份。訓練輪次設置為：epoch1=6，epoch2=16。由于訓練集數據量足夠，輕量網絡的訓練效果明顯提升。在第1階段的共享卷積層訓練中，mAP上升至0.05，相比于多手段數據增廣前的0.01提升400%；在第2階段，mAP迅速上升至0.55左右，之后進入瓶頸期，緩慢上升，最終穩定在0.6～0.65，最大mAP達到0.65，如圖13所示。

3.2"輕量與非輕量化網絡對比實驗

分別構建輕量化處理前與輕量化處理后的區域推薦型卷積神經網絡，基于斜拉索圖像數據集進行模型訓練與預測，對比改進前后的兩種模型在訓練過程中主機端的各項性能參數。

3.2.1"模型準確度指標對比

采用mAP值衡量非輕量化與輕量化網絡模型準確率，以輪次為橫軸繪制折線圖，如圖14所示。可見，兩種網絡的mAP最大值均出現在第19個輪次。相比于非輕量化的普通網絡，輕量化網絡在一定程度上降低模型準確率，但是準確率下降較少。

由圖14可知，輕量化與非輕量化網絡的mAP在訓練多個輪次后上升趨勢減小，其最大值均出現在第19個輪次，最大值對比見表1。

輕量化網絡訓練結束后，部分測試集結果如圖15所示。其中，矩形檢測框對應損傷區域，相應文字對應其損傷類型和置信概率，由于置信概率閾值的設置，網絡僅輸出大于33.33%置信概率的檢測框。

根據識別結果可得出，區域推薦型卷積神經網絡對于斜拉索表面損傷識別分類與定位效果較好，準確率較高。尤其在非螺旋線損傷類型中，由于非螺旋線損傷多為裂痕、破損，圖像特征較為明顯，其置信概率相比于螺旋線損傷明顯更高。由于對數據集進行了噪聲干擾增廣，模型對于帶有噪聲的測試集表現良好，幾乎能夠完全消除噪聲干擾。而對于小目標病害，根據測試集結果展示右下圖可得，較小目標也以較低的置信概率（48%）被檢出，實現了“寧錯檢、不漏檢”的檢測目標。雖然置信概率較低，但該檢測結果能為工作人員提供有效的支持，彌補了人工檢測難以發現小目標病害的劣勢。此外，從結果展示中可以看出，該模型在樣本的不同背景下都能達到一定的識別準確率，能夠勝任復雜背景下的識別任務。

3.2.2"模型運算性能指標對比

使用的訓練設備性能參數：CPU為Intel（R） Core（TM） i7-7700HQ，內存為8 GB（2 400 MHz），GPU為NVIDIA GeForce GTX 1050Ti，顯存為4 GB。該設備與實驗室的高性能主機端相比性能較弱，能夠視作小型設備，通過記錄在訓練過程中電腦端的CPU占用率、內存占用率、GPU占用率、顯存占用率變化趨勢，以驗證是否能代替高性能設備完成相應工作。

在記錄過程中，為直觀地展示輕量化處理前后兩種模型在訓練過程中計算機的各項指標變化情況，將CPU、內存、GPU、顯存4項指標統一使用占用率百分數來衡量。首先記錄整個訓練開始前的該項指標初始值，在訓練中每間隔1 s對上述4項指標當前值進行讀取，按照式（6）計算該項指標在當前時刻占用率。

式中：R_p為當前時刻占用率；V_p為當前值；V_i為初始值；V_t為總值。

對輕量化處理前后的兩種模型進行訓練，設備的各項指標隨時間的變化趨勢圖如圖16～圖19所示。可以看出，輕量化處理后的總運行時間大幅減少。且在CPU、內存、GPU、顯存4個性能維度上，經輕量化處理后的模型都有更低的占用率，意味著其對硬件性能需求明顯降低。

3.3"結果討論

為更加直觀地對比非輕量網絡與輕量網絡的模型運算性能指標，首先將折線圖數據進行處理，在每條折線中，去除所有值為0的數據，再對折線取均值，得到該類型網絡的該項性能評價指標，仍然以百分數表示。各項數據處理后，結果匯總于表2。

表2""輕量化與非輕量化網絡的性能參數對比與其輕量化改進率

Table 2""Comparison of performance parameters and improvement rate of lightweight and non-lightweight networks

網絡類型運行時間/sCPU/%內存/%GPU/%顯存/%輕量化網絡5 51810.4019.4892.8167.43非輕量化網絡8 16211.4221.6894.0480.76改進值-2 6441.022.201.2313.33輕量化改進率%47.929.8111.291.3219.77

由表2可知，輕量化模型在準確度僅僅降低5.59%的情況下，比非輕量化網絡節約了接近50%的計算時間，同時節約了CPU與GPU資源，尤其是降低了模型約20%的顯存占用，降低了對高性能顯卡的依賴性。

由于目標檢測任務的評估相比于分類任務的評估更加困難，目標檢測框的評估標準難以同分類任務一樣準確定義，例如，交占比的取值將較大程度影響目標檢測最終的準確度指標，而選取的交占比較為保守。使用最通用的mAP指標衡量檢測框的準確性得到的數值結果往往偏低，例如當前目標檢測領域主流的網絡模型在PASCOL VOC等數據集上的mAP最高能夠達到約80%^[35]，相比而言，提出的網絡在橋梁斜拉索PE護套損傷識別問題上mAP僅達到65.32%。較低的mAP數值一方面是由于較保守的交占比取值，實際模型表現將會更優；另一方面模型的確存在一定程度的性能不足，主要原因如下。

1）對輕量化的要求一定程度影響了算法性能。在訓練時取每批數據量的大小（Batch_size）為2，加載數據的線程（Num_Workers）為2。二者皆取值較低，前者取值過低往往會影響模型擬合效果，一般在性能允許的情況下取值越高，模型越容易擬合。后者取值不影響模型擬合效果，一般在性能允許的情況下取值越高，計算速度越快，消耗時間越短。以輕量化為出發點，為盡可能模擬低運算能力設備，將性能參數設置得較低，性能化向輕量化有所妥協，以滿足模型能夠在更多場景設備上適用的需求。

2）原始數據集樣本規模過小。相比PASCOL VOC等數據集數萬份的訓練樣本^[35]，由于武漢天興洲大橋處于健康狀態，無人機未能采集足夠的斜拉索PE護套損傷樣本。采集的數據集中，絕大部分為未損傷樣本，原始損傷樣本僅50份。同時損傷區域往往面積較小，加劇了以負樣本為主的問題。雖然本研究所采用的二階段區域推薦型卷積神經網絡與多手段數據增廣技術一定程度上緩解了這一問題^[36]，但仍然無法從根本上解決深度學習中數據集不足的結構性問題。若在后續研究中要進一步改善網絡模型，將以增加實際采集的正樣本規模為主要手段。

根據以上結果可以發現：輕量神經網絡在犧牲少量準確度的前提下，能夠在較大程度上實現對模型參數與計算量的改進，使模型能夠以更低的性能需求、更短的計算時間完成對橋梁斜拉索PE護套識別的訓練與預測。

4"結論

1）提出基于區域推薦型卷積神經網絡的斜拉索PE護套損傷識別方法。在實現區域推薦的基礎上，基于無人機航拍采集的橋梁斜拉索損傷圖像數據，在分類網絡中判斷斜拉索PE護套有無損傷及損傷類型。

2）提出區域推薦型深度卷積神經網絡的輕量化處理方法。通過改進網絡模型參數規模與計算量，使神經網絡能夠在較低運算能力設備上完成訓練與預測，增強網絡模型泛用性。

3）完成斜拉索圖像數據集預處理，以多手段數據增廣解決數據不足的問題。構建輕量化的區域推薦型卷積神經網絡模型。

4）通過對比試驗，從模型準確度與性能指標的角度驗證輕量化網絡在較低運算能力設備上運行的可行性。結果表明，輕量化網絡在犧牲少量準確度的前提下，能夠在較大程度上實現對計算效率的改進，有效實現對橋梁斜拉索PE護套的智能識別。

參考文獻

1 BAO Y Q，"CHEN Z C，"WEI S Y，"et al."The state of the art of data science and engineering in structural health monitoring [J]. Engineering，"2019，"5（2）："234-242.

2 AZIMI M，"ESLAMLOU A D，"PEKCAN G."Data-driven structural health monitoring and damage detection through deep learning： State-of-the-art review [J]. Sensors，"2020，"20（10）："2778.

3 SUN L M，"SHANG Z Q，"XIA Y，"et al."Review of bridge structural health monitoring aided by big data and artificial intelligence： From condition assessment to damage detection [J]. Journal of Structural Engineering，"2020，"146（5）："04020073.

4 劉程程."機器視覺在工程檢測領域的應用研究[D].遼寧 大連："大連理工大學，"2020.

LIU C C."Application research of machine vision in the field of engineering inspection [D]. Dalian， Liaoning："Dalian University of Technology，"2020."（in Chinese）

5 許可."卷積神經網絡在圖像識別上的應用的研究[D]."杭州："浙江大學，"2012.

XU K."Study of convolutional neural network applied on image recognition [D]. Hangzhou："Zhejiang University，"2012."（in Chinese）

6 劉洪利."基于深度學習的輕量化目標檢測算法研究[D]."北京："北京交通大學，"2020.

LIU H L."Lightweight object detection algorithm based on deep learning [D]. Beijing："Beijing Jiaotong University，"2020."（in Chinese）

7 曾世欽，"唐朝，"陳可."基于深度學習和無線傳輸的橋梁裂縫圖像識別系統[J]."建材世界，"2019，"40（2）："78-82， 98.

ZENG S Q，"TANG C，"CHEN K."Construction of bridge crack image recognition system based on deep learning and wireless transmission [J]. The World of Building Materials，"2019，"40（2）："78-82， 98."（in Chinese）

8 陶曉力，"武建，"楊坤."基于無人機視覺的橋梁裂縫檢測[J]."計算機技術與發展，"2018，"28（3）："174-177.

TAO X L，"WU J，"YANG K."Bridge crack detection based on unmanned aerial vehicle vision [J]. Computer Technology and Development，"2018，"28（3）："174-177."（in Chinese）

9 陳輝東，"丁小燕，"劉艷霞."基于深度學習的目標檢測算法綜述[J]."北京聯合大學學報，"2021，"35（3）："39-46.

CHEN H D，"DING X Y，"LIU Y X."Review of target detection algorithm based on deep learning [J]. Journal of Beijing Union University，"2021，"35（3）："39-46."（in Chinese）

10 REDMON J，"DIVVALA S，"GIRSHICK R，"et al."You only look once： Unified， real-time object detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition."Las Vegas， NV， USA."2016："779-788.

11 李會軍，"王瀚洋，"李楊，"等."一種基于視覺特征區域建議的目標檢測方法[J]."控制與決策，"2020，"35（6）："1323-1328.

LI H J，"WANG H Y，"LI Y，"et al."An object detector based on visual feature region proposal [J]. Control and Decision，"2020，"35（6）："1323-1328."（in Chinese）

12 何丹妮."基于深度學習的多車輛檢測及跟蹤算法研究[D]."遼寧 大連："大連理工大學，"2019.

HE D N."Research on multi-vehicle detection and tracking algorithm based on deep learning [D]. Dalian， Liaoning："Dalian University of Technology，"2019."（in Chinese）

13 HE K M，"GKIOXARI G，"DOLLáR P，"et al."Mask R-CNN [C]//2017 IEEE International Conference on Computer Vision."Venice， Italy，"2017："2980-2988.

14 石杰，"周亞麗，"張奇志."基于改進Mask RCNN和Kinect的服務機器人物品識別系統[J]."儀器儀表學報，"2019，"40（4）："216-228.

SHI J，"ZHOU Y L，"ZHANG Q Z."Service robot item recognition system based on improved Mask RCNN and Kinect [J]. Chinese Journal of Scientific Instrument，"2019，"40（4）："216-228."（in Chinese）

15 薛明."基于稀疏表示的在線目標跟蹤研究[D]."上海："上海交通大學，"2014.

XUE M."Research on online object tracking based on sparse representation [D]. Shanghai："Shanghai Jiao Tong University，"2014."（in Chinese）

16 GIRSHICK R，"DONAHUE J，"DARRELL T，"et al."Rich feature hierarchies for accurate object detection and semantic segmentation [C]//2014 IEEE Conference on Computer Vision and Pattern Recognition."Columbus， OH， USA，"2014："580-587.

17 GIRSHICK R."Fast R-CNN [C]//2015 IEEE International Conference on Computer Vision."Santiago， Chile，"2015："1440-1448.

18 REN S Q，"HE K M，"GIRSHICK R，"et al."Faster R-CNN： Towards real-time object detection with region proposal networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，"2017，"39（6）："1137-1149.

19 徐陽."基于計算機視覺的橋梁結構局部損傷識別方法研究[D]."哈爾濱："哈爾濱工業大學，"2019："1-15.

XU Y."Structural local damage detection methods for bridges based on computer vision techniques [D]. Harbin："Harbin Institute of Technology，"2019："1-15."（in Chinese）

20 林景棟，"吳欣怡，"柴毅，"等."卷積神經網絡結構優化綜述[J]."自動化學報，"2020，"46（1）："24-37.

LIN J D，"WU X Y，"CHAI Y，"et al."Structure optimization of convolutional neural networks： A survey [J]. Acta Automatica Sinica，"2020，"46（1）："24-37."（in Chinese）

21 DENIL M，"SHAKIBI B，"DINH L，"et al."Predicting parameters in deep learning [C]//Proceedings of the 26th International Conference on Neural Information Processing Systems."Lake Tahoe， Nevada， USA："Curran Associates Inc.，"2013："2148-2156.

22 楊玉敏，"廖育榮，"林存寶，"等."輕量化卷積神經網絡目標檢測算法綜述[J]."艦船電子工程，"2021，"41（4）："31-36.

YANG Y M，"LIAO Y R，"LIN C B，"et al."A survey of object detection algorithms for lightweight convolutional neural networks [J]. Ship Electronic Engineering，"2021，"41（4）："31-36."（in Chinese）

23 HOWARD A G，"ZHU M L，"CHEN B，"et al."MobileNets： Efficient convolutional neural networks for mobile vision applications [EB/OL]. https：//arxiv.org/abs/1704.04861.

24 SANDLER M，"HOWARD A，"ZHU M L，"et al."MobileNetV2： Inverted residuals and linear bottlenecks [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition."Salt Lake City， UT， USA，"2018："4510-4520.

25 HE K M."Identity mappings in deep residual networks [C]//European Conference on Computer Vision，"2016.

26 梁亞斌，"蔡思佳，"馮謙，"等."基于無人機航拍的武漢天興洲長江大橋橋索PE外觀檢測技術[J]."大地測量與地球動力學，"2019，"39（11）："1207-1210.

LIANG Y B，"CAI S J，"FENG Q，"et al."Cable PE appearance inspection in the tianxingzhou river bridge using unmanned aerial vehicle based aerial photo technique [J]. Journal of Geodesy and Geodynamics，"2019，"39（11）："1207-1210."（in Chinese）

27 李放."基于深度卷積神經網絡的高分辨率圖像目標檢測研究[D]."遼寧 阜新："遼寧工程技術大學，"2019.

LI F."Research on object detection of high resolution images based on convolution neural network [D]. Fuxin， Liaoning："Liaoning Technical University，"2019."（in Chinese）

28 關健."斜拉索風雨激振理論模型及參數化分析[D]."天津："天津大學，"2018.

GUAN J."Theoretical models and parametric analysis of rain-wind induced vibration of stay cable [D]. Tianjin："Tianjin University，"2018."（in Chinese）

29 要軍霞."斜拉索的防護[J]."山西建筑，"2008，"34（12）："300-301.

YAO J X."Protection of stayed cables [J]. Shanxi Architecture，"2008，"34（12）："300-301."（in Chinese）

30 劉慶寬，"王曉江，"盧照亮，"等."螺旋線對斜拉橋斜拉索橫風向氣動力和穩定性的影響[J]."振動與沖擊，"2019，"38（6）："108-113.

LIU Q K，"WANG X J，"LU Z L，"et al."Effect of helical line on the aerodynamic force and stability of stay cables [J]. Journal of Vibration and Shock，"2019，"38（6）："108-113."（in Chinese）

31 GHIASI G，"CUI Y，"SRINIVAS A，"et al."Simple copy-paste is a strong data augmentation method for instance segmentation [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）."Nashville， TN， USA，"2021："2917-2927.

32 ZHANG H Y."Mix up： Beyond empirical risk minimization [C]//The International Conference on Learning Representations （ICLR），"2018.

33 劉平平."機器視覺系統中的圖像噪聲處理算法研究[D]."武漢："華中科技大學，"2011.

LIU P P."Research on image denoising algorithm in machine vision system [D]. Wuhan："Huazhong University of Science and Technology，"2011."（in Chinese）

34 朱勁松，"李歡，"王世芳."基于卷積神經網絡和遷移學習的鋼橋病害識別[J]."長安大學學報（自然科學版），"2021，"41（3）："52-63.

ZHU J S，"LI H，"WANG S F."Defect recognition for steel bridge based on convolutional neural network and transfer learning [J]. Journal of Chang，an University （Natural Science Edition），"2021，"41（3）："52-63."（in Chinese）

35 許德剛，"王露，"李凡."深度學習的典型目標檢測算法研究綜述[J]."計算機工程與應用，"2021，"57（8）："10-25.

XU D G，"WANG L，"LI F."Review of typical object detection algorithms for deep learning [J]. Computer Engineering and Applications，"2021，"57（8）："10-25."（in Chinese）

36 徐子同."基于改進的Faster RCNN交通目標檢測算法研究[D]."西安："長安大學，"2021.

XU Z T."A study on object detection for traffic scene based on improved faster RCNN [D]. Xi，an："Chang，an University，"2021."（in Chinese）