基于半監督學習的航空導線切斷標識圖像識別

金瑩瑩， 唐健鈞， 葉 波， 蔣 偉， 章 文

(航空工業成都飛機工業(集團)有限責任公司，四川 成都 610092)

線束是飛機神經系統的重要組成部分，貫穿于飛機各個重要系統部件，為各系統傳輸配電信號(如飛控、發動機、起落架、航電等重要系統的信號)?，F如今，為了滿足飛行器強大的功能，航空線束往往主干龐大，分支較多，其布線集束過程也是錯綜復雜。隨著智能制造的發展，自動布線機成為航空線束制造的大趨勢。然而，在航空線束自動布線過程中，用于集束的導線種類繁多且布線路徑復雜，如何在自動布線過程中根據布線圖及布線規則精準定位某一牌號導線的布線長度是必須要解決的關鍵問題。

常見解決方法是集成計米器來確定布線過程中某牌號導線的長度。由于被測導線包裹材質(橡膠、塑料等)不同，其摩擦系數不同，與測量輪之間產生的摩擦力也不一樣，引起打滑使得測量結果不準確，并且計米器本身的誤差也會導致過程中線束誤差積累，出現導線誤剪問題，進而影響航空線束制造質量。

在導線激光印字階段按照布線規則中的導線理論長度在導線自身熱轉印處區別于線號的特殊標識如圖1所示，然后利用機器視覺技術，實時識別切斷標識圖像進而精準切斷線束[1]。然而，由于導線本身線徑不一、扭絞導線表面材質不同、表面不平導致切斷標識圖像不清晰，存在扭曲、傾斜、斷裂等特征，且導線自身線號均使得切斷標識圖像識別難度加大。

圖1 切斷標識樣圖

針對切斷標識圖像漏識別及誤識別現象，分析導線切斷標識圖像特征，提出一種基于多特征及最小重構誤差傳播的加權K近鄰(Minimum Reconstruction Error Probation K-Nearest Neighbor,MREP-KNN)半監督切斷標識圖像分類識別方法。有效提升切斷標識圖像識別精度，為航空線束布線過程中導線長度確定提供技術思路。

1 導線切斷標識圖像采集

1.1 導線圖像采集裝置

為了能夠實時獲取導線切斷位置，采集導線圖像。采用一種導線圖像采集裝置獲取導線圖像，裝置結構圖如圖2所示。該裝置包括工業相機、導線固定支撐裝置、導線全視角反射鏡、光源等關鍵組件。布線機械手在布線過程中，導線經過全視角反射鏡前的固定支撐裝置，相機采樣幀率為25 f/s，采集到的導線圖像尺寸為1500像素×800像素，格式為TIFF。

1.2 導線圖像采集及建立樣本數據庫

為驗證提出的切斷標識識別分類算法的準確性，需要采集大量導線圖像并手動標記類型。對導線切斷標識圖像及非導線切斷標識圖像進行分類。對20種線徑不同、類型不同的導線進行圖像采集。每種導線切斷標識圖像采集10張，共200張樣本，形成切斷標識圖像樣本庫。每種導線非切斷標識圖像如圖3所示采集10張，共200張圖像，形成非切斷標識圖像樣本庫。

圖2 導線圖像采集裝置

圖3 導線非切斷標識圖像示例

2 算法設計

2.1 算法框架

所提出的航空導線切斷標識識別及分類方法流程如圖4所示，主要包括圖像預處理、圖像分割、目標特征提取和分類算法設計幾個步驟，即首先對圖像進行灰度化、濾波預處理，然后采用改進OTSU閾值分割提取前景目標，之后提取目標灰度圖的旋轉不變模式LBP紋理特征和目標二值圖的幾何特征如Hu不變矩、矩形度、面積特征，將紋理特征和幾何特征結合作為描述圖像中目標的特征向量，最后將特征向量輸入到訓練好的MREP-KNN分類器中進行分類。

2.2 圖像分割

如果對灰度變化、濾波后的整張圖像進行特征提取，由于目標在整張圖像中占據的像素點較少且有些特征提取方法如LBP 算法是基于空間域即從空間位置反映圖像灰度變化，整張提取特征并不能明顯表示目標特征。因此，待識別目標的分割是影響圖像目標識別分類的關鍵基礎，分析大量采集的導線圖像灰度直方圖，首先采用自適應能力較強的OTSU閾值分割方法對圖像進行分割，如圖5中標記的OTSU閾值，該閾值并沒有真正地分割出待識別目標，圖中標記的“前景灰度區間”才是真正想要提取前景目標的灰度分布范圍[2]。因此結合導線切斷標識圖像自身特點，提出一種針對待處理目標分割方法(分割圖見圖6)，該方法能夠很好地提取前景目標，具體步驟如下。

圖4 導線切斷標識識別方法流程圖

① 首先對預處理后的圖像進行OTSU閾值分割，得到結果T1，如圖6(b)所示;

② 分析待提取目標特征，對步驟①中T1進行孔洞填充，得到T2，如圖6(c)所示;

③ 用T2-T1，成功分割出切斷標識前景目標T，如圖6(d)所示。

圖5 導線圖像灰度直方圖

2.3 特征提取方法

得到上一步驟分割出的目標對象圖像T后，為充分全面地表示導線切斷標識目標的特征，進一步準確區分導線切斷標識與非切斷標識，采用紋理特征和幾何特征結合的方式表達待識別目標圖像T(TP代表目標圖像灰度圖，TB代表目標圖像二值圖)。

2.3.1 紋理特征提取

首先用局部二值模式(Local Binary Pattern，LBP)提取目標TP的紋理特征，LBP算法由Ojala等[3]提出，是一種用于描述圖像局部紋理特征的方法，該方法的基本原理是通過比較周圍鄰域像素點灰度值與中心像素點的灰度值，獲得圖像的LBP特征，其規則如式(1)所示，若周圍鄰域像素值大于中心像素點的灰度值，則該像素點的位置被標記為1，反之被標記為0。

圖6 導線圖像分割

(1)

(2)

式中，P為鄰域像素點的數量;R為鄰域半徑，即鄰域像素點到中心像素點的歐式距離；gi為其鄰域像素點的灰度值；gc為中心像素點的灰度值。基于LBP的原始算子,Ojala等提出了幾種模式的算法改進和優化，改進后算法對比如表1所示。

通過對比不同模式LBP算法的優缺點，考慮待處理圖像存在扭曲、歪斜的特點以及算法的運算時間，選擇P=8條件下的LBP旋轉不變模式作為目標圖像LBP特征提取的算子。因此，對前景分割后獲得的目標圖像T提取圖像的 LBP直方圖，歸一化形成36維LBP 紋理直方圖特征向量fLBP={f1,f2，…，f36}。

2.3.2 幾何特征提取

研究目標特征，導線切斷標識目標與非切斷標識在幾何上差異較大，選取目標Hu不變矩、矩形度、面積作為目標的幾何表現。

表1 不同LBP模式對比

Hu不變矩是Hu提出的，在描述圖像幾何特征時具有平移、旋轉、縮放不變性優點[4]。對于離散的某一M×N數字圖像，f(x，y)表示圖像某一點的灰度值，其(p+q)階標準矩mpq、中心距μpq、歸一化中心距定義如下：

(3)

(4)

(5)

式中,x0，y0為圖像的中心坐標。

利用圖像的二階以及三階的歸一化的的中心距能夠得到Hu提出的7個不變矩即Hu不變矩Δ={δ1,δ2,…,δ7}如式(6)所示。

δ1=ω20+ω02

δ2=(ω20-ω02)2+4ω11

δ3=(ω30-3ω12)2+(3ω21-ω03)2

δ4=(ω30+ω12)2+(ω21+ω03)2

δ5=(ω30-3ω12)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2]+

(3ω21-ω03)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

δ6=(ω20-ω02)[(ω30+ω12)2-(ω21+ω03)2]+

4ω11(ω30+ω12)(ω21+ω03)

δ7=(3ω21-ω03)(ω30+ω12)[(ω30+ω12)2-3(ω21+ω03)2+

(3ω12-ω30)(ω21+ω03)[3(ω30+ω12)2-(ω21+ω03)2]

(6)

本文對目標圖像TB提取幾何特征步驟如下。

2.3.3 特征融合

將歸一化后的紋理特征fLBP和幾何特征farea，frect，fHu按行線性排列組合，得到標識目標T的45維紋理幾何融合特征向量[5]F={fLBP,farea,frect,fHu}={f1,f2,…,f36,amean,rmean,δmean1,δmean2,…,δmean7}。

2.3.4 分類方法

構建強健的切斷標識分類模型需要大量的已知類別樣本進行訓練，然而在實際工程應用過程中，以少量人工標記樣本構建較為穩定的分類模型成為一種趨勢，利用半監督分類理論[6]，提出一種基于最小重構誤差傳播的加權K近鄰半監督分類方法，該方法首先利用最小重構誤差標簽傳遞方法獲取部分無標簽數據的類別信息增強有標簽數據樣本，最后利用加權KNN分類方法進行分類。

(7)

(8)

重構誤差表示待分類數據xi與已知類別樣本在流行上的距離，能夠度量xi與xj的相似性，重構誤差越小則表示xi與哪一類越相似。使用帶標簽數據和式(8)得到的重構函數來預測xi的標簽信息。利用迭代收斂的方式預測中：0<α<1代表xi從鄰域結構獲取標簽信息的尺度；經過t次迭代收斂后的得到xi的標簽預測值如式(9)所示。

(9)

式中，yi為樣本標簽類別,取值為-1代表非導線切斷標識，取值為1代表導線切斷標識。

(10)

式中，ωj為xt與x0j的權值。

式中，[xt1,xt2,…,xtk]是xt的近鄰距離的升序排列。

3 實驗結果及分析

為了驗證MREP-KNN方法的工程有效性，實驗采集不同導線切斷標識圖像200張，非切斷標識圖像200張。隨機選取帶標簽樣本6個(包含3個切斷標識和3個非切斷標識)、8個(包含4個切斷標識和4個非切斷標識)、10個(包含5個切斷標識和5個非切斷標識)，12個(包含6個切斷標識和6個非切斷標識)，剩余不帶標簽數據集作為測試數據。MREP-KNN中k=8，k0=8，t=20。相同條件下，將文本方法與傳統監督分類器K近鄰分類器(k-Nearest Neighbor Classifier,KNN)[8]、隨機森林分類(Random Forest Classifier,RF)[9]和支持向量機(Support Vector Machine,SVM)[10]進行比較。不同方法分類結果及識別正確率如圖7和表2所示。為削弱偶然樣本因素的影響，實驗結果均采用20次重復試驗的均值作為對比分類結果。

由表2可知，MREP-KNN方法在小樣本標簽情況下,當標簽數為12(包含6個切斷標識，6個非切斷標識)時識別正確率達93.69%，從圖7中可以看出， MREP-KNN半監督分類方法識別正確率隨著樣本標簽數的增多而提高。

從表2及圖7中MREP-KNN方法與現在常見有監督分類方法識別正確率對比結果可以看出，采用的最小重構誤差傳遞標簽方法能夠有效利用未知標簽，增強標簽樣本集，提高KNN分類器學習效果，在樣本標簽數較少的情況下，能達到很好的分類正確率。

圖7 不同方法分類結果

表2 不同方法分類識別正確率 單位：%

4 結束語

針對航空導線切斷標識圖像分割及識別問題，分析待處理圖像特點，本文提出的改進OTSU閾值分割方法能夠有效分割待處理圖像前景目標。MREP-KNN方法能夠有效利用未標記樣本數據，增強分類器學習效果，在標簽樣本數少的情況下能夠有效提升切斷標識圖像分類正確率,為航空導線自動布線切斷識別提供方法支撐。但本方法仍需進行少量樣本標記，未來研究方向則是基于無監督理論，在不需要樣本標記的條件下進行識別并分類。