光纜交接箱端口狀態的視覺檢測方法

何景暉，敖銀輝，趙偉良

（廣東工業大學機電工程學院，廣州510006）

1 引 言

光纜交接箱是用于光纜接入網中主干光纜與配線光纜交接處的端口設備，簡稱光交箱，通常安裝在戶外。目前主要的前端維護方式是技術人員定期外出巡檢，排查故障端口以及用表格記錄每個端口的狀態。由于光交箱大體安裝在街道，內部布線雜亂，端口數量大，給維護工作帶來很大困難。使用移動設備對光纜交接箱拍照，然后利用數字圖像識別技術分析箱體上的端口狀態，可以大大減化任務、降低成本、提高準確性。在圖像中定位并識別端口屬于計算機視覺中的目標檢測任務。傳統目標檢測方法[1-3]首先在給定的圖像上生成一批候選區域，然后對這些區域手工定義提取特征，最后采用模板匹配或者用分類器對特征向量進行分類。該類方法存在區域選擇策略沒有針對性、手工設計的特征對于多樣性的變化沒有很好的魯棒性等問題。現代目標檢測方法主要利用卷積神經網絡（CNN）自動提取特征能力，將目標定位與分類作為回歸任務，依賴于高性能的計算硬件來完成。其中具有代表性的二階網絡[4-6]與一階網絡[7-9]，在具有GPU 配置的電腦端下，對常規尺寸的目標可以保持較高的檢測精度和較快的檢測速度，但在無GPU 條件下，對較小尺寸的目標，往往并不能快速檢測出所有目標。工作場景下拍攝的光交箱圖像以及局部放大圖如圖1 所示。光交箱的端口分布密度大，屬于小目標，僅用傳統或者深度學習目標檢測方法難以滿足端口檢測實際工程應用要求。鑒于此，結合傳統與現代檢測方法，設計一種保證速度與精度的端口檢測方案，流程如圖2 所示。新方案首先拍照獲取圖像，根據透視變換原理將所采集的光纜交接箱的箱體圖像矯正為正視圖，然后對矯正后的圖像進行分析，利用端口特征與矩形陣列分布的特性有效定位端口，最后提取每個端口的梯度直方圖與顏色作為樣本特征去訓練支持向量機。為進一步提高精度，最后搭建基于卷積神經網絡的分類器對支持向量機未能識別的端口作二次判斷。

圖1 光交箱實物圖

圖2 檢測流程圖

2 光交箱圖像矯正與端口分割

2.1 圖像矯正

光交箱圖像常因在不同視角與視場下拍攝導致圖像的透視畸變或傾斜而干擾端口的提取，需要在分割端口前合理地矯正圖像。在圖像處理中利用透視變換可以將像中呈現為斜線的目標轉換成直線, 原理是通過兩個視平面的變換關系實現互相轉換。設 u、vv為平面 α 上的像素點，x、y 為平面 β 上的像素點，這兩個平面之間的像素變換公式為[10-11]：

其中a, b, c, d, e, f, m, l 是待求的透視變換系數，至少由八個對應的已知量求解。

由于光纜交接箱內部的箱體物理形狀為矩形，所以在正視圖中箱體的四條邊依舊互相垂直。利用與正視圖下箱體各邊之間的垂直關系，在未矯正的圖像中選取箱體的四個頂點坐標A、B、C、D, 然后設由這四個原頂點圍成四邊形的最小外接矩形在正視圖下箱體四頂點坐標為 A、B、C、D。將 A、B、C、D、A、B、C、D 八個坐標點代入式(1)可解得透視變換矩陣，最后該矩陣可將傾斜或畸變的光纜交接箱圖片轉換成正視圖，處理效果如圖3 所示。

圖3 光纜交接箱圖像裁剪與矯正

2.2 端口定位

經過矯正后的圖像，端口呈矩形陣列分布，有利于后續的分割與識別。端口包括紅帽端口、白帽端口、插線端口、損壞端口四種，如圖4 所示。除了非端口（背景）和損壞端口外，箱體其他端口的共同形狀特征為圓形。

圖4 端口樣本實物圖

利用霍夫梯度法[12]可檢測到大多數的圓形端口。為了避免引入檢測出假圓（非端口），在檢測圓形端口時霍夫梯度檢測法的閾值不得設置過低，但這也導致了未能檢測出所有的圓形端口。針對此問題，基于端口陣列分布的條件（橫向12 個），在此以圖像右上角建立直角坐標系，設(xij,yij)為第i 行j 列每個霍夫檢測后圓的圓心，每一行圓的數量為pi，每一列圓的數量為qj。經過每行圓心的直線y＝Lirow與每列圓心的直線x＝Ljcol可由下式計算：

線Lirow與Ljcol實質上是將檢測到的圓形端口中心按橫向與縱向兩個方向連線，兩條線所經過的交點可視為所有端口的中心，檢測結果如圖5 所示。

圖5 端口區域檢測

右圖中霍夫檢測未查找到的圓以淺色圈出。由于光交箱尺寸的標準化，使端口橫縱向之間的距離與半徑成固定比例θ，通過判斷之間的距離與端口平均半徑的比例是否大于θ 而進行補全，可避免出現某行或者某列因未檢測到圓形端口而無法形成圓心連接線L 所出現的漏檢。當求得每一個端口位置后，以圓形端口的最小外接矩形將每個端口圖像單獨提取以供識別之用。

3 基于SVM 與CNN 的端口識別

支持向量機（SVM）的基本模型是定義在特征空間上間隔最大的線性分類器；卷積神經網絡（CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡，兩者都可用于圖像分類任務。相較于CNN，SVM 算法較為簡單、處理速度更快，但需要自定義特征；CNN 在識別效果上具有更高的精確度，但訓練參數多，處理耗時較大。綜合兩者的優缺點，在此設計一種基于SVM 與CNN 的圖像組合分類器。

3.1 基于SVM 的端口分類器

依據每種端口的紋理及顏色不同，使用每個端口的方向梯度直方圖（HOG）特征與顏色特征融合作為最終特征向量來訓練SVM 分類器。首先將單個端口圖像分成100 個圖像塊，通過計算和統計圖像局部區域的梯度方向直方圖來構成100 維特征；然后提取顏色特征時將提取HOG 特征時的每四個圖像塊進行結合，計算其中的RGB 三通道的像素平均值作為25 維的顏色特征，串行融合共125 維特征向量。最后結合SVM 多分類，對四種類型的端口圖像進行采樣構造出四個支持向量機模型，分別對這些支持向量機進行訓練。預測端口時，將待識別端口中的一類看作正類，其余狀態的端口全部視為負類，依次類推改變正類的類型。當這四個支持向量機模型中的一個輸出為true，另外三個輸出為false 時，被測端口才能被標記為“可識別”，否則被標記為“不可識別”。為防止此類狀況，在此基于CNN 搭建一種網絡結構進一步去分類SVM 無法識別的端口，以判斷出該端口是背景還是真端口。

3.2 基于CNN 的端口二次識別

考慮到每個端口圖像的分辨率較小，且其特征信息可大致分為紋理、形狀、顏色，此處設計8 層帶殘差模塊的CNN 小型網絡來二次識別未能判斷的端口。網絡的具體參數見表1。

表1 網絡參數

網絡輸入的端口圖像統一采樣為32×32 大小的 RGB 三通道圖片，輸出為 1×1×5 的分類特征，分別代表四類端口與背景。該網絡中4 個卷積層用作特征自動提取；2 個池化層對卷積后的特征圖進行下采樣，對特征進行壓縮與去除冗余信息；2 個全連接層與1 層Softmax 層用作分類；第二層卷積池化后的特征圖與第四層組成殘差模塊防止訓練時梯度彌散而造成網絡退化。除此之外，為了加速網絡收斂和防止過度擬合，在每個卷積層之后增加了一個批處理規范化操作[13]。對散亂特征數據進行歸一化處理，均值為0，方差為1。

4 結果分析

經測試，訓練好的SVM 與CNN 模型均可通過OpenCV 圖像算法庫的函數接口調用。當OpenCV版本大于3.4.4 即可在PC 端與移動端中穩定執行。在移動端，使用華為榮耀V20 的后置攝像頭及CPU為標準對光纜交接箱進行拍照與識別，在經過調用并移植到移動端之后，在該識別系統中能夠實現與PC 端中同樣的檢測效果，如圖6 所示。

圖6 光交箱手機端檢測效果

可見，經矯正后圖像中的端口與現實中一樣呈矩形分布。經過端口定位后，即使存在著遮擋也能將每個端口區域準確地提取出來用作訓練分類器的樣本。檢測系統成功移植至手機客戶端后可成功執行，僅需巡檢人員拍照與選取箱體四個角點即可完成檢測任務。

在檢測系統中端口分類占用著相對較多的時間，為了定量評估端口檢測效果及不同算法的性能，以實驗訓練時長、單個端口處理速度以及分類精度作為性能評價指標。其中分類精度的公式為：

式中，FP為假正例，FN為假負例，TP為真正例，TN為真負例。

端口分類的數據集統一為由光交箱工作實景下采集、經過區域分割后的單個端口圖像，共有37690個訓練樣本與9640 個測試樣本。在經過20000 次的訓練迭代后結果對比如表2 所示。由結果可見Haartraining、Traincascade 訓練時間差別不大，但準確率較低；目前常用的圖像分類網絡Vgg16、ResNet-18 與只用SVM 雖然能有較高的識別精度，但是參數量大，訓練時間與處理時間過長；新提方案的梯度直方與顏色特征HC-SVM 能夠在較短時間內大致識別所有端口，但仍有個別端口未能成功識別；搭建的CNN 雖然有更好的準確性，但由于光纜交接箱的尺寸不同，內部的端口數量也不同，在端口數量較多的情況下僅用CNN 方法在速度上很難保證實時識別。因此，先使用HC-SVM 對端口進行分類，然后將未能識別的端口送進CNN 中進一步識別，可縮短大型光纜交接箱（100 個端口以上）的處理速度，兼有識別響應快與精度高的特點。

表2 分類器性能對比

5 結 束 語

結合透視變換方法矯正光交箱圖像的透視畸變與傾斜，并基于霍夫變換與端口的矩形陣列特征設計一種自適應分割方法，解決了因目標小，分布密度大而造成目標區域提取精度低的問題。定義端口的梯度直方圖與顏色特征，設計基于SVM 的分類器進行初步識別；設計小型的卷積神經網絡模型對端口進行二次識別。經實驗驗證，該檢測系統可完美移植至移動手機中完成端口定位與識別任務，同時具有識別響應快與精度高的特點，能夠滿足端口檢測實際工程應用需求。