基于HED與Canny方法融合的孔類零件邊緣檢測方法

徐文龍，侯 明

（北京信息科技大學 自動化學院，北京 100192）

0 引言

工業4.0快速發展時代，傳統制造業面臨著嚴峻的挑戰[1]。隨著計算機技術的進步和科技的不斷發展，制造業自動化程度不斷提高，融合人工智能的智能高精尖設備成為行業發展熱點。隨著中國制造2025概念的提出，加工制造業的智能化成為行業發展的必然趨勢。

精密孔坯結構的零件，如液壓閥體、發動機缸體等，粗加工留下的孔緣毛刺清除，對于保證零件的密封性能具有重要影響。毛刺的清除目前采用人工銼削，工時長、品質參數不易[1]保證。研發孔類零件的自動磨削設備對于提高生產效率、保證部件性能具有重要意義。

本文對礦用液壓閥體的孔結構邊緣毛刺檢測進行研究，為自動加工提供目標位置參量。

1 背景

孔緣毛刺參數提取，需要對工業相機拍攝的圖像進行邊緣檢測。根據理論邊緣與檢測邊緣的差值，獲得毛刺參數。邊緣信息在圖像分析中起著重要的作用，也是目標識別的重要依據[2]。由工業相機獲取的工件圖像，其邊緣包含目標工件的重要信息，精確的邊緣檢測結果可以有效獲取圖像的邊界結構[3～5]，為后期自動磨削提供空間參數。目前有許多圖像邊緣檢測的算法被提出。Canny算法是當前廣泛使用的傳統邊緣檢測算法[6，7]，其很大程度上解決了Prewitt和Sobel等經典邊緣檢測算子在圖像處理中出現的問題。HED[8]（Holistically-Nested Edge）神經網絡是目前比較好的圖像邊緣檢測網絡，無需經過復雜的特征工程即可對工業圖像進行邊緣檢測，并且能夠自動學習到工業零件圖像的多層級特征，得到最佳的邊緣特征圖像，可以最大程度上抑制非目標區域邊緣。

在項目研發階段，遇到了兩個難點：

1）在孔類零件孔的周圍存在的劃痕、銹蝕、油跡等給邊緣提取帶來很大干擾，Canny算法會導致細節過多［9］，從而影響工業零件圖像分割的效果。

2）HED方法能夠實現特征的自動提取，實現了圖像預處理的目的，但是經過HED網絡輸出的邊緣檢測結果是一個粗邊緣的概率圖，對于結構相對細小的毛刺對象產生了覆蓋，影響毛刺結構的辨識精度。

通過初期的效果分析，發現Canny算法和HED算法能夠進行互補，在本文所涉及的應用場合具有較好的針對性，預計在自動選擇零件特征的基礎上能夠提高邊沿細小特征的分辨率。于是開展研究，獲得了較好的效果。

2 研究方法原理

2.1 HED網絡

HED網絡在VGG（Visual Geometry Group）網絡[10]的基礎上改進而來，VGG網絡結構簡潔且具有強大的目標特征提取能力。VGG網絡比HED網絡多最后一個全鏈層，全連接層計算復雜、算力資源消耗大，能獲得的細節多；對于本文涉及的場景來講，實時性、抗擾性適應度不佳，因此研究選擇HED網絡。

HED在VGG網絡上增加了5個側邊輸出層，分別從VGG16網絡的最后一個卷積層進行輸出，即圖1所示的conv1-2，conv2-2，conv3-3，conv4-3和conv5-3，并對原VGG網絡進行修改，將網絡所有的全連接層去除。HED網絡從低層到高層的感受野在不斷擴大，但位置信息也會不斷丟失，而語義信息將會逐漸豐富。由于每一層得到的圖像的長寬尺寸是不一樣的，所以HED利用轉置卷積和反卷積操作對每一層得到的圖像再做一遍運算。這樣HED在每個尺度上得到的圖像，都是相同的大小。

圖1 HED網絡結構

2.2 HED訓練方法改進

現有的HED網絡與FCN（Fully Convolutional Networks）網絡[11，12]相似。在訓練過程中，采取了分別對各個融合層進行訓練的方式，這種訓練方式比較復雜，訓練耗費的時間也更長，實時效果不佳。因此對HED網絡訓練方法進行了改進：

1）通過5個側邊輸出層與融合層同時進行訓練的方式，對網絡的訓練步驟進行了簡化。

2）改進損失函數。在本應用場景中，圖片大部分區域都是非邊緣像素，且有嚴重的擾動，若使用常用的損失函數進行訓練會造成訓練后的模型不穩定，影響工件的邊緣檢測效果。修改后的HED網絡的邊緣位置損失函數很好的解決目標邊緣像素和非邊緣像素不平衡的問題。

最終修改后的HED網絡的損失函數如下：

式(1)中，Lside表示圖像像素級的側邊輸出代價。在HED網絡訓練的過程中，對于每一張圖像，這一函數表示為：

式(2)中：Y+：標簽中標記為邊緣的像素；

Y-：標簽中標記為非邊緣的像素；

Pr(yi=1|X；W，wm)：是由側邊輸出的響應值通過邏輯回歸函數計算得到的參數。對于網絡的第m個側邊輸出層記為。HED網絡將所有的側邊輸出層的預測結果連接在一起學習混合權重，混合權重層的損失函數如式(3)所示。

式(3)中h表示為HED網絡的側邊的各個輸出層的融合系數。表示手工標記的標簽與網絡預測結果的距離，利用交叉熵函數計算得出。最終網絡利用梯度下降法進行迭代優化，最終總體損失函數如式(4)所示：

2.3 Canny算法融合

Canny算法在對零件進行邊緣檢測時，一般會先對零件圖像進行高斯濾波降噪處理，然后計算圖像梯度的幅值和以及圖像梯度的方向，再利用非極大值抑制算法對梯度幅值進行非極大值抑制，最后用雙閾值算法檢測并且連接圖像邊緣。非極大值抑制就是指尋找像素點的局部最大值，在零件邊緣檢測中非極大值抑制就是抑制零件局部區域內像素點不是極大值的點。這樣就可以進一步的將零件部分非目標邊緣點剔除掉。Canny算子采用非極大值抑制算法對圖像邊緣細化。經過細化后，得到的邊緣仍然存在一部分虛假邊緣。Canny算子采用雙閾值算法對該邊緣圖像進一步檢測并連接邊緣。Canny算法在HED網絡輸出的邊緣范圍附近進行檢測，會獲得更小的毛刺邊緣細節，且能有效的避開非邊界區的擾動。

3 實驗實施與結果

3.1 數據集的自建

HED訓練首先要有高相關的圖片數據集。而目前尚沒有公用的坯孔邊緣毛刺的數據集。因此需要先自建數據集。本實驗使用的手工制作的零件數據集。樣品零件為礦用液壓閥體，使用工業相機對不同孔在不同角度拍攝，作為HED網絡訓練數據，對應的輸出是手工標注的孔類零件邊緣。在本次實驗中，使用了200張圖片集。圖2為其中一張數據集的原始圖，圖3為對應的標記圖。

圖2 原始圖

圖3 標注圖

3.2 硬件及軟件架構與參數調節

本實驗基于TensorFlow深度學習框架和CUDA9.2并行計算庫進行開發。實驗中硬件平臺為：CPU，Xeon E5 2689；GPU GTX-1070（8G）；RMA，32G。

輸入原始零件圖片，用訓練好的HED網絡模型對圖片進行檢測。得到零件邊緣概率圖，將邊緣概率大于等于0.5的像素點設置為255，將邊緣概率小于0.5的像素點像素值設置為0，得到零件顯著性邊緣。同時對原始零件圖片進行Canny檢測，將檢測結果與HED網絡檢測的顯著邊緣進行與運算，得到最終融合圖。

實驗在進行HED網絡模型訓練時，采用遷移學習的思想，用VGG進行初始化，加載VGG網絡初始化參數，并進行微調。為防止訓練過程中陷入局部最小值，引入自適應學習率，動態調整學習率大小。

3.3 實驗結果分析

圖4原始零件圖片，可以看出零件周圍有很多劃痕以及油污點、銹跡等，孔邊緣的左上部存在毛刺。

圖4 原始零件

圖5是Canny算子檢測結果。

圖6是HED檢測結果。

通過圖5、圖6和圖7的對比，得出結論如下：

圖5 Canny算法檢測效果

圖6 HED網絡檢測效果

圖7 本文算法檢測效果

Canny算法雖然采用濾波函數對工件圖像進行了降噪處理，相比較其他傳統算法有著較強的噪聲抑制能力，不容易受到工業現場產生的噪聲干擾，但是在本課題中，效果不佳，對于一些與邊緣像素尺度相近的痕跡不能區分。

HED算法在去噪能力上明顯優于Canny算法。HED網絡在訓練過程中，能自動學習零件的邊緣圖像特征，且檢測出的零件邊緣特征明顯，零件毛刺輪廓比較清晰。HED神經網絡通過對數據的學習，對孔類零件的非邊緣區域較少檢測，零件的邊緣部分成為網絡處理的重點。HED算法自動學習邊緣圖像特征的能力、降噪能力、抑制非目標物體邊緣能力上比Canny算法強，但是檢測出的邊緣較粗，會在一定程度上影響工件視覺測量的精度，忽略小細節，在本課題對應的場景中，也存在明顯的不足。

圖7是將HED網絡與Canny算法融合的結果。具有兩個明顯的優越性。

1）通過改進算法檢測出的圖像邊緣像素寬度能達到1～2像素，與Canny算法相當。HED算法檢測出的邊緣像素寬度在4～5像素。改進算法相比較HED算法定位更加準確，定位精度提高300%。

2）下面采用距離品質因數對整體輪廓點的有效性進行定量分析。品質因數主要通過三個因子組合定義的，即檢測到的假邊緣數，丟失的邊緣數量以及邊緣的定位誤差。品質因素的定義如下：

式中，Ne是參考邊緣點數目，Nd是提取的邊緣點數目。d(i)是參考邊緣與提取的邊緣之間的距離。FM值越大表示提取的邊緣與實際的邊緣越接近，也反映出方法的魯棒性好。

下圖是用于定量分析的部分數據集，從左至右對應1號圖片、2號圖片、3號圖片。

邊緣檢測結果品質因素對比如表1所示。

表1 距離品質因素評估

根據表1的結果可以發現改進融合算法相比較Canny算法，距離品質明顯提高，實驗條件下至少提高70%。

4 結語

隨著人工智能技術的發展，基于機器視覺的在線檢測技術在工業上的應用也更加廣泛。而傳統算法由于自身的局限性，無法自主選擇圖像特征，需要手動提取特征，這不符合高效在線檢測不同特征零件的要求；此外，傳統算法去噪能力有限，在實際應用中存在很大的不足。本文提出基于改進的HED網絡融合Canny算子的零件邊緣檢測算法，自動化度更高、精度更高、品質好、魯棒性高。對于磨削機器人加工運動控制實時性、精度提供了更有效的方案。

在研究中，對于HED網絡的訓練只用了200張圖片，遠低于公共數據集數量，然而檢測結果品質整體提高較多，適合工業應用。