基于合作目標的圖像分割和提取方法研究

任 明，吳 川※，高云龍，彭佳琦，趙春蕾

（1.中國科學院長春光學精密機械與物理研究所，長春 130033；2.駐長春地區第一軍事代表室，長春 130000）

0 引言

隨著圖像處理技術的發展，通過視覺系統檢測合作目標，獲取目標的姿態信息已經廣泛應用于航空航天、自動化裝配、無人機著陸等領域[1]。由于部分嵌入式硬件的性能要求，導致深度學習方式檢測仍有一定限制。因此，研究傳統的圖像處理方式能夠快速精確地提取合作目標圖像區域在工程領域仍具有重要的應用價值和研究意義[2]。

合作目標可以分為平面靶標、立體靶標，可應用于空間對接、工件抓取、大型設備位姿測量等工況比較復雜的場景，通過相機檢測合作目標使識別更加方便快捷[3]。平面靶標在工業及軍事領域應用的更加廣泛，因此本文研究平面靶標的提取[4]。

當前進行目標區域提取的方式主要有模板匹配法、深度學習法、特征識別法等[5]。高立寧[6]采用模板匹配法對半掛車鉸接處位置進行識別檢測，其處理速度較慢，在該方面仍需要提高。彭紅星等[7]通過將圖像分割與模板匹配相結合識別工件，雖然應用具有一定局限性，但其在識別檢測前對圖像背景進行剔除的方式值得本研究借鑒。Maldonadoramirez 等[8]提出了通過建立深度學習模型方式識別檢測多類水果，該方法魯棒性較好，遷移能力強，但是需要對大量樣本進行訓練，算法也難以應用于一些國產嵌入式工控機中。Canny J[9]提出一種根據形狀和顏色特征相結合的方式識別水下的螃蟹，該方法可高效識別目標，但該方法受環境條件影響較大，識別成功率和效率雖有提高，但應用時仍有一定的局限性。上述方法在目標檢測時難以保證快速識別，而且應用環境受限，具有一定深入研究的價值。

針對上述問題，本文提出了一種將圖像分割與模板匹配法相結合的合作目標提取方法。該方法通過邊緣檢測方式對圖像中的區域進行分割，然后對圖像背景進行剔除，根據合作目標的特征進行模板匹配，最后對下一幀圖像的目標位置進行預測，以提高目標識別速度，實現對目標的高精度快速提取。

1 區域分割及篩選方法

1.1 邊緣檢測

本文基于Canny 邊緣檢測方法將圖像劃分為多個區域，由于存在檢測邊緣斷層情況，使圖像邊緣無法連接成一個個封閉的曲線，不利于進行與區劃分，因此本文采用形態學算法與Canny 邊緣檢測方式相結合的，有效的提高了邊緣檢測的連續性，本文具體的分割區域過程如下：

（1）圖像平滑去噪：本文引入形態學中的開運算對圖像進行處理，去除圖像中的噪聲，保留圖像的邊緣細節，然后采用傳統邊緣檢測的高斯濾波方式對圖像進行平滑處理。

設原始圖像為f(x,y)，b(s,t)為形態學處理元素，經過開運算處理后的圖像經平滑處理后的圖像為：

（2）梯度幅值和方向：通過一階偏導的有限差分可計算梯度幅值與方向。

（3）對梯度幅值進行非極大值抑制：通過計算x方向和y方向的灰度梯度值，可以實現梯度幅值的抑制，找出圖像梯度中的局部極大值點[10-11]。

（4）使用雙閾值檢測和邊緣連接[12]。

（5）膨脹處理：傳統Canny 邊緣檢測后由于圖像或者算法自身問題，在一些情況下會存在邊緣有斷層的情況，從而影響檢測[13]。本文引入形態學的膨脹方式，使邊緣連續，也更加清晰。

1.2 合作目標區域篩選

經過區域分割后的圖像存在大量干擾區域，從而影響檢測速度。本文檢測合作目標，可以根據合作目標的特征對邊緣檢測后的封閉區域進行篩選。

經過邊緣檢測后的合作目標邊緣為封閉曲線輪廓，根據合作目標的尺寸信息，可以對圖像的背景區域進行篩選。設邊緣區域在圖像的x方向的最大和最小像素坐標值分別為xmax、xmin，在圖像y方向的最大和最小像素坐標值分別為ymax、ymin，則可以獲得該輪廓在像素坐標系中的參數為：

式中：W為區域的像素寬度；H為區域的像素高度；R為區域的長寬比。

本文將上述數據通過設定閾值對目標區域進行多重篩選，具體篩選依據如下。

（1）像素寬度與像素高度

圖像合作目標的實際尺寸信息包括高度和寬度可以提前獲得，而工程上應用的合作目標都是可以知道相機識別目標的大概距離[14]。可以根據上述信息確定目標投影在相機上圖像像素的寬度與高度，計算公式為：

式中：WT與HT為合作目標的實際寬度尺寸與高度尺寸；ZT為目標的與相機之間的距離；f為相機的焦距；dx和dy分別為像素點在寬度方向和高度方向的單元尺寸，因此可以確定靶標進行長寬比篩選的閾值為：

式中：ZTmax、ZTmin分別為相機需要檢測目標在深度方向的最大距離和最小距離。

（2）長寬比

根據像素寬度與像素高度進行篩選區域的方式可以剔除掉部分背景區域，但仍會存在一些滿足上述條件，但其長寬比明顯不符合目標的形狀特點的區域。因此，本文根據目標的長寬比范圍對一些不滿足條件的區域進一步篩選，以減小接下來提取目標圖像的圖像處理工作量。

合作目標長寬比的變化是因為合作目標有轉動角度而產生的，可以根據靶標在實際過程中的轉角設置長寬比閾值范圍，具體計算方式如下：

式中：α為目標與相機成像平面沿高度方向上的夾角；β為目標與相機成像平面沿高度方向上的夾角。

通過式（6）可以根據實際工程中的目標旋轉角度范圍確定篩選的長寬比的閾值。

本節基于圖像邊緣分割方法，根據目標的尺寸特征對多余背景區域進行剔除，實現對目標區域的初步提取，減少之后合作目標識別算法的數據處理量。

2 目標區域提取

2.1 模板匹配法設計

模板匹配理論是按照相關策略根據已知模塊在搜索圖像中尋找逼近模塊匹配的過程[15]。針對傳統模板匹配法運算效率低、處理數據量大、難以保證實時性要求的問題，根據合作目標特征設計模板匹配法。本文設計的合作目標為平面靶標，如圖1 所示，所設計的圖案提取算法不僅適用于該目標，同時也適用于同類的黑白圖案平面靶標的識別。

圖1 合作目標圖案

本文根據合作目標的圖形特征設計模板匹配方法。模板匹配法的理念是對圖像中的相似區域進行判定，找到最大相似區，從該思路出發本文采用基于形狀模板匹配法提取具有明顯特征形狀的合作目標。

設計的目標區域提取的評價標準：設計匹配模板的模型，將匹配模板視為一個矩陣，同理將分割后的圖像區域也視為多個矩陣。對模板矩陣中的點與各個區域矩陣中點進行匹配，得到相似度最大的區域可視合作目標區域。具體包括相似度匹配和模板設計兩個部分。

（1）相似度匹配方法

在模板與各個區域進行匹配時，由于各個區域的圖像大小必然存在不同，使圖像匹配的計算方式變的復雜。為了使匹配簡單，本文對各個區域進行二值化，然后將二值化后的區域圖像都縮放至模板圖像大小，以提高圖像匹配的效率。

式中：A為匹配相似度；|P|為模板矩陣行列式；|QT|為各待檢測區域矩陣行列式的轉置。

在獲得相似度的基礎上，設置一定的閾值K對區域中的各個區域的相似度進行判定。當A＜K時，則說明該區域非目標圖像區域，若A＞K，則說明該區域為目標區域，若各個區域A＜K，說明該整幅圖像中不存在目標。這種方式同時也適用于圖像中存在多個合作目標的情況，根據區域相似度當存在多個區域有A＞K時，則說明存在多個目標。

（2）模板設計方法

經過試驗發現直接將合作目標圖案縮放后作為匹配模板的檢測效果并不好，會因為合作目標的旋轉導致識別的正確率降低。針對此問題，本文提出根據目標的多特征設計模板，具體思路如下。

將各個特征視為多個評判標準，各個特征構成的矩陣按照式（7）進行相似度匹配，設各特征的匹配結果分別為A1，A2，…，An，則該區域的相似度A可表示為：

將合作目標圖案進行縮放，為了減小計算量，設置縮放后的尺寸為50×50 像素，如圖2（a）所示，所根據圖像中的圓環特征設計的模板圖案如圖2（b）和圖2（c）所示。

圖2 合作目標與模板

圖2 中，模板1 為合作目標白色外圓環的特征匹配模板，模板2為黑色內圓環的特征匹配模板。由2.1節可知將待篩選區域矩陣中數值為0 的點設置為-1，像素值為255 的點設置為1，為進行匹配，本文將模板1 中，白色部分的像素數值設置為-1，黑色部分像素點數值設置為0，模板2 的白色部分的像素數值設置為1，黑色部分像素點數值設置為0。為了清晰地表達，將兩個模板的矩陣融合在一起，融合后的矩陣圖如圖3 所示。圖中灰色部分表示數值為1，綠色部分表示數值為-1，白色部分表示數值為0。將模板通過矩陣進行描述后，根據式（8）進行相似度匹配，即可獲得合作目標在圖像中的位置。

圖3 模板矩陣

2.2 目標跟蹤

每一幀圖像都對全局圖像進行目標的提取識別會導致計算量增大，引入圖像跟蹤的方法對動態合作目標區域進行提取可有效提高目標檢測效率[16]。去除連續幀中大量無效的背景，保留圖像中的有效區域，再通過匹配方法對有效區域中的合作目標圖像進行精確匹配。

在合作目標運動變化的情況下，根據前兩幀圖像中的目標位置預測第三幀圖像目標的大概位置。通過識別合作目標在連續兩幀圖像的像素坐標分別為（i1，j1）、（i2，j2），兩幀圖像的更新周期為t，可以獲得標在x方向和y方向上的速度vx、vy分別為：

根據式（9）的計算數據，可以計算目標在下一幀圖像的坐標（i3，j3）約為：

通過式（10）中的（i3，j3）確定第三幀圖像的搜索窗口位置，窗口大小大于目標圖像的尺寸。從而將全局圖像轉換為局部圖像，去除大量背景信息，然后在局部圖像中用本文匹配方式提取合作目標，大大減少計算量。

3 實驗案例

為了驗證本文圖像分割和目標提取算法的可行性和可靠性，對含有合作目標的圖像進行目標提取，從邊緣分割對比、區域篩選、目標提取、目標提取速度對比多個方面設計實驗。

3.1 邊緣分割和區域篩選實驗

本文實驗所采用的圖像分辨率為1 280×960，圖4 所示為原始灰度圖像，圖5（a）所示為傳統Canny 邊緣檢測算法目標邊緣圖，圖5（b）所示為本文邊緣檢測算法目標邊緣圖。

圖4 原始灰度圖像

圖5 合作目標邊緣檢測

根據圖5可以明顯看出，本文邊緣檢測算法相較于傳統算法在曲線的連續性方面和曲線清晰度方面具有更好的效果。可以使圖像形成一個個封閉的區域，然后通過本文提出的篩選方法根據式（4）～（6）對圖像區域進行篩選，本文所使用的相機焦距值f=5 mm，像元大小為3.75 μm×3.75 μm，取100 ≤W≤600，100 ≤H≤600，0.7 ≤R≤1.3，相機篩選前后的圖像如圖6 所示。圖中的曲線即為經過邊緣檢測后的曲線。可以明顯看出對合作目標圖像區域篩選后，背景邊緣區域有了明顯地減少，并且保留了目標圖像區域，具有良好效果。

圖6 邊緣分割圖像前后對比

3.2 目標提取實驗

通過本文模板匹配法對合作目標區域進行提取。對圖像中含有兩個目標的圖像進行匹配，效果如圖7所示。圖中可以清楚看到通過本文方法能夠成功地提取兩個目標在圖像中的位置。本文設置了100 幀圖片用于目標識別，識別的正確率如表1所示。

圖7 目標區域提取

表1 正確率數據

根據數據可知，本文提出方法識別目標具有良好效果。為驗證將目標跟蹤的方法引入后再檢測速度方面具有良好效果，通過采集100 幀圖像，并對圖像中的合作目標進行識別，對時間間隔進行統計，引入跟蹤與未引入跟蹤的識別方法的檢測時間如圖8 所示。圖中深色線為未引入跟蹤的識別方法，經計算平均時間為0.048 s；淺色線為引入跟蹤的識別算法，平均時間為0.03 s。可以看出，在識別時間上提高37.5%，提高了識別的效率，并且不影響識別的正確率，算法具有一定可行性和可靠性。

圖8 實驗對比

4 結束語

為實現對合作目標提取，本文提出了一種將圖像分割和模板匹配相結合的合作目標提取方法，該方法引入圖像邊緣分割，并對邊緣檢測算法進行改進，根據目標尺寸信息特征，去除背景圖像干擾，經過實驗驗證了本文引入形態學處理的邊緣檢測方式和區域篩選方法具有可行性。然后根據合作目標圖像特征設計匹配模板，與圖像篩選后的區域縮放后進行相似度的匹配。最后通過目標跟蹤的方式提高識別的速度。本文設計了提取圖像中含有兩個合作目標的實驗，并經過實驗驗證了本文目標提取算法和目標跟蹤方法的有效性和可行性。