基于圖像分割的目標尺寸特征測量

王 穎，王鵬飛，楊余旺

(南京理工大學 計算機科學與工程學院，江蘇 南京 210094)

1 概 述

不同于傳統的測量方式需要與物體直接接觸，圖像測量技術不需要直接接觸被觀測物體，這樣不會對被觀測物體造成影響，觀測者也處于安全地帶。運用圖像分析技術能夠對傳統方法不易測量的物理量進行測量，例如過于微小或者物體上的個別部分等[1]。除此之外，如對象處于人不能到達或者不能長時間停留的惡劣環境，也可以通過先投放或預設的采集設備采集圖像后再進行處理分析。更優越的是，圖像測量的自動化程度高，圖像的采集、處理、分析、理解可由計算機程序預先設定，無需人工干涉，減少了工作量和時間。相比于直接測量，圖像測量需要對硬件圖像采集系統的參數進行標定和修正，這直接影響了測量的精度和正確性。對圖像采集系統的標定和誤差修正需要使用數字圖像處理技術，這是后續對象測量的先覺條件和基礎[2]。

隨著計算機技術和硬件設備的高速發展，國內外的圖像測量應用和技術都有了很大進展，眾多領域都需要進行尺寸測量，應用范圍涵蓋到工業元件的尺寸測量、物體形狀子檢測、模式匹配等諸多方面[3]。

文中研究了基于邊緣檢測的霍夫變換對矩形等規則形狀的檢測和最小外接矩形對不規則形狀的檢測。其關鍵思想是：檢測出目標的矩形度，根據矩形度的大小選擇霍夫變換或最小外接矩形法檢測目標矩形，然后計算目標的尺寸特征。

2 圖像分割

文中算法屬于圖像分割技術，圖像分割是一種計算機視覺技術，是進行圖像分析的基礎。它用于將圖像劃分出需要關注的目標或區域相關的部分，可以分為完全分割和局部分割[4]。文中主要使用兩種分割技術：基于邊緣分割和基于區域分割[5]，這兩種方法解決了一個對偶問題。每個區域可以用該區域的封閉邊界表示，而任意封閉邊界也可以顯示一個區域。

圖像采集時同時采集多個目標，經OSTU(大津法或最大類間方差法)分割后，再用標記法標記多個目標，分別分割出來后，對每個目標逐個進行運算測量。

基于邊緣的分割對應上文中的局部分割，先使用邊緣檢測子檢測出圖像的邊緣，再在邊緣圖像上進行處理，邊緣圖像中的強度最高的就是圖像在灰度、顏色、紋理等維度上梯度較大的位置。但邊緣檢測子直接檢測到邊緣圖像后必須采用后續步驟將邊緣合并為邊緣鏈，這樣才能形成閉合邊界，從而更好地擬合圖像真實邊界。最終目的是至少完成部分分割，將局部邊緣集成到一幅圖像中，使圖像中只存在與目標物體對應的邊緣鏈。基于邊緣的分割會出現兩個常見的錯誤：一是在沒有真實邊界的位置生成噪聲邊緣；二是在實際存在邊界的位置沒有產生邊緣點，這是受圖像噪聲或圖像中的不當信息影響造成的。這樣的錯誤對分割結果有顯著的負面影響。

在分割處理之前掌握越多的先驗知識，獲得的分割效果越好。例如，文中可以先計算目標的矩形度：

(1)

其中，As為連通域S的面積；Ar為包圍該連通域的最小矩形面積。根據一定訓練集的訓練，得到最優的閾值Prt，若測得Pr>Prt，則選用霍夫變換方法，否則選用最小外接矩形方法。

3 特征提取檢測算法

由于物體的走向隨機，圖像中水平和垂直方向的度量不一定是所需要的，所以有必要確定物體的主軸并測量與之相關的長度和寬度。主軸可用內部點擬合直線或者應用物體的最小外接矩形。根據目標特征選擇不同檢測方法，若是矩形度高，選擇霍夫變換；若矩形度低于閾值，選擇最小外接矩形。

3.1 霍夫變換法

霍夫變換[6]是一種檢測圖像中線性結構的有效方法。文中使用的是基于梯度信息改進的霍夫變換，流程為圖像采集、預處理、邊緣檢測。重點是利用梯度信息，縮小霍夫變換搜索范圍，提高效率和準確度。

邊緣檢測提取出對象的邊界點集[7]，由于噪聲的存在，得到的邊緣通常是孤立的或分小段連續的。所以需要某種算法將邊緣的點連接或找出某種規律，然后進行后續處理。霍夫變換[8]利用像素空間和參數空間兩個空間之間的變換，在同一個像素空間有相同形狀參數的曲線或直線變換到參數坐標空間會在一個點上形成峰值，從而把像素空間檢測形狀參數的問題轉化為參數空間統計峰值問題。

在直角坐標系下，一條直線可以表示為：

y=kx+b

(2)

霍夫變換的原理就是點線對偶性[9]，兩個空間的參數和變量可以相互轉換，即像素空間上一定點坐標x,y作為參數，k,b作為坐標軸變量，這樣k,b就對應參數空間自變量和因變量。一個空間的點對應另一個空間的線，線對應另一個空間的點。所以要檢測邊界點集共有的線參數，只需要找到參數空間線的相交點即可。

k,b的值都可能趨近無窮大，如當直線傾角接近90°，k的值會逼近無窮大。為了計算方便，將參數空間使用極坐標表示，直線的極坐標方程如下：

xcosθ+ysinθ=ρ

(3)

其中，ρ表示坐標原點到直線的距離；θ表示直線與橫坐標的夾角。

由于同一條直線上的點具有一致參數(γ,θ)，因此可以先檢測出圖片的邊緣，然后對圖像上每一個邊緣像素點，在參數極坐標下變換為一條正弦曲線，像素空間中在同一條直線上的點映射到參數空間就是多條正弦曲線，它們會相交于一點[10]，該點具有相同的直線參數。霍夫變換就是用該基本思想進行直線檢測。

圖像空間點對應參數極坐標系的正弦曲線如圖1所示。

圖1圖像空間點對應參數極坐標系的正弦曲線

為檢測規則的四邊形，可根據四邊形的特殊幾何特征。矩形的幾何特征包括：具有四條直線，兩兩成對，針對任意一條直線，有一條直線與之平行，還有兩條與之垂直。根據邊緣直線的檢測結果，可以判斷圖像中是否存在矩形圖形[11]，有幾個，并且計算矩形幾何參數。

矩形檢測算法如下：

算法1：矩形檢測算法。

輸入：包含目標的二值圖像；

輸出：矩形尺寸參數。

(1)邊緣檢測；

(2)應用霍夫變換算法求出4個峰值點，對應原圖像中邊緣的4條直線，即矩形的4條邊所在直線；

(3)由4條直線的參數，根據幾何學可以求出4個交點的坐標，交點成對求距離可獲得矩形尺寸參數；

(4)將4個交點坐標連線，獲得矩形的輪廓線。

這一類方法還可以用來檢測多種由直線段組成的幾何圖形，如梯形、三角形等。文中的改進在于利用了梯度信息，由于霍夫變換選擇峰值點時，會受到拐角的影響導致較大誤差，同時可能選取到同一方向部分邊界的兩段略有差異的線段造成檢測測量失敗。利用邊緣檢測時得到的梯度方向，由于是規則形狀如平行四邊形，梯度方向應該有兩個，根據這兩個方向分割邊緣點集，而后分別做霍夫變換。

3.2 最小外接矩形法

本節致力于找到一個能覆蓋輸入的兩維面積最小的任意偏向矩形-最小包圍矩形(MER)[12]，然后根據找到的矩形，提取矩形的長度和寬度，即為目標的長軸長度和短軸長度。

初始狀態為長軸與坐標系x軸-90°的矩形，長在水平方向，寬在豎直方向。在[-90°,0°)區間以每次順時針旋轉一個增量，最后選取面積最小的矩形。最小面積就是目標連通區域的邊界矩形，可根據角度和截距計算外接矩形的面積(見圖2)，公式如下：

area=(h1-h2)·(h3-h4)·|cosα·sinα|

(4)

圖2 最小外接矩形幾何計算

凸包旋轉法是根據任意多邊形的外接矩形的每一條邊與其凸多邊形至少有一個交點的原則設計的，具有比單純旋轉法更好的速度和精確性。計算多邊形的最小凸包，在所得凸包中選擇一條邊作為起始邊，并繞該邊左頂點旋轉，直至該邊平行于x軸。最后計算并保存其最小外接矩形(MBR)的坐標、邊的編號及旋轉角度。依次選擇剩下的邊，并按照同樣方法計算并保存同樣的度量。比較所得的MBR的面積，找到面積最小的對應的旋轉角度和邊，以該邊的左端點為圓心逆向旋轉就是所求的MABR。

顯而易見，任意一個多邊形的MABR必定經過它的凸包的一條邊，由此可以推導出以上算法所求得的MABR為準確解。

3.3 自適應研究

算法的自適應研究(Self-Aadaptation)是指根據物體、控件的不同恰當地挑選自身的算法，或調節算法的參數以適應物體、控件的多樣性，用戶的不同需求和系統自身容錯的需求。通過檢測目標的形狀，對目標的形狀進行描述，提取特定的特征來表示。例如以下幾個簡單的幾何特征，如凹凸面積、矩形度、緊密度等。

矩形度已經在上文闡述了。緊密度是用來表示目標區域的形狀是否緊密的度量：

(5)

根據這幾個特征自適應地選擇以上兩種方法。

4 算法設計實現

4.1 霍夫檢測矩形

通過檢測兩個正交方向上的直線，從而檢測矩形。算法如下：

算法2：霍夫變換四邊形檢測。

輸入：包含多個目標的圖像；

輸出：多個目標的多個矩形參數。

(1)圖像預處理；

(2)OTSU算法二值化，刪除小面積連通區域；

(3)區域標記；

(4)選擇一個目標區域，進行邊緣檢測；

(5)對邊緣使用改進的霍夫變換檢測出四條邊；

(6)重復步驟(4)和(5)，直到所有區域都被選擇過。

4.2 最小外接矩形檢測

使用的最小外接矩形算法如下：

算法3：最小外接矩形檢測。

輸入：包含多個目標的圖像；

輸出：多個目標的多個外接矩形參數。

(1)圖像預處理；

(2)OTSU算法二值化，刪除小面積連通區域；

(3)區域標記；

(4)選擇一個目標區域，進行最小外接矩形檢測；

(5)重復步驟4，直到所有區域都被選擇過。

5 實驗結果與分析

使用工業相機拍攝的多個元件的圖像作為實驗數據。實驗圖像需要經過校正以及配準等預處理工作[13]，選取各個區域進行分割、處理、測量分析。文中選取出一個區域進行展示，已經進行圈劃標注。實驗裝置和拍攝圖片如圖3所示。

圖3 裝置和實驗圖

實驗系統截圖如圖4所示。

圖4 系統界面圖

原圖分割出的目標區域如下，分割結果經過剪裁，去除了噪聲、干擾區域，僅對目標區域進行檢測。對目標區域分別進行最小外接矩形檢測和霍夫變換檢測，矩形標畫與原區域對比如圖5所示。

圖5 目標區域檢測

對于同一圖像的分割同一區域圖像，測量結果中最小外接矩形算法所求得的區域像素尺寸為108×108，霍夫變換所求得的像素尺寸為100×100。

最后需要將像素尺寸縮放成實際尺寸，這里應用了比例標定的方法，就是在確定圖像采集系統的工作距離后，采集已知尺寸的標準元件的圖像。對采集圖像進行一系列圖像處理分析，計算出標準元件的尺寸測量值。若標準元件的已知實際值為s，在圖像測量系統中求出的測量值是S,可以求出縮放比例。而待測元件獲得的測量值是l，則零件的實際長度可根據測量長度乘以縮放比例求得。為了提升系統標定的精確度，可執行多次標定求均值，得到最無偏的標定系數K[14]。然后圖像分析算法所得的像素尺寸乘以標定系數K即可得實際尺寸。

從實際物體到結果數據的整個圖像處理和分析過程是一個估計過程，不可避免地存在誤差，可以分為系統誤差和隨機誤差。影響測量的準確度的因素有許多，文中主要關注的是[15]：

(1)光學鏡頭分辨率。

(2)圖像采集的采樣密度；高準確度需要大過采樣，不能僅僅根據采樣定理選取采樣率[16]。

(3)圖像分割的算法；采用不同的分割算法或同一算法中選取不同參數時都會導致分割結果的變化。霍夫變換方法中主要有4個參數會對檢測結果產生影響:角度范圍、角度步長、ρ范圍、ρ步長。最小外接矩形算法對檢測結果產生影響的參數主要是角度步長α。

最小外接矩形理論上會較物體偏大，本質因為物體邊緣會有一些毛刺，可以對區域圖像進行開運算進行優化，但總體依舊會略微偏大。而霍夫變換所取得的矩形與區域較為接近，有較大的可能偏小，偏大的可能性比較小。實驗中，物體的形狀比較規則，所以使用霍夫變換的精度較高。而當形狀不規則時，霍夫變換就無效了，所以最小外接矩形算法的應用范圍廣，適應度高，而霍夫變換的應用范圍小，但是在可適用范圍內的精度較高。

表1是分別使用直接傳統測量、霍夫變換和最小外接矩形方法得到的估計值的統計數據。

表1 不同算法的測量寬度結果對比 mm

3種計算方式得到的估計值的均值和方差如圖6所示。

圖6 測量結果對比圖

如圖6可得，傳統測量估計值的均值是1.01；霍夫變化估計值的均值是1.0076，平均誤差是0.59%；最小外接矩形估計值的均值是1.071，平均誤差是0.76%。由此可見，在矩形度較高時霍夫變換相對于直接測量的誤差較小，準確性較高，方差也較小。

6 結束語

設計實現了兩種圖像測量尺寸的算法，取得了不錯的測量效果，實驗結果證明了算法的正確性、可行性，并驗證了這兩種算法在尺寸上的有效性和互補性。下一步工作是增加算法的自適應性和并行性，使之可以在集群中工作，提高效率；并以尺寸特征作為分類屬性，自動化地分辨合格品與非合格品。

[1] 章毓晉.圖像工程[M].北京:清華大學出版社,2013.

[2] GONZALEZ R C,WINTZ P.Digital image processing[M].北京:電子工業出版社,2007.

[3] EKSTROM M P.Digital image processing techniques[M].[s.l.]:Academic Press,2012.

[4] 黃志堅，張金芳，徐帆江.關鍵點檢測的線要素綜合算法[J].中國圖象圖形學報,2012,17(2):241-248.

[5] 張大樸，李玉山，劉 洋，等.采用擬梯度方向信息的隨機Hough變換直線檢測[J].計算機科學,2006,33(4):208-210.

[6] 郭斯羽，翟文娟，唐 求，等.結合Hough變換與改進最小二乘法的直線檢測[J].計算機科學,2012,39(4):196-200.

[7] 張 彤，劉 釗，歐陽寧.基于圖形處理器的實時直線段檢測[J].計算機應用,2009,29(5):1359-1361.

[8] SATHYANARAYANA S S,SATZODA R K,SRIKANTH-AN T.Exploiting inherent parallelisms for accelerating linear Hough transform[J].IEEE Transactions on Image Processing,2009,18(10):2255-2264.

[9] MUKHOPADHYAY P,CHAUDHURI B B.A survey of ho-ugh transform[J].Pattern Recognition,2014,48(3):993-1010.

[10] AGGARWAL N, KARL W C. Line detection in images through regularized Hough transform[J].IEEE Transactions on Image Processing,2006,15(3):582-591.

[11] FREEMAN H.Determining the minimum-area encasing rectangle for an arbitrary closed curve[J].Communications of the ACM,1975,18(7):409-413.

[12] JUNG C R，SCHRAMM R.Rectangle detection based on a windowed Hough transform[C]//Computer graphics and image processing.[s.l.]:[s.n.],2004:113-120.

[13] GONZALEZ R C,WOODS R E.Digital image processing (3rd Edition)[C]//IEEE international electric machines & drives conference.[s.l.]:IEEE,2013:1160-1165.

[14] JAVADI M,EBRAHIMI M.Fast width detection in corridor using Hough transform[J].International Journal of Image Graphics & Signal Processing,2012,15(2):179-187.

[15] 馬艷娥,張波濤,高 磊,等.基于圖像處理的零件尺寸測量研究[J].電子測試,2011(8):39-41.

[16] 張少軍,艾矯健,李忠富,等.利用數字圖像處理技術測量幾何尺寸[J].北京科技大學學報,2002,24(3):284-287.