多尺度曲率角與灰度比例復合的角點檢測方法

張　輝，韋建光，吳卓琦，習俊通

(1.上海交通大學 機械與動力工程學院，上海 200240；2.上海市網絡化制造與企業信息化重點實驗室，上海 200240；3.上汽通用五菱汽車股份有限公司，廣西 柳州 545007)

多尺度曲率角與灰度比例復合的角點檢測方法

張輝1, 2，韋建光3，吳卓琦1, 2，習俊通1, 2

(1.上海交通大學 機械與動力工程學院，上海 200240；2.上海市網絡化制造與企業信息化重點實驗室，上海 200240；3.上汽通用五菱汽車股份有限公司，廣西 柳州 545007)

針對輪廓附著物對視覺測量中角點檢測的干擾，提出一種基于輪廓信息與灰度信息復合的角點檢測及偽角點排除方法.利用角點處曲率角的多尺度不變性檢測候選角點并排除小尺度偽角點，利用角點為頂點的矩形窗口內三角形區域灰度占比情況排除大尺度偽角點.實驗表明，利用輪廓信息與灰度信息復合的方法能夠有效減小各尺度附著物偽角點干擾，檢出的角點穩定可靠.

角點檢測；曲率角；多尺度；視覺測量；輪廓附著物

汽車發動機曲軸具有眾多微小的結構特征(如圖1所示)，采用背光影像法對其相關微小尺寸進行非接觸式測量具有無可比擬的效率優勢[1].但是該方法的測量精度受待測工件表面的清潔度影響較大，工作現場的待測工件表面常常會帶有加工毛刺，或者沾染細小纖維、毛發、切屑、油污、灰塵等附著物(如圖2(a)所示)，在此基礎上所提取出來的工件輪廓邊界(如圖2(b)所示)必然帶有眾多偽邊界和偽角點.這會對正確的輪廓角點檢測造成很大干擾，從而使測量結果產生誤差甚至完全錯誤.

圖1　曲軸溝槽特征Fig.1　Crankshaft Groove

(a) 帶有附著物的工件表面

(b) 帶有附著物的輪廓圖2　帶有附著物的工件Fig.2　Workpiece with foreign matters

針對該問題，目前常用的解決辦法是在零件測量前增加清潔工序.但是清潔只能在大范圍內降低附著物殘留的概率，并且清潔操作受工人的經驗和技術的影響較大，其實際效果是否滿足視覺測量要求仍難以檢測.這不僅會給企業增加成本，而且事先也很難制定合理的清潔工藝標準，不利于該檢測方法的實際推廣應用.因此，從圖像處理的角度出發，在有微小附著物存在的前提下，如何準確識別和篩選出零件輪廓上所需的正確角點，消除附著物帶來的偽角點影響，這成為了影響零件檢測精度和穩定性的一個重要問題.

目前，角點檢測的方法總體上可以分為兩類：一類是基于圖像輪廓的角點檢測方法，另一類是基于圖像灰度的角點檢測方法[2].前者首先對圖像進行邊界提取，以計算邊界輪廓曲率[3]或通過前后支撐區域內輪廓點的直線擬合、方向角計算[4]等為核心來設計算子.后者是從像素鄰域點的灰度變化角度來考慮角點的特征[5]，將與鄰域點的亮度對比足夠大的點定義為角點，這其中為大多數人所熟知的是Harris[6]和SUSAN[7]算法.但無論是哪種類型的方法，它們所解決的只是單純的角點檢測問題，面向適應范圍廣泛的通用角點檢測程序.這些方法在面對形狀復雜但“整潔”的圖像時，即使存在噪聲也具有較好的角點檢測效果[8]，但對于工件表面存在附著物的“不整潔”的圖像，這些方法仍然會將附著物所帶來的偽角點一并檢出而無法區分.

本文針對各尺度輪廓附著物在角點檢測過程中的偽角點排除問題，提出了多尺度曲率角和矩形窗口灰度比例復合的角點檢測方法.該方法首先通過不同尺度下的曲率角計算，得到候選角點集合并排除其中的小尺度偽角點.然后基于先驗的正確角點方位與大小設定矩形窗口長寬比例和對角線，計算其對角區域的灰度比例，通過該比例進行大尺度偽角點的排除和正確角點的判斷.該方法可以高效地應用于正交方向直輪廓表面各尺度偽角點的排除，檢出的正確角點符合工件結構特征和人類視覺感知規律.

1　基于曲率角的角點檢測和小尺度偽角點排除

文獻[9]提出的尺度空間圖像分析理論可解決圖像處理中的諸多問題，但是該理論并不能直接應用于角點檢測.文獻[10]提出了基于曲率尺度空間的角點檢測算法，即CSS(curvature scale space)算法，該方法獲得了較好的角點檢測效果，但是當尺度設置過大時容易導致真實角點的遺漏及偽角點的出現，同時其對于曲率的計算也較為復雜.本文使用簡化的曲率角來代替曲率的計算，并且利用真角點處的曲率角在多尺度下的不變性來進行小尺度偽角點的排除.

1.1多尺度曲率角計算

從符合人類視覺習慣的角度出發，角點定義為邊界曲率函數的最大值點[11].曲線上任意一點的曲率(k)表達式為

(1)

其中：Δα為曲線上無限接近的某兩點切線方向角的變化量；Δs為這兩點間的弧線長度[12].曲率計算示意如圖3所示.如直接按照定義求取切線并計算曲率k在算法實現上過于復雜.文獻[13]將輪廓曲率的最大值點看作角點，通過計算B樣條系數來擬合曲線，但這種方法的運算量大.由于檢測目標明確，本文在輪廓曲線離散化的基礎上進行曲率計算，基于數學上以割線代替切線的近似方法，采用割線轉角Δθ(如圖4所示)代替切線轉角Δα，即

Δθ≈Δα

(2)

圖3　曲率計算示意圖Fig.3　Curvature calculation diagram

圖4　曲率角計算示意圖Fig.4　Angle of curvature calculation diagram

定義數字化的輪廓為集合L, L={P1, P2, …, PN},其中Pi=(xi, yi)是輪廓上各個點的亞像素坐標.為了簡化兩條割線的模型，在目標輪廓上建立以輪廓點Pi為中心，前后分別距離中心點Pi為R的3個點所組成的集合，記作Si={Pi-R， Pi， Pi+R}，則可采用集合Si所確定的兩條直線段Pi-RPi和PiPi+R來表示割線.這兩條割線構成的向量方向角分別為

(3)

這兩個方向角的差值為割線轉角，稱之為曲率角，則點Pi處的曲率角Δθ(i)為

Δθ(i)=θR+(i)-θR-(i)

(4)

由曲率角的定義可以看出，對于同一個中心點Pi處的曲率角，它的大小一般與所選取的兩個端點Pi-R和Pi+R有關，這兩個端點的選取依賴于R的大小.這里將R稱為曲率角計算的尺度(以下簡稱尺度)，同時也將Δθ稱為尺度R下的曲率角.

1.2曲率角的多尺度不變性及其角點檢測

本文要檢測的角點為尖角點，即角點處曲率趨于無窮大，從尺度和曲率角的角度(圖5所示)觀察發現，不同尺度下尖角點處的曲率角大小具有不變性(如圖5(b)所示).本文應用此性質可對角點進行初步檢測和篩選.

(a) 圓角點ΔθAΔθB

(b) 尖角點ΔθA≈ΔθB圖5　角點在不同尺度下的曲率角Fig.5　The curvature angle of corner in different scales

由于圖像輪廓上的隨機噪聲和輪廓附著物的干擾，不同尺度下的候選角點集合Dj中所包含的角點個數和位置一般來說是不同的.特別是附著物的干擾，會在Dj中帶來諸多偽角點(如圖6所示)，但集合中的這些偽角點元素很可能在大尺度下得到抑制，因而出現在較大尺度Dj中的概率會降低.另外，角點附近的一些輪廓點在小尺度下曲率角的計算較為準確，但在較大尺度下這些點的曲率角會趨向于真實角點，用單一閾值T做判斷將使這些角點納入較大尺度的Dj中，使得角點檢測的精度明顯降低.

(a) 工件表面附著物圖像

(b) 工件輪廓小尺度偽角點圖6　工件表面附著物及其帶來的偽角點Fig.6　The foreign matters and false corners on the workpiece

基于此，可取Dj(j=1， 2，…)的交集DT=D1∩D2∩…，則DT中所包含的候選角點可以排除輪廓上小尺度附著物所帶來的影響，同時也對角點附近的“近似角點”做了一定程度的篩除.在本文的應用背景下，為了進一步提高角點檢測精度，可利用尖角點曲率角的多尺度不變性進一步增強對DT中元素的篩選，將DT中不同尺度下曲率角的偏差絕對值小于一定閾值的點標記為進一步篩選后的角點，將它們存于候選角點集合D′中，則D′={Pi|Pi∈DT，，其中，閾值M的設定主要依據幾個檢測尺度的大小和經驗.

2　大尺度附著物偽角點識別與正確角點篩選

當附著物的尺度R≤30像素時，采用第1節所述的方法計算這一尺度下的曲率角，并利用其多尺度不變性可以有效排除偽角點.但是當輪廓表面出現毛刺類較大尺度的附著物時(如圖7(a)所示)，往往此時附著物的尺度R>30像素，采用多尺度曲率角的方法將逐漸無法“觀察”到這些點的全局特征，因此還需與尺度更大、更全局的判斷方法復合，才能更好地識別該類偽角點.

2.1偽角點與真實角點鄰域矩形窗口灰度差異

如圖7(b)所示，A點為本文最終要檢出的測量基準角點，E1和E2點為曲軸表面毛刺和附著的細小纖維帶來的偽角點.在較小的尺度下，僅僅通過輪廓信息難以識別A點和E1及E2點的本質差異.通過觀察A點與E1及E2兩個點周圍像素的灰度分布規律可發現，在以這些候選角點為頂點的較大尺度的矩形窗口內，分布在對角線兩側三角形域內的總灰度值差別較大.可以用這兩個三角形域灰度值占整個矩形窗口總灰度值的比例來進行輪廓上偽角點的判斷.

(a) 工件表面大尺度附著物

多尺度曲率角結果(b) 工件輪廓上的大尺度偽角點

(c) 角點領域矩形窗口灰度圖7　工件表面大尺度偽角點及其窗口灰度信息Fig.7　The false corners and gray level on the work piece in large scale

如圖7(c)所示，以A點為頂點建立矩形窗口ABCD，對角線AC將矩形分為Rt△ABC和Rt△ADC.觀察曲軸實體影像部分(即圖像中灰度值較小的暗域)在這兩個三角形域中的分布情況可以看出，曲軸的實體部分幾乎全部處于Rt△ABC中，而Rt△ADC中則幾乎全是灰度值接近或者等于255的“純白”色像素點，這樣Rt△ABC內所包含的實體影像部分將在整個矩形中占有很高的比例.而以偽角點E1為頂點的矩形區域E1FGH內，Rt△E1FG和Rt△E1HG中均包含有曲軸實體影像，這種情況下Rt△E1FG包含的實體影像部分在整個矩形中所占比例將不會過大，這與矩形ABCD內的情況有很大差別.因此可以利用這一差別進行真偽角點的判斷.

2.2三角區域內總灰度及其比例計算

為了便于判斷和閾值設定，在具體計算中進行歸一化處理，計算RtΔABC區域內的總灰度值與矩形窗口ABCD內的總灰度值比例r，同時為了凸顯曲軸實體部分，以實體部分在各三角形區域中的有和無作為重要的判斷依據，可用每個像素灰度值的“互補數”來進行總值的累加計算.設圖像中每個像素點的灰度值為Ii， j(i， j為該像素的行列坐標)，則其“互補數”為Hi， j=255-Ii， j，那么比例值

(5)

其中：H為矩形窗口ABCD內所有像素的灰度互補數的總值；H1為上三角形ABC內所有像素的灰度互補數的總值.則：

(6)

(7)

其中：(r1, c1)，(r2, c2)分別為點A和C的像素坐標；f(i-r1)為以i-r1為自變量的一個整數函數.

(8)

2.3比列閾值的設定與角點判定

由式(5)所求得的灰度比例值r是判斷真偽角點的最終依據.以真實角點A為頂點的矩形域ABCD內，曲軸實體的暗域部分主要集中在Rt△ABC內，Rt△ADC內主要是未被曲軸實體遮擋的亮域，經過“互補數”的轉化后亮域的H值接近于0，暗域的H值大部分處于200～255.這樣的處理正是為了突出暗域的比重，并且很好地解決了暗域灰度值浮動較大帶來的比例不穩定問題，因此，r主要反映了某一側三角形區域內的曲軸實體的暗域部分在整個矩形域內的占比情況.

由矩形的建立過程可以看出，對于A點這樣的真實角點，由于曲軸暗域集中分布于Rt△ABC內，計算出的比例值r基本接近于1，而對于以偽角點E1為頂點建立的矩形E1FGH，計算出的比例值r則接近0.5.在這兩個數字中，由于做了“互補數”的處理，因此，在A點計算出的比例值將會比較穩定，基本和1不會差距太大，而偽角點處計算出的比例值隨著偽角點離開曲軸實體的距離發生較大變化，因此，角點判斷閾值的設定應更偏向于1.本文依據實測經驗，選取閾值為0.9作為角點真偽的判斷標準，即

(9)

3　測量實驗與結果

基于自行研制的曲軸背光影像測量儀 ，測量汽車發動機曲軸溝槽的半徑、寬度、深度3個數值.其中寬度和深度的測算均依賴于溝槽與軸頸相接處角點A的識別和定位.實拍兩組典型的分別包含小尺度和大尺度附著物的溝槽影像及其局部放大圖如圖8和9所示.

圖8　溝槽1及其局部放大圖Fig.8　The enlarged view of groove 1

圖9　溝槽2及其局部放大圖Fig.9　The enlarged view of groove 2

按照1.2節所述方法在尺度R為8像素時求取局部放大處輪廓的曲率角，其結果如圖10(a)和11(a)所示，將尺度逐漸增大到R為28像素時，其結果如圖10(b)和11(b)所示.再按照1.3節所述方法對其進行多個尺度的計算并求取多尺度候選角點的交集，其結果如圖10(c)和11(c)所示.

(a) 小尺度曲率角(R=8像素)

(b) 大尺度曲率角(R=28像素)

(c) 多尺度求交檢測結果圖10　溝槽1多尺度曲率角結果Fig.10　The results of curvature angle in multi-scale of groove 1

(a) 小尺度曲率角(R=8像素)

(b) 大尺度曲率角(R=28像素)

(c) 多尺度求交檢測結果圖11　溝槽2多尺度曲率角結果Fig.11　The results of curvature angle in multi-scale of groove 2

由圖10可以看出，以25°為判斷閾值，溝槽1在小尺度下檢測出了眾多候選角點(如點A， B， D， F)，當尺度由8像素逐漸增大到28像素后，在1～209像素區間(即圖9中的豎直輪廓部分)內的眾多偽角點(如圖10中的點B， F)曲率角得到抑制.另外，若輪廓上的任一點(1～365像素區間內)在某個尺度下的曲率角小于閾值則取其各尺度下的最小值，反之，若所有尺度下的曲率角均大于閾值則取其各尺度下的最大值，這樣得到圖10(c)的求交結果.通過閾值很容易得到角點位于235像素附近處，且其他偽角點(點D)均得到了抑制.

由圖11的結果可以看出，在小尺度下位于79像素處表現明顯的點C在大尺度下迅速得到抑制，位于274像素處的點為待檢測的角點A，其在各尺度下曲率角表現穩定，但同時也注意到位于430像素處的偽角點E曲率角并沒有在相關尺度下得到明顯抑制.進一步使用第2節所提出的矩形窗口灰度比例法，實驗過程和結果如圖12和13所示.

(a) 窗口位于偽角點E處

(b) 窗口位于真角點A處圖12　矩形窗口在輪廓上的移動過程Fig.12　Movement of the rectangle window along the contour

圖13　角點檢測結果Fig.13　Result of corner detection

由圖13可以看出，基于角點檢測結果的溝槽寬度和深度尺寸測量基準穩定可靠，偽角點E的影響被排除，角點檢測在大尺度附著物的干擾下仍然較為準確.

4　結　語

本文采用輪廓曲率角和角點鄰域窗口灰度比例復合的多尺度檢測篩選方法進行工件角點的測量.從實驗結果可以看出，利用多尺度曲率角不變性檢測和篩選出的角點可以排除隨機噪聲以及小尺度附著物的影響，而利用矩形窗口灰度比例可以排除較大尺度的附著物帶來的偽角點.這兩種方法的結合能夠有效地在較大尺度范圍內降低附著物帶來的偽角點對測量的影響，視覺測量系統的可靠性同時得到提高.

[1] 趙冬，吳卓琦，楊浩，等.曲軸溝槽影像檢測特征參數的自動提取研究[J]．光電工程，2012，39(5)：63-70．

[2] 趙文彬，張艷寧.角點檢測技術綜述[J].計算機應用研究，2006,23(10)：17-19.

[3] WANG H, BRADY M. Real-time corner detection algorithm for motion estimation [ J ]. Image and Vision Computing, 1995, 13( 9): 695-703.

[4] 黃永林，葉玉堂，喬鬧生，等.基于邊緣方向角的自適應尺度角點檢[J]. 光電子·激光，2010,21(8)：1237-1240.

[5] 殷潤民，柴旭東，李伯虎.基于灰度差統計的角點檢測方法[J].計算機工程，2006,32(22)：184-186.

[6] HARRIS C G，STEPHENS M J．A combined corner and edge detector[C]//Proceedings of the 4th Alvey Vision Conference.1988: 189-192.

[7] SMITH S M, BRADY J M .SUSAN： A new approach to low level image processing [J]. Internation Journal of Computer Vision, 1997, 23(1): 45-78.

[8] 孫君頂，郭啟強，張兆生．基于曲率尺度空間的輪廓角點檢測[J]．光電工程，2009，36(7)：78-82．

[9] WITKIN A P. Scale space filtering[C]//Proceedings of the 8th International Joint Conference on Artificial Intelligence.1983:1019-1021

[10] MOKHTARIAN F, SUOMELA R. Robust image corner detection through curvature scale space[J]. IEEE Trans Pattern Analysis and Machine Intelligence, 1998, 20(12): 1376-1381.

[11] 朱玉艷，尚振宏，康燕妮，等.角點檢測技術研究及進展[J].電腦開發與應用，2010,23(3):40-43.

[12] 栗琳，王仲，蔡振興，等.基于目標輪廓的附著物定位與剔除方法[J].光電工程，2012,39(5)：46-51.

[13] MEDIONI G, YASUMOTO Y. Corner detection and curve representation using cubic B-splines [J]. Computer Vision Graphics and Image Processing, 1987, 39(3):267-278.

A Method of Corner Detection Based on Multi-scale Angle of Curvature and the Proportion of Gray Level

ZHANG Hui1, 2， WEI Jian-guang3， WU Zhuo-qi1, 2， XI Jun-tong1, 2

(1.School of Mechanical Engineering, Shanghai Jiaotong University，Shanghai 200240,China;2. Shanghai Key Laboratory of Advanced Manufacturing Environment, Shanghai 200240, China;3. Shanghai General Motors Wuling Automotive Co. Ltd., Liuzhou 545007, China)

In order to reduce the influence of foreign matters on corner detection in vision measurement, a new method of corner detection and elimination of false corner based on the contour information and gray level information was proposed. At first, the invariance of curvature angle in multi-scale was used to establish the set of candidate corners as well as to eliminate those false corners in small scale. Then the proportion of gray level calculated by the triangle area and rectangle area which were based on the candidate corner was used to eliminate those false corners in large scale. The experiments show that this method can reduce the influence of false corners in most scales efficiently. The detected corner is reliable.

corner detection; angle of curvature; multi-scale; vision measurement; foreign matters

1671-0444(2015)04-0415-06

2014-12-18

“十二五”國家科技支撐計劃資助項目(2012BAF06B03)

張輝(1989—)，男，陜西咸陽人，碩士研究生，研究方向為視覺測量技術.E-mail: zhanghui335258@163.com

習俊通(聯系人)，男，教授，E-mail:jtxi@sjtu.edu.cn

TH 741

A