基于顯著性檢測的自適應機器人揀選系統

鄒騰躍，唐小琦，宋 寶，陳吉紅

（華中科技大學 國家數控系統工程技術研究中心，湖北 武漢430074）

0 引 言

在現代化物流和流水線生產中，常常需要將混入的異物或不合格產品揀選出來，以提高成品的合格率和優質率。由于缺陷產品的復雜性和多樣性，傳統方法需要使用大量人力。而規模化的生產需要高速、高精度、穩定持久的作業方式，純粹的手工揀選已不能滿足現代化生產的要求，高效而智能化的揀選系統將成為行業發展的需要。

目前現有的揀選系統，多采用幾何或紋理特征匹配的方法［1－2］，這些方法需要事先對標準樣品進行采樣以得到其特征值，才能進一步進行異物或缺陷的判斷。而在有些物流輸送環境中，待揀選的物品可能經常發生變化，這時就需要人工反復介入進行特征的修改，從而大大降低了系統的工作效率和自動化性能。

本文設計了一種基于顯著性檢測［3－4］的自適應機器人揀選系統。該系統能利用全局和局部的兩次顯著性檢測過程將不合格目標從多個有效前景目標中區分出來，并利用剩余的合格物體不斷修正特征值，從而達到自適應的目的。該方法依賴于對區域圖像特征的對比分析，可使機器人在無先驗知識的情況下進行揀選，并在目標物體發生改變時，自適應進行揀選特征的修改，從而無需人工干預。

1 全局顯著性引導下的前景分割

對于視覺揀選系統，在分析之前首先需要將關注的前景目標從背景中分割出來。這個步驟在目前常用的視頻預處理系統中，主要采用背景減除或灰度閾值化方法來完成。這兩種方法對現場光照的變化都非常敏感，時常不能很好地分辨出前景物體，再者物體的陰影或是采樣環境中的異物也會對前景的分割產生障礙。為克服這種缺點，本系統采用全局性的頻率調諧顯著性檢測 （frequency－tuned saliency detection）算法［5］來進行前景分割。

頻率調諧顯著性檢測算法是通過濾出滿足一定帶寬條件的邊緣、色彩和亮度信息來進行顯著性映射的。該算法采用一系列不同參數的DoG［6－7］濾波器來保證顯著性映射的結果在頻率范圍 ［ωlc，ωhc］內。ωlc為低頻閾值，頻率低于ωlc的特征信息將被拋棄。為了使較大的前景目標在顯著性映射圖中能均一地顯示，檢測中應使用小ωlc值。ωhc為高頻閾值，較高的ωhc可使前景目標的邊緣顯示得更為清晰，因此在應用中應維持高ωhc值。但圖像中最高頻率的部分應被舍棄，因其代表了不需要的噪聲、編碼失真以及紋理圖案等信息。

DoG濾波器早期主要被用于圖像目標的邊緣檢測，后來又被應用到關鍵點檢測、灰度變化檢測以及顯著性分析等領域。有研究表明在高斯分布標準差的比率為1：1.6時，DoG濾波器是對灰度變化最理想的檢測器。單個DoG的表達式如式 （1）所示

其中σ1和σ2都是高斯分布的標準差，σ1＞σ2。因此單個DoG濾波器可以被視為一個簡單的帶通濾波器，其濾波帶寬由高斯分布標準差的比值σ1：σ2來控制。令σ1＝ρσ，σ2＝σ則ρ＝σ1／σ2，利用參數ρ可得一組DoG濾波器的組合輸出結果，結果如式 （2）所示

其中N為正整數，則組合輸出結果可簡化為兩個高斯分布的差，而第一個高斯分布的標準差可通過比例系數K＝ρN得到。通過設定大的K值可以得到從小到大不同尺度的一組濾波器的組合輸出，從而將不同尺度的顯著性特征從圖像中提取出來。

參數σ1和σ2的選擇直接關系到濾波器的效率，σ1決定了ωlc的尺度，σ2決定了ωhc的尺度。足夠長的通頻帶和合適的高頻閾值能將圖像中的顯著特征盡可能地保留下來，因此在使用中應選擇大σ1，以留住較多的低頻信息。我們在實驗中使用極大的σ1值以使絕大多數低頻信號通過，形成一個近似低通濾波器的混合濾波模型。在高頻信號方面，使用小的高斯核函數來濾去噪聲以及紋理圖案信息。因為小的高斯核函數可用二項式濾波函數來近似，實驗采用濾波模板1／16 ［1，4，6，4，1］并設ωhc＝π／2.75來加速計算，從而提高算法的計算實時性。通過組合濾波器得到圖像的特征向量Iωhc，進一步可得頻率調諧算法的顯著性值計算式 （3）

式中：Iμ——圖像特征向量均值，Iωhc—— （x，y）處的像素點通過濾波得到的特征向量值。｜｜ ｜｜為取L2范數，實驗中采用歐氏距離來計算。

圖1 基于全局顯著性檢測的前景分割

系統采用Lab顏色空間進行操作以提高檢測和分割的效果。并使用 mean－shift圖像分割算法［8－9］和噪聲過濾規則從映射圖中分割出前景目標。圖1為兩例通過頻率調諧顯著性檢測算法進行前景分割的場景效果。圖1（b）、（c）分別為圖1（a）的顯著性映射圖和分割效果圖。圖1（e）、（f）分別為圖1（d）的顯著性映射圖和分割效果圖。從圖中可以看出，該算法可以準確地分割出場景中的有效前景目標。

2 目標特征對比與局部顯著性檢測

在獲得了有效的前景目標后，就需要在目標中找出缺陷物體加以揀選。由于顯著性分析的中心思想是通過對比找出與臨近環境最為不同的區域，而缺陷物體與場景中的其他合格物品相比在特征上往往有較大差異，因此可以通過局部顯著性檢測將其搜索出來。圖2所示為前景目標局部顯著性檢測的過程。

系統首先對每個前景目標圖像進行特征提取，提取顏色、形狀和面積3個方面的特征內容。顏色特征通過色度直方圖 （hue histogram）［10－11］表示，形狀通過內距離形狀上下文 （inner－distance shape context）［12］來描述，面積通過像素點的數量來表達。對上述三類特征求得相應的均值向量后，與每個前景目標特征向量相對比，通過歐氏距離差異的大小來判別顯著性并生成映射圖。最后通過加權線性合并和閾值化得到顯著目標映射圖并確定顯著目標的位置。

圖2 前景目標局部顯著性檢測過程

在特征提取中用到了色度直方圖，色度直方圖是利用HSV （hue，saturation，value）顏色空間中的色度分量構建的直方圖。因為HSV顏色空間將飽和度和亮度與顏色剝離開來，這種直方圖對光照的變化具有魯棒性。而內距離形狀上下文是一種利用目標輪廓特征點間相對位置來進行形狀描述的方法。它首先使用一個邊緣特征探測器尋找出物體內外輪廓的特征點，并用密集的離散點集來表示連續的輪廓邊線，這一過程稱為特征的離散化。接著算法根據特征點間的相對位置，通過log極坐標直方圖來進行描述。它對物體的旋轉、縮放和攝像機引起的輪廓畸變都不敏感，因此在分形識別方面具有較強魯棒性。圖3（b）、（e）所示分別為工件圖3（a）、 （d）的形狀輪廓，圖3 （c）、 （f）分別給出了圖3（b）、（e）中的4個標記點的內距離形狀上下文 （IDSC）值，其中每個小矩形塊都表示一個直方圖區間。通過對目標輪廓上一系列特征點的IDSC值的匹配可以得到兩個形狀的相似程度。

圖3 內距離形狀上下文描述示例

令A和B為兩個不同的形狀輪廓，pi為第一個輪廓上的特征點，qj為第二個輪廓上的特征點，令C （i，j）表示兩點匹配的代價，則Cij的值可由式 （3）得到

式中：hA，i（k）和hB，j（k）——pi和qj點處的形狀上下文直方圖，K——直方圖區間的總數量。所有可匹配特征點的代價總和即為兩個形狀的匹配代價。

圖4為不同前景目標的匹配示例。圖4（a）、（c）、（e）分別展示了3個用于匹配的前景目標圖片和輪廓。圖4（b）表示輪廓圖4（a）、（c）的匹配結果，匹配代價為79.527；圖4（d）表示輪廓圖4（a）、（e）的匹配結果，匹配代價為79.687；圖4 （f）表示輪廓圖4 （c）、（e）的匹配結果，匹配代價為32.860。可以看出匹配代價越小的兩個物體，其形狀越接近，因此可以使用匹配代價作為相似性的度量。通過與所有其他前景物體做形狀上下文匹配，可得該物體匹配代價總和。用單一目標的代價和與代價和的平均值進行比對，可為顯著性評測提供依據。

圖4 基于內距離形狀上下文的形狀匹配示例

在生成了顏色、形狀和面積3個方面的顯著性映射后，可通過線性加權合并和閾值化得到需要揀選的顯著性目標。圖5為圖1所示兩場景的顯著性檢測揀選結果，與其他前景目標差異最大的物體已被找出，以圓圈標志。為加快識別速度，還可從顯著性檢測后得出的合格物體中提取特征，用于快速揀選，以避免每次都進行顯著性檢測。

圖5 顯著性檢測揀選結果示例

3 揀選系統識別流程與特征修正

由于顯著性檢測需要耗費大量的系統時間，而其有效性和必要性往往在識別場景或目標發生變化時體現，因此本系統采用如圖6所示的顯著性識別與快速識別相結合的方法。在檢測的初期和目標發生更換的時候采用顯著性檢測方法找出缺陷目標，然后利用剩余的合格目標生成特征模板，并繼續進行基于模板匹配的快速識別。在快速識別過程中，利用已經取得的特征進行匹配性評價測試，找出缺陷目標。當合格目標數目小于2／3的時候，認為目標識別的環境已經發生了變化，需要重新啟用顯著性檢測機制提取特征模板。在合格目標數量大于2／3時，可利用合格目標不斷修正特征模板并繼續進行快速識別。

圖6 揀選系統識別流程

對于特征模板的修正采用的是區域積累的方式，每次快速識別之后對合格目標的特征進行采樣并求其與現有特征的差分，存入特定區間。區間積滿后，對區間內的差分值進行求和，并累加到現有特征上進行修正。這樣的過程相當于積分運算，較大的積累區間能提高修正的準確性，但是需要更大的存儲空間。

通過兩種識別方式相結合的檢測方法，在識別環境發生變化的時候，系統可以自動大幅度調整其目標特征來避免人工干預，從而達到自適應的目的；在環境穩定的情況下，又可以利用傳統的模板匹配方法進行快速識別，縮短了識別時間，提高了工作效率。而對模板特征的不斷修正也是保障識別正確率的一個重要手段。

4 工業機器人揀選控制系統

圖7 機器人控制系統軟件結構

找出缺陷目標后，需要使用工業機器人將其揀選出來。本文基于數控中心擁有自主知識產權的華中數控HNC－08型數控系統設計了一套機器人揀選控制系統。該機器人數控系統運動的最小分辨率為0.001μm，最小插補周期為0.125ms，充分保證了機器人速度的穩定性和運動的精確性。圖7所示為機器人控制系統軟件結構。場景視頻經由圖像識別終端分析后得到缺陷物體的圖像位置，并將所得像素坐標經坐標變換轉換為機器人三維位姿坐標后通過以太網傳輸給數控系統。數控系統上運行的控制系統軟件通過通訊管理模塊接收到位姿坐標，并由核心應用模塊處理后調用機器人軟件操作接口產生相應的機器人操作指令，最后通過NCUC總線驅動模塊輸出到伺服驅動單元控制機器人運動到相應位置實現揀選。

圖8所示為控制系統的進程結構。控制進程的工作由多個有效線程共同完成，其中網絡線程完成以太網的通訊工作；資源控制、狀態控制和異常檢測任務由監控線程完成；實時控制線程負責機器人語言程序的解釋和位姿坐標的解析，并可通過總線驅動模塊向伺服驅動單元傳遞轉動參數，從而引導機器人定位抓取相應目標。圖9所示為使用數控中心R8405機器人進行物品揀選的場景。

圖8 機器人控制系統進程結構

圖9 R8405機器人物品揀選示例

5 實驗驗證

將設計的工業機器人揀選系統應用于數控中心R8405機器人上，并進行水果、木塊、塑料插件等多種顏色、復雜形狀產品的缺陷揀選實驗，正確揀選率可達91.67%，目標定位精度誤差小于2mm。實驗表明，該揀選系統能夠準確、穩定地完成各種不同色彩、形狀目標的缺陷揀選工作，并對場景光照條件變化具有較強魯棒性。

6 結束語

產品缺陷檢測一直以來都是工業生產的重要環節，任何生產設備都不能保證生產出的產品全部合格。視覺引導下的機器人系統能夠準確地將不合格產品揀選出來，其穩定性和持久性都是人工無法比擬的，因此必將成為制造加工領域的發展趨勢。本文設計的工業機器人揀選系統以顯著性檢測技術為依托，實現了目標場景的自適應，提高了系統的自動化程度和工作效率，為農副產品的揀選和工業產品的合格檢測提供了有力的技術支持。

：

［1］ZOU J，LIU C C，ZHANG Y，et al.Object recognition using gabor cooccurrence similarity ［J］.Pattern Recognition，2013，46 （1）：434－448.

［2］Quyen Bui T T，Hong K S.Evaluating a color－based active basis model for object recognition ［J］.Computer Vision and Image Understanding，2012，116 （11）：1111－1120.

［3］Goferman S，Zelnik Manor L，Tal A.Context－aware saliency detection ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34 （10）：1915－1926.

［4］CHENG M M，ZHANG G X，Mitra N J，et al.Global contrast based salient region detection ［C］／／CVPR，Providence，RI，US，2011，409－416.

［5］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection ［C］／／CVPR Miami，FL，US，2009：1597－1604.

［6］Winnemller H，Kyprianidis J E，Olsen S C.XDoG：An ex－tended difference of gaussians compendium including advanced image stylization ［J］.Computers ＆ Graphics，2012，36 （6）：740－753.

［7］Einevoll G T，Plesser H E.Extended difference－of－gaussians model incorporating cortical feedback for relay cells in the lateral geniculate nucleus of cat ［J］.Cognitive Neurodynamics，2012，6 （4）：307－324.

［8］Stoutjesdijk M J，Zijp M，Boetes C，et al.Computer aided analysis of breast MRI enhancement kinetics using mean shift clustering and multifeature iterative region of interest selection ［J］.Journal of Magnetic Resonance Imaging，2012，36 （5）：1104－1112.

［9］Sunat K，Padungweang P，Chiewchanwattana S.Generalized transport mean shift algorithm for ubiquitous intelligence［J］.Simulation，2012，88 （10）：1202－1215.

［10］Sftoiu A，Gheonea D I，Ciurea T.Hue histogram analysis of real－time elastography images for noninvasive assessment of liver fibrosis ［J］.American Journal of Roentgenology，2007，189 （4）：W232－W233.

［11］Tsai S H，Tseng Y H.A novel color detection method based on HSL color space for robotic soccer competition ［J］.Computers ＆ Mathematics with Applications，2012，64 （5）：1291－1300.

［12］LING H，Jacobs D W.Shape classification using the inner－distance ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29 （2）：286－299.