一種基于圖像處理的機器手抓握滑移檢測方法

（常州大學 機械工程學院，常州 213100）

機器手是機器人的關鍵部件之一，欲在抓取物體時不發生脫落，首先應檢測物體接觸面上的滑移，再通過控制夾持力來防止目標物體與機器手之間發生相對滑動，最終協助機器人完成抓取和操作任務。因此滑移信號的檢測是機器人完成高精度抓取與操作任務的關鍵所在[1-2]。

目前常見的檢測機器手與抓握對象間滑移現象的方法有[4-6]：磁力式滑覺傳感器、觸針式壓電晶體滑覺傳感器、滾筒式滑覺傳感器、振動式滑覺傳感器、基于電聲原理觸滑覺傳感器、基于新型壓阻觸滑覺傳感器、基于壓電材料PVDF薄膜滑覺傳感器等，但以上的滑覺檢測方法分別存在結構復雜、靈敏度低、成本高等缺點。本文嘗試提出一種反應靈敏、可靠性高的基于視覺的機器手抓握滑移檢測方法。

1 基于圖像處理的機器手抓握滑移檢測系統

基于圖像處理機器手抓握系統裝置如圖1所示。系統主要由視覺傳感器、顯微鏡、通訊模塊、圖像處理模塊及控制計算機等構成。固定于機器人手指腔內視覺傳感器和鏡頭實時采集被抓握物體表面的圖像，通過USB通訊模塊將采集到的信號傳至控制計算機。

圖1 基于圖像處理機器手抓握滑移檢測裝置Fig.1 Vision-based robot gripping slip detection device

控制計算機通過對連續采集到的被抓握物體表面圖像做實時圖像匹配分析，判斷是否發生滑移及滑移的方向和大小。如圖2所示，（a）、（b）為視覺傳感器連續采集被抓握物體表面的2幀圖像，將圖（a）中的特征區域S作為模板，定義其左上角為點P1。在圖（b）中通過圖像匹配算法可找到特征區域S，并定義特征區域S的左上角為點P2。對比特征區域S在2幀圖像中P1、P2點的位置坐標，若x1≠x2或y1≠y2，則被抓握物體在采集這兩幀圖像的過程中發生了滑移。

圖2 被抓握物體表面的2幀圖像及匹配Fig.2 Two images and matching of the gripping object surface

為實現系統的快速實時檢測，控制計算機采用Visual Studio2008作為開發工具，選取MFC設計了一套友好的人機交互界面，如圖3所示。

2 圖像匹配

圖像匹配就是將包含同一景物拍攝下來的2幅圖像在空間上進行對準，以確定出這2幅圖像間相對位置的過程[7]。本文采用圖像匹配領域中被認為是最佳的相似性評判依據，基于灰度信息的歸一化互相關算法（NCC）。它的優點是算法簡單、匹配精度高、不受外部光照影響、對噪聲具有一定的魯棒性，且當圖像相對縮放、旋轉和畸變差異不大時，也能夠得到滿意的匹配[8-9]。NCC算法就是將2幅圖像的相似性歸結為2個向量的相似，公式定義為[10]

若a與b相似，則它們的方向基本相同，其夾角 θ近似為 0，即 cos θ≈1，因此，可以根據 cos θ的值判斷這2個向量的相似性。在信號處理中，歸一化互相關算法經常用來衡量2個信號的相似性，2個信號越相似，則其NCC值越接近1。將其推廣到二維圖像中（如圖4所示），其主要思想為不失一般性，假設待匹配圖像S的大小為M×N，模板圖像T的大小為m×n。Su，v表示模板T在待匹配圖像S上平移時，搜素窗口所覆蓋的子圖區域。其中，（u，v）表示子圖區域左上角頂點在S中的位置坐標。計算并記錄子圖Su，v與模板圖T的NCC相關值，其中最大值對應的子圖位置即為最佳匹配點的位置。

圖4 待匹配圖像S與模板圖像T的示意圖Fig.4 Image to be matched S and template image T map

NCC匹配算法的公式定義為[11-13]

其中：

3 基于圖像處理的抓握滑移檢測算法

基于圖像處理的機器手抓握滑移檢測是通過匹配由視覺傳感器連續采集到的2幀圖像來判斷抓握物體是否產生滑移。本文是通過數字相機來采集被抓握物體表面的圖像數據信息，因此由于成像系統、傳輸介質、記錄設備等的不完善會導致采集到的被抓握物體表面圖像在其形成、傳輸記錄過程中受到多種噪聲的污染，因此，需要對采集到的被抓握物體表面的圖像做濾波去噪以及增強有用信息等預處理。由于相鄰的2幀圖像存在相同特征區域，對比這些相同特征區域的位置信息是否發生變化，可以判斷出機器手所抓握物體表面是否發生滑移和滑移的方向與大小。

在試驗中，由于基于圖像處理機器手抓握滑移檢測的采集時間間隔很短，在此期間被抓握物體可能只是產生平移滑動，即使發生旋轉滑移，其旋轉角度也較小，且圖像的主要特征體現在靠近中心的區域部分，因此，可以采取中心區域匹配的思想來提高匹配準確度及降低NCC算法的時間。將抓取過程中采集的某一幀圖像作為第一幀圖像，連續采集到的下一幀圖像作為第二幀圖像。計算步驟如下：

1）對采集到的2幀圖像做灰度轉化、高斯濾波、灰度直方圖均衡化等預處理；

2）在實時抓取的第一幀圖像中，以中心50像素×50像素區域作為圖像匹配的模板T，其左上角設為點P0，計算模板T的均值；

5）比較NCC系數得到最大NCC系數值及其對應子圖的起始點坐標P；

6）根據模板起始點P0和匹配圖像起始點P的坐標，計算被抓握物體的滑移情況，包括滑移的方向和大小并顯示至人機交互界面。

4 試驗分析

通過對紙質材料（紙盒）進行抓握滑移檢測試驗來驗證基于圖像處理機器手抓握滑移檢測方法的可行性。

圖5前幀圖像（a）和本幀圖像（b）為視覺傳感器連續采集到的被抓握紙質物體表面的2幀圖像，大小為640像素×480像素。采用上述中心區域匹配的NCC算法，即以前幀圖像（a）的中心50像素×50像素區域作為模板，本幀圖像（b）的中心100像素×100像素作為待匹配圖像，并將實時匹配的結果顯示在人機交互界面上，如圖6所示。

圖5 視覺傳感器連續采集到紙質物體表面的2幀圖像Fig.5 Two images of paper surface collected by camera continuously

圖6 被抓握紙質表面材質物體滑移檢測的試驗輸出Fig.6 Slip detection experiment output of the paper surface object

由圖6的人機交互界面可以看出被抓握物體的滑移情況，在連續采集到的2幀圖像中，采用上述匹配算法，最大NCC系數對應子圖的左上角像素點位置坐標即為本幀坐標Q（294，235），水平滑移量為Δx=-1，垂直滑移量為Δy=20。由試驗結果可得，被抓握的紙質材質物體在采集這2幀圖像的期間發生了滑移，水平方向向左滑移了1個像素點，垂直方向向下滑移了20個像素點。

為驗證試驗的準確性，可以通過專業的圖像處理軟件，對比2幀圖像上相同特征點的像素坐標，可以得到在采集被抓握物體表面2幀圖像期間被抓握物體的滑移情況。利用專業圖像軟件可得上述兩實時圖相同特征點對應的位置坐標如圖7所示。

圖7 視覺傳感器連續采集到紙質物體表面的2幀圖像及相同特征點坐標Fig.7 Two images which collected continuously and the same feature point coordinates camcorder to the paper surface of the object

由圖 7 的（a）、（b）可知，相同特征點（圖中鼠標筆尖點）在前幀圖像（a）的位置坐標為（281，174），在本幀圖像（b）的位置坐標為（280，194）。對比計算這 2 點坐標，可得：Δx′＝-1，Δy′＝20。 這一計算結果表明被抓握的紙質物體在采集這2幀圖像期間發生了滑移，水平方向向左滑移了1個像素點，垂直方向向下滑移了20個像素點。此結果與上述人機交互界面輸出的結果一致，因此驗證了本文提出的基于圖像處理的機器手抓握滑移檢測方法的準確性。

5 結語

本文提出了一種基于圖像處理機器手抓握滑移檢測的方法，通過對連續采集到的兩幀被抓握物體表面圖像，利用歸一化互相關（NCC）的匹配方法做匹配分析，可以得到在采集圖像期間被抓握物體的滑移情況。并試驗研究分析了機器手抓握橡膠物體和紙質物體時發生的滑移情況，驗證了本方法的可行性。試驗結果表明，此方法可以準確檢測被抓握物體是否發生滑移及滑移的方向和大小，具有高準確度、高靈敏度等優點。

[1]周亞平．圖像配準技術研究[D]．西安：西安電子科技大學，2008.

[2]CRANNY A，COTTON D P J，CHAPPELL P H．Thick-film force and slip sensors for prosthetic hand[J]．Sensors and Actuators A，2005（123-124）：162-171．

[3]葛亦斌，盛蒙蒙，邱燁．一種基于機器手新型滑覺傳感器的研究[J]．中國科技博覽，2009，24：229-230.

[4]王穎，陳進軍．基于電聲原理觸滑覺傳感器的研究[J]．傳感器技術學報，2009，22（12）：1701-1703．

[5]向婷，陳進軍．基于新型壓阻觸滑覺傳感器軟抓取機械手的研究[J]．制造業自動化，2013，35（3）：69-71．

[6]辛毅，楊慶雨，鄭浩田，等．PVDF觸滑覺傳感器結構及其調理電路設計[J]．壓電與聲光，2014，36（1）：76-84．

[7]夏經亮，張少軍，賀雙喜．圖像測量中的自動調焦和對準系統的研究[J]．計算機測量與控制，2005，13（7）：653-655．

[8]Du-Ming Tsai，Chien-Ta Lin．Fast normalized cross correlation for defect detection[J]．Pattern Recognition Letters（SO 167-8655），2003，24：2625-2631．

[9]李子印，許斌，陳立峰．基于自適應步長選擇的NCC圖像匹配算法[J]．光電工程，2013，40（10）：77-84．

[10]孫卜郊，周東華．基于NCC的快速匹配算法[J]．傳感器與微系統，2007，26（9）：104-106．

[11]Yu Rong，Tan Yuegang．Research on a new-style visual sensor for measurement[C]//The 1st International Symposium on Digital Manufacture，2006．

[12]韓冰，王永明，劉楊，等．一種基于積分圖像的快速歸一化及相關運算[J]．導彈與制導學報，2009，29（5）：283-286．

[13]胡敏，賀曉佳，王曉華．快速區域質心圖像匹配算法[J]．電子測量與儀器學報，2011，25（5）：455-462．