基于立體視覺技術的家政機器人抓取技術研究

丁雪梅，任柏寒

（吉林建筑科技學院，吉林 長春 130000）

0 引言

立體視覺匹配技術[1]的區域匹配是將大視角圖像轉化為許多塊狀圖像或改變圖像對的尺度大小來劃分對應的區域，但是不同的視角會獲得不同的圖像，就會導致對同一環境產生多個不同的圖像，從而難以進行區分，同時會使得對比過程中出現糊圖現象，導致對大視角圖像[2]中的區域進行識別較為困難，對上述問題通過以下算法步驟嘗試解決：

1 通過區域匹配算法確定家政機器人活動范圍以及初步判定抓取物品

第一步：檢測并擬合兩幅待匹配圖像的最大穩定極值區域[3]，然后，對擬合的橢圓區域進行歸一化，然后對歸一化的圓形區域進行SIFT描述[4]，得到128維SIFT描述符，將SIFT描述符的最近鄰與次最近鄰之比小于某個閾值（閾值設置為0.85）的區域對用作初始匹配區域對；

第二步：采用高斯差分特征檢測方法對匹配區域內的特征點進行檢測，準確獲取特征點的位置信息和尺度信息；

第三步：在特征點尺度所在的高斯圖像上，構造以特征點為中心的橢圓鄰域，對鄰域進行歸一化，然后對歸一化的圓形區域進行SIFT描述，得到基于mser的128維SIFT描述符；

第四步：對mser區域[5]所有的特征點進行一體化，并將其進一步歸一為單位圓，得到二維空間描述符（包括距離描述符和角度描述符），這種二維空間描述符具有仿射不變性的，此時對圖像處理的方法結合了區域匹配和點匹配；

第五步：通過獲得的基于mser的sift描述符和基于mser的二維空間描述符構造綁定距離，然后利用綁定距離的相似性策略得到最終正確的匹配點對。

區域匹配通過給定同一場景的兩幅圖像，然后進行粗尺度上圖像對之間對比，對比成功就代表該圖像對應的區域為可清潔區域，在對比過程中的差異部分進行保留。如果將圖像對空間劃分許多圖像單位，則與劃分之前相比，圖像單位中的任何圖對應圖像單位的相似度都會提升。

在匹配區域的算法內，首先用尺度不變的dog檢測器提取特征點，然后用描述子描述特征點，其中包括新描述符集成了基于mser的SIFT描述和基于mser的空間描述符，兩者都具有仿射不變性。基于mser的Sift描述符使用基于mser的自適應橢圓區域代替圓形區域來描述特征點。主方向sift描述子的設置和計算在自適應橢圓區域的歸一化圓區域內，保證了描述子的仿射不變性。基于mser的空間描述符由標尺組成，度不變特征點由其所屬的歸一化mser單位圓區域中的空間信息組成。最后采用結合距離的相似性策略，得到正確的匹配點對。其中組合距離考慮了光學和多個因素，匹配信息使匹配更加準確。

2 通過特征匹配算法對區域匹配的差異部分進行二次匹配

在對差異區域進行二次對比分析時，先是記錄多種常見生活垃圾的圖像作為第一份圖像，然后提取第二幅圖像中每個特征點的可能范圍，形成一幅小圖像，然后檢測小區域中是否有特征點。如果找到特征點，將特征點放在一個容器中，將第一幅圖像中的對應點放在另一個容器中；如果在該區域中未找到特征點，則顯示第一幅圖像，并丟棄圖像的對應點。然后，匹配兩個容器中的特征點，從而判斷是否對第二幅圖像中的物體進行抓取。

對區域匹配產生并記錄的差異區域進行二次匹配，此時利用慣性導航信息可以提高特征匹配速度，減少誤匹配。由于感知導航系統通常是通過匹配圖像的特征點來實現的，為了通過獲得的圖像獲得穩定的姿態，需要提取穩定的特征點進行狀態變化估計，但大量的特征描述符會導致匹配速度變慢；同樣，特征匹配也會受到不匹配的限制，從而降低姿態估計的效率。通過利用固定在相機上的慣性導航提供的姿態[6]，可以縮小特征匹配時的搜索范圍，從而提高時間效率，減少成本失配。利用慣性導航提供的數據，通過旋轉矩陣和平移向量將圖像中的特征點投影到第二幅圖像中，形成核心線。這條核心線提供了一個尋找可能匹配的特征點的區域，它減少了用于特征比較的特征描述符的數量，并減少了錯誤匹配。時間效率和失配是影響匹配的兩個主要因素，直接影響相機姿態估計的速度和精度。

主要有四種基于特征的圖像匹配方法：

（1）對圖像的特征點進行匹配。圖像特征點匹配包括建立模板與待匹配圖像，計算特征點集之間的點對點對應關系，并計算對應點之間的相似度來判斷圖像是否匹配和點對點匹配，點對點匹配為無顯示的方式，其主要包括最小均方差匹配。

（2）對圖像的邊緣線進行匹配。邊緣線[7]通過邊緣檢測[8]得到，在對比時將對比的圖像塊進行重疊，從而實現快速對比。

（3）對圖像的閉合輪廓進行匹配。輪廓匹配[9]與邊緣匹配對比方式相同，通過重疊法進行快速比較。

（4）對圖像的幾何約束進行匹配。對圖像特征之間的幾何約束進行比較，并將結果作為相似性度量，進一步提高匹配算法的速度。基于特征的匹配方法一般具有良好的抗灰度畸變和幾何畸變能力，并具有一定的抑制噪聲干擾能力，其關鍵在于穩定、自動和一致的特征提取。

在圖像特征匹配階段，現有的圖像匹配算法對特征描述子進行匹配，會產生大量的不匹配，這不僅會降低匹配的精度，而且會增加圖像匹配的時間。當視覺采集傳感器與慣性導航傳感器組合時，可借助慣性導航數據計算特征點可能在同一時間之后的下一次出現在圖像中的區域；然后在該區域內找到與圖像中前一時刻對應的特征點相匹配的特征點，這樣可以提高特征點匹配的精度，減少搜索匹配特征點的面積，減少匹配時間，采用的匹配算法步驟如下：

第一步：選擇兩幅要匹配的圖像，每個傳感器數據都有其對應的時間文件，從時間問題文件中找到兩幅圖像對應的時間問題；

第二步：讀取慣性導航數據文件，并且在存儲慣性導航數據文件的文件夾中有一個圖像數據集，該圖像數據集用于存儲慣性導航數據文件，圖像中有一對一的對應時間問題，根據圖像對應的時間問題，需要找到具有相同時間問題的慣性導航數據文件；

第三步：檢測兩幅圖像中的特征點以形成特征描述符選擇圖像特征匹配算法檢測兩幅待匹配圖像的特征點并形成特征描述符，因為不同的算法具有不同的魯棒性，有必要分析車載系統拍攝的圖像的特征；

第四步：估計所述第二圖像中特征點的坐標范圍所述坐標值可從所述待匹配的第一圖像的第三步中檢測到的特征點獲得，然后根據匹配圖像對應的慣性導航數據，利用待匹配的特征點獲得坐標值，根據第三步計算圖像中特征點的變化，并且該特征點在第二幅圖像中找到一個對應的點，并圍繞該點劃定搜索范圍。

在區域匹配和特征匹配的組合判定下，先是判定工作區域，然后在工作區域內尋找差異圖像，將這部分差異圖像進行記錄，接著通過特征匹配進行對比，對比物為常見的生活垃圾，當對比度足夠時，通過家政機器人將對比物抓取，送入垃圾桶內。

3 家政機器人抓取規劃

根據家政機器人操作的要求，從機器人需要依次完成抓取動作、移動動作和投入垃圾桶動作等動作。然而，時滯問題往往影響運行的可靠性和穩定性。一方面，在時間的影響下，系統的輸出在延遲之前由于輸入信號的作用不會響應。操作員需要面對t時間之前的狀態量，這種情況下操作員不能從抓取機構的實時反應下獲得反饋，從而難以進行操作，導致操作失敗，甚至無法進行操作；另一方面，輸入延長會引起系統的相位滯后，對于維持系統的穩定性極為不利。因此，對于機器人的自主操作極具實際價值，能夠有效提高操作的實時性和可靠性，降低人們的成本勞動強度。

在家政機器人的操作系統內設置有遠程遙操作機器人系統，遠程遙操作機器人系統的是指操作者直接在本地控制主機器人的運動的模式，在這種模式下機器人的位置、姿態等運動信息通過無線信號傳輸給控制單元，控制單元在操作員的控制下對機器人進行命令，使得機器人能夠完成與操作員所期待的動態操作，當遠程監控攝像機將遠程截獲物體和環境的圖像信息傳輸到本地工作站顯示器時，主終端應根據截獲物體的位置進行操作。操作員控制主操縱器的運動，主終端控制計算機以檢測主操縱器的位置和位置，并通過網絡將手指的閉合位置發送到遠程從屬作業。從機器人跟蹤主機械手的位置和姿態，逐個接近目標，形成預抓取模式，同時，從機器人與遠處環境相互作用產生的力也通過機器人傳輸給操作員的通信鏈路反饋給主機器人，使本地操作員能夠感知遠程操作信息并產生身臨其境的感覺，在面對難以自動抓取的物體時可以由戶主控制遠程抓取，同時提升了家政機器人的可玩性[10]。

4 結語

區域匹配對比同一場景的兩幅圖像，然后在粗略的尺度上比較圖像對。如果比較成功，則意味著與圖像對應的區域是可清潔區域，并且保留比較過程中的差異部分。特征匹配對不同區域進行二次比較分析。在對區域匹配生成和記錄的差異區域進行二次匹配時，利用慣性導航信息可以提高特征匹配的速度，減少誤匹配。在區域匹配和特征匹配的組合判斷下，首先確定工作區域，然后在工作區域中找到差異圖像，記錄這些差異圖像，然后通過特征匹配進行比較。對比對象為普通生活垃圾。如果皮革和紙屑，對比度足夠時，通過家用機器人抓取對比物，將其送到垃圾桶完成垃圾收集。通過組合比較，將全家人的垃圾收集能力添加到家用機器人上，進一步解放房主的雙手，打造更美好的生活。