基于3D視覺傳感器邊緣識別和追蹤算法的研究

趙躍東，孫多潤，郭警中，劉煥曉，傅成林，王 銳，王 勇

（安徽維德工業自動化有限公司，安徽 合肥 230000）

隨著人工智能的迅速發展，計算機視覺的應用越來越廣泛，例如：智能交通系統、視頻監控系統以及基于視覺的行為分析系統等等，雖然經過幾十年的發展，但是視覺跟蹤問題仍然是一個重要的但是嚴峻的話題；本文基于3D視覺傳感器邊緣識別和追蹤算法采獲取相機運動軌跡，并通過直接交互對點云進行分割。統計飛點濾波器對模型噪聲點進行抑制，最后將模型轉換到以模型幾何中心點為原點，以包圍盒最長邊為Z軸，以最短邊為X軸的模型坐標系。

1 相關技術概述

1.1 3D視覺傳感器

機器視覺作為人工智能領域發展最快速的分支之一，從20世紀50年代起主要基于二維圖像的分析、識別與解釋；到60年代逐漸從二維平面過渡到三維計算機視覺研究，根據二維圖像提取出多面體的三維結構，并描述它們的形狀空間關系；再到70年代，Marr教授提出了在視覺系統中第一個較為完善的框架-Marr視覺理論[1]，同時也將機器視覺的研究推向了一個新階段；而自80年代以后，愈來愈多新方法、新概念被提出，并且機器視覺的研究不再僅僅局限于實驗室，而開始被更多地應用于實際生活、生產中。機器視覺系統主要是用計算機來模擬人的視覺功能，從客觀事物的圖像中提取信息，進行處理并加以理解，最終用于實際檢測、測量和控制。

1.2 邊緣識別

基于Sobel算子的邊緣檢測算法定位準確，具有一定的抗噪能力，雖然單邊響應差。但其計算簡單是一種十分常用的邊緣檢測算法。圍繞該算法的基于FPGA應用的研究也相對較多。Canny邊緣檢測算法是經典的邊緣檢測算法中理論最為完善，效果最好的。

1986年Canny提出好的邊緣檢測算法應該滿足的三個準則：信噪比準則，定位精度準則，單邊響應準則，同時列出了函數表示。其中要提高信噪比就需要濾波平滑消除噪聲，但濾波的平滑效果同樣會作用到邊緣像素點，使圖像邊緣模糊，影響到邊緣檢測的定位精度。

1.3 追蹤算法

3D視覺識別系統中還有一個極為重要的部分那就是對目標物體的識別，一般來說按照被識別目標不同可以分為了兩種：靜態追蹤和動態追蹤。動態識別是借助于動態視頻的基本序列來實現的。不過不管是動態還是靜態，識別過程都是固定的首先是對物體進行檢測，然后把關鍵的物體特征進行數據提取，之后按照數據類型對應的規格參量進行分類。關于目標對象的分類也是與提取特征有直接關系的，常見分類包括支持向量機、卡爾曼濾波等等。卡爾曼濾波模型不僅能夠涵蓋圖像在時間空間上的實時信息還具有著很高的魯棒性，所以被很多專家學者使用在動態圖形的追蹤領域。卡爾曼濾波理論的主要算法基礎是最大似然準則，在該基礎下的卡爾曼濾波模型識別能力較低，所以本文選取的是擴展C型卡爾曼濾波模型，在實際檢測過程通過加入狀態中心參數來實現模型的擴展，然后依次為基本再借助于狀態空間的隱射算法建立更加科學的模型。由上文的介紹可知我們已經成功取得實驗所需的圖像，由于一個物體圖像中包含不止一個表情識別的提取特征，因此需要通過計算特定關鍵點的方式計算出實驗圖像的所有特征數據，然后借助于擴展性卡爾曼濾波模型進行追蹤。

2 算法總體框架

在本章中，基于卡爾曼濾波的多特征協同作用的多目標跟蹤算法主要包含2個部分：目標檢測、運動目標模型。在目標檢測階段，本論文采用方向梯度直方圖和支持向量機來對目標檢測檢測。

2.1 運動目標檢測

在對人臉表情生物特征進行提取過程中，Gabor往往會因為函數配置系統的不同會得到一個函數族群，通過此族群Gabor函數，就可以實現對圖像多角度，多尺度的生物特征的提取和研究。二維Gabor函數可以用以下方式進行表示：

由此可知，二維Gabor函數其實就是在復平面上經過了直流偏移和高斯函數加窗處理的振蕩波。

其中：x為二維空間點也是濾波器的有效參數。kμ，v是由多個Gabor函數組成，其直主要代表濾波器的中心頻率，反映特定方向上所獲得額最大響應，σ為常量，exp（ikμ，vx）為復數域的振蕩函數。

對Gabor函數進行傅里葉變換，結果如下式所示，對結果分析可知，二維Gabor函數是一個帶通濾波器，常用于特征的檢測和提取。

鑒于二維Gabor函數可直接被濾波器采用，所以在對二維圖像進行Gabor變換的整個過程中也是對二維圖像進行濾波進而提取圖像特征的過程。在此過程中，原有的圖像會在濾波器下進行不同角度的重合，當圖像的紋理方向和濾波器中重合時，此時濾波器就會產生及時的反饋，進而達到對圖像生物紋理提取的目的。當所提取的生物特征屬性角度適宜，范圍夠廣時，此時系統就可以將原圖像的紋理特性全部提煉出來。

圖1 5尺度8方向的Gabor小波實部

所以說，對圖像做的二維Gabor濾波響應應該是一個復數響應，這樣的響應由兩部分構成，即實部和虛部。圖像的Gabor特征都可以用該結果的實部、虛部、幅值和相位進行表示。一般情況下，Gabor函數的實部和虛部在圖像變換周圍是不夠穩定的，但是幅值和相位在這些位置卻具有良好的光滑性，不會出現強度較大的震蕩，所以，本文在獲取圖像Gabor特征時采用的是對濾波結果的幅值提取的方法，如下式所示。

為了能夠得出Gabor濾波器在圖像特征上更加清楚的響應特性，進行下面的試驗分析，在對人臉圖像進行濾波的時候使用Gabor濾波器，將得到的幅值變化情況提取出來

2.2 目標模型

為了表示每一個運動目標與其他運動目標的區別，本論文可以提取該運動目標本身的固有屬性，比如運動目標的外觀顏色直方圖、可以體現目標顏色空間信息的紋理特征以及目標位置的空間信息，并以此來計算目標與候選目標之間的相似度，進一步地，可以根據目標所處的不同狀態（遮擋、不遮擋、背景相似度），調節每一種模型所占的比例。

2.3 跟蹤策略

所謂的運動目標檢測就是在有序的圖像或視頻中將感興趣的目標從相對復雜的背景中找出來。但是，由于目標發生形變、光照出現變化、目標被擋住、背景出現擾動等因素的存在，使運動目標檢測變得更加困難，往往會出現目標檢測或追蹤不正確的問題，有時甚至會使目標丟失。此外還存在外界光照強度的變化，因此借助動態檢測來提取運動前景，進而達到減小搜索范圍的目的。

在跟蹤過程中，每隔一段時間t取出一幀圖像，每得到K幀圖像，就更新一次背景圖像。背景圖像中的每個像素的值是這K張圖像中所有對應位置的像素的中值。設背景圖像為bg（x，y），得到的K張圖像的集合為imgs，則有：

跟蹤視頻中每幀都會生成一張運動二值圖，用來標記當前幀中的所有運動像素（與背景圖對應像素差值大于閾值th的像素）。對于所有視頻幀中的運動像素，將運動二值圖中對應位置的值置 1，否則置0。為了解決靜止人臉的檢測問題，將上一幀所有檢測到的人臉區域標記為運動區域（在運動二值圖中將所有對應位置標記為1）。將圖像灰度化之后，運動二值圖的運算可以表示為：

通過跟蹤視頻采集后的圖像都需要經過一定程度的圖像預處理，這樣對于后續的檢測、識別都具有非常明顯的優勢。

3 算法實驗分析

未驗證以上算法的可靠性，本文策劃了實驗來對算法進行分析，如圖對毛球罐，風扇盒子和紅茶分別進行建模；將待重建的物體置于由雜志頁覆蓋的旋轉平臺上（雜志頁紋理豐富用以增加 跟蹤算法的穩定性），打開攝像機，手動緩慢旋轉平臺，采集圖像，圖2左邊欄展示的是采集的三個物體的部分視角圖像，可以看到由雜志覆蓋的旋轉平臺。采集圖像一周后采集月15～25張圖片，即可交由重建算法進行物體重建。重建結果可見圖2右邊欄，可見對于一般的幾何體，該方法可以有效地進行重建。表1比較了重建后尺寸與真實尺寸，可以兩者的誤差基本在1cm以內，基本可以用于位姿估計和機器人抓取規劃。

圖2 實驗重建結果

表1 模型重建值和真值對比

4 結論

實現了一種基于旋轉平臺與RGBD相機的簡易模型重建方法。該方法3D視覺傳感器邊緣識別和追蹤算法采獲取相機運動軌跡，并通過直接交互對點云進行分割。統計飛點濾波器對模型噪聲點進行抑制，最后將模型轉換到以模型幾何中心點為原點，以包圍盒最長邊為 Z軸，以最短邊為X軸的模型坐標系。該方法簡易可靠，可用于中小型物體的三維重建。