基于深度學習的圖像動態特征點剔除方法

蘇鵬，羅素云

（201600 上海市 上海工程技術大學）

0 引言

圖像動態特征點，是指在動態環境下，相機獲取的圖像中含有動態物體，而在獲取圖像中的特征點時，部分特征點會落在此動態物體上，這部分特征點被稱為圖像動態特征點[1]。動態特征點的存在會影響特征點匹配、位姿估計等的準確性[2]。在無人駕駛領域，進行位姿估計時假定周圍環境都是靜態物體，但避免不了行人、汽車等動態物體干擾。當動態物體在圖像中占比較小時，一般可通過RANSAC（隨機抽樣一致）算法將其剔除，但當動態物體在圖像中占比較大時，RANSAC 算法則不能有效剔除這些動態特征點[3]，因此研究動態環境下動態特征點的剔除，對無人汽車的定位很有意義。

為了解決動態特征點影響特征點匹配問題，WANG[4]等通過光流法完成動態物體的過濾。但是光流法的運算量較大，且對光照變化敏感，魯棒性較差。隨著人工智能技術的發展，深度學習被越來越多的研究者應用到動態特征點剔除上。YU[5]等利用SegNet 網絡進行動態物體分割，利用語義信息來完成動態特征點的剔除；BESCOS[6]等利用Mask-RCNN 網絡和多視角幾何方法來識別動態信息；ZHONG[7]等通過深度圖像的深度值來判定動態物體來實現動態特征點的剔除；席志紅[8]等對SegNet 網絡進行改進，提出PSPNet 網絡，使識別出的動態語義信息更加準確；CHEN[9]等利用YOLO 模型并結合貝葉斯濾波識別動態特征。但是大部分方法會導致圖像特征點剔除過多，而保留的靜態特征點較少，導致特征點匹配效果不佳。

本文提出了一種在動態場景下結合深度學習的圖像動態特征點提出方法，創新點和主要工作包括：（1）將SSD（Single Shot MultiBox Detector）網絡模型融合到特征點檢測階段，獲取圖像的動態特征點存在區域；（2）通過高斯混合模型的聚類算法，對特征點進行分類、剔除；（3）對實驗結果進行評價，估算方法的有效性。

1 方法描述

本方法的系統框架如圖1 所示，主要包括動態區域檢測和動態特征點提取2 部分。首先對輸入的RGB 圖像進行ORB（Oriented FAST and Rotated BRIEF）特征點提取，再利用SSD 目標檢測模型對RGB 圖像進行動態區域檢測；同時，通過深度圖像賦予特征點深度值，再以特征點的深度值為對象，對動態區域內的特征點進行GMM（高斯混合模型）聚類處理。由于動態區域的中心點應為運動目標上的一點，以此點的深度值，判斷聚類后的特征點類別是否為動態特征點類別。最后實現動態特征點的識別與剔除。

圖1 整體框架流程圖Fig.1 Overall framework flow chart

2 目標檢測模型

隨著感知技術的發展，許多應用在目標檢測方面的卷積神經網絡模型被提出，最有代表性的有R-CNN、Fast R-CNN、Faster R-CNN、SSD 和YOLO 等。前3 種方法為two-stage 的方法，主要思想就是先找出可能包含待檢測目標的候選框，然后再通過分類和邊框回歸確定候選框中包含待檢測物體的概率。但因其包含的步驟較多，所以檢測速度不能達到很快。SSD 和YOLO 是one-stage 的方法，它把檢測直接簡化為一個回歸問題。通過設計大量的anchor 用于目標定位，因此省略了找出包含待檢測目標的候選框這一步驟，所以其檢測速度大大提升，實時性較強。

為了同時兼顧目標檢測的準確性和實時性，本文選擇SSD 算法作為目標檢測模型。SSD 是Liu Wei 等在2016 的ECCV 上提出的一種目標檢測算法[10]，相比two-stage 方法有更快的檢測速度，相比YOLO 又有更高的檢測精度。SSD 的網絡結構如圖2 所示。在特征提取部分，以VGG16 作為其基礎網絡的同時，將VGG16 的最后2 個全連接層（FC6，FC7）修改為2 個卷積層（conv6，conv7）。同時，又在之后添加了6 個卷積 層（conv8-1，conv8-2，conv9-1，conv9-2，conv10-1，conv10-2），最后通過全局平均池化輸出一個1×1×256 的feature map。同時加入了特征金字塔的檢測方式，不像YOLO 那樣只利用最高層的feature map，而是在檢測時同時利用多尺度的feature map（conv4-3，conv-7（FC7），conv6-2，conv7-2，conv8_2，conv9_2）。

圖2 SSD 卷積神經網絡Fig.2 SSD convolutional neural network

SSD 以Faster RCNN 中的anchor 作為基礎，提出了prior box 的概念。prior box 代表一些目標的預選框，它的生成規則如下：

（1）以輸出的每個feature map 上的cell 的中點作為中心來生成一列同心的prior box。

（2）prior box 的最小邊長為min_size，最大邊長為

（3）同時設置一個縱橫比r，即2 個長方形，

（4）min_size與max_size由式（1）決定

式中：m——feature map 的數量。

得到prior box 之后，SSD 通過分類和回歸獲得目標類別和回歸框的位置，以conv4-3 為例，如圖3 所示。

圖3 特征的分類與回歸流程圖Fig.3 Classification and regression flow chart of features

conv4_3 中的feature map 經過batch norm 和卷積，得到[1，21*Num_priorbox，W，H]大小的feature用于softmax 分類，得到[1，4*Num_priorbox，W，H]大小的feature 用于bounding box 回歸，由此可以判斷物體是否為動態類別，同時也得到了回歸框坐標。

本文采用基于pytorch 的SSD 目標檢測模型對圖像進行檢測，得到動態目標區域范圍如圖4 所示。

圖4 動態區域檢測結果Fig.4 Dynamic region detection results

3 特征GMM 聚類

3.1 特征提取

常見的特征點提取算法有sift、SURF、fast 等，ORB 特征是把fast 特征與brief 描述子結合，并改進和優化。相比其他特征提取算法，ORB 特征提取的速度較快，且具有旋轉不變性，可以滿足攝像頭在連續采集視頻幀時實時性的要求。

ORB 特征點采用FAST（Features from accelerated segment test）算法檢測特征點。FAST 的思路是用一個點與它周圍的點比較，如果它和周圍大部分的點都不一樣，則認為它是一個特征點。獲取步驟如下：

（1）從圖片中選取一個像素點P，為了判斷它是否是一個特征點，首先把它的灰度值設為IP；

（2）設定一個合適閾值t，當2 個像素點灰度值之差的絕對值大于t時，則認為這2 個點不同；

（3）考慮該像素點周圍的16 個像素，如果這16 個點中有連續的n個點都和該像素點不同，那么就認為它是一個角點。

當然也可以提出一個高效測試快速排除一大部分非特征點。該測試僅僅檢查上、下、左、右4個位置的像素。如果是一個角點，那么上述4 個像素點中至少有3 個應該和該點相同。如果都不滿足，那么該點則不是一個角點。

得到特征點后，需要以某種方式描述這些特征點的屬性。這些屬性稱為該特征點的描述子。ORB采用BRIEF算法來計算一個特征點的描述子。BRIEF 算法的思路是在關鍵點P的周圍以一定模式選取N個點對，然后把這N個點對的比較結果組合起來作為描述子。獲取步驟如下：

（1）以關鍵點P為圓心，以d為半徑做圓O。

（2）在圓O內某一模式選取N個點對。為方便說明，取N=4，實際應用中可以取N=512。

（3）選取的4 個點對分別標記為：P1（A，B），P2（A，B），P3（A，B），P4（A，B）。

（4）定義函數T

式中：IA——點A的灰度。

（5）分別對步驟（3）選取的點對進行T操作，將得到的結果進行組合，即得到該點的描述子。

3.2 GMM 聚類

GMM（高斯混合模型）聚類是k-means 模型的一種優化。k-means 模型聚類的原理是分別計算樣本中每個點與每個簇中心點的歐氏距離，樣本點離哪個簇中心點近，則被歸類于哪一個簇。但k-means 聚類出來的簇必須為圓形，因此聚類后的結果可能和實際的分布情況有很大差別。而GMM則是把所有的簇先假定看作多個高斯分布，然后通過樣本點找出K個高斯分布的期望和方差，聚類出來的簇的形狀更加靈活多變，且GMM 聚類進行簇的劃分時，是根據每個樣本點屬于某個簇的概率劃分的，聚類結果更加精確。

對于GMM 聚類，首先給定聚類后簇的個數K。對給定的樣本數據集，其高斯混合模型的概率密度函數由K個多元高斯分布組合成的混合分布表示：

式中：p（x|μ，Σ）——以μ為均值的向量；Σ——協方差矩陣的多元高斯分布概率密度函數；ωi——第i個多元高斯分布在混合模型中的權重，且

然后對于給定的聚類簇數k與樣本集，GMM以參數估計的方法推導出混合成分的參數。GMM訓練時采用極大似然估法：

但是通過式（4）無法直接求解，這里用到EM（Expectation-Maximization）方法求解，具體的步驟如下：

（1）根據給定的k值，初始化k個多元高斯分布以及權重；

（2）E 步：根據當前模型參數，計算第i個樣本在第k個分布中的概率；

（3）M 步：計算新一輪迭代的模型參數

式中：μk——第k個分布的期望值；Σk——第k個分布的方差。

（4）重復步驟（2）、步驟（3），直到似然估計值不再變化或達到最大迭代次數。

3.3 動態刪除

本文首先結合深度圖像對3.1 中提取出的ORB特征點賦予深度信息，然后通過2 中檢測出的動態區域，對目標范圍內的特征點基于深度信息進行GMM 聚類，考慮到動態區域內存在深度值大于動態目標深度值的物體與深度值小于動態目標深度值的物體，故將聚類簇的數量k設置為3，將動態區域內的物體深度值分為3 簇。由于SSD 模型檢測到的動態范圍中心點一定為動態目標，故將動態范圍中心點的深度值IO提取出來，計算聚類結果中3個簇的質心與中心點深度值的歐氏距離：

式中：k分別取1、2、3；Ik——聚類簇質心的值。

取S值最小時的聚類簇為動態目標的特征點聚類簇，其他2 個聚類簇則認為是靜態特征點，最后對此部分動態目標的特征點進行剔除。具體的算法框架如圖5 所示。

圖5 動態特征點剔除流程圖Fig.5 Dynamic feature point culling flow chart

4 實驗結果分析

選擇網上公開的數據集——TUM 深度圖像數據集進行實驗，驗證本文所提出的算法的有效性。圖6 是本文所采用的TUM 深度圖像數據集中的RGB 圖像。

圖6 原始RGB 圖像Fig.6 Original RGB image

圖7（a）是在選用的RGB 圖像上提取出的ORB 特征點，圖7（b）是通過SSD 算法和深度信息聚類來實現動態特征點剔除后的圖像。由圖7的實驗結果可以看出，動態目標上的特征點絕大部分都被剔除，且保留了動態區域內的靜態特征點。通過計算動態特征點數量與動態特征點的剔除數量，得出動態特征點的剔除率在94%以上，從而驗證本文算法可以有效剔除不同場景下動態目標上的特征點，以此提高特征點匹配、位姿估計的精度。

圖7 動態特征點剔除示例Fig.7 Dynamic feature point elimination examples

5 結語

本文采用了ORB 特征提取的方法，融合了一種基于深度學習的SSD 目標檢測模型與GMM 高斯聚類算法，并以公開數據集TUM 動態場景深度圖像數據集作為測試，實現動態目標上特征點的剔除。該方法在實時性、剔除率上取得了良好效果，但是在實際應用中由于相機受光照強度影響，導致動態目標上一些邊緣特征的深度值采集效果不好，部分邊緣動態特征點剔除失敗，因此要進一步改進算法提高動態特征點的剔除率。