基于改進SIFT特征和神經網絡結合的場景識別

郭昊琛 閆帥帥 劉天鶴

摘? 要：基于深度學習的場景識別作為計算機視覺領域的重要方向，目前仍存在部分問題，如僅提取圖像的高層語義特征而缺失了圖像的底層特征，針對這個問題，提出基于改進SIFT特征與深度神經網絡相結合的室內RGB-D圖像識別方法。首先提取圖像的SIFT特征，然后利用隨機森林算法根據重要度對SIFT特征進行篩選，然后結合基于ResNet的深度神經網絡，并提出基于深度直方圖與深度均值直方圖的深度損失函數，加速模型的收斂。實驗結果表明，算法可以在NYUD v2數據集上達到71.52%的識別率，有效提升了室內場景識別的準確率。

關鍵詞：改進SIFT特征;深度神經網絡;損失函數;深度直方圖

中圖分類號：TP183? ? ?文獻標識碼：A

Abstract：As an important direction of computer vision，scene recognition based on deep learning still has some problems，such as only extracting the high-level semantic features and missing the bottom features of an image.To solve this problem，the paper proposes an indoor RGB-D image recognition method based on improved SIFT features and deep learning neural network.Firstly，the SIFT features of images are extracted，the SIFT features are filtered according to the importance degree by means of the Random Forest Algorithm，and then the depth loss function based on the depth histogram and the depth mean histogram is proposed to accelerate the convergence of the model by combining the ResNet-based deep neural network.The experimental results show that the algorithm can achieve 71.52% recognition rate on NYUD V2 data set，and effectively improve the accuracy of indoor scene recognition.

Keywords：improved SIFT features;deep learning neural network;loss function;depth histogram

1? ?引言（Introduction）

隨著“人工智能”熱潮的到來，場景識別作為其中的關鍵技術之一，已經成為圖像處理領域的重要研究問題，場景識別技術的進步可以極大地推動智能機器人、圖像檢索、視頻檢索等領域的發展。Lowe[1]于1999年提出，并于2004年加以完善了尺度不變特征變換（Scale-Invariant Feature Transform，SIFT），該特征是用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量，對于旋轉、位移、縮放甚至遮擋都具有一定的穩定性。Wang等人[2]提出了MR-CNNs（Multi-Resolution CNNs）網絡，使用了多分辨率的設計，分別提取低分辨率的全局信息和高分辨率的細節信息，更加全面的利用圖像信息。

2? 基于傳統特征和深度學習的場景識別（Scene recognition based on traditional features and deep learning）

2.1? ?改進SIFT特征算法

由于SIFT特征是從尺度空間檢測極值點，導致SIFT特征具有邊緣效應，即圖像的邊緣處容易檢測到極值點，但其中一部分極值點是對分類無效的，去除掉這些無效的邊緣點，分類效果就會提升，但無差別去除邊緣上的特征點會丟失部分在邊緣上的有效特征點，導致損失一部分底層信息[3]。

本文使用隨機森林算法對SIFT特征進行篩選，根據SIFT特征點與Canny邊緣點的歐式距離，賦予特征權重，以此來篩選SIFT特征，在保持底層信息不丟失的情況下，篩去大部分重要度低的SIFT特征，保留重要度高的SIFT特征。具體步驟為：

2.2? ?基于ResNet的深度神經網絡

隨著深度學習的不斷發展，網絡模型也不斷增多，主要改進方向之一就是加深模型層數，基于卷積神經網絡的深度網絡模型，往往通過不斷交叉疊加非線性函數和卷積網絡層增強整個網絡模型的表達能力，故更深的網絡通常代表著更佳的性能。但是隨著網絡深度的快速增加，過深的網絡模型不但沒有提高模型精準度，反而飽受梯度消失，梯度爆炸等問題困擾，導致了更高的訓練誤差。針對上述問題，何凱明等人[4]提出了基于殘差網絡結構的ResNet網絡模型，該模型與之前提出的分類網格相比，在收斂性能、分類準確率和訓練速度等方面都有了較大提升，本文主干網絡采用ResNet 50網絡。

目前多尺度的圖像金字塔網絡大多只采用網絡最后一層的特征，一般高層特征的語義信息比較豐富，但是目標位置比較粗略，Lin等人[5]提出了特征金字塔網絡（Feature Pyramid Networks，FPN）做預測。算法采用一個自底向上的路線、一個自頂向下的路線和橫向連接（Lateral Connection）。其中，橫向連接為自底向上的特征圖像經過一個1×1的卷積與自頂向下的特征圖像經過一個兩倍上采樣產生的特征圖像進行融合，再采用3×3的卷積核對每個融合結果進行卷積，目的是消除上采樣的混疊效應。

對于感興趣區域的獲取，Ren等人[6]提出了Faster-RCNN網絡，采用區域生成網絡（Region Proposal Networks，RPN）算法。其本質是基于滑窗的無類別檢測器，對于每一個可能的物體都生成九個滑窗，然后利用非極大值抑制對這些滑窗進行篩選，得到最終的感興趣區域。

2.3? ?基于深度直方圖的損失函數

本文在處理深度信息時，采用了深度直方圖特征，將深度信息投影到0—255的坐標軸上，根據每像素的深度值得到深度直方圖，然后再將每類場景的深度直方圖求出均值，得到深度均值直方圖。

參考了SVM的合頁損失后，本文為深度值加上權重與偏置，希望其可以無限的接近樣本真實類別的深度均值，然后引進一個松弛變量，使得當樣本加權深度信息值與該樣本真實類別均值深度值之差的二范數大于時，取損失，否則不計入損失，用來懲罰與真實類別的均值深度值相差過大的樣本，如式（8）所示：

2.4? ?算法模型

本文提出的算法模型如圖1所示，分為對彩色圖像的處理與對深度圖像的處理，對彩色圖像的處理又可以分為改進SIFT特征的處理與基于深度神經網絡的處理。

對彩色圖像進行處理時，先提取出圖像的改進SIFT特征，然后用隨機森林算法對SIFT特征進行篩選，篩選出重要度比較高的特征;然后將圖像輸入ResNet+FPN的主干網絡，然后連一個均值池化層（average pooling）和一個全連接層，得到特征;再由主干網絡接一個區域生成網絡和Proposal Layer得到ROI，再接一個全連接層，得到特征。

對深度圖像進行處理時，首先提取出圖像的深度信息直方圖，然后在計算出每一類的深度均值直方圖，根據提出的損失函數進行訓練，得到最優的權重和偏置。

3? 實驗結果與分析（Experimental results and analysis）

3.1? ?數據集與參數設置

實驗采用的是NYUD v2數據集，共有27類場景、1449張場景圖片，我們對樣本較多的十一類場景進行了翻轉、放大旋轉的數據增廣。

實驗平臺為Windows 10，處理器為Intel（R） Xeon（R） CPU E5-2620 v3 @ 2.40GHz的雙處理器，GPU為NVIDIA GeForce GTX 1080Ti，深度學習框架為PyTorch。

3.2? ?評價指標

場景識別領域常用的評價指標有兩種。第一種是準確率（Accuracy），其定義是對于給定的測試數據集，正確分類的樣本數與總樣本數之比，準確率越高，識別效果越好。第二種是混淆矩陣（Confusion Matrix），混淆矩陣的每一列代表了預測類別，每一列的總數表示預測為該類別的樣本數目;每一行代表了數據的真實類別，每一行的總數表示該類別的真實樣本的數目，它可以具體分析每一類的分類效果，主對角線上的數值越高，識別效果越好。

3.3? ?實驗結果分析

數據集中個別場景類別樣本較少，我們依照Gupta等人[7]將樣本分為12類（數據最多的11類和others）。實驗設定學習率為0.01，Batch_Size為16，Epochs為50，訓練10次取平均值，識別準確率如表1所示，可以看出，本文提出的基于改進SIFT特征與神經網絡相結合的算法模型在NYUD v2數據集可以達到71.52%的識別率。由于others類別中包含較多場景，對分類結果干擾較大，將others類別剔除，僅對樣本最多的11類進行識別，結果表明可將識別率提升至93.47%

4? ? 結論（Conclusion）

本文提出了基于改進SIFT特征與深度神經網絡相結合的RGB-D圖像識別算法，在NYUD v2數據集上的實驗結果表明，本文算法識別率可以達到71.5%，在剔除干擾類別后，可以提升至93.47%，識別率得到有效的提升，損失函數也可以穩定快速的收斂。

本文使用了改進的SIFT特征，改善了SIFT特征的邊緣特性，又將改進的SIFT特征于深度卷積網絡相結合，解決了深度神經網絡高層語義特征豐富但底層信息缺失的問題，實驗結果表明算法具有良好的魯棒性。

參考文獻（References）

[1] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision，2004，60（2）：91-110.

[2] Wang L，Guo S，Huang W，et al.Knowledge guided disambiguation for large-scale scene classification with multi-resolution CNNs[J].IEEE Transactions on Image Processing，2017，26（4）：2055-2068.

[3] 張春林，陳勁杰.基于改進SIFT和RANSAC的物體特征提取和匹配的研究[J].軟件工程，2018，21（11）：6-9.

[4] He K，Zhang X，Ren S，et al.Deep residual learning for image recognition[C].Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778.

[5] Lin T-Y，Dollár P，Girshick R，et al.Feature pyramid networks for object detection[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：2117-2125.

[6] Ren S，He K，Girshick R，et al.Faster r-cnn：Towards real-time object detection with region proposal networks[C].Advances in neural information processing systems，2015：91-99.

[7] Gupta S，Arbelaez P，Malik J.Perceptual organization and recognition of indoor scenes from RGB-D images[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2013：564-571.

[8] Song X，Herranz L，Jiang S.Depth CNNs for RGB-D scene recognition：learning from scratch better than transferring from RGB-CNNs[C].Thirty-First AAAI Conference on Artificial Intelligence，2017.

[9] Herranz-Perdiguero C，Redondo-Cabrera C，López-Sastre R J.In pixels we trust：From Pixel Labeling to Object Localization and Scene Categorization[C].IEEE/RSJ International Conference on Intelligent Robots and Systems，2018：355-361.