基于改進ResNet-50的圖像特征提取網絡

湯博宇，焦良葆，2，徐 逸，魏小玉，孟 琳

（1.南京工程學院 人工智能產業技術研究院，南京 211167；2.江蘇省智能感知技術與裝備工程研究中心，南京 211167）

0 引言

圖像的特征反應出了一幅圖像的獨特之處，其中包含著明顯的結構性信息，是其與其他圖像產生區別的重要屬性［1］。圖像的特征一般分為人造特征和自然特征，人造特征主要是人們為了對圖像進行更好的分析研究所賦予圖像的一些外部特征（平均梯度、熵等），自然特征是圖像自帶的內部特征（輪廓，紋理等）［2］。圖像特征提取是對一幅圖像進行深入解讀的必要手段，如今，圖像特征提取在各大領域中被廣泛地運用，如目標檢測、圖像檢索、運動結構等領域。

傳統的特征檢測算法［3］有Harris角點檢測算法、SIFT算法、SURF算法、ORB 算法等。Harris［4］角點檢測法利用圖像的灰度參數來對圖像進行描述，缺點是缺少尺度不變性，而尺度不變性在圖像特征的提取中是不可或缺的一項重要特性；SIFT［5］算法最早于1999年被提出，得益于它的仿射不變性等各種優良特性，在圖像特征提取領域被廣泛使用，相較于Harris角點檢測算法，圖像配準的準確度大大地提升，缺點是運算速度較慢；SURF［6］算法是對SIFT算法的進一步改進，優化了計算的方式，使得算法的整體運算速度得到了提升，彌補了SIFT 算法的缺點；ORB［7］算法的最大優點是速度快，是一種快速的對特征點進行描述以及提取的檢測算法，其由兩部分組成，分別是FAST 算法和BRIEF算法，FAST 算法負責對特征點的提取，BRIEF算法負責對特征點的描述。這些傳統算法主要利用一些數學原理，比如梯度特征、局部灰度值等，通過這些參數能夠將物體本身的特征信息表達出來［8］。但是，傳統的特征檢測算法在面對弱紋理圖像或者是亮度較暗的圖像時，其特征提取的效果就會顯得捉襟見肘，主要原因是這些圖片的特征不夠明顯，如輪廓模糊，灰度值沒有區分度等，都是導致傳統算法特征提取效果不理想的原因［9］。針對這些問題，Huang［10］等人提出了利用FAST 算法對Shi-Tomasi特征點檢測算法進行加速，提高特征點的檢測速度；Li［11］等人提出了一種改進的KAZE算法，改變對特征點的檢測方法等步驟來提高算法的及時性；Chang［12］等人提出了一種基于FAST-SIFT組合的局部特征檢測算法，使用FAST 檢測算法進行快速的特征提取，利用SIFT 的128維描述子進行準確的特征描述，從而實現快速的局部特征提取；Zhang［13］等人提出了一種多尺度Harris特征點檢測算法，采用分組映射和模版匹配技術，實現了復雜背景圖像的多尺度Harris特征點檢測，提高圖像特征點的定位識別能力。Zhang［14］等人提出了以Res-Net50神經網絡為基礎，并在其中融入SE模塊，提高了圖像特征提取的質量，可是SE 模塊會在使用的過程中會為了降低模型的復雜度而降低維度，這就會使特征提取的效率產生了一定的影響［15］。

為了解決上述已有算法所面臨的特征提取效果不理想的問題，本文提出了一種基于改進ResNet50的特征提取方法：首先，用改進過的超分辨率法對初始的低分辨率圖像進行處理：圖像經過小波變換分解成高頻和低頻分量，再對這兩種分量分別進行雙線性插值和雙三次插值，接著進行小波逆變換，輸出高分辨率圖像，為后面的特征提取環節提供高質量的輸入圖片。接著，以ResNet-50網絡為基礎，將其與輕量級通道注意力模塊——ECA（efficient channel attention）模塊相融合，產生了一個全新的ECAResNet50模塊。相較于其他通道注意力模塊，ECA 模塊在保證能夠高效地獲取所有通道的依賴關系的同時，保持圖像的維度不會發生改變，同時還能對輸入特征圖的通道特征進行加強。將進行過超分辨率處理的圖像輸入改進后的網絡中，進行特征的識別以及提取操作，并生成特征點的坐標，最后通過對孿生網絡生成的單應性矩陣H 進行實驗驗證來證明網絡的提升效果。

1 圖像分辨率處理

圖像分辨率的高低對于圖像特征的提取有著一定的影響，低分辨率的圖像中細節模糊，邊緣不清楚，特征不明顯，在后續的特征檢測的過程中很容易出現特征點不準確，誤匹配的情況。為了解決這些問題，需要對圖像實行超分辨率處理，隨后再用高分辨率圖像進行后續的圖像特征提取步驟。

1.1 傳統超分辨率方法

在圖像重建領域，傳統的圖像重建方法會對圖像邊緣處的高頻部分產生平滑效應，使得大量的高頻信息產生丟失的現象，這是圖像重建領域存在的一個難題，這將直接導致最終重建圖像的模糊不清。而基于小波變換的圖像超分辨率重建的方法能夠很好地緩解這些問題［16］。小波變換是把基本小波函數進行位移τ，再在不同尺度α下，與待分析信號f（t）作內積，具體如式（1）所示。在頻域以及時域內的一些局部信息，通過小波變換能夠完好地保留下來，同時還能夠提取圖像的細節以及邊緣信息，通過這些操作，可以在對圖像的重建過程中充分利用圖像中存在的各種信息。從而，最終重建的圖像中將會保留更多有用的信息，圖像的細節方面也會更加地清晰準確［17］。傳統的小波變換圖像超分辨率重建主要有3個步驟：1）對圖像進行分解，分成低頻和高頻分量；2）對低頻分量和高頻分量進行重建；3）將重建后的分量進行小波逆變換，最終將會得到經過超分處理后的圖像。

式中，α＞0，稱為尺度因子。在圖像處理領域，還可以通過插值的方法來增加圖像的像素。假設原圖像為g（x，y），在經過一番插值運算之后，輸出的圖像為g′（x′，y′），其中x′為插值后圖像的橫坐標，y′為插值后圖像的縱坐標，插值運算實際上就是映射運算，如式（2）所示。常見的插值算法有最近鄰點法、雙三次插值、雙線性插值這3種［18］。1）最近鄰點法是零階插值，在一個尺度空間內給定一個待采樣點和一個點集，點集中離待采樣點最近的那個點的像素值即為待采樣點的像素值，此方法原理簡單，但插值效果不那么理想；2）雙三次插值，在待采樣點的鄰近選取16個點，對這16個點的像素值實行加權平均計算，最后將計算結果作為待采樣點的像素值。此插值算法效果良好，缺點就是計算復雜，運行速度慢；3）雙線性插值，在最近鄰點法的基礎上進行了改進，通過用待采樣點四周的4個鄰點的像素值，分別在x方向和y方向上進行線性內插的操作，從而得到了待采樣點經過插值后的新像素值。3種插值方法在速度和插值效果方面不同，可根據不同的情況按需選擇。

式中，h為映射計算。

1.2 超分辨率方法改進

用傳統的超分辨率方法對圖像進行處理后發現，雖然圖像的清晰度相較于原始圖像有所提升，但是圖像仍存在著不同程度的失真以及模糊等問題。因此，提出了一種新的方法［19］，具體步驟如下：

1）通過小波變換的分解，圖像被分成了低頻和高頻分量。與此同時，對圖像用Canny算法進行邊緣提取，Canny算法由于其較低的錯誤率以及出色的邊緣定位能力，一直被使用至今。

2）大部分的圖像信息儲存在低頻分量中，比如圖像的輪廓信息；而一些邊緣以及細節部分的信息則存儲在高頻分量中。為了達到最理想的效果，需要對兩種分量采取不同的插值方法：對于低頻分量可直接用雙三次插值法；高頻分量存在有檢測出的輪廓不清晰等現象，因此對于高頻部分，需要結合Canny的邊緣信息來得到新高頻信息，并針對新高頻信息采用雙線性插值，可有效保留邊緣信息并提高了插值速度。

3）通過小波逆變換得到高分辨的圖像。具體的流程如圖1所示。

圖1 圖像超分辨率處理流程圖

2 圖像特征提取

2.1 網絡模型

孿生網絡，是一種結構對稱的網絡［20］，如圖2 所示。在網絡中存在兩個編碼器，編碼器一般是由ResNet，VGG等一些基礎的網絡構成，input1和input2分別進入兩個編碼器中，兩個編碼器會將權值進行共享，所以正常情況下，兩個編碼器將會采用同一種卷積神經網絡，以便更容易實現權值共享。兩個輸入進入編碼器，被神經網絡映射后，以一種全新的方式表現出來，最后再通過對Loss的計算，檢測兩個輸入的相似度，同時也能夠發現輸入對之間的差異。

圖2 孿生網絡結構

本文中將采用改進后的ResNet網絡作為孿生結構的編碼器模塊。殘差塊是ResNet殘差網絡主要組成部分，在此之前，網絡結構比較淺，網絡層數越多，訓練集loss便逐漸下降至一個飽和值，當網絡層數繼續增加時，loss不會一直趨于平穩，反而逐漸增大。殘差塊的使用，使得網絡的深度能夠在保證正常工作的前提下得到進一步的加深。ResNet網絡結構內的殘差單元具體結構如圖3所示。

圖3 ResNet網絡殘差單元

殘差單元將跨層傳遞的信息與經過卷積后的信息相加后輸出。假定輸入的圖像為，經過卷積后輸出的圖像為，則最終輸出的結果是，此輸出仍然可執行非線性變換。上述式子中的即為殘差，網絡因此可以看作是對殘差函數的求取，這樣的殘差函數相較于優化效果會更加明顯。

ResNet-50網絡中一共包含50 層網絡，我們可以把ResNet-50網絡看作是七個部分組成的一種網絡，第一部分是對輸入網絡的信息進行卷積計算，正則化，激活函數以及最大池化的操作，第二、三、四、五部分繼續進行卷積運算，且這些部分中包含了殘差塊［21］。第六部分進行平均池化的操作，第七部分是全連接層，具體的示意圖見圖4。

圖4 ResNet-50網絡組成示意圖

2.2 改進策略

孿生網絡存在著不足之處，假如只是將孿生網絡進行簡單的學習操作，那么最終會輸出 “崩潰解”，即無論輸入的是什么，模型為了將loss降到最低，最后會輸出一個相同的常量，導致整個訓練過程沒有意義。為防止這種現象的發生，在孿生網絡中加入預測器（由兩個全連接層構成）以及stop-gradient操作，預測器主要用于對左側編碼器生成的特征圖進行映射，具體結構如圖5所示。將一組圖像對分別輸進兩個編碼器中進行特征的提取，預測器將左側編碼器生成的特征圖進行映射操作，最后再進行兩個圖像之間相似度的計算。

圖5 改進后的孿生網絡結構

下文設計的特征提取網絡將作為上文所述的孿生結構的編碼器模塊。ResNet殘差神經網絡不同于一般的卷積神經網絡，通過在其中加入殘差學習，一定程度上緩解了梯度彌散以及精度下降的問題。ResNet-50網絡結構簡單，易操作，其網絡的參數量較其他網絡更少，而其網絡性能卻更加強大。因此，在圖像處理領域，經常被用作特征提取的網絡，容易優化的網絡結構，具有很大的研究價值。

把ECA 模塊融合到ResNet-50網絡中，以此來實現提高圖像特征提取質量的目的。ECA 模塊是一種輕量級通道注意力模塊，其通道注意力機制，使得神經網絡在對特征進行提取的時候，能夠對顯著特征更加地關注［22］。同時，與其他的通道注意力模塊相比，ECA 模塊不僅能夠不降低維度，還能夠保證高效地獲取所有通道的依賴關系，同時還能對輸入特征圖的通道特征進行加強［23］。恰當的跨通道交互不僅能夠降低模型結構的復雜程度，同時還能保證模型的高效率和可靠性。其具體的工作原理是，首先通過全局平均池化對空間信息進行壓縮，然后使用1＊1的卷積來學習通道注意力信息，接著將獲取到的通道注意力信息與原始的輸入特征圖相結合，最后會輸出一張具體通道注意力的特征圖。其原理如圖6所示。

圖6 ECA 模塊原理圖

將ECA 模塊與ResNet殘差結構相結合，形成一個全新的ECA-ResNet50模塊，具體結構如圖7所示。

圖7 ECA-ResNet50模塊

全新的模塊由于增加了ECA 輕量級通道注意力模塊，因此在參數量和計算量上面會有一定量的增加，將其與原始的ResNet殘差結構進行對比，這兩種結構的參數量和計算量如表1所示。

表1 參數量與計算量

經過比較，我們發現經過改進后的ECA-ResNet50 結構在參數上僅比原本的ResNet殘差結構多了6%，在計算量上更是僅僅增加了0.176%，在增加了少量的計算量的基礎上，為網絡帶來了通道級的注意力機制，提高了特征的檢測精度，性價比非常的高。

3 實驗結果與分析

3.1 實驗準備

本文中所使用的圖像均來自于曠視科技開源數據集。所有實驗均在Windws10 系統下的Matlab R2020a 和Pytorch深度學習框架下訓練和測試，編程語言為Python3.9，訓練和測試過程使用高性能服務器，其CPU 為Intel（R）Xeon（R）Gold 5118，顯卡為一塊英偉達GTX1080Ti。

3.2 實驗結果

小波變換和插值方法的結合，使得圖片的分辨率得到了有效的提升。為了驗證分辨率提升后的效果，將從主觀視覺方面以及客觀數據方面進行呈現。利用改進后的超分辨率方法對原始的低分辨率圖片進行處理，得到的效果如圖8所示。可見，進行超分辨率后的圖像比原圖更清晰了，圖片的細節方面也得到了有效的處理：第一組圖片中的建筑物輪廓以及窗戶的線條變得更加的清晰，原本迷糊不清的樹枝經過超分辨率后變得清晰可見；第二組圖片中建筑物陽臺上的線條原本模糊不清，經過處理后可清楚地辨別出線條的分界線，細節處得到了加強；第三組圖片中，原圖中卡車后尾的英文字母看不清，超分辨率后的圖中可清晰地看到其英文字母；第四組圖片中，屋頂的花紋，門口石獅的臉部細節以及墻上的字的輪廓都更加明顯；第五組圖片中，遠處的樹以及近處屋頂的磚瓦的細節也得到了加強，更易分辨。由上可知，經過改進后的超分辨率方法在圖像的邊緣以及細節進行了很好地處理。

圖8 圖像超分辨率處理前后對比圖

圖8從主觀視覺效果上對改進后的圖像預處理進行了初步的說明，為了進一步驗證圖像預處理的有效性，將會從客觀數據方面進行說明，這里以平均梯度為評價指標，公式如式（3）所示，平均梯度就是圖像的清晰程度，平均梯度的值和圖像的清晰度成正比。具體數據如表2 所示。從表中的數據中可以看出，經過超分辨率后的圖像的平均梯度得到了有效的提升，說明圖像的清晰度得到了增強，為下一步特征提取的操作提供更加顯著的特征細節，保證了最終輸出特征的高度精煉。

經過改進后的特征提取網絡是否對特征點的提取質量得到提高，需通過相關實驗得出具體的數據來進行驗證。為此，設立了一個評價指標為均方誤差（MSE，meansquare error）［24］，通過該指標的數據來證明改進后的網絡的提升效果。

由上文可知，把兩幅圖輸入孿生網絡后，可從預測器處輸出一個單應性矩陣H。將數據集中的圖像對用手工標注特征點，在每張圖像上標注6個特征點，并記錄下相應的坐標，如圖9所示，原圖和目標圖中特征點的坐標位置相同。將原圖中的特征點經過單應性矩陣H映射到目標圖上，得到映射后的特征點的對應坐標，最后跟目標圖中對應位置的特征點進行均方誤差的計算。

圖9 圖像超分辨率處理前后對比圖

MSE是將真實值與預測值的差值的平方然后求和，最后再進行平均，具體形式如式（4）所示：

由于標注的是6個特征點，所以上式中的m取值為6，最后計算出的MSE值越小，說明經過單應性矩陣H映射后的特征點和目標圖上的特征點的偏移量越小，特征提取的效果越精確。

為了驗證改進后的特征提取網絡的特征提取的效果以及ECA 模塊的使用效果，將會通過消融實驗來進行驗證，消融實驗與控制變量法類似，通過增減不同的模塊來驗證該模塊的有效性，此處將會設置四組實驗來進行驗證。分別是，原圖＋ResNet50網絡，超分后的圖片＋ResNet50網絡，原圖＋ECA-ResNet50模塊，超分后圖片＋ECA-Res-Net50模塊。具體的實驗數據如表3所示。

表3 消融實驗結果

由表3可知，進行超分后的圖片＋原始的ResNet-50網絡比原圖＋原始的ResNet-50網絡降低了1.78，把ECA 模塊融入到ResNet-50后，比之前兩個實驗有了大幅度的提升，分別下降了5.45和3.67。而將圖片進行超分辨率處理后，再輸送進含有ECA-ResNet50 模塊的網絡中，相較于第一組原始圖片＋原始ResNet-50網絡，整體的均方誤差下降了6.65。ECA 模塊為網絡帶來了通道注意力，使得網絡對關鍵特征的提取能夠更加地高效凝練，相對于原始的ResNet-50網絡，特征提取的效果有了顯著的提升。而對圖像進行超分辨率的操作，雖然提升的效果沒有ECA 模塊那么顯著，但是也有一定的效果。

4 結束語

本文主要對圖像特征質量低的問題進行了研究與改進：1）為了獲得更清晰的圖像，對圖像進行了超分辨率操作，為后續的特征提取操作提供了一個高質量的圖片素材；2）加入了輕量級的ECA 模塊，為整個網絡增加了通道注意力機制，使得網絡能夠更加關注關鍵部分的特征，從而提高最終提取出的特征點的質量以及精度；3）為了能夠更加客觀地量化模塊的效果，本文采用了均方誤差這一量化方式，通過最后的實驗數據來直接有效地說明超分辨率操作以及ECA-ResNet50模塊的有效性。本文所提出的一整套圖像特征提取的方法與以前原始的特征提取方法以及一些專家學者所提出的方法相比，有著較為明顯的提升，但在后續的研究中，還需要對圖像特征檢測的速度及精確度進一步的加強，以達到更加完美的特征檢測效果。本文所展示的方法應用范圍廣泛，可應用于目標檢測、圖像識別、圖像拼接等方面，發展前景廣闊，研究價值極大。