基于譜回歸特征降維與后向傳播神經網絡的識別方法研究

鄔戰軍 牛 敏 許 冰 牛燕雄 耿天琪 張 帆 滿 達

?

基于譜回歸特征降維與后向傳播神經網絡的識別方法研究

鄔戰軍 牛 敏*許 冰 牛燕雄 耿天琪 張 帆 滿 達

(北京航空航天大學儀器科學與光電工程學院 北京 100191)

采用后向傳播(BP)神經網絡對空間目標進行識別時，高維的輸入特征導致網絡結構復雜，識別性能降低。針對上述難點，該文提出一種基于譜回歸(SR)特征降維與BP神經網絡的識別方法。該方法首先對空間目標進行HOG特征提取，然后將提取的高維HOG特征進行SR降維，最后把降維后的數據通過BP分類器進行訓練識別。實驗結果表明：該方法的降維和識別特性優于傳統降維方法PCA, KPAC, LPP, KLPP等，能夠兼顧實時性和準確性，提高了識別性能。

目標識別；后向傳播神經網絡；譜回歸；特征降維

1 引言

空間監視系統是地球外層領域的研究熱點，空間目標識別是空間監視的主要任務之一，引起多國的廣泛關注。衛星目標在太空中沿軌道運動，具有視點結構特征，光照、形狀、尺度和姿態都有不同程度的變化。BP(Back Propagation)神經網絡能夠逼近任意非線性函數，具有抑制噪聲能力強、容錯能力強、自適應學習能力強和并行處理能力強等優點，在目標識別領域有廣泛應用[1]。但BP神經網絡用于空間目標識別時，高維輸入特征會使網絡結構復雜，降低訓練性能，因此在訓練識別前對原始特征進行降維十分必要。

目前常用的特征降維法主要有主成分分析法(Principal Component Analysis, PCA)，局部保形投影法等。主成分分析法計算簡單，效率高，但不適用于高維非線性結構[2,3]。核主成分分析法(KPCA)通過核函數把低維線性不可分的數據映射成高維空間中線性可分的，再在高維空間中使用PCA降維，然而KPCA需要對核矩陣計算、存儲和特征分解，樣本過多時計算代價大，速度慢，效率低[4,5]。局部保形投影(Locality Preserving Projection, LPP)既解決了線性方法難以保持數據非線性流形的問題，又克服了非線性方法難以獲得新樣本低維投影的缺點，有很好的局部判別能力[6,7]。核局部保形投影(KLPP)比LPP有更好的抽取非線性特征的能力。然而LPP是無監督的學習方法，當圖像的光照、姿態發生變化時，或兩類目標靠得較近甚至部分重合時，識別率會下降；矩陣向向量變換的過程中，容易帶來維度災難，計算量很大。譜回歸(Spectral Regression, SR)方法把求解特征函數的問題放在了回歸模型中，避免了LPP求解稠密矩陣的特征值問題，它不僅在監督和非監督的情況下適用，在半監督的情況下同樣有不錯的效果[8]。

本文提出一種基于SR特征降維與BP神經網絡的識別方法。該方法首先對空間目標提取梯度方向直方圖(Histogram of Oriented Gradient, HOG)特征，對高維HOG特征分別使用PCA, KPCA, LPP, KLPP以及SR和KSR算法進行降維，最后使用BP神經網絡分類器對降維后的數據進行訓練識別。對比各算法降維和識別特性，SR與BP神經網絡結合使用，克服了實時性與準確性難兩全的問題，提高了識別性能。

2 空間目標圖像特征提取與降維

2.1 HOG特征提取

2005年，文獻[9]提出HOG特征，充分利用了圖像的局部梯度幅值和方向的特征值[9,10]。HOG特征可以很好地表征目標的輪廓信息和局部細節特征，準確率高，對光照、姿態、距離等因素的變化具有較強的魯棒性[11,12]。根據空間目標的圖像特性和背景特點，本文確定對空間目標進行HOG特征提取，提取過程如下：

(1)計算各像素點的梯度方向和幅值：用梯度算子求各像素的橫向和縱向梯度，分別設為和，則像素處的梯度方向和幅值分別為

(2)將圖像劃分為細胞和塊，并設定各自的尺寸，圖像中的像素組成細胞，細胞組成塊，合理組織塊的結構對目標識別的準確性和實時性有重要影響。HOG的方向數設為，將360°平均分成份，每個方向數對應一個角度區間，對細胞內各像素的梯度幅值在各角度區間上加權投票，完成細胞梯度直方圖的建立，得到一個維向量。然后將每個塊內個細胞得到的向量進行級聯，得到塊的維梯度向量。

(3)對各塊特征向量歸一化，級聯各塊特征向量得到圖像的HOG特征，并對HOG特征向量歸一化。

2.2 SR特征降維

基于HOG特征的目標識別準確率高，但特征維度也高，速度慢，分類器性能弱，主要是因為特征中存在冗余，要解決計算量大與準確率高的矛盾，就需要進行降維[13]。譜回歸是流形學習中典型的降維方法，它先進行圖的譜分析，再對數據進行回歸處理，所以被稱為譜回歸，簡記為SR。SR將學習嵌入函數的問題轉移到了回歸模型中，使得有效計算和正則化應用都變得十分容易，其降維過程如下[14,15]：

(2)選擇權值：

(3)特征分解： 構造特征方程為

(4)正則最小二乘法及SR嵌入： SR算法通過求解最小二乘問題得到高維向低維映射的投影矩陣，正則化最小二乘問題如式(5)所示

如果在RKHS中求嵌入函數，第(4)步可以換成下列形式

(5)正則核最小二乘法及KSR嵌入： KSR算法將最小二乘問題轉換為正則核最小二乘問題的求解：

3 基于BP神經網絡的目標分類識別

3.1 BP神經網絡原理

BP神經網絡是基于誤差反向傳播算法的多層前饋神經網絡，由RUMELHART和McCLELLAND在1985年提出。BP網絡將樣本的輸入輸出問題轉化為非線性優化問題，利用輸出誤差估計前一層誤差，逐層反傳，至輸入層，按照梯度下降法不斷修正各層權值，直至誤差達到設定值。只要有足夠多的隱含層和隱含節點，BP網絡就可以逼近任意的非線性函數，它運行速度快，學習能力強，容錯能力強，具有較高的分辨率[16,17]。

BP神經網絡由輸入層、隱含層、輸出層構成，學習過程由信號的正向傳播與誤差的反向傳播組成[18]。

(1)信號正向傳播： 輸入信號從輸入層經過隱層，傳向輸出層，該過程中網絡權值固定不變，每一層神經元的狀態只影響下一層神經元的狀態，若在輸出層得不到預期的輸出，那么系統轉向誤差信號的傳播。

(2)誤差反向傳播： 誤差信號為實際輸出與期望輸出的差，它從輸出端傳向隱層，再到輸入層，該過程中網絡權值根據反饋進行調節，通過權值的不斷調整，網絡的實際輸出值越來越接近期望輸出值。權值不斷修正的過程，就是網絡的學習訓練過程，該過程一直持續到誤差達到設定值，或學習次數達到設定值。

3.2 BP神經網絡分類器的設計

BP神經網絡分類器的設計，包括輸入層的設計、隱含層的設計、輸出層的設計以及初始權值、神經元激勵函數、學習速率、期望誤差等參數的設計。構建BP神經網絡的步驟如下：

(1)設計輸入層： 輸入節點等于提取的圖像特征維數，本文根據降維后的特征維數，選擇實際的輸入節點。

(2)設計隱含層：

(a)隱層數： 增加隱層數可以提高網絡的泛化性能，降低誤差，提高識別率，但也使網絡復雜化，訓練時間增加。本文在對比降維效果時使用3層神經網絡，選擇BP神經網絡最佳參數時，對3層和4層網絡都進行了分析。

(b)隱層神經元數： 隱層神經元數的選擇要在一個合理的范圍內，數量太少，易陷入局部最小，訓練出的網絡有可能不收斂，識別率低，容錯性差；數量過多，導致網絡結構復雜，泛化能力變差，訓練時間增加，實時性降低，識別率也降低。實際應用中參考經驗公式：

通過調整隱層神經元數來提高誤差精度比增加隱層數更容易觀察和控制，所以，一般情況下先考慮改變隱層的神經元數量，在單隱層不能滿足要求時，再考慮增加隱層數，但隱層的數量最好不超過兩層。理論上已經證明：具有Sigmoid非線性函數的3層BP神經網絡可以以任意的精度去逼近任何的連續函數。

(3)設計輸出層： 實際使用時直接把待識別目標的種類數作為神經網絡的輸出節點數。本文隨機選擇了1類航天器進行實驗研究，輸出節點數設置為1，多類目標識別同理。

(4)用均勻分布隨機數將權值和閾值初始化：

非線性系統中，權值和閾值的初始化十分重要，如果初始權值過大，會使加權后的輸入進入激活函數的飽和區，導致調節停滯。隨機化在BP模型的實現中尤為重要，如果不對權值進行隨機初始化處理，可能導致學習過程不收斂。本文中，初始權值取(-1,1)之間的隨機數。

(5)給定神經網絡的輸入樣本、期望輸出、神經元激勵函數和學習速率： 激勵函數對網絡收斂效果有很大影響，神經元每個輸入對應一個特定權值，輸入的加權和決定該神經元的激活狀態；學習速率決定每次訓練的權值變化量，太高導致網絡震蕩，太低導致收斂慢，訓練時間長，一般情況下，傾向于選擇較小的學習速率以保證系統的穩定性。本文期望誤差設為，隱層神經元傳遞函數為正切型函數tansig，輸出層傳遞函數為線性函數purelin，訓練函數為LM，學習次數設為5000。

(6)對樣本數據進行訓練： 將樣本數據讀入，得到隱含層和輸出層的實際輸出，計算隱含層誤差和輸出層誤差，如果誤差達不到設定值，將誤差信號沿原路線返回，并根據誤差反饋對網絡權值和閾值進行修正，重復上述過程，直到誤差達到設定值，或者學習次數達到設定值，訓練結束。

4 實驗結果及分析

本文按照特征提取，特征降維，目標分類訓練和識別的順序進行實驗。在確定特征降維方案時，使用3層BP神經網絡從實時性和準確性角度對比不同算法的優缺點，選擇性能較好的降維方法和特征維數；在確定降維方案的基礎上，分別使用3層和4層BP神經網絡對分類器參數進行選擇，確定效果較好的識別方案。

(1)HOG特征提?。?目標選擇Mars Express航天器，如圖1所示，利用3ds max制作角度和姿態不同的640×480像素的訓練樣本794幅，測試樣本864幅。HOG特征提取參數設置如表1所示，訓練樣本特征提取時間為83.219139 s，測試樣本為95.940454 s。

圖1 Mars Express 航天器

表1 HOG特征提取參數設置

(2)特征降維： 162維的HOG特征維數過多，造成冗余，對分類器的設計很不利，現將維數降至5~40維不等，通過降維和識別的綜合效果，選擇較好的降維算法和維度。各方法降維時間如表2所示，PCA計算簡單，運算效率高，降維時間最短；流行學習算法LPP和SR，因為要解稠密矩陣，所以LPP降維時間較長，SR利用正則化最小二乘法避免了求解稠密矩陣，故而時間較短；KPCA, KSR, KLPP由于要將數據變換到核空間，所以降維時間都比較長，并且依次增加。

使用3層網絡對降維后的數據進行訓練識別，對比各降維算法性能，隱層神經元數按照式(9)取值，訓練和識別情況如圖2所示，圖2(a)為訓練時間，圖2(b)為訓練誤差，圖2(c)為識別時間，圖2(d)為識別率：訓練時間和識別時間都隨特征維數的增加而增加，各方法差別不大；訓練誤差隨特征維數的增加而減小，按照KPCA, KSR, KLPP, SR, LPP, PCA的順序，誤差依次增大；識別率隨特征維數的增加而增加，30維后趨于平緩，按照KPCA, KSR, KLPP, SR, LPP, PCA的順序，識別率依次減小。

綜合降維特性，訓練性能和識別效果，SR在實時性、準確性、網絡性能等各方面達到協調，將SR與BP神經網絡結合使用，能達到較好的識別效果；當維數超過30維時，識別率的上升趨于平緩，但訓練時間和識別時間還在增加，綜合考慮實時性和準確性，選擇30維的HOG特征進行后續的訓練識別。

(3)BP神經網絡訓練識別： 使用BP網絡進行識別時，隱層數和隱層神經元數對識別的精度和時間都有很大影響。當使用3層網絡時，根據式(8)可知，隱層神經元數取值范圍是7~16，將精度設置為，訓練和識別性能隨隱層神經元數的變化如圖3所示，圖3(a)為訓練時間，圖3(b)為訓練誤差，圖3(c)為識別時間，圖3(d)為識別率：隨著隱層神經元數的增加，訓練時間持續增加，訓練誤差先降低后升高，識別時間先減少后增加，識別率先增加后降低。這說明隱層神經元數并不是越多越好，會出現一個極值，經過多次試驗，選擇最佳神經元數，才能保證最好的識別效果。3層網絡在神經元數為13時，效果最好，識別率達到100%。

4層網絡時，隱層1和隱層2的神經元依次取7~16之間的數，進行組合。若精度保持，識別率基本都接近100%，為了更清晰地反映隱層神經元數對識別效果的影響，將精度調整為。如圖4所示，圖4(a)為訓練時間，圖4(b)為訓練誤

表2 各方法降維時間(s)

圖2 基于HOG特征的目標訓練與識別

圖3 基于HOG特征的3層網絡訓練與識別

差，圖4(c)為識別時間，圖4(d)為識別率：訓練時間隨神經元數的增加而增加，識別時間規律性不大，訓練誤差隨神經元數的增加先減少后增加，識別率隨神經元數的增加先增大后減小，出現了極大值。4層網絡在隱層神經元數為(11, 9)時，效果最好，識別率為100%。

綜合上述實驗結果，在隱層數方面：4層網絡比3層網絡更穩定，識別率也更高；在隱層神經元數方面：一定范圍內，隨著隱層神經元數的增加，識別率在增加，但是超過一定的限度，識別率會隨隱層神經元數的增加而降低，出現極大值。本節確定分類器方案為：4層網絡，隱層1神經元為11，隱層2神經元為9。

5 結束語

本文針對BP神經網絡難以有效訓練識別高維特征空間目標的問題，將SR特征降維與BP神經網絡配合使用，利用SR算法將高維特征降至低維，再輸入到BP網絡進行訓練，提高了分類器性能。實驗結果表明：該方法克服了傳統降維方法實時性和準確性難兩全的問題，降維和識別特性優于PCA, KPCA, LPP, KLPP等常用降維方法，特別適用于高維特征目標識別。

圖4 基于HOG特征的4層網絡訓練與識別

[1] 喬俊飛, 李淼, 劉江. 一種神經網絡快速修剪算法[J]. 電子學報, 2010, 38(4): 830-834.

QIAO Junfei, LI Miao, and LIU Jiang. A fast pruning algorithm for neural network[J]., 2010, 38(4): 830-834.

[2] 曾岳, 馮大政. 一種基于加權變形的2DPCA的人臉特征提取方法[J]. 電子與信息學報, 2011, 33(4): 769-774. doi: 10.3724/ SP.J.1146.2010.01003.

ZENG Yue and FENG Dazheng. An algorithm of feature extraction of face based on the weighted variation of 2DPC[J].&, 2011, 33(4): 769-774. doi: 10.3724/SP.J.1146.2010.01003.

[3] 馬原, 呂群波, 劉揚陽. 基于主成分變換的圖像稀疏度估計方法[J]. 物理學報, 2013, 62(20): 204202-1-204202-11. doi: 10.7498/aps.62.204202.

MA Yuan, Lü Qunbo, and LIU Yangyang. Image sparsity evaluation based on principle component analysis[J]., 2013, 62(20): 204202-1-204202-11. doi: 10.7498/aps.62.204202.

[4] 孫韶媛, 李琳娜, 趙海濤. 采用KPCA和BP神經網絡的單目車載紅外圖像深度估計[J]. 紅外與激光工程, 2013, 42(9): 2348-2352.

SUN Shaoyuan, LI Linna, and ZHAO Haitao. Depth estimation from monocular vehicle infrared images based on KPCA and BP neural network[J]., 2013, 42(9): 2348-2352.

[5] ZHENG W, LAI J, and YUEN P C. Penalized preimage learning in kernel principal component analysis[J]., 2010, 21(4): 551-570.

[6] ZHANG L M, QIAO L S, and CHEN S C. Graph-optimized locality preserving projections[J]., 2010, 43(6): 1993-2002.

[7] 張志偉, 楊帆, 夏克文, 等. 一種有監督的LPP算法及其在人臉識別中的應用[J]. 電子與信息學報, 2008, 30(3): 539-541.

ZHANG Zhiwei, YANG Fan, XIA Kewen,. A supervised LPP algorithm and its application to face recognition[J].&, 2008, 30(3): 539-541.

[8] 于攀, 葉俊勇. 基于譜回歸和核空間最近鄰的基因表達數據分類[J]. 電子學報, 2011, 39(8): 1955-1960.

YU Pan and YE Junyong. Spectral regression and kernel space K-nearest neighbor for classification of gene expression data[J]., 2011, 39(8): 1955-1960.

[9] NARNEET D and BILL T. Histograms of oriented gradients for human detection[C]. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, San Diego, 2005: 886-893.

[10] SU X, LIN W, ZHENG X,. A new local-main gradient orientation HOG and contour differences based algorithm for object classification[C]. IEEE International Symposium on Circuits and Systems, Beijing, 2013: 2892-2895.

[11] 羅會蘭, 鐘寶康, 孔繁勝. 帶權分塊壓縮感知的預測目標跟蹤算法[J]. 電子與信息學報, 2015, 37(5): 1160-1166. doi: 10.11999/JEIT140997.

LUO Huilan, ZHONG Baokang, and KONG Fansheng. Tracking using weighted block compressed sensing and location prediction[J].&, 2015, 37(5): 1160-1166. doi: 10.11999/ JEIT140997.

[12] 韓貴金, 朱虹. 基于HOG和顏色特征融合的人體姿態估計[J]. 模式識別與人工智能, 2014, 27(9): 769-777.

HAN Guijin and ZHU Hong. Human pose estimation based on fusion of HOG and color feature[J]., 2014, 27(9): 769-777.

[13] 宋丹, 唐林波, 趙保軍. 基于仿射梯度方向直方圖特征的目標識別算法[J]. 電子與信息學報, 2013, 35(6): 1428-1434. doi: 10.3724/SP.J.1146.2012.01241.

SONG Dan, TANG Linbo, and ZHAO Baojun. The object recognition algorithm based on affine histogram of oriented gradient[J].&, 2013, 35(6): 1428-1434. doi: 10.3724/SP.J.1146.2012.01241.

[14] 姜偉, 張晶, 揚炳儒. 自適應正則化核二維判別分析[J]. 模式識別與人工智能, 2014, 27(12): 1089-1097.

JIANG Wei, ZHANG Jing, and YANG Bingru. Adaptive regularization based kernel two dimensional discriminant analysis[J]., 2014, 27(12): 1089-1097.

[15] 孫麗娟. 基于譜回歸的人臉識別的研究[D]. [碩士論文], 重慶大學, 2009.

SUN Lijuan. Research on the face recognition based on spectral regression[D]. [Master dissertation], Chongqing University, 2009.

[16] 潘煒深, 金連文, 馮子勇. 基于多尺度梯度及深度神經網絡的漢字識別[J]. 北京航空航天大學學報, 2015, 41(4): 751-756. doi: 10.13700/j.bh. 1001-5965.2014.0499.

PAN W S, JIN L W, and FENG Z Y. Recognition of Chinese characters based on multi-scale gradient and deep neural network[J]., 2015, 41(4): 751-756. doi: 10.13700/j.bh. 1001-5965.2014.0499.

[17] 張海燕, 李欣, 田書峰. 基于BP神經網絡的仿真線設計及其FPGA實現[J]. 電子與信息學報, 2007, 29(5): 1262-1265.

ZHANG Haiyan, LI Xin, and TIAN Shufeng. Simulation line design and its FPGA realization based on BP neural network[J].&, 2007, 29(5): 1262-1265.

[18] 孫瓊, 王光飛. 基于BP神經網絡與HMM的駕駛狀態識別[C]. 2014中國汽車工程學會年會, 上海, 2014: 430-432.

SUN Qiong and WANG Guangfei. Driving state recognition based on BP neural network and HMM[C]. 2014 SAE-China Congress & Exhibition, Shanghai, 2014: 430-432.

鄔戰軍： 男，1971年生，高級工程師，研究方向為光纖傳感技術.

牛 敏： 女，1991年生，碩士生，研究方向為目標檢測與識別.

許 冰： 女，1984年生，博士生，研究方向為目標檢測與識別.

Research on Recognition Method Based on Spectral Regression and Back Propagation Neural Network

WU Zhanjun NIU Min XU Bing NIU Yanxiong GENG Tianqi ZHANG Fan MAN Da

(Department of Instrument Science and Opto-Electronics Engineering, Beihang University, Beijing 100191, China)

When using Back Propagation (BP) neural network to recognize the spatial target, the high dimensional input features induce the complexity of the network structure and the poor performance of the recognition. In this paper, a new recognition method based on Spectral Regression (SR) feature dimension reduction and BP neural network is proposed for the above difficulties. Firstly, the HOG features are extracted from the spatial object, and then the feature dimensions are reduced by SR. Finally, the BP classifier is used to train the data. Experimental results show that the proposed method is better than the traditional dimension reduction methods such as PCA, KPCA, LPP, KLPP in dimension reduction and recognition, which can juggle real-time and accuracy, thus improving the recognition performance.

Target recognition; Back Propagation (BP) neural network; Spectral Regression (SR); Feature dimension reduction

TP391.4

A

1009-5896(2016)04-0978-07

10.11999/JEIT150781

2015-06-29；改回日期：2015-11-09；網絡出版：2015-12-18

牛敏 niuminbuaa@163.com