仿人腦視皮層機制的目標識別方法

李岳云，許悅雷，馬時平，史鶴歡

（空軍工程大學 航空航天工程學院，陜西 西安710038）

0 引 言

通過人腦視皮層的實驗，研究學者們積累了大量的先驗知識，并嘗試將其推廣到計算機視覺中，取得了極具意義的研究成果。Robinson等［1］在視覺皮層研究中發現，視覺信息的處理方式是一種多層分級的結構；Riresan等［2］模擬視皮層簡單、復雜細胞構建了卷積神經網絡，卷積神經網絡多層級聯的結構以及同平面上的權值共享，極大程度避免了神經網絡權值訓練的時間消耗，它在手寫字體的識別上取得了不錯的效果；Huang等［3］基于前人視皮層腹側通路研究提出與靈長類大腦類似的皮層等級處理模型HMAX，通過抽取邊緣信息的 “碎片集”作為特征集，結合支持向量機SVM 或者Adaboost能夠有效地實現目標分類，但它也存在著運算量大，訓練樣本太多的問題；Jim Mutch等［4］根據神經元橫向側抑制的特點對HMAX 模型進行改進，稀疏了所抽取的特征，減少了冗余和計算量，在某些情況下識別率得到了提高，但它對復雜圖像的處理效果卻不是很理想，同樣對特征的描述不夠；Lowe等［5］總結了不變量的特征檢測方法，并提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子SIFT，但該描述算子復雜度太高，計算非常耗時；Duraid Abdullah等［6］將金字塔梯度方向直方圖PHOG（pyramid histogram of oriented gradient）用于視覺機制中，對視覺特征的簡化有一定的改進，減小了計算復雜度，提高了速度，但該方法建立的模型與腦機制契合度不夠，處理的圖像也比較簡單。

本文針對傳統方法的不足，基于視皮層分級處理的框架結構，模擬皮層腹側通路的信息處理方式，結合Gabor濾波器與初級皮層簡單細胞的相似特性，利用該濾波器提取邊緣，根據復雜細胞的max－like機制，進行局部和全局的最大化操作，稀疏化邊緣特征，同時能夠有效增加尺度和旋轉的不變性，使得目標的識別更具有魯棒性。通過訓練圖像抽取的PHOG 特征構建完備字典，以該字典對測試圖像進行表示描述，用最終表示描述的特征去訓練多類SVM 分類器，進行分類識別。

1 視覺皮層結構

人腦不是直接根據外部世界在視網膜上的投影成像，而是經過聚集過程和因素分解過程處理以后的信息來識別物體。視皮層能夠對視神經感知信號進行提取和計算，而不僅僅是對視網膜上投影的圖像實現再現。生理學實驗表明，視覺信息的傳遞有腹側和背側兩條通路，前者主要是處理目標的形狀、輪廓、邊緣、顏色和紋理等靜態信息，與目標的識別有很大的關系；后者主要對目標的運動和朝向等動態信息進行加工，與運動的識別密不可分。背側通路和腹側通路雖然所處理的視覺信息種類有所區別，但它們的工作方式有很大的相似性，并不是單獨分開作用的［7，8］。圖1是人眼視覺皮層結構。

圖1 人眼視覺皮層結構

神經學、解剖學和生理學不斷證明視覺信息的傳遞和處理是通過逐級分層進行的。視覺信息處理通路從結構上來說，主要包括視網膜、側膝體 （LGN）和大腦皮層3部分。視皮層又有V1、V2、V3和V4等部分，它們都是腹側通路和背側通路的重要構成。在視覺皮層內視覺信息又是按照簡單細胞、復雜細胞、超復雜細胞、祖母細胞［9］這樣的一個特定的序列來逐級進行傳遞的。構成一個由低級到高級、由簡單到復雜分層逐級傳遞的完善的視覺信息處理系統。

2 PHOG 和卷積神經網絡

2.1 PHOG

PHOG 是能夠同時對物體整體形狀和局部形狀空間分布有較好描述的形狀特征描述符，在不同層次上統計邊緣圖像的梯度方向直方圖分布情況，具有較強的抗噪性能和一定的抗旋轉能力。其基本流程是：首先得到一幅邊緣圖像，并求取邊緣圖像的梯度方向，量化梯度方向值，統計各梯度方向值的個數，形成梯度方向直方圖，然后逐級分割圖像，計算每一個分割區域的梯度方向直方圖，再將全部區域的梯度方向直方圖連接起來，從而形成一個梯度方向金字塔 （這不同于SIFT 的直方圖），最后將直方圖進行歸一化。梯度方向的計算由式 （1）、式 （2）完成

式中：I表示原圖像，gx，gy分別是x，y方向的方向導數，求得的θ即為梯度方向。一般將360°的梯度方向量化成若干個區間 （每個區間在直方圖中以條狀表示稱為bin），例如：在很多人臉識別中采用8個bin，這樣每個bin表示的角度范圍為45°。當采用8個bin，分層數Level＝0時，梯度維數為8；Level＝1 時，梯度維數則為8× （1＋4）＝40；Level＝N 時，梯度維數的一般計算式為8×（1＋4＋42＋…＋4N）。圖2是以一幅自然圖像為例抽取其PHOG特征的簡單過程。

圖2 抽取PHOG 特征流程

2.2 卷積神經網絡

卷積神經網絡由特征提取層和特征映射層所組成。特征提取層選取一系列不同的濾波器與圖像進行卷積，得到的結果稱為特征圖譜，多個濾波器可以分別探測出不同的特征。特征映射層是計算層，同樣有多層，它是神經網絡的連接方式，一個映射層為一個平面，其所有神經元權值相等，該層一般采用sigmoid函數作為激活函數。通過多級卷積層和計算層級聯連接到一個或多個全連層，全連層的輸出就是最終的輸出。

卷積神經網絡的結構如圖3所示。

圖3 卷積神經網絡的結構

3 仿人腦視皮層機制目標識別模型

在視覺信息分層等級處理的框架上，利用PHOG 能夠對形狀邊緣很好描述的特性，根據腹側通路處理信息的流程構建如圖4 所示的仿人腦視覺皮層機制目標識別模型。它主要包括卷積層、下采樣層、特征提取層和特征形成層4個層，特征提取層層遞進，逐級運算，由簡單到復雜，由初級到高級。下面具體解釋各層的實現方式。

圖4 仿人腦視皮層機制目標識別模型

V1區簡單細胞對特定位置特定朝向的簡單線條比較敏感，在模型中用Gabor濾波器來模擬實現，它能夠有效地描述簡單細胞的感受野特性。對于卷積層，將輸入圖像簡單預處理后，通過與一系列Gabor濾波器卷積便得到特征圖譜。一個二維的Gabor濾波器表示形式為

式中：λ為復正弦函數的空間波長，σ2為高斯函數方差，代表Gabor濾波器的尺度，θ是濾波器的方向，γ為空間寬高比。因此，卷積層輸出的特征圖譜可以表示如下

式中：I（x，y）——灰度變換后的原圖像，Iσ，θ（x，y）——濾波后的特征圖譜。這里選取濾波器8個尺度，9個方向，共72幅特征圖。

下采樣層模擬的是V1區的復雜細胞，它的感受野是簡單細胞的兩倍，同時具有同朝向邊緣的位置和尺度不變性等特性，它的主要功能是對特征圖進行計算。在模型中，對特征圖譜實現下采樣操作。具體而言，取特征圖譜中相同方向相鄰尺度的圖像，分別以相同尺寸的小模板滑動取最大值，該操作可以實現一定的平移和尺度不變性。將所有特征圖譜進行該操作，此時的特征圖減少了一半。人視覺對所有感受野中的目標不是一視同仁的，Jim Mutch等［4］認為人所注意的區域非常有限，因此進一步稀疏了特征圖，即求取同一尺度上各個方向上的最大響應值，該響應方向便是視覺最感興趣的主方向。此時特征圖已經減少到了8幅，實現了特征圖極大的精簡。

特征抽取層是為了抽取下采樣層輸出圖像的PHOG 特征。首先將下采樣層輸出圖像，通過上節提到的PHOG 方法提取特征。但是，得到的PHOG 特征與傳統方法是不一樣的，因為該直方圖具有主方向，它的主方向便是下采樣層稀疏化時最大響應值方向，類比Lowe等［5］的SIFT 特征描述子思想可以得到結論，采用帶有主方向的PHOG 描述子同樣具備很好的旋轉不變性，從而將訓練所得的字典用于識別時更具有魯棒性。若是訓練階段則選取一定數量的圖像的PHOG 特征，存儲起來作為字典；測試階段，則把提取的測試特征與存儲字典求取直方圖交叉。直方圖交叉算法被Cheng 等［10］用于行人的識別，取得了非常好的結果。通過計算相應圖像直方圖的交叉部分，用來衡量圖像的匹配率，這可以被認為是直方圖之間的相似性度量，直方圖交叉值越大，則相似度越高。假設兩幅圖像的直方圖以HX和HY來表示，它們均有K 個bin，第i（i＝0，1，…，K）個bin的響應值可以表示為hxi與hyi，則直方圖交叉的數學表示為

特征形成層旨在對抽取的PHOG 特征與字典元素進行匹配，即求取直方圖交叉的最大值，找尋與所存儲的最相似的直方圖，用找到的相似字典元素線性組合表示當前抽取的特征，以此作為最終形成的特征。該特征可以用來訓練多類SVM 分類器，以完成目標識別和分類的任務

式中：HIP——在測試圖像上獲得的直方圖與存儲字典的直方圖交叉，hIi，hPj——第i個測試圖的直方圖與字典的第j個元素，M 是字典元素的總個數。

4 實驗及結論分析

4.1 選用數據庫和實驗環境

為了檢驗所提出模型對目標識別的有效性，選用Caltech101數據庫進行實驗。該數據庫由美國加州理工大學開發完成，其中有Car、Motorbike、Face和各種背景圖等多類圖像，是圖像識別領域上的經典數據庫。通過在CPU頻率為2GHZ、內存1.0G 的電腦上編寫Matlab2010 程序進行仿真，Gabor濾波器參數設置σ＝0.7，γ＝0.6。將特征形成層得到的特征輸入到多類SVM 分類器進行訓練分類，得到在3類實驗圖的識別率，從而對所提出的模型實現論證。圖5列出了所選擇的實驗數據庫中部分圖像。圖6是列舉的4類部分圖像抽取到的PHOG 特征。

圖5 實驗數據庫中的部分圖像

圖6 4類部分圖像抽取到的PHOG 特征

4.2 識別率的比較

為了得到一個比較合適的分層梯度方向直方圖的層數和bin數，預先選用數據庫中的幾類圖像進行試驗。通過不同的分層數實驗，得到圖7所示的PHOG 分層數——識別率曲線。從曲線中可以看出：當所分的層數是3層時得到的識別率結果最好。對于金字塔梯度方向直方圖PHOG而言，不是分層數越多結果越好。當分層數太少時，形狀空間分布信息不能夠有效的表達；當分層數太多時，整幅圖像都被分成小塊，塊與塊之間的差異被嚴重削弱，形狀信息就會很弱。在本文后續實驗中，都采用3 層的結構。圖8是在計算PHOG 時所選用的不同bin數對4類圖像平均識別率的影響曲線。通過實驗發現，在選取bin＝9時的效果是最好的。這是因為，bin的選取涉及到了一個類間與類內特征的平衡問題。在bin的數量比較少時，梯度方向量化等級少，類與類之間的區分度不夠，識別效果當然不會太好；當bin達到某個值時，根據圖8得出，本文在7～9附近，類間與類內特征實現了均衡，使得識別率最高，也就是說此時既能夠保證同類之間的聚合，又能夠實現不同類之間的區分；繼續增大bin數則使梯度方向量化等級太多，使得同類的特征聚合度很差，無法實現同類之間的聚合，這樣肯定會降低識別率。

分類器的選擇對目標識別的成功與否至關重要，作為一種經典識別分類方法，SVM 對高維線性數據分類具有很好的效果，因此本文選用多類SVM 作分類器。表1是本文算法在Caltech 數據庫中的Car、Motorbikes和Faces這3類圖像中實驗得到的混淆矩陣。

圖7 PHOG 層數—識別率曲線

圖8 bin數量—識別率曲線

表1 實驗圖像所得混淆矩陣

將本文算法與文獻 ［11］所使用的方法作為基準Benchmark，文獻 ［12］中Serre 在Caltech 數據庫中所使用的SMF特征分類以及文獻 ［6］提出的基于視覺機制的PHOG 特征識別方法相比較。計算混淆矩陣中正確識別的數量比率，得到了如表2所示的不同類識別率，并繪制比較算法的虛警率—檢測率曲線 （ROC）如圖9 所示。通過表2和ROC曲線可以看出：本文所提出的識別方法較其它3類方法都要好。從識別率統計表看，不僅整體的平均識別率得到了提高，而且單個類的識別率也有比較大的改善；對比ROC曲線可以明顯看出，本文算法曲線下面積是最大的，同樣在虛警率比較小的情況下，檢測率便已經達到很高的值。需要說明的是，與其它算法相比，本文所使用的訓練圖像少得多，只占到了測試圖像的1／10。分析原因是本文算法避免了抽取大量碎片集作為特征描述的不足之處，而是采用梯度方向直方圖對邊緣特征進行了有效的描述，既建立了合適的訓練字典，又大大的減少了計算量，Gabor濾波器和max－like機制的全局及局部最大化操作保證了尺度縮放的不變性；此外，帶有主方向的PHOG 直方圖使目標識別更具有旋轉不變性，從而使文章算法更具有魯棒性。

表2 識別率統計比較

圖9 本文算法和對比算法ROC曲線

5 結束語

針對傳統方法在目標識別、特征提取上的不足，從仿生學角度和工程應用出發，提出了一種仿人腦視皮層的目標識別新模型。①用卷積神經網絡的卷積層和下采樣層分別模擬初級皮層簡單、復雜細胞，該方法克服了傳統識別方法人工標定特征的不足，這與人腦識別是一致的；②以PHOG 作為特征描述子，對全局特征和局部特征分布可以很好的描述，同時賦予PHOG 一個主方向，使得該描述子具有比較好的旋轉不變性；③充分考慮到人類視覺信息的稀疏性，運用max－like機制簡化了特征并能夠大大減小計算量，并借鑒壓縮感知及稀疏表示的思想，建立了圖像目標特征庫。

［1］Robinson E Pino，Michael Moore，Jason Rogers，et al.A columnar V1／V2visual cortex model and emulation using a PS3 Cell－BE array ［C］／／The International Joint Conference on Neural Networks，2011：1667－1674.

［2］Ciresan D，Ueli Meier，Juergen Schmidhuber.Multicolumn deep neural networks for image classification ［C］／／IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2012：3642－3649.

［3］Qiao Hong，Li Yinlin，Tang Tang，et al.Introducing memory and association mechanism into a biologically inspired visual model［J］.IEEE Transactions on Cybernetics，2013，44（9）：1485－1496.

［4］Mutch J，Lowe D G.Object class recognition and localization using sparse features with limited receptive fields［J］.International Journal of Computer Vision，2008，80 （1）：45－57.

［5］Muja M，Lowe D G.Fast matching of binary features［C］／／Ninth Conference on Computer and Robot Vision，2012：404－410.

［6］Duraid Abdullah，Iqbal Murtza，Asifullah Khan.Feature extraction and reduction strategy based on pyramid HOG and hierarchal exploitation of cortex like mechanisms ［C］／／16th International Multi Topic Conference，2013：160－165.

［7］Jia Cheng Ni，Yue Lei Xu.SAR automatic target recognition based on a visual cortical system ［C］／／International Congress on Image and Signal Processing，2013：778－787.

［8］Norbert Kruger，Peter Janssen，Sinan Kalkan，et al.Deep hierarchies in the primate visual cortex：What can we learn for computer vision ［J］.Pattern Analysis and Machine Intelligence，2013，35 （8）：1847－1871.

［9］SHOU Tiande.Visual information processing mechanism of the brain ［M］.2nd ed.Hefei：Press of University of Science and Technology of China，2010：87－113 （in Chinese）. ［壽天德.視覺信息處理的腦機制 ［M］.2版.合肥：中國科學技術大學出版社，2010：87－113.］

［10］Cheng Y，Su S Z，Li S Z.Combine histogram intersection kernel with linear kernel for pedestrian classfication ［C］／／IET International Conference on Information Science and Control Engineering，2012：1－3.

［11］Huang Lihong，Chen Xiangan，Gao Zhiyong，et al.Human action recognition by imitating the simple cells of visual cortex［C］／／International Conference on Intelligent Computation and Bio－Medical Instrumentation，2011：313－320.

［12］Kuehne H，Jhuang H，Garrote E，et al.HMDB：A large video database for human motion recognition ［C］／／International Conference on Intelligent Computation and Bio－Medical Instrumentation，2011：2556－2563.