基于卷積神經(jīng)網(wǎng)絡的水下目標特征提取方法

王念濱, 何 鳴,2, 王紅濱, 郎澤宇

(1. 哈爾濱工程大學計算機科學與技術學院, 黑龍江 哈爾濱 150001;2. 黑龍江科技大學計算機與信息工程學院, 黑龍江 哈爾濱 150022)

0 引 言

水下目標自動識別是目標識別技術研究的一個重要領域,也是水聲信號處理領域的突出難題。為此,國內(nèi)外的學者們從多方面進行了研究,并且提出了多種解決方法。目前,水下目標特征提取存在的問題,單一特征表示的片面性,因此,如何把時域信號和頻域信號有效的融合,實現(xiàn)基于信號融合的特征提取方法成為本文需要解決的關鍵問題。針對這樣的問題,本文利用低頻分析與記錄(low frequency analysis and recording, LoFAR)譜圖實現(xiàn)了兩種信號的有效融合,LoFAR譜圖保留了信號在時間和頻率兩個維度的信息。目前的特征提取工作需要大量的人工參與,這些操作都過于依賴人的主觀意識和經(jīng)驗積累[1-4]。選取的特征不同對分類效果的影響也很大,同時對數(shù)據(jù)預處理也影響到特征提取的好壞。本文的研究就是針對當前研究的不足,對基于卷積神經(jīng)網(wǎng)絡(convolution neural network, CNN)的水下目標特征提取方法進行了研究。在本文的研究中,主要采用了具有端到端處理能力的深層神經(jīng)網(wǎng)絡,利用其自學習的特點隱式地提取目標特征并尋找到分類邊界,最終提高了特征提取的質(zhì)量。

1 卷積神經(jīng)網(wǎng)絡

1.1 卷積神經(jīng)網(wǎng)絡算法

CNN通過對輸入數(shù)據(jù)的逐層線性和非線性映射處理,這種網(wǎng)絡結構能夠有效且更加抽象的描述出具有復雜分布的圖像信息,從而提取出深層次的圖像特征。

利用上述理論,本文把CNN在處理圖像方面的獨特能力,應用在對LoFAR圖的處理上,進而對目標信號進行深層特征分析,最后利用提取到的深層特征進行水下目標的分類。

CNN 在對LoFAR圖進行分析時,其卷積濾波器在沿著頻率軸方向掃描時是對局部時間上不同頻率信號進行分析的,這樣會保留LoFAR譜圖的短時平穩(wěn)態(tài)信息,而濾波器在沿著時間軸方向掃描整個LoFAR譜圖時又保留了信號的時序特性,進而實現(xiàn)了對信號從時域和頻域兩方面綜合。卷積神經(jīng)網(wǎng)絡中每一層都是由多個二維特征圖羅列而成,每個特征圖中一個像素代表一個神經(jīng)元節(jié)點[5-6]。網(wǎng)絡中把神經(jīng)元節(jié)點分為卷積神經(jīng)元和池化神經(jīng)元。池化神經(jīng)元組成二維池化特征圖,其激活值對應特征圖像素值,而池化特征圖的組合又形成了池化層[7]。卷積神經(jīng)元、卷積特征圖和卷積層之間存在類似的關系。CNN以卷積層和池化層交替棧式結構連接而成,網(wǎng)絡將二維圖像數(shù)據(jù)作為輸入。區(qū)別于傳統(tǒng)模式識別手段,樣本的數(shù)據(jù)處理、特征提取以及分類流程都隱式的嵌入到這種深度互聯(lián)結構的卷積網(wǎng)絡中。一般情況下,卷積層又被稱為特征提取層,前一層的某一局部感受野以適當大小輸入到卷積層對應的神經(jīng)元上,將這一過程稱為提取局部特征,也就是說局部特征之間的位置關系較上一層的輸入是未發(fā)生位置變化的;又將池化層稱為特征映射層或下采樣層,將每個特征圖映射為一個平面[8]。為了保持特征映射過程中特征的位移、旋轉不變性,卷積層的激活函數(shù)通常采用激活值不易發(fā)散的Sigmoid函數(shù)。另外,因為每個特征映射層上的神經(jīng)元采用權值共享的原則,從而極大的減少了網(wǎng)絡參數(shù)的數(shù)量,又避免了因過多的自由參數(shù)帶來的過擬合現(xiàn)象[9]。網(wǎng)絡中每一個特征提取層(卷積層)后伴隨著一個特征映射層(池化層),這種帶有池化結構的網(wǎng)絡,可以使得模型對原始數(shù)據(jù)具有很強的降噪和抗干擾能力。

池化層中某一區(qū)域內(nèi)的多個神經(jīng)元,只有激活值大的那個神經(jīng)元才能起到強化權值的作用,這也符合了“最大值檢出假說”[10]。這種神經(jīng)元在不斷強化自身的同時還控制了周圍神經(jīng)元的輸出結果,也就是特征映射圖中提取到的特征為每個局部區(qū)域的相同特征。

通過圖1可以看出,CNN結構以原始圖像作為網(wǎng)絡輸入,圖1中使用了4層網(wǎng)絡結構,每層各個特征圖中的相鄰神經(jīng)元以卷積核大小為單位,逐層將局部信息向下層傳遞,而下層則對傳遞過來的信息進行卷積運算即特征提取,如邊緣特征或方向特征。網(wǎng)絡的訓練過程則是不斷修改卷積核中參數(shù)的過程。而同一個卷積核是被特征圖所共享的,可以視卷積核為一個可滑動的濾波器,掃描整個特征圖的過程記為對某一特征進行提取的過程[11]。而作為二次特征提取的池化層更像是模糊濾波器。可以理解為將眾多雜糅在輸入數(shù)據(jù)中的特征信息經(jīng)過網(wǎng)絡的過濾最終分散到了各個低分辨率特征圖上。

圖1 CNN結構Fig.1 CNN structure

1.2 CNN在特征提取方面的適用性分析

二維圖像中特征信息往往具有很強的隱蔽性,因為觀測目標位置的變化,觀察角度的不同等都會導致觀測目標產(chǎn)生形變、位移甚至扭曲。然而,用顯式的方法將圖像中具有位移、縮放和扭曲不變性的特征提取出來的難度又是巨大的,即使存在也不具有廣泛的適用性。

針對這樣的問題,CNN的特征檢測機制則給出了很好的答案。CNN的每次卷積運算都是針對局部特征進行的提取,因而目標的位置變化或縮放變化都不會對特征提取過程產(chǎn)生影響,并且CNN這種隱式的提取過程使得模型具有廣泛的適用性。大量訓練數(shù)據(jù)中的不變性結構信息在網(wǎng)絡的特征空間中逐層被提取出來,又因為其結構的特點能與邏輯回歸分類器進行無縫的融合,實現(xiàn)了端到端的圖像處理方法[12]。其可以直接將圖像輸入到網(wǎng)絡,并獲得分類信息。避免了特征提取和分類之間的數(shù)據(jù)重構,而其中的特征提取過程隱藏在了網(wǎng)絡結構當中。

由于特征圖之間的權值是局部相連且權值共享的,基于這一特點可以將一個網(wǎng)絡置于多個機器中同時進行訓練實現(xiàn)并行的效果。其在計算和訓練速度上明顯優(yōu)于其他全連接神經(jīng)網(wǎng)絡。

CNN模型的設計靈感來自于仿生學,其結構特點更接近生物神經(jīng)網(wǎng),所以在處理一些自然界的原始信號,如圖像信息或聲音信息時具有獨特的優(yōu)越性[13]。

可以概括出,CNN較其他網(wǎng)絡模型在特征提取方面有如下優(yōu)勢:

(1) 檢測數(shù)據(jù)可以直接作為網(wǎng)絡的輸入數(shù)據(jù),無需任何預處理過程;

(2) 端到端的數(shù)據(jù)處理過程,簡化了數(shù)據(jù)重建的復雜度;

(3) 權值共享的策略,在減輕了訓練負擔的同時,為訓練提供并行化的可能。

2 特征圖多維加權算法

由于原始輸入通過深層網(wǎng)絡得到的深層特征數(shù)據(jù)都是以特征圖的方式呈現(xiàn)出來,而三維特征最終又都會通過一維向量化即全連接的方式輸入到全連接層進行分類處理,其中,全連接層和卷積層的主要區(qū)別是卷積層嵌入了有大量的空間信息,而全連接層則沒有[14]。卷積層的空間結構可以用一個三維張量來表示,其表示形式為H×W×D,其中,H與W表示卷積層中的一個卷積特征圖的縱向神經(jīng)元數(shù)目和橫向神經(jīng)元數(shù)目,D則表示層中特征圖的數(shù)目。這種三維張量可以理解為卷積層將二維輸入數(shù)據(jù)分解成了多個H×W的局部區(qū)域,而D維個這樣的局部區(qū)域組成的集合一同描述著一種視覺模式。全連接層將卷積層得到的出作為輸入,但是會將三維的特征圖進行向量化,得到的一維特征向量代表分類器的特征向量。在這一過程中,空間信息會丟失并且空間特征不能在SoftMax層得到恢復,進而影響到分類準確度,并且在網(wǎng)絡不斷反饋調(diào)節(jié)時間接影響特征提取的質(zhì)量。

2.1 特征圖加權算法構建

針對上面提出的問題,本節(jié)提出一個簡單直接的方法,來彌補上面所提到的因全連接層的一維向量化所帶來的空間信息丟失。在最后一個特征圖層向量化之前,本小節(jié)將會強化特征圖層的空間信息,使得這種空間信息可以輸入到最后的全連接層中。強化的角度則會從通道(channel)和空間(spatial)兩個維度來增強,最后聚合為一維向量輸入到全連接層。

強化特征圖層空間信息的方法首先假設不同的特征圖之間的重要程度是不一樣的,比如有的特征圖中包含的信息會比較單一,而有的會因為某些特征信息的數(shù)據(jù)表示是非線性的,所以經(jīng)過深層過濾后的特征圖里仍然包含許多信息。同樣,每個特征像素的重要程度也是有區(qū)分的。基于以上想法,本節(jié)將給予不同特征圖和特征像素賦予權值,來強化空間結構信息,進而提取高質(zhì)量的數(shù)據(jù)特征。

針對多維加權算法的步驟和流程,在具體的賦權過程中,假設已經(jīng)得到在一次前向傳播過程中的最終特征圖層,對該特征圖層進行多維加權流程如下:

步驟1局部池化

對最后一層卷積層的每個特征圖使用局部池化操作,池化窗口大小為w×h,窗口滑動步長為S。經(jīng)過池化后得到一個三維張量。

步驟2計算空間(spatial)權重因子

對池化后的特征圖上的每個特征像素都指派一個權重αij,對應特征圖上的第(i,j)個像素。

步驟3計算通道權重因子

對于池化后的每個特征圖即通道k,都賦予一個權重βk。

步驟4加權計算

將步驟2和步驟3計算得到的空間權值和通道權值賦予到其對應的位置上,最后得到一個帶權三維張量。

步驟5向量歸一化

針對以上數(shù)據(jù)進行歸一化處理,得到聚合后的多維加權特征向量。

經(jīng)過以上5步處理好的向量稱為“多維加權特征向量”。在以上流程中,將最后一層卷積層進行池化操作的目的是為了起到特征二次提取的作用。同時,本池化操作方法還可以有效地降低待處理數(shù)據(jù)的規(guī)模。

(1)

如圖2所示的操作,卷積層的特征通過面向空間和面向通道兩個維度進行了加權處理,從而強化了空間的結構信息。面向空間的權重因子集合A={aij|i

圖2 特征加權過程Fig.2 Feature weighting procedure

最后再對χ′的每個特征圖進行加和池化操作,將三維的帶權特征張量聚合成一個一維的特征向量F={f1,f2,…,fk},其中fk計算為

(2)

通過以上的處理,已經(jīng)將三維的帶權特征張量聚合成一個一維的特征向量。下一步需要針對得到的特征向量F做歸一化處理后再連入全連接層,進行聚合的主要目的就是為了減少全連階層的輸入規(guī)模,進而減少了需要訓練的網(wǎng)絡連接權值,從而避免過擬合現(xiàn)象發(fā)生。最后再將特征向量做歸一處理,就是得到了最終的多維加權特征向量。

2.2 特征權值的計算方法分析

針對多維加權算法中的空間權重和通道權重,本文提出了兩種無參數(shù)化的空間權重因子和通道權重因子的計算方法,其中,無參數(shù)化指的是不會對卷積網(wǎng)絡帶來額外的參數(shù),而使其影響到網(wǎng)絡的訓練效率和可能發(fā)生的過擬合現(xiàn)象。

根據(jù)神經(jīng)認知機對可塑性突觸的形成的假設:如果在神經(jīng)元y的近旁存在有比y更強的激活神經(jīng)元y′,則從x至y的突觸連接就不進行強化[15]。也就是說,這種突觸連接的強化應符合“最大值檢出假說”,即在某一小區(qū)域(稱之為鄰域)內(nèi)存在的一神經(jīng)元集合中,只有輸出最大的神經(jīng)元才發(fā)生輸入突觸的強化[16]。

從以上理論可以理解為,激活值越大的神經(jīng)元對其附近的連接權值影響越大,其重要程度也就越大。那么定義Ck為三維特征張量χ中的第k個特征圖,S∈RW×H為特征張量中所有特征圖的累加,表示為

(3)

通過式(3)得到了初步的空間權值矩陣,其含義為將不同特征圖的同一位置激活值xkij進行疊加,從而反映出平面空間上某一位置累計激活值的強度,即強度越大該位置也就越重要,該位置對應αij的值也就應該越大,之后對S進行歸一化操作,得到最終的權值矩陣A,此處的歸一化處理選取的是含有兩個超參的歸一化函數(shù),表示為

(4)

式中,Sij表示S中第(i,j)個像素值,可調(diào)參數(shù)a與b的選取,可以根據(jù)網(wǎng)絡訓練情況而定。

對于面向通道上的權值向量的選取,本文提出了一種基于圖像熵的加權算法。因為某些特征信息的數(shù)據(jù)表示是非線性和線性不可分的,所以經(jīng)過深層過濾后的特征圖里仍然包含許多信息。因此，對于每個特征圖的重要程度可以用其中含有的信息量多少進行分析。

衡量信息多少的信息熵是從整個信息來源的統(tǒng)計特性上進行分析獲得的,是從平均意義上來反映信源的總體特性[17]。對于某特定的信源,其信息熵只有一個。不同統(tǒng)計特性的信息來源,其信息熵也會有相應的變化。針對未知性較大的變量,其信息熵的個數(shù)也相對較多。

鑒于信息熵以上特性,本文引入圖像熵的思想來衡量特征圖中信息量的多少。雖然圖像熵指的是整個圖像中的平均信息量,但是一維的圖像熵只能反映出圖像中灰度分布的聚集情況,并不能表現(xiàn)出信息在空間的分布特征[18-19]。針對此問題,為了能與特征圖相適應且同時反映出特征圖中信息的空間分布特征,本文采用了二維圖像熵的方法來解決該問題。在具體操作上,本文選擇特征圖的鄰域激活均值作為激活值分布的空間特征量,與特征圖內(nèi)某一像素的激活值組成特征二元組。

圖像熵中的灰度值是一個離散化的數(shù)值,而特征圖中激活值是通過連續(xù)的激活函數(shù)得到的。所以在計算特征圖的圖像熵之前,本文采用等寬離散化的方法對特征圖重新處理,實現(xiàn)連續(xù)數(shù)據(jù)的離散化,其中對每個像素點的激活值處理公式表示為

(5)

式中,x為某像素點的激活值;Xmax與Xmin為激活函數(shù)有效的下界和上界;m為離散后的區(qū)間長度。定義(I,J)為離散化后的特征二元組,其中I(0

(6)

至此本文給出的特征圖熵值計算公式既反映出了特征圖中所含信息量的多少,又強調(diào)了特征圖中激活值與其鄰域的信息分布情況。最后再對所有特征圖的熵值進行歸一化處理,即

(7)

3 CNN的水下目標特征提取

本節(jié)以仿真實驗的形式來分析卷積網(wǎng)絡在水下目標特征提取工作上的有效性。將時域信號和頻域信號進行融合的LoFAR譜作為卷積網(wǎng)絡的輸入數(shù)據(jù),將輸出的分類結果作為驗證水下目標特征提取好壞的依據(jù)。

3.1 仿真信號的獲取

目前對水下目標的特征提取與識別工作都是利用輻射噪聲的時序信號結構、功率譜特征或是時頻譜圖分析等手段展開的。所以在進行實驗之前,先模擬出水下目標輻射噪聲信號。為了保證模擬出的目標噪聲信號具有真實環(huán)境下的結構,那么就必須研究它的聲學線譜特性。現(xiàn)假定目標噪聲由線譜和連續(xù)譜組成且符合平穩(wěn)態(tài)隨機過程,其中線譜通常分布在1 kHz以下的低頻端。并將多組具有隨機相位的正弦波作為目標信號的線譜分量,表示為

(8)

式中,K為線譜數(shù)量;Ak為第k條線譜的幅度;fk為線譜頻率;φk為隨機的相位。在模擬不同的信號時,fk控制在1 kHz以內(nèi)。為了模擬真實環(huán)境下的噪聲情況,在仿真的時序信號中混入幅值不同的高斯白噪聲。

3.2 LoFAR譜的獲取

時頻分析可以從LoFAR分析角度進行。雖然水下目標噪聲信號具有非平穩(wěn)性,但是在局部時間內(nèi)還是具有平穩(wěn)特性的。因此LoFAR譜圖利用這一特點,將輻射噪聲做短時傅里葉變換得到時變功率譜,并以時間順序展開,得到關于時間和頻率的二維圖像。其具體處理流程如下:

(1) 定義S(n)為原始輻射噪聲信號的采樣序列,將其分成K個連續(xù)部分,每個部分再設置L個采樣點。其中K個連續(xù)部分之間允許有數(shù)據(jù)交叉重疊的部分,比如,交叉重疊度可以設置為50%,或者根據(jù)具體情況綜合確定。

(2) 定義Mj(n)為第j段信號的采樣樣本,并對其做歸一化和中心化處理,其目的是讓輻射噪聲信號的幅值在時間上分布均勻和達到去直流使樣本的均值為零。

歸一化處理

(9)

為了方便進行傅里葉變換的計算,通常將L的取值設置為2的整數(shù)次冪。

中心化處理

(10)

(11)

將以上獲得的各段數(shù)據(jù)的功率譜按時間順序依次展開,即得到完整的LoFAR圖。

雖然LoFAR譜圖是二維的圖像,橫軸表示時間,縱軸表示頻率,但反映的卻是三維的信息。可以用灰度值的大小來表示在該時間和該頻率下的能量大小。將LoFAR譜圖作為水下目標特征提取的對象,是因為LoFAR譜圖自身持有多維的信號信息,所攜帶的信息量豐富并且其二維的數(shù)據(jù)結構,正好滿足具有特征抽取能力的卷積網(wǎng)絡輸入要求。

3.3 數(shù)據(jù)集及網(wǎng)絡結構

依據(jù)第3.1節(jié)所示方法獲得實驗樣本集合,如表1所示。每組選取1 300個樣本作為訓練樣本,余下的作為測試樣本。訓練樣本約占總樣本數(shù)的75%,而測試樣本約占總樣本數(shù)的25%。

表1 實驗樣本情況

其中傳統(tǒng)CNN和特征加權CNN使用大致相同的網(wǎng)絡結構,不同的是,加權CNN在內(nèi)部增加一層加權層,最后一層為Softmax分類層。特征加權網(wǎng)絡結構與參數(shù)如表2所示,其中網(wǎng)絡的輸入為224×224的LoFAR二維灰度圖,第一層為8通道卷積層該層卷,感受野大小為5×5,且滑動步長為2;第二層池化層的輸入大小是55×55,池化窗口為3×3,滑動步長為2。隨后卷積池化層交替連接,再經(jīng)過加權操作得到一維特征向量輸入到全連接層。

表2 特征加權CNN參數(shù)

3.4 結果及分析

網(wǎng)絡結構差異和網(wǎng)絡參數(shù)的不同都有可能會對實驗結果造成影響,以特征加權CNN結構為藍本,分析濾波器大小和濾波器數(shù)量的不同對實驗結果造成的影響以及在使用不同激活函數(shù)情況下的分類效果。

感受野的大小反映了對特征圖處理的粒度,感受野越大,濾波器所提取的局部區(qū)域就越大,反映的特征就越粗化。極端情況下,感受野為整個特征圖,那么提取的特征就是全局特征了。

現(xiàn)對濾波器按照表3所示的設計方案進行調(diào)整,再進行結果分析。

表3 感受野調(diào)整方案

上述感受野調(diào)整方案中,以方案1為基準,方案2則是向著感受野窗口增大的方向進行調(diào)整,也就是說粗化了特征提取的粒度;而方案3則是將感受野窗口減小,是向著更小的局部區(qū)域進行特征提取。從實驗結果上可以看出,如圖3所示局部感受野小的分類效果要優(yōu)于局部感受野大的分類效果。當分析的窗口越小,則提取的特征越具體,越能反映出目標特有的類別信息。反之,提取的特征越?jīng)]有表現(xiàn)力。

圖3 感受野窗口對比結果Fig.3 Contrast results of receptive field window

對于卷積網(wǎng)絡中的每一層來說,有多少個濾波器就對應著多少個特征圖,每個特征圖又對應著一個權值矩陣。每個濾波器又視為一個特征分析的分析角度,用所有濾波器的排列組合表征了上一層的數(shù)據(jù)特征信息。理論上越詳盡越完備的濾波器組,對數(shù)據(jù)特征的分析能力就越強。但是過完備的濾波器組則會帶來分析角度的冗余,并且會給網(wǎng)絡帶來更多的參數(shù),進而影響到網(wǎng)絡的訓練效率。如果濾波器設置過少又不能完全覆蓋輸入信息的所有特征,反而使得分析能力弱化。本實驗環(huán)節(jié)從向增加濾波器組數(shù)量和減少濾波器組數(shù)量兩個方向進行對比實驗。

具體濾波器組設計方案設計如表4所示。

表4 濾波器數(shù)量調(diào)整方案

實驗結果如圖4所示,增加濾波器數(shù)量確實可以使得識別率有所提升,這與之前的理論分析結果相一致。即更完備的濾波器組對特征表現(xiàn)力更強,相反相對單薄的濾波器組則對特征的表達能力不夠。

圖4 感受野數(shù)量對比結果Fig.4 Contrast results of receptive field quantity

網(wǎng)絡節(jié)點中的激活函數(shù)主要起到對數(shù)據(jù)進行非線性變換的作用。這種非線性的操作可以讓數(shù)據(jù)在空間中進行折疊、扭曲等形變,從而方便了尋找不同特征之間的劃分邊界。作為激活函數(shù)在具備非線性性質(zhì)的同時,還應該具有平滑性、單調(diào)性和連續(xù)性。

同一個神經(jīng)網(wǎng)絡中是可以允許使用多種不同類型的激活函數(shù)的。基于常用使用策略,本實驗環(huán)節(jié)采用單一激活函數(shù)策略。而常用的激活函數(shù)有Sigmoid、tanh和修正線性單元(rectified linear unit, ReLU)函數(shù)。

對于不同的應用背景,不同的激活函數(shù)帶來的效果上的差別可能會很大。

Sigmoid函數(shù)作為最常用且普適的激活函數(shù),將輸入數(shù)據(jù)映射到0到1之間,利用該激活函數(shù)的網(wǎng)絡可以使得網(wǎng)絡具有較好的稀疏性。

tanh函數(shù)為雙曲正切函數(shù),該函數(shù)將節(jié)點輸出值映射到了-1至1區(qū)間內(nèi)。和Sigmoid相比,其健壯性更強,但是梯度消失的速度很快。對訓練效率和網(wǎng)絡收斂速度影響很大。

ReLU函數(shù),其簡單直接將小于0的激活值設置為0。這樣可以保證能夠抽象出更稀疏更離散的特征,這一特點與生物神經(jīng)元很相似。而單一的稀疏性會使得輸出數(shù)據(jù)的分布方差過大,即熵值過小。而離散性則表示的是神經(jīng)元節(jié)點對刺激是很敏感的,即熵值較大。ReLU正是從兩方面考慮,進而帶來良好的性能。

幾種激活函數(shù)對比圖如圖5所示,根據(jù)分析比較,在對LoFAR譜做特征提取時,Sigmoid激活函數(shù)的效果要優(yōu)于其他兩種。

圖5 激活函數(shù)對比圖Fig.5 Activation function contrast chart

4 結 論

本文主要在卷積神經(jīng)網(wǎng)絡進行了分析的基礎之上,進一步分析了卷積網(wǎng)絡在全連接操作時,會丟失特征圖層的空間信息。為了彌補這一損失,本文提出了多維特征加權算法來強化待全連接的特征圖。其中從空間和通道兩個維度進行加權,而加權的策略則是根據(jù)最大檢出假說和二維圖像熵理論,即將空間中相同位置激活值的均值作為該空間位置的權重,將通道上每個特征圖的圖像熵值作為該通道的權重。并且該加權過程不會引入額外參數(shù)給網(wǎng)絡訓練帶來負擔。

由于時間和條件所限,本課題的實驗中使用到的仿真數(shù)據(jù),在后續(xù)的研究中應對真實的水下信號進行研究。

參考文獻：

[1] 楊西林,王炳和.水下運動目標譜特征提取與增強技術綜述[J]. 水聲及物理聲學, 2007, 26(4): 69-72.

YANG X L, WANG B H. Review of techniques for underwater moving target spectrum feature extraction and enhancement[J].Underwater & Physical Acoustics, 2007,26(4):69-72.

[2] 張海龍,冶鑫晨,趙青,等.天文數(shù)據(jù)索引技術綜述[J].中國科學:物理學·力學·天文學,2017,47(5): 059505.

ZHANG H L, YE X C, ZHAO Q, et al. Astronomical data indexing technologies review[J]. Scientia Sinica(Physica,Mechanica & Astronomica) , 2017,47(5): 059505.

[3] 宋振宇, 丁勇鵬, 趙秀麗, 等. 基于LOFAR譜圖的水下目標識別方法[J]. 海軍航空工程學院學報, 2011, 26(3): 283-286.

SONG Z Y,DING Y P,ZHAO X L, et al. Target recognition method of LOFAR spectrum based on the underwater[J]. Journal of Naval Aeronautical Engineering Institute, 2011, 26(3): 283-286.

[4] LIU J, HE Y, LIU Z, et al. Underwater target recognition based on line spectrum and support vector machine[C]∥Proc.of the International Conference on Mechatronics, Control and Electronic Engineering, 2014.

[5] LECUN Y, BENGIO Y. Convolutional networks for images, speech, and time-series[C]∥Proc.of the Handbook of Brain Theory and Neural Networks, 1995: 255-258.

[6] COHEN N, SHARIR O, SHASHUA A. On the expressive power of deep learning: a tensor analysis[C]∥Proc.of the Conference on Learning Theory, 2016.

[7] SRIVASTAVA N, HINTON G, KRIZHEVSKY A, et al.Dropout: a simple way to prevent neural networks from overfitting [J]. Journal of Machine Learning Research, 2014, 15(1): 1929-1958.

[8] JIA Y, SHELHAMER E, DONAHUE J, et al. Caffe: convolutional architecture for fast feature embedding[C]∥Proc.of the ACM International Conference on Multimedia, 2014:675-678.

[9] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet classification with deep convolutional neural networks[C]∥Proc.of the International Conference on Neural Information Processing Systems, 2012:1097-1105.

[10] HUANG Y M, XIA M Y, HUANG S. Evolutionary process unveiled by the maximum genetic diversity hypothesis[J].Hereditas,2013, 35(5): 599-606.

[11] MASCI J, MEIER U, CIREAN D, et al. Stacked convolutional auto-encoders for hierarchical feature extraction[C]∥Proc.of the International Conference on Artificial Neural Networks, 2011:52-59.

[12] VINCENT P, LAROCHELLE H, LAJOIE I, et al. Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion[J]. Journal of Machine Learning Research, 2010, 11(12): 3371-3408.

[13] CUI Z, CAO Z, YANG J, et al. A hierarchical propelled fusion strategy for SAR automatic target recognition[J]. Eurasip Journal on Wireless Communications & Networking,2013,2013(1):39.

[14] ZHONG Z, LI J, CUI W, et al. Fully convolutional networks for building and road extraction: preliminary results[C]∥Proc.of the Geoscience and Remote Sensing Symposium, 2016:1591-1594.

[15] OLSHAUSEN B A, FIELD D J. How close are we to understanding V1?[J].Neural Computation,2005,17(8):1665-1699.

[16] 陳燕. 神經(jīng)元的突觸可塑性與學習和記憶[J]. 生物化學與生物物理進展, 2008, 35(6): 610-619.

CHEN Y. Synaptic plasticity and learning and memory[J].Progress in Biochemistry and Biophysics,2008,35(6):610-619.

[17] 李金才, 馬自輝, 彭宇行, 等. 基于圖像熵的各向異性擴散相干斑噪聲抑制[J]. 物理學報, 2013, 62(9): 574-583.

LI J C,MA Z H,PENG Y X,et al. Speckle reduction by image entropy anisotropic diffusion[J].Acta Physica Sinica,2013,62(9):574-583.

[18] KIM S E, JEON J J, EOM I K. Image contrast enhancement using entropy scaling in wavelet domain[J]. Signal Processing, 2016, 127: 1-11.

[19] WANG X, CHEN C. Ship detection for complex background SAR images based on a multiscale variance weighted image entropy method[J]. IEEE Geoscience & Remote Sensing Letters, 2017, 14(2): 184-191.