基于PCNN與混合加權(quán)的多波束聲吶圖像鑲嵌方法

曲 萌,高興國,王 峰,閆循鵬,陽凡林,3

(1.山東電力工程咨詢院有限公司,山東 濟南 250013; 2.山東科技大學(xué) 測繪與空間信息學(xué)院,山東 青島 266590;3.自然資源部 海洋測繪重點實驗室,山東 青島 266590)

多波束測深系統(tǒng)(multibeam echosounder system,MBES)能夠獲取海底的反向散射強度(backscatter,BS),利用反向散射強度可以生成聲吶圖像并用于海底底質(zhì)分類與海底目標識別[1-2]。受測量中海洋環(huán)境和儀器自身誤差的影響,原始數(shù)據(jù)存在明顯的系統(tǒng)性誤差[3]。經(jīng)過傳播損失改正、角度響應(yīng)改正等處理后,聲強數(shù)據(jù)中的系統(tǒng)性誤差明顯減小[4]。但由于改正不完善,在條帶間仍存在由殘差引起的聲強差異,表現(xiàn)在聲吶圖像上為重疊區(qū)域明顯的拼接線,對海底底質(zhì)分類與目標識別造成干擾,影響圖像質(zhì)量和應(yīng)用。此外,由于測量時聲波入射角不同,重疊區(qū)域在不同條帶聲吶圖像中呈現(xiàn)不同的紋理特征。因此,在應(yīng)用聲吶圖像之前,需對聲吶圖像進行鑲嵌以消除重疊區(qū)域差異,并盡量保留更多細節(jié)信息,對提高聲吶圖像質(zhì)量具有重要意義。

聲吶圖像處理需進行圖像配準和圖像鑲嵌。圖像配準的主要目的是消除圖像的幾何畸變。多波束測深系統(tǒng)通常采用“平均聲強法”對回波序列進行采樣,得到的聲強點與測深點一一對應(yīng),經(jīng)過波束歸位后,采樣點具有較高的幾何精度,可認為不存在幾何畸變。圖像鑲嵌的主要目的是消除圖像灰度畸變,實現(xiàn)多圖像的無縫拼接。在光學(xué)圖像拼接中,常采用的方法有平均法、混合加權(quán)法(blending weighted fusion,BWF)[5]、泊松法[6]等。其中,混合加權(quán)法由于計算簡便、效率高等優(yōu)勢,在圖像拼接中應(yīng)用廣泛。目前,對于多波束聲吶圖像相鄰條帶的拼接研究相對較少。孫文川等[7]提出一種基于加權(quán)最小二乘估計的聲強數(shù)據(jù)歸一化方法,以消除重疊區(qū)域與非重疊區(qū)域的強度差異。趙建虎等[8]提出一種通過滑動窗口逐ping確定拼接線的拼接方法,但該方法需要進行相鄰條帶ping的匹配。朱正任等[9]提出一種基于多條帶最小二乘擬合的多波束聲吶圖像殘差處理方法,有效削弱了殘差對聲吶圖像的影響。上述方法主要針對相鄰條帶拼接線的消除問題,在一定程度上削弱了條帶間聲強的殘差,但未顧及重疊區(qū)域紋理信息存在的差異,易造成信息損失。在光學(xué)圖像處理中,常基于圖像融合實現(xiàn)信息的綜合,并以多尺度變換作為圖像融合框架,如離散小波變換、非下采樣輪廓波變換、非下采樣剪切波變換(non-subsampled shearlet transform,NSST)等。在變換域內(nèi),對不同尺度的圖像分量按照不同的規(guī)則進行融合,可以得到比較理想的效果。鞏稼民等[10]在NSST域內(nèi)結(jié)合脈沖皮質(zhì)模型(spiking cortical model,SCM)與引導(dǎo)濾波實現(xiàn)了紅外圖像與可見光圖像的融合。曹義親等[11]提出一種基于NSST的脈沖耦合神經(jīng)網(wǎng)絡(luò)與稀疏表示相結(jié)合的多元遙感衛(wèi)星圖像融合方法。在聲吶圖像中,相關(guān)研究主要是多波束聲吶圖像與側(cè)掃聲吶圖像在小區(qū)域的信息綜合與互補[12-13],并未考慮聲吶圖像拼接對圖像信息綜合的影響。

綜上所述,目前多波束聲吶圖像鑲嵌方法未能實現(xiàn)大區(qū)域無縫拼接和信息綜合的有效統(tǒng)一。為實現(xiàn)多波束聲吶圖像的無縫拼接,同時顧及重疊區(qū)域紋理差異,實現(xiàn)圖像信息綜合,本研究基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network,PCNN)和混合加權(quán)法,在NSST變換域內(nèi)進行多波束聲吶圖像的鑲嵌,消除圖像中存在的灰度畸變,實現(xiàn)聲吶圖像的拼接和信息綜合。

1 NSST域內(nèi)多波束聲吶圖像鑲嵌方法

針對多波束聲吶圖像鑲嵌問題,為了實現(xiàn)相鄰條帶的無縫拼接,本研究提出一種在NSST域內(nèi)結(jié)合PCNN與混合加權(quán)的多波束聲吶圖像鑲嵌方法(如圖1)。首先對多波束反向散射強度數(shù)據(jù)進行傳播損失、角度響應(yīng)等系統(tǒng)誤差的改正,再按照地理坐標對兩條帶圖像進行配準。多波束聲吶圖像鑲嵌過程在NSST的基礎(chǔ)上進行,主要步驟包括源圖像NSST變換、低頻圖像融合、高頻圖像融合與NSST逆變換。其中,低頻圖像融合采用混合加權(quán)方法,以削弱圖像間的拼接線。高頻圖像融合采用PCNN,充分保留圖像的細節(jié)紋理信息。最后通過NSST逆變換完成多波束聲吶圖像的鑲嵌。

圖1 多波束聲吶圖像鑲嵌流程圖

1.1 NSST圖像變換

圖2展示了圖像NSST變換的過程,主要包括多尺度分解和方向局部化。圖中的方框表示頻域圖像。首先使用上采樣得到的非下采樣金字塔(non-subsampled pyramid,NSP)濾波器組對頻域圖像進行多尺度分解,得到一個低頻和一個高頻子帶系數(shù)[14],對低頻子帶可繼續(xù)進行分解得到更小尺度的低頻和高頻系數(shù)。然后對所有高頻子帶進行方向局部化,方向局部化采用剪切波濾波器(shearlet filter,SF)。在頻域內(nèi)將剪切波濾波器窗口作用于分解得到的高頻子帶,獲得不同方向子帶[15]。如圖2所示,經(jīng)過NSST變換后得到一個低頻子帶系數(shù)和若干不同方向的高頻子帶系數(shù)。NSST可以避免圖像的下采樣操作,同時避免了偽吉布斯現(xiàn)象,具有良好的平移不變性。

圖2 非下采樣剪切波變換(NSST)過程示意圖

1.2 低頻系數(shù)的混合加權(quán)融合

低頻系數(shù)包含紋理、結(jié)構(gòu)等信息,能夠反映聲吶圖像之間的強度差異。為了削弱圖像中存在的灰度畸變,同時充分保留低頻系數(shù)的有效信息,實現(xiàn)條帶間的無縫拼接,采用混合加權(quán)法對低頻系數(shù)進行拼接。混合加權(quán)法是根據(jù)重疊區(qū)域的寬度,以每個像素點到重疊區(qū)邊界的距離進行定權(quán),使得圖像在重疊區(qū)邊界平滑過渡,削弱聲強差異,表達式為[5]:

(1)

式中:Il和Ir分別表示左圖像與右圖像;x和y分別表示像素點在圖像坐標系中的坐標;W1和W2是兩條帶重疊區(qū)域像素點(x,y)的權(quán)重函數(shù),且W1+W2=1。權(quán)重函數(shù)為:

(2)

式中,Xl和Xr分別表示重疊區(qū)域的左邊界和右邊界坐標。

1.3 高頻系數(shù)的PCNN融合

高頻系數(shù)反映圖像的突變特性,含有豐富的細節(jié)信息。本研究將PCNN方法引入多波束聲吶圖像鑲嵌領(lǐng)域,通過PCNN點火次數(shù)可有效獲取圖像的紋理等細節(jié)信息,實現(xiàn)多波束聲吶圖像的細節(jié)信息綜合。PCNN是由若干神經(jīng)元組成的單層二維神經(jīng)網(wǎng)絡(luò),每一個神經(jīng)元都與圖像中的一個像素點對應(yīng)。單個神經(jīng)元由接收域、調(diào)制域和脈沖發(fā)生器三部分組成[16],如圖3所示。其中,F為反饋輸入,L為連接輸入,U為內(nèi)部活動項,Y為輸出部分,W為權(quán)陣,β為連接強度,E為活動閾值。

圖3 脈沖耦合神經(jīng)元結(jié)構(gòu)

傳統(tǒng)的PCNN模型存在參數(shù)眾多、迭代計算較慢等缺陷,因此衍生了較多簡化的PCNN模型。其中,SPCNN(simplified PCNN)是由Chen等[17]在SCM基礎(chǔ)上提出的,并提供了參數(shù)的自動設(shè)置方法,SPCNN模型的迭代過程為:

Fij(n)=Sij,

(3)

(4)

Uij(n)=e-αFUij(n-1)+Fij(n)(1+βLij(n))。

(5)

(6)

Eij(n)=e-αEEij(n-1)+VEYij(n)。

(7)

式中:Fij表示反饋輸入項,Lij表示連接輸入,Uij表示內(nèi)部活動項,Yij表示脈沖輸出,Eij表示動態(tài)閾值,n為迭代次數(shù),下標i、j、k、l均表示像素坐標位置,VL和VE分別為連接輸入和動態(tài)閾值的幅值,αF和αE分別為反饋輸入和動態(tài)閾值的時間衰減常數(shù)。

式(3)將外部激勵Sij作為反饋輸入。式(5)為脈沖調(diào)制部分,通過將反饋輸入和連接輸入進行耦合,得到內(nèi)部活動項Uij,由于神經(jīng)元的漏電積分特性,調(diào)制項Uij隨著每次迭代按照αF進行指數(shù)衰減。將Uij和Eij進行比較,當Uij大于閾值時,該神經(jīng)元點火,即Yij=1;否則神經(jīng)元不點火,Yij=0,得到的二維圖Y稱為點火圖。如果神經(jīng)元點火,動態(tài)閾值按VE躍升,如果不點火,則按照αE進行指數(shù)衰減[16]。

SPCNN模型中的5個參數(shù)分別是VL、αF、β、VE、αE,均可進行自適應(yīng)計算,如表1所示。其中,σ(I)表示圖像的標準差,Smax和S′分別表示最大像素值和歸一化Otsu閾值,其余參數(shù)同SPCNN模型一致。

表1 SPCNN參數(shù)自動設(shè)置[17]

連接強度β是SPCNN模型中一個重要的參數(shù),反映了各神經(jīng)元模型之間的連接強度,表征了某一神經(jīng)元受其鄰近神經(jīng)元的影響大小[17]。傳統(tǒng)PCNN算法中,所有神經(jīng)元均采用相同的連接強度,未考慮不同像素點的貢獻差異。實驗采用改進的拉普拉斯能量ML和拉普拉斯能量SML定義連接強度[18]:

ML(i,j)=|2I(i,j)-I(i-1,j)-I(i+1,j)|+|2I(i,j)-I(i,j-1)-I(i,j+1)|,

(8)

(9)

式中:i和j表示像素坐標,I為高頻子帶系數(shù),拉普拉斯算子步長設(shè)置為1,ML值累加窗口大小為3×3。

權(quán)陣W按照歐式距離倒數(shù)進行計算:

(10)

Tl,d(n)=Tl,d(n-1)+Yl,d(n)。

(11)

式中:Yl,d(n)表示l層d方向的第n次點火次數(shù);Tl,d(n)表示l層d方向的前n次迭代累計點火次數(shù),即該像素點在迭代計算過程中被激發(fā)的總次數(shù)。以點火次數(shù)作為判決算子,按照點火次數(shù)的大小進行融合:

(12)

1.4 NSST逆變換

經(jīng)過低頻信息融合和高頻信息融合后,實現(xiàn)了兩圖像的信息綜合,消除了低頻信息中的拼接線并保留高頻特征信息。最后將兩幅圖像融合后的低頻系數(shù)L和一系列高頻系數(shù)Hl,d進行NSST逆變換,得到兩幅圖像鑲嵌后的結(jié)果。

2 實驗與分析

2.1 實驗數(shù)據(jù)

本研究采用多波束測深系統(tǒng)實測數(shù)據(jù)進行聲吶圖像鑲嵌實驗。實驗數(shù)據(jù)采集于2011年3月8日,來源于2012年淺水調(diào)查會議資料[19]。調(diào)查區(qū)域位于新西蘭惠靈頓附近海域,平均水深約20 m(圖4),圖4(b)中X、Y表示高斯投影后的平面坐標。使用Kongsberg EM2040多波束測深系統(tǒng)以平均聲強方式獲取的實驗數(shù)據(jù)進行驗證。多波束測深系統(tǒng)的工作頻率為300 kHz,波束寬度為1°×1°,波束開角為120°,采樣模式為等距采樣。

圖4 實驗區(qū)域概況

2.2 評價指標

為準確、客觀地評價信息綜合效果,選擇信息熵、標準差、空間頻率用于定量分析,從不同角度反映信息綜合效果。上述指標值越大,表明圖像的質(zhì)量越高。

信息熵作為一種圖像質(zhì)量評價指標,常被用來衡量圖像中包含信息的豐富程度。信息熵越大,圖像包含的信息量越多,計算公式為:

(13)

式中:IE表示信息熵,L表示待測圖像像素灰度最大值,Pk表示像素值為k的像素個數(shù)。

標準差通過對圖像進行統(tǒng)計,得到像素的離散程度。標準差越大,圖像的灰度值離散程度越高,視覺效果越好,計算公式為:

(14)

空間頻率是基于梯度的圖像質(zhì)量指數(shù),能夠有效衡量圖像的梯度分布,用來估計圖像的紋理和細節(jié)[20]。SF越大,表明圖像具有豐富的邊緣和紋理,計算公式為[20]:

(15)

其中:

(16)

式中:RF與CF分別表示圖像的空間列頻率與行頻率,M和N表示圖像的行列數(shù)。

2.3 實驗結(jié)果與分析

為驗證本研究方法的有效性,對調(diào)查區(qū)域的7個條帶數(shù)據(jù)進行鑲嵌實驗。首先對數(shù)據(jù)進行預(yù)處理,主要包括:①對原始多波束反向散射強度進行解析,并結(jié)合導(dǎo)航、姿態(tài)等輔助數(shù)據(jù)對各條帶進行波束歸位,將各條帶數(shù)據(jù)納入統(tǒng)一的坐標框架下;②對各條帶數(shù)據(jù)進行傳播損失、入射角效應(yīng)和中央異常改正等各項聲強誤差處理,以削弱系統(tǒng)誤差的影響;③對圖像進行旋轉(zhuǎn),使得航跡線方向大致與圖像縱軸平行,利用圖像蒙版操作提取相鄰條帶重疊區(qū)域,完成預(yù)處理。再使用本研究方法對各條帶進行鑲嵌,主要過程為:①首先對各條帶重疊區(qū)域圖像進行NSST分解,分解層數(shù)設(shè)置為2,各層方向數(shù)設(shè)置為16,得到高低頻子帶圖像;②對低頻子帶圖像,沿著圖像橫軸方向,按照混合加權(quán)法進行拼接;③對高頻子帶圖像,按照PCNN進行融合,迭代次數(shù)為200,其余參數(shù)按照表1進行計算。對該調(diào)查區(qū)域的7個條帶數(shù)據(jù)進行鑲嵌,鑲嵌前后的結(jié)果如圖5所示。

圖5 實驗區(qū)多波束聲吶圖像鑲嵌結(jié)果

從圖5(a)中可以看出,盡管經(jīng)過誤差改正處理,條帶間仍存在系統(tǒng)性殘差,表現(xiàn)為明顯的拼接線,該現(xiàn)象影響聲吶圖像的進一步使用。經(jīng)本研究方法鑲嵌后,如圖5(b)所示,能有效削弱圖像的灰度畸變,無明顯拼接痕跡,且底質(zhì)和紋理特征的邊界清晰,能夠較好地保留圖像的紋理信息,實現(xiàn)多條帶的無縫拼接。

為了說明本研究方法的有效性,選取實驗區(qū)域內(nèi)具有代表性的相鄰兩條帶進行分析,兩條帶重疊區(qū)域大、強度差異明顯。采用平均法、混合加權(quán)法和本研究方法分別對條帶重疊區(qū)域圖像進行鑲嵌處理,實驗結(jié)果如圖6所示。

圖6 多波束聲吶圖像鑲嵌效果對比

從圖6(a)可以看出,原始數(shù)據(jù)存在的殘差造成了重疊區(qū)域邊界明顯的拼接線。圖6(b)中,經(jīng)平均法鑲嵌后,兩條帶總體聲強較一致。但由于只對重疊區(qū)域數(shù)據(jù)進行平均化,削弱了部分隨機噪聲,導(dǎo)致重疊區(qū)域更加平滑,與非重疊區(qū)域間的紋理細節(jié)存在一定差異,因此鑲嵌結(jié)果仍存在較明顯的拼接線。圖6(c)中,混合加權(quán)法總體上效果較好,條帶間聲強過渡均勻,無明顯的拼接線。但在加權(quán)計算過程中,損失了地物地貌的細節(jié)信息,使圖像存在一定程度的模糊。圖6(d)中,本研究方法在低頻系數(shù)上利用混合加權(quán)法消除了拼接線,并對高頻系數(shù)進行信息提取,保留了細節(jié)信息,有效實現(xiàn)了多波束聲吶圖像的鑲嵌。下面分別從拼接效果和信息綜合效果兩方面分析本研究方法的有效性。

1) 拼接效果分析

為了定量評價本研究方法在消除條帶間拼接線方面的有效性,首先在聲吶圖像鑲嵌結(jié)果圖(圖6)中沿垂直航跡線方向取一橫向截面(黃色直線),該截面跨越了相鄰條帶的拼接線且底質(zhì)類型基本一致;然后分別計算拼接線兩側(cè)一定范圍內(nèi)聲強的統(tǒng)計特征,如表2所示。

表2 拼接線兩側(cè)聲強統(tǒng)計特征

圖7顯示了截面處不同鑲嵌方法的拼接效果。紅色實線與黃色實線分別表示拼接線兩側(cè)的聲強均值。在圖7(a)中,原始圖像條帶之間在重疊區(qū)域存在明顯的聲強差異,約為-6.18 dB。在圖7(b)平均法處理結(jié)果中,拼接線兩側(cè)均值相差2.81 dB,條帶邊界處呈明顯的階梯狀。此外,如表2所示,平均法處理結(jié)果中拼接線兩側(cè)的聲強標準差相差0.1 dB,表明重疊區(qū)經(jīng)過平均化處理后,削弱了隨機噪聲影響,與非重疊區(qū)域存在一定差異。因此,在鑲嵌結(jié)果圖6(b)中有較明顯的拼接痕跡。在圖7(c)混合加權(quán)方法中,拼接線兩側(cè)均值相差1.15 dB,比平均法降低了59%,表明該方法能夠有效削弱拼接線兩側(cè)聲強差異,實現(xiàn)聲強的均勻過渡。該方法拼接線兩側(cè)聲強標準差相差0.15 dB,說明加權(quán)處理削弱了隨機噪聲的影響。在圖7(d)本研究方法中,拼接線兩側(cè)聲強均值相差1.29 dB,總體上無明顯階躍,表明對NSST分解后的低頻系數(shù)進行混合加權(quán)處理能實現(xiàn)聲強的無縫拼接。此外,如表2所示,本研究方法拼接線兩側(cè)聲強標準差基本一致,表明對NSST分解后的高頻系數(shù)進行PCNN融合能保持聲吶圖像的原始細節(jié)信息,避免加權(quán)處理弱化圖像的紋理信息。

圖7 拼接線兩側(cè)聲強比較

2) 信息綜合效果分析

通過對聲吶圖像進行鑲嵌,實現(xiàn)了相鄰條帶重疊區(qū)域的信息融合。為定量評價3種方法在信息綜合方面的有效性,對圖像的信息熵IE、標準差SD和空間頻率SF進行計算,結(jié)果如表3所示。

表3 聲吶圖像信息綜合效果評價

從表3可以看出,3種鑲嵌方法的標準差相近,本研究方法實驗結(jié)果標準差稍高,與平均法和混合加權(quán)法相比,分別提升0.8%和0.9%。本研究方法實驗結(jié)果的信息熵最高(3.25),平均法次之,混合加權(quán)法最低。主要原因是混合加權(quán)法在計算過程中未考慮具體區(qū)域的紋理信息,僅按照像素點位置加權(quán),可能會損失部分紋理信息。與其他兩種方法相比,本研究方法的信息熵分別提升2.5%和4.2%,表明該方法在保持信息豐富程度上具有一定優(yōu)勢。本研究方法的空間頻率為22.76,分別比平均法的18.84、混合加權(quán)法的17.29提升了20.8%和31.6%,表明鑲嵌結(jié)果圖中具有豐富的邊緣信息,圖像質(zhì)量更高。

從圖6中的源圖像和拼接后聲吶圖像中提取子區(qū)域(黑色矩形),如圖8所示。從圖8(a)和8(b)中可以看出,條帶之間的紋理信息差異明顯,不同條帶的重疊區(qū)域的細節(jié)信息不同,且呈較強的互補性。主要原因是采用多波束聲吶測量同一區(qū)域時,不同條帶的波束入射角和方位角不同,導(dǎo)致返回的信號存在差異。經(jīng)過鑲嵌處理后,平均法(圖8(c))和混合加權(quán)法(圖8(d))的鑲嵌結(jié)果均存在一定的模糊。本研究方法的鑲嵌結(jié)果(圖8(e))紋理特征明顯、邊界清晰,能夠保持更豐富的細節(jié)信息。

圖8 聲吶圖像鑲嵌信息綜合結(jié)果

3 結(jié)論

本研究針對多波束聲吶圖像鑲嵌中存在的拼接線消除與信息綜合問題,提出一種在NSST域內(nèi)結(jié)合PCNN和混合加權(quán)法的圖像鑲嵌方法,并利用實測多波束海底反向散射強度數(shù)據(jù)進行實驗分析。實驗結(jié)果表明,本研究方法能夠有效削弱條帶間的拼接線并消除灰度畸變,同時能夠保留較為全面的紋理細節(jié)信息,可為聲吶圖像的鑲嵌任務(wù)提供參考。但當重疊區(qū)域較窄、海底底質(zhì)較為單一且無明顯紋理特征時,該方法存在一定局限性,需要進一步研究。