采用局部約束線性編碼的像素級艦船目標(biāo)圖像融合

張洲宇, 曹云峰

(南京航空航天大學(xué)航天學(xué)院，南京210016)

0 引言

著艦由于高更新率和高實時性等特點,在無人艦載機的任務(wù)鏈內(nèi)顯得尤為關(guān)鍵，統(tǒng)計數(shù)據(jù)表明，著艦期間的事故發(fā)生率遠(yuǎn)高于起飛與巡航階段[1]。因此，針對無人艦載機著艦導(dǎo)引技術(shù)的研究具有重要意義。視覺導(dǎo)引因具備高可靠性、高安全性、低能耗等優(yōu)點,為無人機著艦提供了一條行之有效的途徑。視覺著艦導(dǎo)引流程圖如圖1所示[2]。

圖1 無人機視覺著艦導(dǎo)引流程圖Fig.1 UAV visual landing guidance flow chart

由于視覺傳感器的成像質(zhì)量易受光照變化的影響，在低能見度條件下難以滿足著艦導(dǎo)引的任務(wù)需求，因此對視覺信息進行預(yù)處理以達(dá)到著艦導(dǎo)引的條件顯得至關(guān)重要。如圖2所示，可見光艦船圖像可以較好地保留海岸線和艦船輪廓等細(xì)節(jié)信息，但是在低能見度條件下難以清晰地捕獲艦船目標(biāo)；而紅外圖像在低能見度條件下可以完整地獲取艦船目標(biāo)，但是圖像中的紋理信息不夠豐富。如圖1所示，由于完整的艦船目標(biāo)是視覺著艦流程中艦船檢測步驟的必要條件，而圖像中的細(xì)節(jié)信息對于機艦相對位姿估計步驟具有至關(guān)重要的影響[3]，可見光艦船圖像與紅外艦船圖像對于視覺著艦具有較強的互補性。為此，本文針對面向無人機視覺著艦導(dǎo)引的紅外與可見光像素級艦船圖像融合方法展開研究，以提升視覺導(dǎo)引在低能見度條件下的適用性。

(a) 可見光圖像

(b) 紅外圖像

(c) 融合圖像圖2 紅外與可見光像素級艦船目標(biāo)圖像融合Fig.2 Pixel level infrared and visible ship target image fusion

當(dāng)前廣泛采用的像素級圖像融合方法可分為三類[4-9]：基于壓縮感知 (Compressive Sensing, CS)理論的圖像融合方法、基于卷積稀疏表示(Con-volutional Sparse Representation, CSR)的圖像融合方法和基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)的圖像融合方法。

基于CS理論的圖像融合方法首先將源圖像分解為大量互相重疊的圖像塊，在此基礎(chǔ)上采用預(yù)先學(xué)習(xí)的過完備字典獲取每一個圖像塊的投影系數(shù)，最終通過預(yù)先設(shè)計的融合規(guī)則結(jié)合過完備字典實現(xiàn)融合圖像的重建。由于CS理論所采用的過完備字典具有較強的特征學(xué)習(xí)能力，該類方法的融合性能相比于采用小波基的圖像融合方法有明顯的提升[9]。然而針對無人機視覺著艦導(dǎo)引的應(yīng)用背景，該類方法的不足之處在于：在投影系數(shù)計算階段，正交匹配追蹤 (Orthogonal Matching Pursuit, OMP)與多面體追蹤 (Polytope Faces Pursuit, PFP)等算法需要大量的重復(fù)迭代，計算復(fù)雜度高達(dá)O(m2)[10-11]，其中m為過完備字典的原子個數(shù)。

基于CSR的圖像融合方法采用一組預(yù)先訓(xùn)練的字典濾波器將源圖像分解為大小相同的一組卷積圖，在此基礎(chǔ)上通過活性層衡量算法計算每一個像素點位置的活性強度，最終根據(jù)活性強度結(jié)合預(yù)先訓(xùn)練的字典濾波器實現(xiàn)融合圖像的重建。由于采用CSR的圖像融合方法無需將源圖像分解為大量重疊的圖像塊，在一定程度上避免了CS理論所產(chǎn)生的塊狀分布等不良效應(yīng)。然而針對無人機視覺著艦導(dǎo)引的應(yīng)用背景，該類方法的不足之處在于：在字典濾波器數(shù)量較少時，融合效果往往不夠理想；而當(dāng)字典濾波器數(shù)量增加時，融合算法的計算復(fù)雜度也隨之急劇上升。

基于CNN的圖像融合方法根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的不同屬性，又可以進一步分為基于分類卷積神經(jīng)網(wǎng)絡(luò)的圖像融合以及基于回歸卷積神經(jīng)網(wǎng)絡(luò)的圖像融合[5]。由于CNN具有監(jiān)督學(xué)習(xí)特性，上述兩種類型的卷積神經(jīng)網(wǎng)絡(luò)都通過大量帶有標(biāo)簽的訓(xùn)練樣本完成網(wǎng)絡(luò)訓(xùn)練，并在此基礎(chǔ)上通過預(yù)訓(xùn)練網(wǎng)絡(luò)實現(xiàn)端到端的圖像融合[12]。由于CNN近年來在特征學(xué)習(xí)方面展現(xiàn)出的巨大優(yōu)勢，該類方法在像素級圖像融合領(lǐng)域具有較好的應(yīng)用前景。然而針對無人機視覺著艦導(dǎo)引的應(yīng)用背景，該類方法最大的缺陷在于難以獲取用于訓(xùn)練的融合圖像真值圖(Ground Truth, GT)。

為了克服現(xiàn)有算法的不足，考慮視覺著艦導(dǎo)引對于實時性的要求，本文提出了一種采用局部約束線性編碼(Locality-constrained Linear Coding, LLC)的紅外與可見光像素級艦船圖像融合方法，該方法分為基于K均值奇異值分解的過完備字典建立、基于LLC的融合系數(shù)求解，以及融合圖像的重建三個部分。由于LLC無需迭代即可求得融合系數(shù)的解析解，與傳統(tǒng)CS理論架構(gòu)下的圖像融合方法相比，本文所提融合算法的計算復(fù)雜度顯著下降。針對三組不同距離拍攝的紅外與可見光艦船圖像的融合實驗結(jié)果表明：在融合圖像質(zhì)量方面，本文所提算法在保留高頻細(xì)節(jié)的同時將圖像中的艦船目標(biāo)有效增強了，MI、Qw、QAB/F等部分客觀評價指標(biāo)優(yōu)于基于CSR的圖像融合算法與基于CNN的圖像融合算法；在實時性方面，本文所提算法的計算速度相比于采用OMP計算融合系數(shù)的圖像融合算法有明顯提升。

1 像素級艦船圖像融合方案

本文設(shè)計的像素級艦船圖像融合總體方案如圖3所示，可分為三個部分：過完備字典的學(xué)習(xí)、融合系數(shù)的求解和融合圖像的重建。其中，過完備字典的學(xué)習(xí)是離線的，而融合系數(shù)的求解與融合圖像的重建是在線完成的。

考慮到著艦導(dǎo)引對于實時性的要求，融合系數(shù)求解算法的計算復(fù)雜度對于著艦導(dǎo)引具有至關(guān)重要的影響。為了提升融合算法的實時性，本文采用LLC來實現(xiàn)融合系數(shù)的求解。相較于OMP和PFP等基于數(shù)值優(yōu)化的投影系數(shù)求解方法，該方法具有解析解，且無需重復(fù)迭代，因此計算復(fù)雜度僅為O(m+k),k?m[11]，其中k為用于計算投影系數(shù)的K近鄰原子個數(shù)，m為過完備字典的原子個數(shù)。

2 像素級艦船圖像融合算法

2.1 過完備字典的學(xué)習(xí)

如圖3所示，獲取過完備字典是融合系數(shù)求解的先決條件。K均值奇異值分解(K-means Singular Value Decomposition, K-SVD)是一種經(jīng)典的從訓(xùn)練樣本中學(xué)習(xí)字典的方法[13]，其目標(biāo)函數(shù)可以表示為

(1)

圖3 像素級艦船圖像融合方案Fig.3 Pixel level ship image fusion scheme

2.2 融合系數(shù)的求解

通過求解融合系數(shù)實現(xiàn)圖像在不同空間上的轉(zhuǎn)換是變換域像素級圖像融合算法的核心[4]。在求解融合系數(shù)之前，首先需要對源圖像進行向量化，以獲得一組向量集合，在此基礎(chǔ)上求解向量集合所對應(yīng)的融合系數(shù)。

(2)

顯然，求解式(2)中的系數(shù)a為NP-hard難題，無法獲取解析解，因此只能通過數(shù)學(xué)分析方法獲取稀疏系數(shù)a的近似解。稀疏系數(shù)的近似估計方法包括l0范數(shù)貪婪迭代算法和l1范數(shù)最小化算法。OMP算法[14]是應(yīng)用最為廣泛的l0范數(shù)貪婪迭代算法，目標(biāo)函數(shù)如式(3)所示。該算法繼承了匹配追蹤算法的原子選擇標(biāo)準(zhǔn)，但是通過對原子集合進行遞歸正交化，從而降低了迭代次數(shù)。

(3)

l1范數(shù)最小化算法是指通過計算l1范數(shù)的最小值替代l0范數(shù)最小值的方法，當(dāng)字典D滿足約束等距條件時，l1范數(shù)最小化問題和l0范數(shù)最小化問題是等價的，因此針對式(3)的優(yōu)化求解可以轉(zhuǎn)化為式(4)。針對l1范數(shù)最小化問題的求解方法可以利用CS理論中的標(biāo)準(zhǔn)線性規(guī)劃方法實現(xiàn)，其中具有代表性的包括基追蹤(Basis Pursuit, BP)算法和PFP算法等。

(4)

上述兩類求解系數(shù)向量方法的共同不足在于，需要通過不斷迭代求取近似解，因此計算復(fù)雜度較大。即便通過近似計算的方式簡化分析，該類求解方式的計算復(fù)雜度依然高達(dá)O(m2)[10]，其中m為過完備字典的原子個數(shù)。

(5)

(6)

2.3 融合圖像的重建

通過LLC分別計算得到紅外與可見光圖像的系數(shù)向量后，如何選取恰當(dāng)?shù)娜诤弦?guī)則實現(xiàn)系數(shù)向量的融合是重建融合圖像的前提[14]。考慮到利用均值融合重建得到融合圖像后，圖像中反映重要細(xì)節(jié)的高頻信息容易丟失，這與圖像融合的初衷是相違背的。因此，本文設(shè)計了最大絕對值融合規(guī)則，該融合規(guī)則的數(shù)學(xué)表達(dá)式為

(7)

至此，融合艦船圖像的重建步驟可歸納如下。

第一步：基于系數(shù)向量的融合規(guī)則，將紅外艦船圖像的系數(shù)矩陣Ain與可見光艦船圖像的系數(shù)矩陣Avi融合為系數(shù)矩陣AF;

第二步：通過YF=DAF獲取融合圖像所對應(yīng)的矩陣YF；

第三步：將YF的每一個列向量yF轉(zhuǎn)化成大小為n×n的矩陣，并將這個矩陣加到與原圖像尺寸相同的空矩陣S上，該過程可視為圖4獲取輸入信號的逆過程；

第四步：由于每個矩陣在空矩陣S上相加的位置存在重疊，因此，S的每個元素所在的位置都需要除以該位置上矩陣相加的次數(shù)，從而獲取與融合圖像IF對應(yīng)的像素值。

3 艦船圖像融合算法仿真驗證

3.1 仿真實驗設(shè)置

本文用于實驗的源圖像共有三組，如圖5所示。其中，圖5(a)、(b)、(c)為紅外圖像，圖5(d)、(e)、(f)為可見光圖像，兩組圖像按照由遠(yuǎn)及近的順序拍攝，由此模擬無人機的著艦過程。

用于K-SVD字典訓(xùn)練的樣本包含20000個尺寸為8×8、從紅外與可見光圖像中隨機選擇的圖像塊。根據(jù)訓(xùn)練樣本的不同選擇，本文使用的字典分為完全由紅外圖像訓(xùn)練得到的字典和完全由可見光圖像訓(xùn)練得到的字典兩類。

在融合效果評估方面，本文選取了三種廣泛采用的融合圖像質(zhì)量客觀評價指標(biāo)，包括：

(a) 紅外圖像1

(b) 紅外圖像2

(c) 紅外圖像3

(d) 可見光圖像1

(e) 可見光圖像2

(f) 可見光圖像3

1)MI：MI與融合效果呈正相關(guān)；

2)QW：QW與融合效果呈正相關(guān)；

3)QAB/F：QAB/F與1更接近，表明融合效果更好。

3.2 融合效果分析

考慮到無人機視覺著艦導(dǎo)引的實時性要求，本文從圖像融合質(zhì)量與融合算法計算時間兩個角度對融合效果進行綜合分析。

由于過完備字典的學(xué)習(xí)、融合系數(shù)的求解和融合圖像的重建是本文設(shè)計算法的三個核心步驟，因此本文重點針對以上三個步驟對融合效果的影響展開分析。在過完備字典的學(xué)習(xí)部分，針對字典訓(xùn)練樣本的選取對融合效果的影響進行分析；在融合系數(shù)的求解部分，針對融合系數(shù)求解算法的選取對融合效果的影響進行分析；在融合圖像的重建部分，針對絕對值最大融合規(guī)則和l1范數(shù)最大融合規(guī)則對融合效果的影響進行分析。由此組合得到八種不同的算法，列舉如表1所示。在所有的實驗中，字典大小設(shè)置為64×256，滑窗尺寸設(shè)置為8×8，式(4)中OMP算法的δ設(shè)置為0.1，式(5)中局部約束線性算法的λ設(shè)置為10-6。

第一組和第二組艦船圖像在八種算法下的融合結(jié)果分別如圖6和圖7所示。第一組和第二組艦船圖像在8種算法下的客觀評價指標(biāo)如表2所示。

表1 實驗算法設(shè)置

表2 融合結(jié)果客觀評價指標(biāo)對比

(a) IR-LLC-Abs

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

(a) IR-LLC-Abs

(b)IR-LLC-l1

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

通過人眼的直觀評價對融合結(jié)果進行初步分析可知：1)字典學(xué)習(xí)過程中采用的訓(xùn)練樣本類型對最終的融合結(jié)果沒有顯著影響；2)采用LLC求解融合系數(shù)得到的融合圖像效果優(yōu)于采用最優(yōu)匹配追蹤算法；3)采用最大絕對值融合規(guī)則得到的融合圖像效果優(yōu)于采用最大l1范數(shù)融合規(guī)則。

進一步對第一組和第二組艦船圖像的各個融合結(jié)果進行客觀評價，計算得到的MI、QW、QAB/F的對比結(jié)果如表2所示。分析融合結(jié)果的客觀評價指標(biāo)，其規(guī)律與主觀評價得到的結(jié)果基本一致，即：1)字典學(xué)習(xí)過程中的訓(xùn)練樣本類型對融合結(jié)果沒有明顯影響；2)利用LLC求解融合系數(shù)的融合圖像效果優(yōu)于OMP；3)采用最大絕對值融合規(guī)則的融合圖像效果基本優(yōu)于最大l1范數(shù)融合規(guī)則。

對于兩組艦船圖像的八種算法進一步進行實時性驗證分析。本文算法的實現(xiàn)平臺為matlab 2016b，

計算機主頻為3.4GHz，內(nèi)存為8GB，采用matlab的tic toc命令，對于八種算法的運行時間進行統(tǒng)計，統(tǒng)計結(jié)果如表3所示。由表3可知，由于本文采用的LLC的計算復(fù)雜度較低，因此算法運行時間得到了有效縮減。

表3 融合結(jié)果計算時間對比

3.3 對比實驗分析

為了進一步驗證本文所提算法的有效性，將本文算法與基于CSR的圖像融合算法[15]和基于CNN的圖像融合算法[12]進行對比實驗分析。由于本文算法采用的過完備字典大小為64×256，因此，將CSR的濾波器組設(shè)置為256個8×8大小的字典濾波器。

第一、二、三組源圖像在三種不同方法下所對應(yīng)的融合結(jié)果如圖8～圖10所示，計算得到的MI、QW、QAB/F的對比結(jié)果如表4所示。

(a) 本文算法

(b) CSR

(c) CNN圖8 第一組源圖像融合結(jié)果對比Fig.8 Comparison of the fusion results of the first group of source images

(a) 本文算法

(b) CSR

(c) CNN圖9 第二組源圖像融合結(jié)果對比Fig.9 Comparison of fusion results of the second group of source images

(a) 本文算法

(b) CSR

(c) CNN圖10 第三組源圖像融合結(jié)果對比Fig.10 Comparison of fusion results of the third group of source images

由表4可知，本文所提算法與基于CSR的圖像融合算法和基于CNN的圖像融合算法相比,在部分融合指標(biāo)上具有一定的優(yōu)勢。

表4 融合結(jié)果客觀評價指標(biāo)對比

4 結(jié)論

本文針對視覺成像在低能見度條件下適用性不足的缺陷，提出了一種面向無人機視覺著艦導(dǎo)引的艦船圖像融合方法。采用K均值奇異值分解算法從海量僅包含紅外圖像的訓(xùn)練樣本中完成過完備字典的學(xué)習(xí)。在此基礎(chǔ)上,根據(jù)著艦的實時性需求，基于LLC完成融合系數(shù)的非迭代求解。最后，設(shè)計了一種基于融合系數(shù)最大絕對值的融合規(guī)則，根據(jù)過完備字典和融合后的局部約束線性系數(shù)重建合成圖。

實驗分析結(jié)果表明：

1)本文提出的算法相較于基于OMP的圖像融合算法在融合效果和實時性方面均具有明顯的優(yōu)勢；

2)本文提出的算法相較于基于CSR的圖像融合算法和基于CNN的圖像融合算法,在部分融合指標(biāo)上具有一定的優(yōu)勢；

3)在其他條件一致的情況下，最大絕對值融合規(guī)則得到的多數(shù)結(jié)果優(yōu)于最大l1范數(shù)融合規(guī)則的結(jié)果。