采用局部約束線性編碼的像素級艦船目標圖像融合

2021-04-16 13:07:40張洲宇曹云峰

導航定位與授時 2021年2期

張洲宇, 曹云峰

(南京航空航天大學航天學院，南京210016)

0 引言

著艦由于高更新率和高實時性等特點,在無人艦載機的任務鏈內顯得尤為關鍵，統計數據表明，著艦期間的事故發生率遠高于起飛與巡航階段[1]。因此，針對無人艦載機著艦導引技術的研究具有重要意義。視覺導引因具備高可靠性、高安全性、低能耗等優點,為無人機著艦提供了一條行之有效的途徑。視覺著艦導引流程圖如圖1所示[2]。

圖1 無人機視覺著艦導引流程圖Fig.1 UAV visual landing guidance flow chart

由于視覺傳感器的成像質量易受光照變化的影響，在低能見度條件下難以滿足著艦導引的任務需求，因此對視覺信息進行預處理以達到著艦導引的條件顯得至關重要。如圖2所示，可見光艦船圖像可以較好地保留海岸線和艦船輪廓等細節信息，但是在低能見度條件下難以清晰地捕獲艦船目標；而紅外圖像在低能見度條件下可以完整地獲取艦船目標，但是圖像中的紋理信息不夠豐富。如圖1所示，由于完整的艦船目標是視覺著艦流程中艦船檢測步驟的必要條件，而圖像中的細節信息對于機艦相對位姿估計步驟具有至關重要的影響[3]，可見光艦船圖像與紅外艦船圖像對于視覺著艦具有較強的互補性。為此，本文針對面向無人機視覺著艦導引的紅外與可見光像素級艦船圖像融合方法展開研究，以提升視覺導引在低能見度條件下的適用性。

(a) 可見光圖像

(b) 紅外圖像

當前廣泛采用的像素級圖像融合方法可分為三類[4-9]：基于壓縮感知 (Compressive Sensing, CS)理論的圖像融合方法、基于卷積稀疏表示(Con-volutional Sparse Representation, CSR)的圖像融合方法和基于卷積神經網絡(Convolutional Neural Network, CNN)的圖像融合方法。

基于CS理論的圖像融合方法首先將源圖像分解為大量互相重疊的圖像塊，在此基礎上采用預先學習的過完備字典獲取每一個圖像塊的投影系數，最終通過預先設計的融合規則結合過完備字典實現融合圖像的重建。由于CS理論所采用的過完備字典具有較強的特征學習能力，該類方法的融合性能相比于采用小波基的圖像融合方法有明顯的提升[9]。然而針對無人機視覺著艦導引的應用背景，該類方法的不足之處在于：在投影系數計算階段，正交匹配追蹤 (Orthogonal Matching Pursuit, OMP)與多面體追蹤 (Polytope Faces Pursuit, PFP)等算法需要大量的重復迭代，計算復雜度高達O(m2)[10-11]，其中m為過完備字典的原子個數。

基于CSR的圖像融合方法采用一組預先訓練的字典濾波器將源圖像分解為大小相同的一組卷積圖，在此基礎上通過活性層衡量算法計算每一個像素點位置的活性強度，最終根據活性強度結合預先訓練的字典濾波器實現融合圖像的重建。由于采用CSR的圖像融合方法無需將源圖像分解為大量重疊的圖像塊，在一定程度上避免了CS理論所產生的塊狀分布等不良效應。然而針對無人機視覺著艦導引的應用背景，該類方法的不足之處在于：在字典濾波器數量較少時，融合效果往往不夠理想；而當字典濾波器數量增加時，融合算法的計算復雜度也隨之急劇上升。

基于CNN的圖像融合方法根據卷積神經網絡的不同屬性，又可以進一步分為基于分類卷積神經網絡的圖像融合以及基于回歸卷積神經網絡的圖像融合[5]。由于CNN具有監督學習特性，上述兩種類型的卷積神經網絡都通過大量帶有標簽的訓練樣本完成網絡訓練，并在此基礎上通過預訓練網絡實現端到端的圖像融合[12]。由于CNN近年來在特征學習方面展現出的巨大優勢，該類方法在像素級圖像融合領域具有較好的應用前景。然而針對無人機視覺著艦導引的應用背景，該類方法最大的缺陷在于難以獲取用于訓練的融合圖像真值圖(Ground Truth, GT)。

為了克服現有算法的不足，考慮視覺著艦導引對于實時性的要求，本文提出了一種采用局部約束線性編碼(Locality-constrained Linear Coding, LLC)的紅外與可見光像素級艦船圖像融合方法，該方法分為基于K均值奇異值分解的過完備字典建立、基于LLC的融合系數求解，以及融合圖像的重建三個部分。由于LLC無需迭代即可求得融合系數的解析解，與傳統CS理論架構下的圖像融合方法相比，本文所提融合算法的計算復雜度顯著下降。針對三組不同距離拍攝的紅外與可見光艦船圖像的融合實驗結果表明：在融合圖像質量方面，本文所提算法在保留高頻細節的同時將圖像中的艦船目標有效增強了，MI、Qw、QAB/F等部分客觀評價指標優于基于CSR的圖像融合算法與基于CNN的圖像融合算法；在實時性方面，本文所提算法的計算速度相比于采用OMP計算融合系數的圖像融合算法有明顯提升。

1 像素級艦船圖像融合方案

本文設計的像素級艦船圖像融合總體方案如圖3所示，可分為三個部分：過完備字典的學習、融合系數的求解和融合圖像的重建。其中，過完備字典的學習是離線的，而融合系數的求解與融合圖像的重建是在線完成的。

考慮到著艦導引對于實時性的要求，融合系數求解算法的計算復雜度對于著艦導引具有至關重要的影響。為了提升融合算法的實時性，本文采用LLC來實現融合系數的求解。相較于OMP和PFP等基于數值優化的投影系數求解方法，該方法具有解析解，且無需重復迭代，因此計算復雜度僅為O(m+k),k?m[11]，其中k為用于計算投影系數的K近鄰原子個數，m為過完備字典的原子個數。

2 像素級艦船圖像融合算法

2.1 過完備字典的學習

如圖3所示，獲取過完備字典是融合系數求解的先決條件。K均值奇異值分解(K-means Singular Value Decomposition, K-SVD)是一種經典的從訓練樣本中學習字典的方法[13]，其目標函數可以表示為

(1)

圖3 像素級艦船圖像融合方案Fig.3 Pixel level ship image fusion scheme

2.2 融合系數的求解

通過求解融合系數實現圖像在不同空間上的轉換是變換域像素級圖像融合算法的核心[4]。在求解融合系數之前，首先需要對源圖像進行向量化，以獲得一組向量集合，在此基礎上求解向量集合所對應的融合系數。

(2)

顯然，求解式(2)中的系數a為NP-hard難題，無法獲取解析解，因此只能通過數學分析方法獲取稀疏系數a的近似解。稀疏系數的近似估計方法包括l0范數貪婪迭代算法和l1范數最小化算法。OMP算法[14]是應用最為廣泛的l0范數貪婪迭代算法，目標函數如式(3)所示。該算法繼承了匹配追蹤算法的原子選擇標準，但是通過對原子集合進行遞歸正交化，從而降低了迭代次數。

(3)

l1范數最小化算法是指通過計算l1范數的最小值替代l0范數最小值的方法，當字典D滿足約束等距條件時，l1范數最小化問題和l0范數最小化問題是等價的，因此針對式(3)的優化求解可以轉化為式(4)。針對l1范數最小化問題的求解方法可以利用CS理論中的標準線性規劃方法實現，其中具有代表性的包括基追蹤(Basis Pursuit, BP)算法和PFP算法等。

(4)

上述兩類求解系數向量方法的共同不足在于，需要通過不斷迭代求取近似解，因此計算復雜度較大。即便通過近似計算的方式簡化分析，該類求解方式的計算復雜度依然高達O(m2)[10]，其中m為過完備字典的原子個數。

(5)

(6)

2.3 融合圖像的重建

通過LLC分別計算得到紅外與可見光圖像的系數向量后，如何選取恰當的融合規則實現系數向量的融合是重建融合圖像的前提[14]。考慮到利用均值融合重建得到融合圖像后，圖像中反映重要細節的高頻信息容易丟失，這與圖像融合的初衷是相違背的。因此，本文設計了最大絕對值融合規則，該融合規則的數學表達式為

(7)

至此，融合艦船圖像的重建步驟可歸納如下。

第一步：基于系數向量的融合規則，將紅外艦船圖像的系數矩陣Ain與可見光艦船圖像的系數矩陣Avi融合為系數矩陣AF;

第二步：通過YF=DAF獲取融合圖像所對應的矩陣YF；

第三步：將YF的每一個列向量yF轉化成大小為n×n的矩陣，并將這個矩陣加到與原圖像尺寸相同的空矩陣S上，該過程可視為圖4獲取輸入信號的逆過程；

第四步：由于每個矩陣在空矩陣S上相加的位置存在重疊，因此，S的每個元素所在的位置都需要除以該位置上矩陣相加的次數，從而獲取與融合圖像IF對應的像素值。

3 艦船圖像融合算法仿真驗證

3.1 仿真實驗設置

本文用于實驗的源圖像共有三組，如圖5所示。其中，圖5(a)、(b)、(c)為紅外圖像，圖5(d)、(e)、(f)為可見光圖像，兩組圖像按照由遠及近的順序拍攝，由此模擬無人機的著艦過程。

用于K-SVD字典訓練的樣本包含20000個尺寸為8×8、從紅外與可見光圖像中隨機選擇的圖像塊。根據訓練樣本的不同選擇，本文使用的字典分為完全由紅外圖像訓練得到的字典和完全由可見光圖像訓練得到的字典兩類。

在融合效果評估方面，本文選取了三種廣泛采用的融合圖像質量客觀評價指標，包括：

(a) 紅外圖像1

(b) 紅外圖像2

(d) 可見光圖像1

(e) 可見光圖像2

(f) 可見光圖像3

1)MI：MI與融合效果呈正相關；

2)QW：QW與融合效果呈正相關；

3)QAB/F：QAB/F與1更接近，表明融合效果更好。

3.2 融合效果分析

考慮到無人機視覺著艦導引的實時性要求，本文從圖像融合質量與融合算法計算時間兩個角度對融合效果進行綜合分析。

由于過完備字典的學習、融合系數的求解和融合圖像的重建是本文設計算法的三個核心步驟，因此本文重點針對以上三個步驟對融合效果的影響展開分析。在過完備字典的學習部分，針對字典訓練樣本的選取對融合效果的影響進行分析；在融合系數的求解部分，針對融合系數求解算法的選取對融合效果的影響進行分析；在融合圖像的重建部分，針對絕對值最大融合規則和l1范數最大融合規則對融合效果的影響進行分析。由此組合得到八種不同的算法，列舉如表1所示。在所有的實驗中，字典大小設置為64×256，滑窗尺寸設置為8×8，式(4)中OMP算法的δ設置為0.1，式(5)中局部約束線性算法的λ設置為10-6。

第一組和第二組艦船圖像在八種算法下的融合結果分別如圖6和圖7所示。第一組和第二組艦船圖像在8種算法下的客觀評價指標如表2所示。

表1 實驗算法設置

表2 融合結果客觀評價指標對比

(a) IR-LLC-Abs

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

(a) IR-LLC-Abs

(b)IR-LLC-l1

(c)IR-OMP-Abs

(d)IR-OMP-l1

(e)VI-LLC-Abs

(f)VI-LLC-l1

(g)VI-OMP-Abs

(h)VI-OMP-l1

通過人眼的直觀評價對融合結果進行初步分析可知：1)字典學習過程中采用的訓練樣本類型對最終的融合結果沒有顯著影響；2)采用LLC求解融合系數得到的融合圖像效果優于采用最優匹配追蹤算法；3)采用最大絕對值融合規則得到的融合圖像效果優于采用最大l1范數融合規則。

進一步對第一組和第二組艦船圖像的各個融合結果進行客觀評價，計算得到的MI、QW、QAB/F的對比結果如表2所示。分析融合結果的客觀評價指標，其規律與主觀評價得到的結果基本一致，即：1)字典學習過程中的訓練樣本類型對融合結果沒有明顯影響；2)利用LLC求解融合系數的融合圖像效果優于OMP；3)采用最大絕對值融合規則的融合圖像效果基本優于最大l1范數融合規則。

對于兩組艦船圖像的八種算法進一步進行實時性驗證分析。本文算法的實現平臺為matlab 2016b，

計算機主頻為3.4GHz，內存為8GB，采用matlab的tic toc命令，對于八種算法的運行時間進行統計，統計結果如表3所示。由表3可知，由于本文采用的LLC的計算復雜度較低，因此算法運行時間得到了有效縮減。

表3 融合結果計算時間對比

3.3 對比實驗分析

為了進一步驗證本文所提算法的有效性，將本文算法與基于CSR的圖像融合算法[15]和基于CNN的圖像融合算法[12]進行對比實驗分析。由于本文算法采用的過完備字典大小為64×256，因此，將CSR的濾波器組設置為256個8×8大小的字典濾波器。

第一、二、三組源圖像在三種不同方法下所對應的融合結果如圖8～圖10所示，計算得到的MI、QW、QAB/F的對比結果如表4所示。

(a) 本文算法

(b) CSR

(a) 本文算法

(b) CSR

(a) 本文算法

(b) CSR

由表4可知，本文所提算法與基于CSR的圖像融合算法和基于CNN的圖像融合算法相比,在部分融合指標上具有一定的優勢。

表4 融合結果客觀評價指標對比

4 結論

本文針對視覺成像在低能見度條件下適用性不足的缺陷，提出了一種面向無人機視覺著艦導引的艦船圖像融合方法。采用K均值奇異值分解算法從海量僅包含紅外圖像的訓練樣本中完成過完備字典的學習。在此基礎上,根據著艦的實時性需求，基于LLC完成融合系數的非迭代求解。最后，設計了一種基于融合系數最大絕對值的融合規則，根據過完備字典和融合后的局部約束線性系數重建合成圖。

實驗分析結果表明：

1)本文提出的算法相較于基于OMP的圖像融合算法在融合效果和實時性方面均具有明顯的優勢；

2)本文提出的算法相較于基于CSR的圖像融合算法和基于CNN的圖像融合算法,在部分融合指標上具有一定的優勢；

3)在其他條件一致的情況下，最大絕對值融合規則得到的多數結果優于最大l1范數融合規則的結果。