陣列相機圖像鄰近目標超分辨方法

安成錦 楊俊剛 梁政宇 陳芊羽 曾瑤源 安 瑋

(國防科技大學電子科學學院 長沙 410073)

1 引言

在偵察、遙感等各種應用的探測任務中，探測到的目標通常遠離光學成像系統，造成相機傳感器接收到的目標輻射強度普遍較弱。特別是當此類目標以密集群形式出現時，在相機傳感器上的投影常常呈斑狀且聚集，目標紋理和結構特征不明顯，給探測任務帶來了挑戰。如何提高光學成像系統的分辨率，并準確區分鄰近目標的數量和位置，在后續檢測、跟蹤、識別任務中起著關鍵作用。

由于傳統單相機成像技術的發展限制和空間密集目標探測的挑戰，一種新型的由多個普通傳感器構成的陣列相機成像系統越來越受到研究人員的關注。盡管子相機圖像分辨率較低，但可以通過子圖像融合技術，計算得到高分辨率圖像，這就是陣列相機圖像超分辨率的思想。通過增加陣列相機的數量，可以實現對目標的多重觀測和關于目標補充信息的記錄。結合陣列相機圖像的互補信息可以進一步恢復單個子圖像所缺失的空間鄰近目標細節，實現對空間鄰近目標的超分辨率成像。使用陣列相機圖像的超分辨率技術可以突破單相機成像系統的性能極限，并且可以更靈活地應用在與超分辨率結合的后續高級任務中。

傳統的鄰近目標超分辨率方法首先建立目標的成像模型，并將其轉化為參數估計問題。為了迭代優化估計解，林兩魁等人[1]提出了一種基于粒子群優化的密集目標紅外超分辨率方法，并聯合估計目標在焦平面上的投影位置和輻射強度。初始粒子的位置隨機設置，不斷迭代計算粒子位置更新的梯度和概率。可逆跳躍馬爾可夫鏈蒙特卡羅計算[2]是一種基于貝葉斯理論的優化方法，假設每次采樣都是馬爾可夫鏈的隨機過程，并通過隨機抽樣來估計多個參數的后驗分布。盡管上述方法為密集分布目標超分辨率問題提供了有效的優化模型，但它們都不能很好地適應陣列相機圖像超分辨率。因此，有必要考慮陣列相機圖像之間的內在關系，并將優化方法應用于聯合陣列相機圖像的空間鄰近目標超分辨率問題。

本文分析了空間目標與陣列相機之間的幾何關系，并觀察到鄰近目標在像平面上的投影呈斑狀且聚集。基于空間鄰近目標稀疏性和目標背景低秩性[3]，提出了一種聯合陣列相機圖像稀疏重建的空間鄰近目標超分辨率方法。通過運用點擴散函數的鄰近目標成像模型和陣列相機視圖之間的投影約束條件，可分辨出混疊密集多目標。陣列相機圖像的仿真實驗結果表明，本文提出的方法可以實現鄰近目標的超分辨率，并有效地估計密集目標的數量和位置。

2 陣列相機成像模型

使用陣列相機圖像進行空間鄰近目標超分辨率的第1步是建立空間目標的成像模型。本節首先分析了空間目標在像平面上的輻射特性，以及空間目標與陣列像平面之間的幾何關系。然后，建立了空間目標在陣列相機圖像上的成像模型。最后，基于上述理論分析，仿真生成陣列相機獲取的鄰近目標圖像，仿真結果可用作后續超分辨率任務的數據基準。

2.1 空間目標成像特性

通常認為，空間目標距離陣列相機傳感器很遠，它們在像平面上的投影呈斑狀且聚集。由于成像區域小，成像系統的衍射效應加劇，斑狀物體在成像平面上會擴散到相鄰像素[4]。這種現象通常用2維高斯點擴散函數(Point Spread Function, PSF)來表示

其中， (xt,yt)是目標在像平面上投影的中心坐標，σp2sf是斑狀目標的點擴散方差。成像傳感器的光學特性決定了斑狀目標的斑點半徑。像平面上的每個像素對目標的點擴散響應不同，因此， (i,j)處的振幅響應值可以通過2維積分計算，即

其中，(xi,j,yi,j)是 焦平面上的中心坐標，D是像素寬度。注意，當有多個近距離斑狀目標投影在像平面上時，每個像素的振幅響應是所有點擴散響應的線性疊加。

2.2 陣列相機的互補先驗

經過校準的陣列相機具有相同的焦距和平行光軸，因此陣列相機具有嚴格的基線方向，也稱為極線約束。與利用單張圖像內部結構信息和雙目圖像兩視角間互補信息作為先驗恢復缺失信息的超分辨手段相比，充分利用陣列相機各子視角間的互補信息和陣列相機的極線約束先驗實現的陣列相機圖像超分辨，性能通常更為穩定，在分辨點目標集群中目標的數量信息上具有優越性。

如圖1所示，陣列相機捕獲同一場景，不同視角會得到不同細節的場景圖像。視角坐標為(2,2)的圖像(即中心視角圖像)中立方體左下角部分區域被球體遮擋，而視角坐標為(1,3),(2,3)和(3,3)的圖像中立方體左下角并沒有被遮擋，因此在對中心視角圖像超分辨時，可以參考部分相鄰視角的內容作為補充信息。

圖1 陣列相機圖像各視角示意圖， (u,v)表示子圖像的視角坐標

由于目標與陣列相機像平面具有不同徑向距離，成像結果會顯示出視差效果。同一目標在像平面上的投影位置存在不同，不同場景深度的目標在陣列相機上的視差也不同。離相機近的目標視差較大，離相機遠的目標視差較小。需要注意的是，在水平基線上陣列相機投影的一個目標的視差僅存在于水平方向，而在垂直基線上陣列相機的視差僅存在于垂直方向。當水平(或垂直)基線上多個相機間隔相同時，具有相同場景深度的物體在相鄰成像結果中的視差是相同的。

2.3 空間鄰近目標的陣列相機成像

假設有一個U×V的相機陣列，每個相機都有一個H×W的圖像平面，所有相機都位于陣列的基線上。設γ為分散目標與陣列相機焦平面之間的距離，一個目標在陣列相機圖像上的視差為dγ。為了方便起見，本節以陣列水平基線上3個相機為例(如圖2所示)，介紹斑狀目標與陣列相機之間的幾何關系。水平基線上的相機關系可以很容易地推廣到2維陣列傳感器的情況。中間的相機位于陣列的中心(U/2,V/2)，假設分散目標在其圖像平面上的投影位置為 (xo,yo) 。 然后目標分別在 (U/2+1,V/2)和(U/2-1,V/2)的 圖像平面上投影在 (xo-dγ,yo)和 (xo+dγ,yo)。需注意的是，目標與陣列相機之間的距離不是固定的，在后面的仿真實驗中視差將被隨機設置。

圖2 在水平基線上陣列相機圖像建模示例圖

基于上述陣列相機上目標的成像模型，可以通過預設的空間目標位置和視差，計算目標在陣列相機圖像上的投影位置。根據空間目標的輻射特性和陣列相機焦平面上不同的投影位置，可以模擬所有陣列相機上1個目標或多個鄰近目標的成像結果。圖3顯示了帶有兩個鄰近目標的3 ×3陣列相機圖像的仿真結果。由于鄰近目標的區域有限，子圖像的分辨率設置為10 ×10。由于分辨率限制和點擴散效應，陣列相機任意子相機的空間鄰近目標的成像結果均出現混疊且難以區分。圖3中的紅點代表預設的空間鄰近目標在陣列相機圖像上的中心位置。考慮到空間鄰近目標在陣列相機圖像上的投影位置不同，陣列相機的成像結果包含關于目標的補充信息，為后續空間鄰近目標超分辨率提供了解決思路。

圖3 兩個空間鄰近目標的3 ×3陣列相機圖像仿真

3 算法構建

3.1 陣列相機圖像退化模型

由于背景強度和鄰近目標姿態的多樣性，相機獲得的成像結果具有不同程度的退化。為了方便起見，假設圖像退化模型為

其中，A是退化和下采樣函數，n是加性白高斯噪聲。一般來說，A是一個不可逆的奇異矩陣，捕獲的圖像y是欠采樣的，不滿足奈奎斯特采樣定律。通過求解欠定方程來計算原始信號x是困難的。目前常用的方法是構造以下損失函數，并將求解問題轉化為優化問題

如果考慮約束條件，式(4)可以轉化為

其中，α是一個可調參數，用來調節稀疏約束項的重要程度。α越大稀疏性約束越強，α越小則表示更加強調重構誤差越小越好。

陣列相機可以同時記錄不同視角的空間鄰近目標信息，陣列中一個子相機遺漏的目標細節可以被其他相機捕獲。因此，基于陣列相機的超分辨率方法可以看作是帶有視差約束的單圖像超分辨率，中心視圖的超分辨率損失函數為

3.2 稀疏重構

稀疏重構是一種強大的信號處理技術，已成功地應用于圖像去噪[5]、醫學圖像檢測任務[6]。

稀疏信號是一個與其維數相比只包含少量非零元素的信號，其大部分元素都是零值或接近零值。對于一個稀疏信號f(t)∈RN，有一個測量向量?k ∈RN，使得yk=，k=1,2,...,M，即

如果?k是狄拉克函數，y ∈RM被認為是從f(t) 中采樣。當測量向量是正弦函數時，yk是傅里葉變換的系數；當測量向量是脈沖函數且M<

稀疏信號由于僅包含少量非零元素，因此是理想的，但在自然界中幾乎不存在。如果非稀疏信號可以預處理并轉換為保留大部分信息的稀疏信號，并且稀疏理論(例如，稀疏重構)可以應用于這些信號，并將這些信號稱為可壓縮信號。因此，原始信號f(t) 可 以通過對理想稀疏信號做變換Ψ稀疏表示

其中，s(t)是一個理想稀疏信號。

然后，式(7)可以寫成

將非稀疏信號轉換為稀疏信號主要基于壓縮感知和稀疏重構理論[7,8]，并且需要選擇合適的稀疏重構方法將欠采樣信號恢復為原始信號。Candes等人[9]證明稀疏信號重構可以通過優化最小零范數問題來解決。但受計算資源的限制，這個非確定性多項式問題沒有最優解。因此，許多研究人員提出了一系列次優解，包括匹配追蹤[10]、正交匹配追蹤[11]、迭代閾值方法[12]和字典學習方法[13,14]。文獻[15]證明了類似于式(5)的凸約束優化問題等價于2次約束線性規劃

在基追蹤去噪過程中，設置的噪聲水平σ2越大，代表重建數據中允許的誤差越大，考慮到實際觀測中干擾因素的輻射照度難以直接估計，可將σ2改寫為與觀測信號強度有關的形式，定義系數k來衡量允許的數據誤差是否接近觀測信號的總能量

其中，k為取值[0,1]的系數，y為觀測信號，當k趨近于1時，允許的數據誤差接近于觀測信號的總能量，僅會重建出能量值較大的幾個元素；當k趨近于0時，允許數據誤差很小，幾乎能重建出包含雜波和噪聲的所有非零元素。

4 實驗及結果

4.1 鄰近目標陣列相機圖像超分辨仿真

考慮到相機傳感器的真實成像過程中，探測器噪聲、天體熱源干擾等因素的存在，對圖3中無噪聲仿真圖像添加高斯隨機噪聲以模擬信道受到的電子電路及天體高溫帶來的干擾。設定噪聲的均值為0，方差為0.2，與圖3疊加可得到如圖4所示的陣列圖像。

圖4 兩個空間鄰近目標的3 ×3陣列相機圖像仿真(含噪聲)

基于基追蹤降噪的超分辨重建原理，對各視角圖像分別進行單圖的稀疏重構，如圖5所示，可觀察到點目標在一定程度上能被區分出來，但存在若干由噪聲引起的虛警情況，重建得到的目標位置也存在一定偏差。需指出的是，本文實驗均默認采用5倍超分辨。

圖5 對3×3陣列相機圖像各視角的單圖稀疏重構結果

為充分利用陣列相機所得圖像的信息，基于陣列相機成像的幾何關系，融合所有視圖特征形成新視圖后再進行超分辨率重建。考慮到同類型子相機在同一背景下采集所得圖像含有的噪聲具有相似性，可綜合各幅圖像的像素強度進行預處理來削弱背景噪聲，再根據視差關系將子圖像變換到中心視角，融合得到全局信息。對融合后的圖像進行基追蹤降噪處理，得到如圖6所示重建結果。可以觀察到由噪聲造成的虛警情況已被濾除，目標的數量、位置和強度基本正確，相較于單幅超分辨效果更佳。

圖6 聯合3×3陣列相機圖像各視角的稀疏重構結果

將圖像中像素按列拼接進行2維繪制，目標真實位置在2維圖中橫坐標應為1 100和1 250，目標強度歸一化后分別為0.6和1.0，可觀察到重構結果(圖6(b))的兩個目標位置在真值坐標附近，強度信息也與真值接近，表明方法具有超分辨能力。

4.2 相機陣列數量對超分辨效果的影響

在空間鄰近目標場景中，設定各子圖像的像素尺寸為10 ×10、隨機高斯噪聲強度，生成了100組相機陣列為9 ×9的仿真數據集Ima用于分析不同參數設置對重建效果的影響。為探究相機陣列大小對超分辨率重建的影響，對仿真數據集進行了如圖7所示的劃分，得到3×3, 5×5, 7×7, 9×9這4組陣列圖像(保持中心視角為同一幅圖以便比較鄰近目標超分辨率結果的正確程度)，在原理上近似于使用不同數量陣列相機對同一場景采集得到的陣列圖像。

圖7 仿真數據集Ima劃分示意

對各組陣列圖像分別利用本文提出的方法進行稀疏重構，并統計對應的正確分辨率及聯合均方誤差。其中，在Ima數據集的一組場景Ima_01中，各陣列大小數據重建得到的結果如圖8所示。從視覺上比較，在3 × 3和5 ×5陣列的重建結果中，兩個點目標未能完全區分開，且仍存在一些虛警情況，3 ×3陣列的誤報數更多；7 × 7和9 ×9陣列的重建結果較好，可觀察到兩個獨立的點目標，9 ×9陣列中目標強度的恢復效果更優。

圖8 Ima_01場景不同數量陣列相機圖像超分辨結果

將圖像按列展開繪制得到2維表示，結果如圖9所示。可以發現3×3和5×5大小重建得到的旁瓣更多，且在目標預估位置坐標1 100和1 250范圍外仍有虛警存在。9×9陣列恢復得到的目標強度更接近預設的0.6和1.0。

圖9 Ima_01場景不同數量陣列相機圖像超分辨結果的2維表示

因在視覺效果上，強度小于0.3的目標在圖像中已較難辨別，各點目標本身在展開的2維圖中所占位置數一般未超過3，故根據此特性對Ima的重建結果進行正確恢復率統計，如表1所示。

表1 聯合不同數量陣列相機圖像的鄰近目標超分辨結果正確率

可以發現在當前數據集中，陣列相機數量越多，鄰近目標超分辨結果越準確，說明在相機幾何關系固定的情況下，可利用圖像的空間和視角信息越豐富，超分的效果越好。但隨著圖像的數目的增加，融合視角信息的耗時也會相應增加，鄰近目標超分辨結果精度的提升空間相對降低。故可得知在陣列相機數量的設置上并非越大越好，在本數據場景上，7 ×7大小的相機陣列已可滿足基本的超分辨需求。

4.3 噪聲因子對重建效果的影響

本小節針對k的不同取值進行實驗分析，在7 ×7陣列大小的數據集上進行仿真。在Ima_01場景下，基于不同k的取值進行超分辨率重建得到結果的2維繪制如圖10所示，可以觀察到k<0.6時，重建結果中能夠辨別出強度較大的兩個點目標，但存在較多噪聲引起的虛警情況；k≥0.8時，僅分辨出強度最大的一個點目標，強度相對較弱的點目標被當作干擾削弱甚至濾除；當0.6≤k<0.8時，重建結果較為準確，旁瓣隨k增加而減少。

圖10 在不同 k值條件下對Ima_01的7×7陣列圖像超分辨結果的2維表示

在k∈[0.6,0.8]范圍內設置采樣步長為0.001，得到更為精細的k值劃分后進行稀疏重構，保持與表1一致的衡量標準，統計正確分辨率并繪圖，得到圖11。可以發現當允許的數據誤差小于觀測信號總能量的68%時，重建效果隨k的提升而有所改善，目標成像點擴散函數造成的旁瓣減少；數據誤差為觀測信號總能量的68%～72%時，對場景的恢復效果較好，能夠分辨出1強1弱的兩個點目標，且幾乎不存在虛警和旁瓣；當k>0.72時，基追蹤結果趨向于僅恢復強度最大的目標點，開始出現丟失目標的現象，正確分辨率開始隨k值增加而下降。這是因為，k反映噪聲水平σ2與觀測信號強度之間的接近程度(見式(13))，當觀測信號為點狀鄰近目標時，k在一定程度上控制了重建非零元素的個數比例。如果k較大，將只會重建出輻射照度較大的元素點，可能導致目標的遺漏；反之，如果k很小，將會重建出包括雜波和噪聲在內的多個元素，破壞重構目標的稀疏特性。

圖11 在不同 k值條件下對Ima_01的7×7陣列圖像超分辨結果的正確率

5 結論

由于空間鄰近目標在像平面上的成像區域有限，可用的目標紋理信息較少，僅使用單幅圖像很難獲得可靠的結果。本文提出一種使用陣列相機圖像進行空間鄰近目標超分辨率的方法。首先，分析了空間鄰近目標與陣列相機之間的幾何關系。然后，將空間目標與背景相比的稀疏性作為先驗假設，并通過使用陣列相機視圖之間的傳遞約束來超分辨率處理空間鄰近目標。大量陣列相機圖像的模擬實驗表明，本文提出的方法可以實現空間鄰近目標的超分辨率，并準確估計密集物體的數量和位置。