“十”字型四孔徑視場部分重疊仿生熱成像

楊建國，羅 琳，金偉其，李 力，何玉青

（北京理工大學 光電成像技術與系統教育部重點實驗室，北京 100081）

1 引言

人眼雙目立體視覺以及蜜蜂、蜻蜓等昆蟲復眼具有小型化、多孔徑、大視場和中心高分辨率（空間變分辨率）的特點，可實現中心高分辨成像、邊緣大視場搜索的視覺模式，對運動目標具有很高的探測能力，對細節信息也有較強的分辨能力，是目標搜索與跟蹤、精確探測與制導等應用領域重點研究的目標之一［1］。

人工仿生復眼大致可分為多相機陣列的宏觀型和微透鏡棱鏡陣列的緊湊型仿生復眼兩大類［2］。其中，宏觀型仿生復眼由多個低成本單孔徑相機組成，常規排列方式為光軸平行或發散的陣列形式。2014 年，Carles 等［3］采用25 個光軸互相平行的商業可見光相機陣列實現了超分辨成像。2015 年，Perazzi 等［4］設計了一種非結構化CCD 攝像機陣列的多目成像系統，并通過引入局部翹曲概念有效去除拼接接縫不連續和鬼影等問題，實現了大視場圖像拼接。2018 年，García-Díaz 等［5］研制了寬譜段多孔徑熱成像系統，主要包含6 個像素32×32 的PbSe 組成中波紅外陣列、6 個像素160×120 的QQVGA 組 成長波紅 外陣列以及1 個可見光CMOS 相機。2019 年，金偉其等［6］提出了“田”字型四孔徑視場部分重疊仿生熱成像模式，獲得了緊湊的復眼熱成像系統。2021 年，方璐等［7］提出層內非結構和層間主從式異構等非結構化計算成像新理論，成功研制了十億像素的智能成像系統。

緊湊型仿生復眼由微透鏡棱鏡陣列以及單孔徑相機組成。2000 年，Tanida 等［8-9］提 出一種類似蜻蜓的TOMBO（Thin Observation Module by Bound Optics）復眼成像系統，主要由平板微透鏡陣列、光探測器和光隔離器等構成，這是首個真正意義上的緊湊型復眼成像系統。他們還相繼提出彩色復眼成像方法、指紋識別，開發出超薄型復眼照相機、TOMBO 內窺鏡。2007 年，Laycock 等［10］提出的機載多孔徑成像系統主要由球面分布的微型透鏡陣列、光纖面板（Fiber Optic Panel，FOP）和CMOS 成像探測器組成，可獲得120°大視場清晰成像，并應用到單兵頭盔夜視鏡，有效提高了夜間作戰能力和態勢感知能力。2013 年以來，裘溯等［11-12］持續研究了該復眼成像模式，提出利用重疊區域進行超分辨、對運動目標進行快速檢測等方法，設計了切角為40°和20°的基于光纖面板的五孔徑和九孔徑復眼成像實驗系統。2016 年，Carles 等［13］提出一種微棱鏡微透鏡陣列系統，在中心凹區域內實現了高分辨率成像，低分辨率外圍提供了態勢感知。2020 年，陳宇等［14］基于瓢蟲復眼結構設計了一款大視場小尺度仿生復眼光學系統，采用正六邊形緊密排布方式提高了空間利用率。

常規熱成像系統屬于單目視覺系統，成像器件像素陣列和像元間距確定后，系統視場角越大，空間分辨率越低，二者相互聯系又相互制約，為了實現兼具大視場和高分辨率的熱成像，本文基于宏觀型仿生復眼理論，研究了多孔徑視場部分重疊仿生熱成像系統的布局模式，并搭建四孔徑視場部分重疊仿生熱成像實驗系統，以驗證其布局模式、圖像拼接與超分辨等方面的成像效果。

2 多孔徑仿生熱成像系統

2.1 布局模式分析

多孔徑成像技術利用子孔徑圖像拼接構成大視場，利用子孔徑部分重疊視場的冗余信息進行圖像重采樣，提高系統中心視場的空間分辨率，形成大視場空間變分辨率成像。早期的排列方式大多為低視場重疊的大視場拼接成像以及高視場重疊的超分辨成像模式。文獻［6］提出了一種“田”字型四孔徑視場部分重疊仿生熱成像模式，如圖1 所示。其中，數字表示子孔徑重疊數量。通過約50%的視場重疊，將成像視場劃分為4 子孔徑重疊、2 子孔徑重疊以及單子孔徑3 類9個子區域，不僅可實現大視場空間變分辨率成像，而且可拓展獲得近場立體視覺、雙色成像以及偏振成像等模式。

圖1 “田”字型四孔徑Fig.1 Tian-shaped four-aperture

子孔徑探測器布局模式并不唯一，不同的子孔徑探測器數目及其布局模式會產生不同的仿生熱成像效果。本文提出采用光軸有一定傾斜的單孔徑相機構成“十”字型四孔徑視場部分重疊仿生熱成像模式［15］，如圖2 所示，其上下或左右兩個單孔徑相機的視場分別具有50%的視場重疊率，上（或下）與左右單孔徑相機分別具有56.25%的視場重疊率，拼接總視場較單孔徑增加1 倍，視場中心向外從4 孔徑重疊逐漸過渡到3，2 和1 孔徑重疊。

圖2 “十”字型四孔徑Fig.2 Cross-shaped four-aperture

考慮到4 個單孔徑相機均傾斜一個角度，而通常系統中心軸線方向的成像更為重要，也可在上述四孔徑布局模式基礎上增加一個中心子孔徑，形成“十”字型五孔徑熱成像模式（見圖3），從而具有不同的視覺效能［16］。當中心單孔徑相機的分辨率與四周4 個單孔徑相機相同時，視場中心向外從5 孔徑重疊逐漸過渡到4，3 和1 孔徑重疊，將成像區域劃分為4 類13 個子區域，在保證大視場成像的前提下進一步提高了系統的中心分辨率，有利于進行弱小目標的探測與識別。當中心單孔徑相機的分辨率是四周4 個單孔徑相機的2.25 倍時（水平和豎直方向各1.5 倍），視場中心向外從5 孔徑重疊逐漸過渡到4，3，2 和1 孔徑重疊，將成像區域劃分為5 類17 個子區域，在保證大視場成像的前提下改變了系統的空間分辨率，視場重疊率更高，分辨細節的能力更強，更加符合人眼視覺的中心高分辨成像、邊緣大視場搜索的視覺模式。

圖3 “十”字型五孔徑Fig.3 Cross-shaped five-aperture

2.2 “十”字型四孔徑視場部分重疊仿生熱成像系統

為了驗證上述仿生復眼熱成像模式，本文研制了一款“十”字型四孔徑視場部分重疊仿生熱成像實驗系統。該系統選擇幀頻較高的ULIS 公司小面陣非制冷紅外焦平面陣列（Infrared Focal Plane Array，IRFPA）Micro80 GEN2（像元80×80，像元間距為34 μm，幀頻為50 Hz，響應波段為8～14 μm，NETD＜100 mK），寄存器配置端口為I2C，視頻數據接口為14 位標準HSYNC/VSYNC數字信號。配套紅外物鏡焦距為3.1 mm，F數為1，視場角為50.8°（H）×50.8°（V）。如圖4 所示，驅動板尺寸為25 mm×25 mm，提供IRFPA 工作的模擬和數字電源以及外圍電路電容電阻負載。數字處理板采用自制的FPGA 圖像處理板，尺寸為120 mm×80 mm×10 mm，FPGA為XC7Z035，DDR存儲器為MT41J256M16，通信接口為兩路RS422，輸入接口為兩路TFM-125-02-L-D-WT，視頻輸出接口為兩路Camera-Link。

圖4 熱成像組件Fig.4 Thermal imaging components

搭建的“十”字型四孔徑視場部分重疊仿生熱成像系統如圖5 所示，系統尺寸為180 mm×100 mm×100 mm。經測定拼接視場為單孔徑相機的2.36 倍，四孔徑重疊區域占總視場的7.78%。IRFPA 輸出標準行場數據信號經FPGA 圖像處理板處理，通過CameraLink 接口輸出到eBUS 采集卡進行圖像顯示、大視場拼接和高分辨圖像重構。

圖5 “十”字型四孔徑仿生熱成像系統Fig.5 Cross-shaped four-aperture bionic thermal imaging system

3 圖像拼接與超分辨

3.1 圖像預處理

由于探測器工藝和讀出電路導致的像元響應不一致及光學和機械結構的雜散輻射，IRFPA成像往往存在低頻固定圖像噪聲，需進行非均勻性校正（Non-Uniformity Correction，NUC）。

NUC 方法一般分為基于參考源的校正（Calibration Based NUC，CBNUC）和基于場景的自適應校正（Scene Based NUC，SBNUC）兩大類。前者主要分為單點校正、兩點校正和多點校正，后者主要分為統計類校正、配準類校正和神經網絡類校正［17］。熱成像系統通常都預先進行CBNUC 處理，獲得基本校正參數；在應用過程中產生的固定圖像噪聲，通過擋板等進行CBNUC 或通過變化的場景進行SBNUC，以提高系統的成像質量。本文采取兩點校正方法（20 ℃和45 ℃兩個溫度點作為定標點）確定增益和偏置系數矩陣，圖6 給出了探測器輸出圖像平均灰度隨溫度的變化。

圖6 IRFPA 輸出圖像灰度與溫度關系Fig.6 Relationship between gray value of IRFPA output image and temperature

3.2 圖像配準與拼接

在本實驗系統中，由于探測器像元數偏少且靈敏度偏低，故IRFPA 的分辨率和對比度較低，角點、邊緣和紋理等細節信息不明顯，給紅外圖像的配準帶來了挑戰。經典的圖像配準與拼接方法將運動模型假設為簡單的圖像平移、縮放和旋轉等全局運動，這對光軸相互平行的多相機陣列是可行的，但本系統4 個子孔徑光軸輻射分布，圖像真實投影為透視變換，尺度不變特征變換（Scale Invariant Feature Transform，SIFT）等算法通常不穩定。同時，由于系統各孔徑關系相對固定，在確定工作距離后僅需要一次透視變換矩陣標定，這里采取手動選取特征點來解決透視變換矩陣求取等問題。

考慮到實驗系統的應用背景及成像效果，工作距離選定在1.5 m 左右。以圖2 右子孔徑為基準圖像進行配準，其余3 個子孔徑圖像的透視變換矩陣為：

獲得透視變換矩陣后進行圖像拼接。盡管探測器型號、寄存器參數配置相同，但各子孔徑探測器的響應率不完全一致，在拼接處不可避免地出現灰度不一致的情況，需要進行平滑過渡處理。這里采用灰度線性加權融合過渡策略，將重疊區域的像素值按一定權重相加合成新的圖像。

如圖7 所示，假定兩幅圖像為左右重疊，重疊區域中某像素點到重疊區域左邊界的距離為d1，到重疊區域右邊界的距離為d2，在左右兩幅圖中對應的灰度分別為I1和I2，則融合后的灰度值為：

圖7 圖像重疊區域的權重變化Fig.7 Weight change of image overlapped area

3.3 圖像超分辨

考慮到實時性，本文采用基于焦平面探測器空間積分模型的圖像超分辨重建算法（FPAs’Spatial Integration model based Micro-Scanning image reconstruction，SIMS）［18］，該算法主要包括以下3 個步驟：

（1）采用基于離散傅里葉變換（Discrete Fourier Transform，DFT）的圖像配準算法對四孔徑圖像的重疊區域進行位移估計，設置上采樣系數為100，即圖像的配準精度為像素的1/100，下、左、上子孔徑圖像相對右子孔徑圖像的位移估計分別為（0.12，1.34）、（-0.24，0.7）和（-0.57，-0.2）。對于穩定的系統結構，此參數僅需一次確定，滿足實時應用需求。

（2）基于幀間差分過采樣圖像重建算法生成過采樣重建圖像，下、左、上子孔徑圖像相對右子孔徑圖像的初始位移量分別為（0.25，0.25）、（0.5，0）和（0.25，-0.25），經過幀間差分過采樣的系數矩陣為：

（3）基于調制傳遞函數（Modulation Transfer Function，MTF）的空間積分模型建立Wiener 濾波器，抑制探測器空間積分的影響，獲得高分辨圖像。考慮到探測器在空間上離散采樣，像元內空間積分導致圖像模糊，探測器空間積分模型的MTF 近似為：

式中：u=-M/2，-M/2+1，…，M/2-1；v=-N/2，-N/2+1，…，N/2-1；M×N為探測器面陣規格；常數α和β分別表示探測器水平和豎直方向的占空比。

根據探測器MTF 空間積分模型，建立Wiener 濾波器：

4 實驗結果與討論

實驗利用“十”字型四孔徑視場部分重疊仿生熱成像系統獲取分辨率靶標圖像和外界場景圖像，并進行了圖像預處理、配準與拼接以及超分辨處理。

4.1 分辨率靶標測試

圖8（a）為CI 黑體SR-800N，輻射面尺寸為7×7 英寸，溫度為0～125 ℃；圖8（b）為四條帶分辨率靶標，輻射率為0.93，寬度W分別為7.13，8.00，8.98，10.08 mm。按照成像系統剛好區分靶標條帶的分辨率要求，可得工作距離DW與W、鏡頭焦距f以及探測器像元尺寸PS的關系為：

圖8 分辨率靶標測試Fig.8 Resolution target test

考慮到分辨率靶標有4 組不同寬度的條帶，根據式（8）設定靶標放置在729～819 mm 之間，即第二組和第三組條帶對應的工作距離。實驗中將分辨率靶標固定到黑體輻射面前，并在距分辨率靶標800 mm 處放置實驗系統，保證實驗系統、分辨率靶標和黑體三者的中心一致。為了豐富場景信息，將風扇置于靶標右側，光學夾具置于靶標左側。考慮到紅外圖像顯示時采用全局動態范圍壓縮算法，而分辨率靶標占據像素較少，故將黑體溫度設為與室溫相差5 K（黑體溫度為299 K，室溫為294 K），便于觀察場景信息。

圖9 給出了四孔徑采集圖像預處理前后的對比，其中圖9（a）為探測器直接輸出原始數據經過壓縮顯示的圖像，圖9（b）為經過NUC 及盲元剔除的圖像。非均勻性校正采取兩點NUC 方法，盲元通過中值濾波值（濾波核3×3）替代。由于探測器自身工藝及設計的讀出電路不可避免地存在差異，4 張單孔徑圖像略有差異。經過預處理，豎條紋噪聲明顯減少，可以清楚地看到靶標、風扇和光學夾具。4 張單孔徑圖像除獲取分辨率靶標外，還獲取了不同的場景信息，左上圖像包含風扇和光學夾具信息，左下圖像缺失光學夾具部分信息，右上圖像缺失風扇信息，右下圖像缺失光學夾具信息。

圖9 靶標圖像預處理Fig.9 Target image preprocessing

圖10 為進行拼接處理前后的圖像效果。可以看出，系統視場重疊與圖2（b）的理想情況有所差異；采取灰度線性加權融合過渡策略，有效緩解了拼接處灰度不一致的情況；經過圖像配準與拼接后，成像視場增大，場景信息比單孔徑圖像明顯增多。

圖10 靶標圖像的拼接處理Fig.10 Target image stitching processing

由于四孔徑重疊區域不可避免地存在亞像素級錯位，重疊區域較4 幅單孔徑圖像均有所模糊。圖11 為幾種不同重構方法的高分辨圖像比較。這里最近鄰、雙線性和雙三次插值時選擇了4 幅單孔徑圖像中成像效果最好的圖像進行。由于探測器像素少，角分辨率較低，圖像馬賽克現象較為嚴重，難以直接通過觀察分辨率靶標來獲得分辨率的提升率，只能從圖像清晰度方面來評價插值效果。從直接的圖像效果來看，SIMS 插值效果最好，最近鄰插值次之，雙三次插值優于雙線性插值；經過SIMS 重構的第三組條帶邊緣最清晰，第二組條帶較最近鄰插值稍差，但條帶邊緣的清晰度仍然是最高的。

圖11 不同重構方法的中心高分辨圖像Fig.11 Center high-resolution images of different reconstruction methods

4.2 外界場景測試

對實際場景進行了測試實驗。圖12 為對實驗室內人群的成像效果圖，圖12（a）為系統直接輸出原始數據經過壓縮后顯示的圖像，圖12（b）為經過非均勻性校正以及盲元剔除的預處理圖像。預處理后的場景信息清晰可見，豎條紋噪聲明顯減少，且由于圖像顯示為全局動態范圍壓縮算法，故視覺效果方面外界場景圖像噪聲比分辨率靶標圖像噪聲小。

圖12 圖像預處理Fig.12 Image preprocessing

4 幅單孔徑圖像獲取了不同的場景信息，左上圖像包含燈管信息，左下圖像缺失第一人的右手信息和第三人的頭部信息，右上圖像缺失第三人的左手信息，右下圖像包含置物架信息。圖13為有/無拼縫處理的拼接圖像對比，拼縫處理采取灰度線性加權融合過渡策略，有效解決了拼接處灰度不一致情況。可以看出，由于實際外界場景圖像的工作距離與分辨率靶標測試不同，其透視變換矩陣明顯不同。經過圖像配準與拼接后，成像視場增大，場景信息比單孔徑圖像明顯增多。但受配準精度和探測器角度的影響，重疊區域的圖像較單孔徑圖像有一定的模糊。圖14 分別給出幾種重構方法的中心高分辨圖像。與分辨率靶標測試一樣，采用最近鄰、雙線性和雙三次插值時，選擇4 幅單孔徑圖像中成像效果最好的一幅進行。從圖像效果來看：SIMS 插值效果最好，雙三次插值次之，直接過采樣最差，最近鄰插值較雙線性插值圖像清晰，但圖像邊緣的鋸齒狀效應更明顯。

圖13 圖像的拼接處理Fig.13 Image stitching processing

圖14 不同重構方法的中心高分辨圖像Fig.14 Center high-resolution images of different reconstruction methods

4.3 客觀評價

由于本系統難以獲得原始的高分辨圖像，常用的全參考客觀評價指標峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結構相似度（Structural Similarity，SSIM）無法使用。雖然各類研究提出了一些圖像重建效果的評價指標，但還沒有公認的無參考客觀評價指標。本文從圖像清晰度方面進行重構圖像效果的評價。圖像清晰度評價指標能夠較好地與人眼主觀視覺感受保持一致，常用圖像信息熵（Information Entropy，IE）、基于熵的增強判據（Measure of Enhancement by Entropy，EME）、均方根對比度（Root-Mean-Square Contrast，RMSC）、Brenner 梯度函數、Tenengrad 梯度函數，以及灰度方差乘積函數SMD2 等進行重建圖像質量的綜合評價。評價指標值越大，圖像信息越豐富，清晰度也越高。

表1 列出了圖11，14 幾種重建算法的無參考客觀評價指標對比。可以看出：在IE 方面，SIMS與雙三次插值優于雙線性插值和最近鄰插值；在EME方面，SIMS優于其他3種插值算法；在RMSC 方面，針對靶標測試，SIMS 優于其他3種，針對人群測試，4 種算法差不多，但SIMS 最好；在Brenner 梯度和Tenengrad 梯度方面，SIMS最優，最近鄰插值次之，雙線性插值最差，與主觀視覺分析一致；在SMD2 方面，SIMS 仍然是最好的。綜合來看，SIMS 的重建效果優于其他3 種插值算法。

表1 圖11 和圖14 無參考客觀評價指標對比Tab. 1 Comparison of unreferenced objective evaluation indicators in Figure 11 and Figure 14

5 結論

本文研究了“十”字型多孔徑視場部分重疊仿生熱成像模式，給出了“十”字型四孔徑/五孔徑兩種仿生熱成像模式，并研制了“十”字型四孔徑視場部分重疊仿生熱成像系統，其拼接總視場為單孔徑相機的2.36 倍，四孔徑重疊區域占總視場的7.78%；通過去盲元和非均勻性校正、基于透視變換的圖像拼接以及基于SIMS 的超分辨處理，此類仿生熱成像模式在探測器受限的條件下能夠緩減大視場和高分辨率的矛盾，構成空間變分辨率仿生復眼成像系統，可望應用到新型成像制導子彈、微型無人機緊急避障系統等領域。

本文主要論述系統構成、視場拼接以及實現空間變分辨率的途徑等，目前圖像配準與拼接算法采取手動選取特征點的方式來獲得透視變換矩陣，存在人為誤差干擾。由于4 個單孔徑相機的響應率不完全一致且像素太少，超分辨圖像存在馬賽克現象。超分辨率的提升與重疊率的關系、運動目標快速檢測、偏振成像及雙色成像等仿生復眼特性將是后續研究的內容。