大視場緊湊型仿生復眼成像系統研究

裘 溯，薛家安，王 霞，李磊磊，陳家斌

(1.光電成像技術與系統教育部重點實驗室，北京理工大學光電學院，北京 100081； 2.北京理工大學自動化學院，北京 100081)

0 引言

昆蟲復眼是一種理想的小型化、多孔徑、大視場的視覺系統，具有智能特征，對運動目標有很高的探測靈敏度，且對光的強度、波長和偏振等都有較強的分辨力。因此，仿生復眼技術與系統在小型無人機、無人車、武器制導、水下潛航器等領域展現出廣泛的應用前景，成為人們長期以來研究的重要方向。光纖和光纖集束由于彎曲靈活、加工方便的特點，可以解決大視場多孔徑復眼成像系統的圖像傳輸和中繼問題，因此在國內外復眼系統中得到廣泛應用。

2004年，R. Hornsey等[1-2]設計了基于柔性光纖集束的復眼系統Dragonfl Eye，系統子眼透鏡將場景成像到剛性定位的光纖束上，使用相機對光纖束后端面進行拍攝，系統總視場約為100°；2005年，J.Kim等[3]將微透鏡陣列耦合在聚合物光波導陣列端面的復眼結構，實現了與真實生物復眼結構相似的微透鏡-波導一一對應的模式，其單眼視場角為±0.75°，也與真實生物復眼相同；2007年，L. C. Laycock等[4-5]提出了一種基于多微面光纖面板的仿昆蟲復眼成像系統，采用光纖面板切削端面對不同方向的光信息進行采集，簡化了仿生復眼的光學系統，實現了120°的大視場成像；2010年，D. V. Hahn等[6]利用微透鏡成像，使用方形光纖面板實現了與光學探測器的耦合，提高了探測器的總視場角，微透鏡和光纖束之間通過壓電裝置實現相對微位移對準；2012年，吳俊峰等[7]設計了塑料光纖束中繼的微透鏡陣列復眼系統，以滿足可見光大視場無線通信的需要；2015年，Deng S等[8]將光刻的六邊形微透鏡曲面陣列耦合在內窺鏡光纖束平端面，實現了大視場成像；2019年，Liu F等[9]將模具制作和飛秒激光輔助微加工的微透鏡復眼結構，通過高精度的納米壓印轉印到聚合物光纖束端面上，實現了端面集成400+球形微透鏡的結構，使成像系統接收角和有效數值孔徑都提高了40%；2019年，Zheng Y等[10]設計了一種纖徑6μm的圓頂光錐，將曲面微透鏡陣列成像中繼到探測器面，實現了90°的視場和8.6%相對誤差的三維測距能力。

總結以上研究發現，利用不同形狀端面或不同彎曲方式的光纖元件，能收集各個視軸方向的(微)透鏡成像，從而實現與昆蟲復眼原理相似的大視場成像。北京理工大學金偉其研究團隊于2011年開始進行仿生復眼的研究[11]，重點研究了基于微端面光線面板的視場部分重疊仿生復眼理論、技術和系統。

本文基于課題組對多微面光纖面板的仿生復眼系統的研究基礎[12-13]，介紹了一種基于微端面光纖面板的緊湊型可見光仿生復眼系統設計，通過9個視軸發散的小型化物鏡+微端面光纖面板+大面陣(5120×5120)CMOS組件的直接耦合，構成緊湊型仿生復眼成像系統，并利用角度一致化約束的圖像配準方法，結合CUDA(Compute Unified Device Architecture)加速實現了實時化大視場拼接成像。本文主要介紹了基于微端面光纖面板的仿生復眼成像理論和結構設計，并闡述了配準方法和實時拼接方法。

1 仿生復眼成像系統理論和設計

1.1 基于微端面光纖面板的視場部分重疊仿生復眼成像理論

基于微端面光纖面板的仿生復眼成像過程如圖1(a)所示，該系統由子眼鏡頭-光纖面板-CMOS耦合相機組成。場景通過復眼子眼成像于光纖面板的前微端面上，再通過光纖面板將像傳輸于面板后端面上，最后使用大面陣CMOS相機進行耦合，以輸出后端面采集的圖像，如圖1(b)所示。

(a) 成像過程

鏡頭支撐架上的9個復眼光學鏡頭軸線分別與對應各微面中心的法線重合，且微面與光學鏡頭主面的距離為鏡頭的焦距f′；微端面光纖面板的另一端與CCD/CMOS成像傳感器耦合，實現多孔徑成像場景圖像在單一成像傳感器上的同時成像采集。

光纖面板的微端面切削傾角與相鄰子眼成像視場的重疊率密切相關，根據文獻[12]可以將視場重疊情況分為低度重疊率、中度重疊率和高度重疊率等類型，本文的研究側重于中度重疊率(～50%)情況，如圖2(a)所示，可實現大視場變空間分辨率成像、空間目標場景3D成像與快速運動目標定位等功能，還能夠實現全偏振成像和多波段成像等多孔徑成像特性。

由于上下左右側面子眼與頂面子眼的視場重疊率接近50%，假設單孔徑系統的成像視場為FOV，則側面子眼與頂面子眼之間的夾角θ等于FOV/2，如圖2(b)所示，角面子眼與頂面子眼之間的視場重疊率約為25%；此外，由于側面和角面的傾角，造成其實際成像存在相應方向的投影，交疊視場為不規則四邊形區域，需要在配準時進行投影變換校正。最終得到的拼接成像視場及其重疊情況如圖2(a)所示，區域內的數字代表視場有交疊的子眼個數。

(a) 視場重疊數目

(b)視軸夾角圖2 復眼系統視場分布Fig.2 FOV distribution of compound eyes system

1.2 微端面光纖面板和小型化子眼物鏡設計

本文選用的光纖面板直徑為 25mm，纖芯直徑為10μm。光纖面板頂微端面是一個邊長為6.14mm的正方形區域，頂面和側面夾角為20°，頂面和角面夾角為27°。圖3(a)所示為切割完成后光纖面板實物，經檢測微端面光纖面板切面尺寸誤差小于0.1mm，切面角度誤差小于0.017°，滿足系統的成像質量要求和圖像拼接精度要求。

對于仿生復眼的成像系統，本文實驗系統的視場重疊率為50%，對頂面與側面傾角為20°的微端面光纖面板進行設計，復眼子眼視場需≥40°，為此，設計的小型化子眼物鏡焦距為9mm，后截距為4.92mm，畸變小于0.5%。子眼物鏡中設有光闌位置，可設置不同大小的光闌孔徑實現對通光量的控制，如圖3(b)所示。

(b) 小型子眼物鏡設計圖3 復眼系統成像和中繼元件Fig.3 Imaging and relay components of compound eyes system

1.3 鏡頭支架設計

由于微端面光纖面板的形狀需要使得與之相配的小型物鏡支架偏離微端面，故采用了龜背型支架系統。首先確定各個面中子眼的開孔位置和遮光片的安裝位置，再使用SolidWorks對鏡頭支架進行設計。

鏡頭支架的總體厚度為4mm。側面子眼與頂面子眼的光軸夾角為20°，角面子眼與頂面子眼的光軸夾角為27°。遮光片可以防止不同子眼的光線串擾，處在頂面與側面、側面與角面的角平分線上。圖4所示為鏡頭支架的設計結果，另外設計鏡頭支架連接件以固定鏡頭支架與相機機身，外圈使用M42螺紋。

圖4 龜背鏡頭支架正反面示意圖Fig.4 The front and back diagram of turtle-back-shaped lens shell

1.4 大面陣CMOS相機及系統耦合

相機選用DALSA公司的CMOS相機Genie Nano XL-M5100，像元規模5120×5120，像素尺寸4.5μm，使用M42鏡頭接口，千兆網口輸出，使用Turbo Drive模式圖像輸出可達9.5fps。

將微端面光纖面板和CMOS感光面直接耦合，如圖5(a)所示，并依次安裝連接件、龜背板和9個小型子眼物鏡，如圖5(b)所示。在龜背型鏡頭支架上安裝子眼物鏡，旋轉調節物鏡對焦，最終集成得到9個子眼視場部分重疊仿生復眼實驗系統，如圖6(a)所示。實測系統質量357g，體積59mm×59mm×56.4mm，功率6.3W，實物如圖6(b)所示。

(a) CMOS耦合

(b) 系統安裝圖5 復眼系統集成Fig.5 Integration of compound eyes system

(a)系統示意圖

(b)系統實物圖圖6 仿生復眼系統Fig.6 Bionic compound eyes system

2 視場部分重疊仿生復眼實驗系統的大視場圖像拼接處理

2.1 圖像輸出和成像特點

圖7所示為系統采集的圖像，經測試可得仿生復眼的總視場為83.23°，頂面子眼的視場為42.2°，側面子眼的視場為41.5°，角面子眼的視場為53.1°。

圖7 復眼所成圖像Fig.7 Bionic compound eyes system

圖8(a)所示為系統對積分球內部的拍攝，能表示成像區域大小和非均勻性分布情況，圖8 (b)所示為系統成像的有效范圍。成像有效范圍的定義為：均勻光線入射時，內部非均勻性較好的區域平均像素值輸出為I，則在邊緣的亮度下降區域，存在像素值輸出下降到0.5I時的邊界線，邊界線內即有效成像區域。

(a)成像非均勻分布

(b)成像有效范圍圖8 復眼有效視場Fig.8 Effective FOV of compound eyes system

可認為邊界線內部的圖像信息雖然存在非均勻性，但是可以通過校正恢復這一部分信息；而邊界線外部的圖像信息由于光強太弱，且量化誤差是有效成像區域的2倍，因而無法進行非均勻性校正。成像有效范圍的求取算法為：

1)分割圖像，人工選取成像中心部分，計算均值I；

2)將圖像進行7×7 均值濾波，以去除圖像中鋸齒、突起等不相關細節；

3)濾波圖像以0.5I為閾值，進行圖像分割；

4)對分割后的圖像解算連通域，尋找最大連通域即有效成像區域;

5)計算有效成像區域面積，并畫出有效成像區域輪廓。

2.2 復眼圖像非均勻性校正

在主觀評價上，如圖9所示，以上側子眼和中心子眼為例，本文CMOS耦合復眼系統，與使用相同光纖面板的光學耦合復眼系統[13-14](微距相機拍攝后端面)相比，解決了光纖面板本身的六邊形花紋陰影問題。并且，由于側面子眼后端面的出射方向復雜，針對光學耦合復眼系統，只有較少光線可以進入光學系統得以成像，側面子眼往往曝光不足，而中心子眼又會出現中心區域曝光過度。

(a) CMOS耦合系統

而針對本文的CMOS耦合復眼系統，由于CMOS耦合引起的光強衰減更小，且后端面出射光線大部分能被CMOS吸收，散射損失少，故各個子眼曝光均勻，且不存在局部曝光過度等現象。

在客觀評價上，各子眼的非均勻性(Photo Response Non-Uniformity，PRNU)定義為，二分之一飽和曝光量下，有效像元輸出的標準差與平均值之比。9個子眼的非均勻性平均值為24.10%,與微距相機的光學耦合系統的非均勻性值52.42%相比，非均勻性情況得到了較大的改善。為了獲得均勻的成像，通過一點法非均勻性矯正[14],引入像元非均勻性校正系數矩陣，校正后的非均勻性為2.029%。與圖7對應的中層子眼的非均勻性校正圖像如圖10所示。

圖10 復眼所成圖像Fig.10 Bionic compound eyes system

2.3 特征點匹配篩選和亞像素級配準

本文通過KAZA特征點匹配，利用隨機抽樣一致性(Random Sample Consensus，RANSAC)和角度一致化方法篩選特征匹配，進行亞像素級配準，并使用相位相關法進行結果評價。

通過RANSAC篩選后，仍存在大量錯誤的特征點匹配，如圖11所示。因此提出了匹配角度一致化(Matching Angle Unify, MAU)篩選方法，注意到復眼成像系統中相鄰子眼圖像無旋轉變化，因而導致匹配特征點的點間連線近乎平行，可以通過統計連線傾角的算法進行篩選：1)將180°等分為N個角度區間，統計各角度區間內連線傾角的數目；2)選擇N個角度區間中，包含匹配連線數目最大的區間；3)只保留角度在該區間范圍內的匹配線條，從而去除錯誤的匹配對。

圖11 RANSAC篩選后的特征點匹配Fig.11 Key-points matching after RANSAC screening

本文采用的角度一致化方法，對RANSAC篩選后特征點匹配的再篩選結果，如圖12所示。從圖12中可以看出，所有的錯誤匹配經過角度一致化再篩選都得到了剔除。

圖12 RANSAC和角度一致化篩選后的特征點匹配Fig.12 Key-points matching after RANSAC and MAU screening

使用角度一致化篩選后的特征點匹配能夠計算出更為精確的投影矩陣。由相位相關法分析配準結果如表1所示，基于RANSAC和角度一致化篩選特征點的圖像配準精度誤差小于1個像素，個別子眼配準精度小于0.1個像素，基本達到了亞像素級配準。

表1 周邊子眼與中心子眼(5號子眼)的配準誤差Tab.1 Image registration errors of the surrounding eyes and center eye

3 復眼圖像實時拼接處理系統

3.1 Tx2復眼成像處理系統

本文復眼成像系統使用Nvidia Tx2進行圖像處理，如圖13所示。Tx2使用千兆網口輸入復眼圖像，使用15V電源供電，功率為7.5W。

圖13 復眼和Tx2成像處理系統Fig.13 Compound eyes and Tx2 image processing system

如圖14(a)所示，本文復眼成像系統CMOS成像區域經過配準的投影矩陣變換，可以得到復眼系統視場重疊情況。而有效成像區域經過配準的投影矩陣變換，可以得到有效視場重疊區域，如圖14(b)所示。中心子眼內部較大比例的4個子眼視場重疊能滿足之后復眼成像系統的超分辨和三維重建需求。

(a) CMOS成像區域

(b)有效成像區域圖14 復眼系統實際視場重疊情況Fig.14 Effective FOV of compound eyes system

在圖像拼接階段，本文對于已配準的子眼圖像，采用平均權重疊加法進行圖像融合拼接。以中心子眼圖像為基準，對于基準圖片上某點P，有M個子眼視場在此重疊，其中的子眼n配準后在P點的像素值為In，子眼n在P點的非均勻校正系數為kn，則子眼n的拼接權重Kn為

(1)

該方法保證了各子眼非均勻校正后的圖像，在重疊區域具有相同的融合權重?？傻茫琍點拼接得到的像素值為

(2)

拼接效果如圖15所示，拼接圖片無重影。

圖15 復眼拼接圖像Fig.15 Compound eyes stitched image

3.2 CUDA并行加速圖像拼接算法

將圖像配準和非均勻性校正放在系統初始化階段進行預處理，CUDA只進行每幀的并行運算和圖像拼接，可極大提高拼接的速度。算法如圖16所示，其流程是：

圖16 復眼CUDA并行加速圖像拼接算法Fig.16 Compound eyes CUDA parallel acceleration stitching algorithm

1) 預處理階段：軟件初始化，確定圖像切割矩形RECT，給變換前后的圖像分配內存，讀取9預配準投影矩陣和非均勻校正標定圖像，并計算非均勻校正矩陣和拼接權重矩陣；

2) 相機采圖階段：相機將每一幀圖像數據暫時存入相機內存緩沖區m_Buffers中；

3) 通信傳輸階段：利用指針尋址方法，軟件將幀圖像從m_Buffers拷貝進入GPU內存Device中；

4) 并行拼接階段：以RECT模板切割圖像，對每一個子眼圖像分別進行圖像變換，并平均權重地疊加到拼接背景圖像上；

5) 通信傳輸階段：將幀圖像從GPU內存Device中拷貝到計算機Host內存中，并顯示；

6) 清空緩存區m_Buffers，循環進入下一步的2)中。

利用CUDA并行加速方法進行圖像拼接，單幀的拼接耗時為30ms，小于CMOS相機的圖像傳輸時間203ms，達到了實時化圖像拼接的要求，最終與Turbo Drive模式圖像結合，拼接圖像輸出幀率可達8fps。軟件系統輸出界面如圖17所示。

圖17 復眼圖像實時拼接處理系統界面Fig.17 GUI of compound eyes real-time image stitching system

4 結論

本文設計和實現了基于微端面光纖面板的大視場緊湊型仿生復眼成像系統，針對復眼系統的多子眼視軸發散和視場部分重疊的特點，研究了一種基于空間結構約束篩選方法的亞像素級特征匹配圖像拼接算法。復眼系統設計與圖像處理結果表明：

1)基于微端面光纖面板的圖像傳輸方法具有設計精度高、成像效果好的特點。本文提出的應用視軸發散的龜背型透鏡組支架和CMOS直接耦合，是實現復眼成像系統多通道集成和圖像輸出的有效設計方法。與先前光學耦合復眼系統相比，具有分辨率更高和噪聲更小的優勢。

2)基于特征點匹配的圖像拼接算法，可實現亞像素級別的精確匹配，利用RANSAC和角度一致化方法篩選特征匹配，能達到接近100%的匹配正確率，但本算法也存在著篩選速度慢的問題。今后希望通過進一步優化篩選算法，實現更快速的復眼圖像匹配。

3)在復眼成像實時化研究方面，本文所提拼接處理使用CUDA并行加速方法，滿足了復眼子眼圖像實時化拼接的要求。實時化圖像配準與復眼偏振探測相結合，可實現偏振圖像的快速解算；與三維重建和重疊視場超分辨等算法相結合，可實現變分辨率的三維成像模式，在光電成像探測領域具有廣泛的應用前景。