基于仿生復眼系統的圖像拼接技術

燕飛+郭云芝+史立芳+陳建清

摘 要： 針對傳統單孔徑光學系統無法解決大視場與高分辨率之間的矛盾， 設計了一套3×3球面仿生復眼光學系統。 首先， 研究了子眼系統視場和復眼系統總視場的數學關系， 進而得到子眼排布方式， 在此基礎上形成了視場為±53°×±70°的復眼光學系統； 然后， 基于此系統提出一種圖像拼接算法， 采用SIFT（Scale Invariant Feature Transform）算法對各個子眼圖像進行特征點提取， 利用RANSAC（Random Sample Consensus）算法對提取出的特征點進行精確匹配， 通過加權平滑算法實現多個子眼圖像的拼接融合， 實現整個場景無盲區拼接。 3×3仿生復眼系統樣機的仿真結果表明， 設計的復眼系統可以有效地實現多通道圖像的大視場無盲區拼接， 驗證了復眼光學系統設計的正確性以及拼接算法的有效性。 該研究可進一步推進仿生復眼成像系統的應用。

關鍵詞： 仿生復眼； 圖像拼接； SIFT； RANSAC； 變換矩陣； 特征捉取

中圖分類號： TP391 文獻標識碼： A 文章編號： 1673-5048（2017）06-0049-05[SQ0]

0 引 言

隨著計算機技術的快速發展， 傳統的單孔徑光學系統已經無法滿足人們的應用需求， 尤其在目標定位、 識別、 跟蹤等領域暴露出越來越多的問題， 例如大視場與高分辨率的矛盾[1-3]。 近年來， 昆蟲復眼以體積小、 質量輕、 視場大、 對移動物體反應迅速等顯著特點[4-5]引起了研究人員的關注， 仿生復眼理論發展迅速， 在多個領域應用廣泛。 目前， 國外已提出多個基于微透鏡陣列的仿生復眼成像系統， 例如日本研究小組提出的TOMBO成像系統[6]， 德國研究小組提出的人造并列復眼成像系統APCO等。 但這些復眼成像系統大多采用平面陣列， 喪失了曲面的優勢[7]。 為避免平面復眼陣列的缺點， 在曲面上模擬昆蟲復眼視覺系統是一個可行的選擇。

圖像拼接[8-9]研究的重點是將兩幅或兩幅以上具有一定重疊區域的圖像進行拼接， 得到比單幅圖像更大視場的圖像。 基于特征的拼接方法是一類應用廣泛的圖像配準方法， 重點是要找出不同圖像間的對應特征點對。 Harris角點算法[10]、 SUSAN角點算法、 SIFT特征提取算法[11]是目前研究較多的算法。 盡管SIFT算法性能最佳[12]， 但在實際應用中發現SIFT特征匹配的方法存在不足[13]， 不能有效地剔除錯誤匹配的點對。

針對以上問題， 設計了一種曲面排布的大視場復眼結構， 通過對子眼系統視場與復眼系統總視場之間的關系進行分析， 推導各個參數之間的數學關系， 在此基礎上搭建3×3球面仿生復眼光學系統實物樣機。 基于此系統提出了圖像拼接處理算法， 實現了球面仿生復眼成像系統的大視場無盲區拼接。

1 仿生球面復眼系統設計

1.1 子眼排布方式分析

在本文設計中， 每一個子眼作為一個獨立的光學系統按照一定的數學規律排布在曲面上， 然后對各個子眼獲得的圖像進行拼接， 從而獲得視場較大的完整圖像。 各個子眼與光軸的夾角以及子眼的視場角決定了整個復眼系統總視場大小。 因此， 確定子眼排布方式需要考慮子眼視場角和復眼系統總視場角的關系。

為了便于分析， 以3 個子眼為例， 考慮其在X方向上視場角的關系， 如圖1所示。 假設該系統的總視場角為2θ； 2β1， 2β2， 2β3分別為子眼1， 2， 3在X方向的視場角； α1， α2為相鄰子眼系統的光軸夾角。

在進行視場拼接時， 為保證視場空間無盲區， 同時考慮各個子眼鏡頭的機械間隔， 上述參數應滿足下式關系[14]：

同理， Y方向視場拼接也遵循式（1）。 依據上述分析， 可確定大孔徑復眼系統各個子眼的排布形式， 從而實現視場空間的無盲區全覆蓋。

1.2 球面復眼系統

依據上述分析， 設計完成一套3×3仿生復眼光學系統， 如圖2所示。 球面半徑為60 mm， 單個子眼視場角為40°。 為實現相鄰成像通道之間的視場空間無盲區覆蓋， 外圍子眼鏡頭的中心視軸與中間子眼鏡頭的視軸夾角如下： 水平方向夾角為44°； 豎直方向夾角為33°； 其余夾角均為55°。

建立單個成像通道的成像空間， 根據各個成像通道之間的位置關系， 模擬整體復眼結構的視場空間， 如圖3所示， 可形成±53°×±70°的視場空間無盲區覆蓋。

1.3 球面復眼系統信息處理

復眼成像探測結構的信號處理包括圖像采集、 圖像配準以及圖像拼接融合。 圖像采集與常規的單孔徑成像系統相同， 將探測器輸出的信號送入計算機進行處理。 由于復眼系統為多孔徑系統， 后續的處理與常規的單孔徑系統不同， 復眼中的每個單眼形成局部視場圖像， 通過圖像拼接形成一個完整的大視場圖像。

2 圖像拼接

2.1 特征點提取及匹配

采用SIFT算法進行特征點提取， 該算法主要由尺度空間極值點檢測、 關鍵點精確定位、 關鍵點方向分配、 生成特征點描述子四個步驟組成， 算法具體過程可參見文獻[11]， 這里不再贅述。

提取特征點后需要對其進行匹配， 歐氏距離法簡單易實現， 但準確率比較低； 目前常用的有M-estimators[15]、 RANSAC等方法， 其中RANSAC應用最為廣泛。

圖像中匹配特征點對存在如下的關系：

其中： Xi=[xi，yi，1]T， xi， yi為參考圖像特征點的坐標值， X′i=[xi′， y′ i，1]T， xi′， y′ i為待匹配圖像特征點的坐標值； H為變換矩陣， 可以看出H為3×3矩陣。

理論上變換矩陣的估計需要4對匹配點對， 如果4對匹配點對是正確的， 計算出的變換矩陣和實際的變換矩陣很接近； 如果包含錯誤的匹配點對， 則得到的變換矩陣和實際的變換矩陣差異較大， 不利于后續的拼接。 為得到正確的變換矩陣， 可以采用以下步驟：

（1） 隨機抽取4對匹配點對， 計算變換矩陣。

（2） 計算內點匹配點與變換點之間的距離之和， 設置閾值， 結果大于閾值， 則繼續； 反之將當前點加入到內點集合中， 更新變換矩陣。 重復此步驟直到內點個數不再增加。

（3） 重復進行前述步驟， 得到合格匹配點對集合（內點個數最多的組）。

2.2 圖像融合

圖像融合處理算法的目的是消除在拼接過程中對圖像重疊區域進行簡單疊加而形成的較為明顯的拼接縫。 加權平均是常用的融合方法， 該方法通過設置漸變系數d， 當其由1變化到0時， 圖像從I1（x，y）慢慢過渡到I2（x，y）， 數學表達式為

式中， I （x， y）為重疊區域圖像的像素值。 其關鍵是重疊區域的確定以及漸變系數的設置。 兩幅圖像重疊區域的范圍在球面仿生復眼系統設計后已經確定； 漸變系數的設置可隨著重疊區域像素點坐標值的不同進行動態變化， 為簡單起見， 這里采用如下表達式：

式中， xend和xstart分別表示重疊區域x方向的上下邊界。

式（4）僅對x方向進行了平滑融合處理， y方向同理。

3 實驗結果與分析

制備一套九鏡頭（3×3）的人工復眼光學系統： 球面的半徑為60 mm， 子眼視場角為40°。 該結構實物圖如圖4所示。

利用該結構對實驗室某區域進行圖像采集， 目標與實驗樣機的距離為5 m， 子眼的9張樣本圖像如圖5所示。

以圖5（h）和圖5（i）為例得到的特征點對粗匹配和精匹配后的仿真圖如圖6所示。 對圖像進行SIFT特征點提取及匹配后得到88對匹配點， 剔除誤匹配點后的匹配點對為76對。

通過特征點匹配， 以參考圖像為基準， 對待匹配圖像估計變換矩陣， 將輸入圖像變換到參考圖像的坐標系上以實現拼接。

采用對每一層分別進行拼接， 然后將三層圖像再次拼接的拼接方案。 整體拼接結果見圖7。

為進一步驗證該實驗樣機以及拼接算法的性能， 將樣機移至室外， 對整個實驗樓進行圖像采集， 目標與實驗樣機的距離為50 m， 子眼的9張樣本圖像以及拼接圖見圖8。

由圖7和圖8可以看出， 將系統對不同距離采集到的圖像經拼接處理后， 實現了不同距離視場空間的無盲區全覆蓋， 表明子眼系統排布合理， 設計的仿生復眼光學系統以及采用的圖像拼接算法可行有效。

4 結 論

本文在傳統單孔徑光學系統不能解決大視場與高分辨率之間矛盾的情況下， 利用子眼系統視場和復眼系統總視場的數學關系， 得到子眼排布方式， 在此基礎上設計了一套3×3仿生球面復眼系統， 基于此系統提出一種圖像拼接算法。 仿真結果表明， 設計的復眼系統實現了±53°×±70°的視場空間無盲區覆蓋， 拼接算法可以有效地實現多通道圖像的大視場無盲區拼接。

參考文獻：

[1] 徐琰， 顏樹華， 周春雷， 等.昆蟲復眼的仿生研究進展[J].光學技術， 2006， 32（S1）： 10-12.

Xu Yan， Yan Shuhua， Zhou Chunlei， et al. Advances in Bionic Study on Insects Compound Eyes[J].Optical Technique， 2006， 32（S1）： 10-12.（in Chinese）

[2] Flores A， Wang M R， Yang J J. Achromatic Hybrid Refractive-Diffractive Lens With Extended Depth of Focus[J]. Applied Optics， 2004， 43（30）： 5618-5630.

[3] 邢強， 戴振東， 王浩. 仿復眼視覺系統的研究進展[J]. 光學儀器， 2013， 35（3）： 89-94.

Xing Qiang， Dai Zhendong， Wang Hao. Research Progress on Artificial Visual System Inspired by Compound Eyes[J].Optical Instruments， 2013， 35（3）： 89-94.（in Chinese）

[4] 冷雪， 那杰. 昆蟲復眼的結構和功能[J].沈陽師范大學學報（自然科學版）， 2009， 27（2）： 241-244.

Leng Xue， Na Jie. Structure and Function of Insect Compound Eyes [J].Journal of Shenyang Normal University（Natural Science Edition）， 2009， 27（2）： 241-244.（in Chinese）

[5] 邸思， 徐洪奎， 杜如虛. 人造復眼成像系統研究的新進展[J].光學與光電技術， 2008， 6（4）： 93-96.

Di Si， Xu Hongkui， Du Ruxu. New Progress of Artificial Compound Eye Imaging Systems [J].Optics & Optoelectronic Technology， 2008， 6（4）： 93-96.（in Chinese）

[6] Horisaki R， Tanida J. Compact Compound-Eye Projector Using Super Resolved Projection [J]. Optics Letters， 2011， 36（2）： 121-123.

[7] Garza-Rivera A， Renero-Carrillo F J.Design of Artificial Apposition Compound Eye with Cylindrical Micro-Doublets[J].Optical Review， 2011， 18（1）： 184-186.

[8] 車靜， 盧鵬， 韓焱， 等. 仿生復眼視覺系統中全景圖拼接算法[J].應用光學， 2013， 34（5）： 815-819.

Che Jing， Lu Peng， Han Yan， et al. Panorama Mosaic in Bionic Compound Eye Visual System [J].Journal of Applied Optics， 2013， 34（5）： 815-819.（in Chinese）

[9] Gümüstekin S， Hall R W. Image Registration and Mosaicing Using a Self-Calibrating Camera[C]∥International Conference on Image Processing， Chicago， Illinois， 1998： 818-822.

[10] Pei Soochang， Ding Jianjiun.Improved HarrisAlgorithm for Corner and Edge Detections[C]∥IEEE International Conference on Image Processing， San Antonio， Texas， 2007： Ⅲ-57-Ⅲ-60.

[11] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints [J]. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[12] Mikolajczyk K， Schmid C. A Performance Evaluation of Local Descriptors[C]∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition， Madison， Wisconsin， 2003： Ⅱ-257-Ⅱ-263.

[13] 鄧榮峰， 李熙瑩. 基于SIFT特征匹配的穩健圖像拼接算法[J]. 計算機應用， 2009， 29（S1）： 219-221.

Deng Rongfeng， Li Xiying. Robust Image Mosaic Algorithm Based on SIFT Feature Matching [J]. Journal of Computer Applications， 2009， 29（S1）： 219-221.（in Chinese）

[14] 付躍剛， 趙宇， 劉智穎， 等. 基于視場拼接方法的仿生復眼光學系統設計[J]. 儀器儀表學報， 2015， 36（2）： 422-429.

Fu Yuegang， Zhao Yu， Liu Zhiying， et al. Design of the Bionic Compound Eye Optical System Based on Field Splicing Method [J]. Chinese Journal of Scientific Instrument， 2015， 36（2）： 422-429.（in Chinese）

[15] Chen Jiunhung， Chen Chusong， Chen Yongsheng. Fast Algorithm for Robust Template Matching with M-Estimators[J].IEEE Transactions on Signal Processing， 2003， 51（1）： 230-243.

Research of Image Mosaic Algorithm Based on Bionic Compound Eye System

Yan Fei1， Guo Yunzhi1， Shi Lifang2， Chen Jianqing1

（1. China Airborne Missile Academy， Luoyang 471009， China； 2. Institute of Optics and Electronics， Chinese Academy of Science， Chengdu 610209， China）

Abstract： For solving the contradiction between large field of view and high resolution of traditional single-aperture optical system， a 3×3 bionic spherical compound eyes system is designed. Firstly， the mathematical relationship between the sub-eye field of view and the total field of view of compound system is studied， and the sub-eye distribution is gotten. Based on this， the complete compound optical system with ±53°×±70° field of view is formed. Then， an image mosaic algorithm based on this structure is proposed. SIFT algorithm is used to extract feature points from the images of sub-eye， and feature points are precisely matched by RANSAC algorithm， seamless mosaics of the sub-eye images are completed with weighted smoothing algorithm. The results of the simulation and experiment show that the optical system could effectively realize multi-channel images mosaic with large field of view， which validates the correctness of the optical system and the effectiveness of the mosaic algorithm. This study could further promote the application of compound eye imaging system.

Key words： bionic compound eye； image mosaic； SIFT； RANSAC； transformation matrix； feature extraction