一種仿生復眼系統的圖像拼接算法研究

燕飛

（中國空空導彈研究院 河南 洛陽 471009）

一種仿生復眼系統的圖像拼接算法研究

燕飛

（中國空空導彈研究院 河南 洛陽 471009）

在研究昆蟲復眼的基礎上設計了一種仿生球面復眼系統，基于此系統提出一種圖像拼接算法。首先采用SIFT（Scale Invariant Feature Transform）圖像匹配算法進行各個子眼圖像進行特征點提取；然后利用RANSAC（Random Sample Consensus）算法對提取出的特征點進行精確匹配；最后通過加權平滑算法實現多個子眼圖像的無縫拼接，得到整個場景的全景圖。仿真結果表明：算法可以有效地實現多通道圖像的大視場拼接，增大多個方向的視場。該研究可進一步推進仿生復眼成像系統的應用。

仿生復眼；多通道成像；圖像拼接；SIFT；RANSAC

復眼是昆蟲重要的光感受器官，由成千上萬的小眼構成，具有體積小、質量輕、視場大，對移動物體反應敏感等顯著特點[1-2]。而目前的單孔徑光學探測系統很難同時具有上述特點，所以仿生復眼理論近年來發展迅速，在全景成像、機器人視覺導航、大視角測量等領域應用廣泛。目前，國內外已提出多個基于微透鏡陣列的仿生復眼成像系統[3-9]。但這些復眼成像系統大多為平面結構，很大程度上喪失了曲面復眼結構大視場的突出優勢[10]。因此在曲面上模擬昆蟲復眼立體視覺系統可以有效地避免平面仿生復眼陣列的缺點。

圖像拼接[11-12]是計算機視覺領域的一個重要分支，研究的主要內容是將兩幅或兩幅以上的具有一定重疊區域的圖像進行拼接，得到寬視角、大視場的圖像。圖像拼接技術廣泛應用于視頻圖像處理、遙感影像處理、醫學圖像分析和虛擬現實技術等領域。

受此啟發，文中針對曲面排布的大視場復眼結構，提出了基于曲面的圖像拼接處理算法。重點研究了各子眼通道采集的二維圖像之間的關系，結合圖像拼接技術，實現球面仿生復眼成像系統的全景圖拼接。

1 仿生球面復眼系統設計

受昆蟲復眼視覺成像機理的啟發，提出一種新型的球面復眼結構設計方案，其整體結構模型如圖1所示。

其中，9個透鏡陣列均勻分布在同一球面上，每個子眼成像通道由鏡頭和圖像傳感器組成，各子眼成像通道可對不同方向視場內的物體進行成像，處于其視場內的目標物會被相應的子眼成像通道捕獲形成獨立的子眼圖像。相鄰子眼成像通道的視場之間存在重疊區域，以保證相鄰子眼成像通道間的無死區覆蓋探測。

圖1 球面復眼結構示意圖

復眼成像探測結構的信號處理主要是信號采集與圖像處理，信號采集與常規的單眼成像系統相同，將探測器輸出的模擬信號通過A/D轉換，送入計算機進行處理。由于復眼系統為多孔徑系統，圖像處理與常規的單眼系統不同，復眼中的每個單眼形成局部視場圖像，通過圖像拼接形成一個完整的大視場圖像。復眼成像探測結構的信號處理流程框圖如下圖所示。

圖2 信號處理基本框圖

這里主要對圖像拼接進行研究，假設圖像采集及預處理都已完成，本文研究的內容包括圖像特征點提取、特征點匹配和圖像融合。

2 圖像特征點提取

C.Harris等提出的Harris算子[13]可以獲得具有旋轉、平移不變性的特征點，但不具備尺度不變性。SIFT特征在圖像的平移、旋轉、縮放和亮度變化方面具有良好的不變性，對于仿射變換和噪聲干擾方面也有一定的穩定性，因此這里采用SIFT算法[14-15]對圖像特征點進行提取。

SIFT算法的核心理論是尺度空間理論，尺度變換的唯一線性變換核為高斯卷積核。

二維高斯函數定義為：

式中，σ代表高斯正態分布的方差，那么一幅二維圖像的尺度空間可定義為：

其中“*”代表卷積運算，I（x，y）代表圖像像素點的灰度值，σ代表尺度空間因子，L（x，y，σ）代表尺度空間像素點。

SIFT算法由尺度空間極值點檢測、關鍵點精確定位、關鍵點方向分配、生成特征點描述子4個主要步驟組成。具體步驟如下：

1）尺度空間極值點檢測：為了在尺度空間檢出穩定的關鍵點，SIFT算法使用高斯差分尺度空間（DOG scale-space）算子，由不同尺度的高斯差分核與圖像卷積生成：

生成尺度空間后，為了尋找極值點，需要把每一個采樣點與其周圍的每一個相鄰點比較。

2）精確定位關鍵點：為精確定位關鍵點，通過三維二次函數進行插值，以精確確定關鍵點的位置和尺度（亞像素精度），增強后續匹配的穩定性、提高抗噪聲性能。

3）關鍵點方向分配：利用關鍵點鄰域像素的梯度方向分布特性，為每個關鍵點指定方向參數，這樣，關鍵點就具備了旋轉不變性。梯度的幅值m（x，y）和方向θ（x，y）表達式為

式中，L（x，y）代表尺度圖像像素點。

4）特征點描述子生成：為確保旋轉不變性，首先將坐標軸旋轉為關鍵點的方向，然后利用鄰域方向性信息聯合的思想來構造特征描述子，得到特征向量。

3 特征點匹配

當SIFT特征向量集生成后，采用歐氏距離對特征點進行匹配，其原理是當待匹配點與其最近鄰及次緊鄰的關鍵點的距離之比大于預設的閾值時，可認為是誤匹配，將其剔除掉，根據Lowe的實驗[15]，比率值取0.8時，可以去除90%的誤匹配，但正確匹配也會丟失5%左右，此值增大時，誤匹配數量急劇上升；此值取0.7時，可以去除96%的誤匹配，而正確匹配則丟失8%左右，此值減少時，誤匹配數量降速減緩，正確匹配數量降速增加。因此，粗匹配時，比率值可在0.6-0.8之間選擇，以盡可能多地保留正確匹配對。

接下來采用RANSAC數據擬合算法對粗匹配的特征點進行進一步的精確匹配。RANSAC算法步驟如下：

1）n個樣本中隨機選取p個樣本 （p為可計算模型參數最小值）；

2）根據p個樣本計算臨時模型M0；

3）計算未被選擇的n-p個樣本與M0的距離，并記錄距離小于某設定閾值的個數km。

重復以上3步，直至停止條件成立，選擇最大km值對應的模型參數為估算的最優模型參數。

4 圖像融合

4.1 圖像映射插值

在圖像拼接中，圖像拼接是根據求解出來的幾何變換將輸入圖像變換到參考圖像的坐標系下，將輸入圖像的像素值賦值給參考圖像，這個過程包括圖像映射技術和圖像插值技術。

目前常用的圖像插值方法主要有最鄰近插值法、雙線性插值法和雙三次卷積法。這里采用雙線性插值方法，插值函數如下：

4.2 數據融合

在圖像拼接的過程中，由于曝光差異在拼接圖像的邊界處會形成明顯的縫隙，因此需要進行融合處理，對拼接縫進行消除。加權平均是圖像拼接的常用融合方法，適合實時處理。其原理是：設I1（x，y）和I2（x，y）是待拼接的兩幅圖像，則重疊區域圖像的像素值I（x，y）可表示為：

其中d為一漸變系數，當d由1慢慢變化到0時，圖像從I1（x，y）慢慢過渡到了I2（x，y）。

5 實驗結果與分析

本實驗用Matlab實現，電腦配置為CPU2.5 GHz，內存2 GHz。為盡可能模擬球面復眼結構模型中的各個子眼視場，將相機置于三腳架上，通過旋轉普通數碼相機得到書柜的9張樣本圖像，如圖3所示。

在仿真過程中，首先利用SIFT算法對每幅待匹配圖像進行特征點提取，然后通過歐氏距離法對SIFT算法得到的特征點進行粗匹配，在此基礎上采用RANSAC算法對為匹配特征點進行剔除。采用歐氏距離法時，閾值設為0.8。由于拍攝角度不同，在特征點匹配的基礎上需要對待匹配圖像進行轉換，以下仿真圖是以中間一列圖像為參考圖像，以圖3中的中圖和中右圖為例得到的仿真圖，包括對應的匹配點以及進行圖像轉換后的待匹配圖像，仿真結果如圖4所示。

圖3 各個子眼圖像

圖4 特征提取與圖像變換

通過特征點匹配，然后以參考圖像為基準，對待匹配圖像估計變換模型參數，利用圖像映射和插值技術，將輸入圖像變換到參考圖像的坐標系上以實現拼接。

這里采用的拼接方案為：對每一層分別進行拼接，然后將三層圖像再次拼接。每層拼接圖像如圖5所示。

圖6為整體拼接結果。

由圖6可以看出，系統實現了多通道圖像的拼接。造成圖中拼接縫隙的因素主要有兩個：1）9張圖像不是同時拍攝，由于光照的影響，使得在圖6的左上角處出現了較為明顯的拼接縫隙；2）由于多次利用圖像融合算法，對圖像重疊區域的估計誤差隨著拼接次數的加而增大。

圖5 書柜單層拼接結果

圖6 書柜圖像融合效果圖

6 結束語

文中設計了一種仿生球面復眼視覺系統，并采用圖像拼接算法對子眼圖像序列進行拼接得到了全景圖，有效地實現復眼系統多通道圖像的大視場無死區拼接。此算法具有如下特點：采用SIFT算法獲取具有旋轉和尺度不變性的特征點；利用RANSAC算法對特征點進行精確匹配；采用加權融合算法消除圖像拼接痕跡。該算法可以應用于任意一個曲面列陣化排布的復眼結構，實現其多通道圖像的拼接，具有較好的應用價值。

[1]徐琰，顏樹華，周春雷，等．昆蟲復眼的仿生研究進展[J].光學技術，2006，32（S）：10-12.

[2]冷雪，那杰.昆蟲復眼的結構和功能[J].沈陽師范大學學報：自然科學版，2009，27（2）：241-244.

[3]金偉其，林青，裘溯，等.多孔徑仿生復眼成像系統技術進展綜述 [J].光學與光電技術，2011，6（9）：9-13.

[4]邸思，徐洪奎，杜如虛.人造復眼成像系統研究的新進展[J].光學與光電技術，2008，6（4）：93-96.

[5]Nakamura T，Horisaki R，Tanida J.Computational superposition compound eye imaging for extended depth-of-field and field-of-view [J].Optics Express，2012，20（25）:27482-27495.

[6]Duparre J，Radtke D，Tunnermann A.Spherical artificial compound eye capture real images[J].SPIE，2007：6466.

[7]TUDELA R，BRUCKNER A，DUPARRE J，et al．An image restoration approach for artificial compound eyes[J].SPIE，2008（6812）:681200.

[8]曹兆樓，詹珍賢，王克逸.用于運動目標探測的球面復眼透鏡結構設計[J].紅外與激光工程，2011，40（1）:70-73.

[9]ANEL G R，FRANCISCO J C．Design of artificial apposition compound eye with cylindrical microdoublets[J].Opt Review，2011，18（1）:184-186．

[10]車靜，盧鵬，韓焱，等.仿生復眼視覺系統中全景圖拼接算法[J].應用光學，2013，34（5）:815-819.

[11]Gumustelcin S，Hall R W，Image registration and mosaicing using a self calibrating camera[J].Proc.ofIEEE Image Processing， IEEE Computer Society，1998：818-822.

[12]歐陽寧，翟紫伶，首照宇，等．基于圖切割的多頻帶融合圖像拼接[J].微電子學與計算機，2013，30（7）：107-110.

[13]Harris C，Stephens M.A combined corner and edge detector [J].Processing of the 4th Alvey Vision Conference，1988:147-151.

[14]Brown M，Lowe D G.Recognising ranoramas[J].IEEE international conference on computer vision 2003:1218-1225.

[15]Lowe D G.Distinctive image features from scaleinvariant keypoints [J].International Journal of Computer Vision，2004，60（2）:91-110.

Image mosaic algorithm on bionic compound eye system

YAN Fei
（China Airborne Missile Academy，Luoyang 471009，China）

Based on the compound eyes of insects，a bionic spherical compound eyes system was designed and an image mosaic algorithm was proposed.First，SIFT（Scale Invariant Feature Transform）was used to extract feature points from the images of sub-eye.Then，feature points were precisely matched by RANSAC（Random Sample Consensus）algorithm.Finally，seamless mosaics of the sub-eye images were completed with weighted smoothing algorithm.The simulation results showed that the algorithm could effectively realize multi-channel images mosaic with large field of view and enlarge the fields of multi-directions.The study could advance the application of the compound eye imaging system.

bionic compound eye；multiple imaging；image mosaic；SIFT；RANSAC

TN215

：A

：1674－6236（2017）05-0175-04

2016-01-21稿件編號：201601199

集團創新基金（2013C01414R）

燕 飛（1984—），女，河南禹州人，碩士，工程師。研究方向：圖像處理。