基于多特征優選的圖像拼接算法及系統設計

姜月武　路東生　黨良慧　楊永兆　施建新

摘 要： 以無人機為平臺的橋梁巡檢方案能夠減少人工、避免安全隱患、提高效率，為了解決該系統中圖像拼接實時性和拼接質量之間的矛盾，本文提出一種基于多特征優選的圖像拼接算法，并設計開發出了一套基于無人機橋梁巡檢的圖像采集拼接子系統，先利用簡單特征對圖像流進行快篩，然后利用復雜特征來保持準確率，并提高系統的魯棒性，最后通過性能指標對圖像拼接質量進行調節。在實驗中，針對處理速度、準確率和魯棒性等各方面因素，本文算法平均達到了83.34%的特征提取準確率。在調節系統性能指標后，圖像拼接取得了滿意的效果，具有一定實用價值。

關鍵詞： 無人機; 橋梁巡檢; 圖像拼接; 特征提取; 圖像拼接系統

文章編號： 2095-2163（2021）07-0060-06中圖分類號：TP391.41文獻標志碼： A

Image stitching algorithm and system design based on multi-feature optimization

JIANG Yuewu， LU Dongsheng， DANG Lianghui， YANG Yongzhao， SHI Jianxin

（School of Electronic and Electrical Engineering， Shanghai University of Engineering Science， Shanghai 201620， China ）

【Abstract】The bridge inspection program based on drones can reduce labor， avoid safety hazards， and improve efficiency. In order to solve the contradiction between the real-time image splicing and the splicing quality in the system， this paper proposes an image splicing algorithm based on multi-feature optimization. The algorithm has also designed and developed a set of image collection and splicing subsystems based on UAV bridge inspection. First， simple features are used to quickly screen the image stream， and then complex features are used to maintain accuracy and improve the robustness of the system. Finally， the image mosaic quality is adjusted through performance indicators. In the experiment， for the processing speed， accuracy and robustness and other factors， the algorithm in this paper reaches an average feature extraction accuracy of 83.34%. After adjusting the system performance indicators， image stitching has achieved satisfactory results and has certain practical value.

【Key words】UAV; bridge inspection; image mosaic; feature extraction; image stitching system

0 引 言

圖像拼接技術通過圖像空間上的匹配、映射以及重疊區域融合將2幅或多幅圖像進行拼接，獲得包含原始圖像所有信息的高分辨率、寬視角的合成圖。該項技術在醫學成像、計算機視覺、衛星數據、軍事目標自動識別等領域具有重要的研究意義與使用價值。

目前，圖像拼接技術按照是否使用卷積神經網絡分為2類。一類是傳統的方法：以灰度、尺度變化，判別相關性的基于區域相關的拼接算法，以Harris[1]、FAST[2-3]、SIFT[4]、BRISK[5]、SURF[6]、 FREAK[7]、AKAZE[8]、ORB[9]等提取特征的基于特征的拼接算法，其中以AutoStitch[10]為經典，適合沒有視差或極小視差的場景;另一類是卷積神經網絡方法：DHW[11]， APAP[12]， AANAP[13]等以空間域變化繪制適合小視差場景的算法、Parallax-tolerant[14]，seam-driven[15]等以縫合線主導適合大視差場景的算法。

與卷積神經網絡算法相比，圖像拼接的傳統算法在準確率方面略顯不足，但是在計算量和計算速度上則占據著優勢。根據具體的無人機橋梁巡檢項目實際運用在滿足精度的同時還要兼顧系統實時性要求，本文提出了一種基于多特征優選的圖像拼接算法及系統設計方案，經過實驗仿真取得了滿意的效果。

1 相關簡介

1.1 Harris角點檢測

使用角點檢測算子，對圖像的每個像素計算角點響應函數（Corner Response Function ），閾值化角點響應函數，根據實際情況選擇閾值，對閾值化的角點響應函數進行非極大值抑制，并獲取非零點作為角點。通過一個小的滑動窗口在鄰域檢測角點的任意方向上移動窗口，若窗口內的灰度值都有劇烈的變化，則窗口的中心就是角點。

假設圖像I（x，y），從點（x，y）處平移（Δx，Δy）后的自相似性，可由自相關函數表示：

最后可以將自相關函數簡化近似為二項函數：

研究發現式（4）本質上就是一個橢圓函數。M（x，y）的特征值λ1、λ2決定了橢圓的扁率大小和尺寸大小， M（x，y）的特征矢量決定了橢圓的方向，如式（5）所示，橢圓方程為：

Harris方法是通過計算一個角點的響應值R來判斷角點，并不需要計算具體的特征值。R的計算公式為：

其中，detM為矩陣M=ABCD的行列式;traceM為矩陣M的直跡;α為常數，其取值范圍為0.04～0.06。

1.2 FAST特征點

圖1即是FAST特征點的圖像。假設以某點像素p為圓心，半徑大小為3做一個離散化的圓，使得這個圓的邊界上正好有16個像素。

如果在上述16個像素點的圓上存在著N（N為9或12）個連續的像素點，并且該像素值要么都大于I（p）+εd，要么都小于I（p）-εd，那么定義p為一個特征點，如式（7）所示：

其中，I（x）表示圓環模板上的任意一點像素灰度值的大小;I（p）表示中心的像素點的灰度值大小;εd為設定的閾值大小。

1.3 FREAK特征檢測

FREAK采樣模式如圖2所示。圖2中，采用以特征點為中心的采樣模式，對每層圓環均勻采樣6個點，最終構成7層同心圓。為了獲取足夠多的圖像信息讓圓和圓之間發生交疊。使用采樣點和特征點之間的距離來刻畫采樣點的密度，采樣點距離特征點越近，采樣點圓的半徑就越小，密度也就越大，距離特征點若越遠，采樣點圓的半徑就越大，密度也就越小。對每個采樣點進行高斯平滑處理來降低噪聲影響，每個圓圈的半徑刻畫了高斯模糊的標準差。

FREAK描述子由采樣點對的強度比較結果級聯組成，形成二進制位串描述子。 這里用F表示，則有：

其中，Pa表示一個采樣點，Pr1a表示在經過高斯模糊后得到的采樣點的灰度值大小。

1.4 SIFT特征檢測

圖像的尺度空間用L（x，y，σ）函數表示，具體是由一個變尺度的高斯函數G（x，y，σ）與圖像I（x，y）通過卷積產生，即：

其中，表示在x和y兩個方向上進行卷積操作，而G（x，y，σ）為：

其中，決定著圖像模糊平滑處理的程度的尺度因子為σ。σ值較大時代表的是大尺度下圖像的概貌信息，σ值較小時代表的是小尺度下圖像的細節信息。因此大尺度對應著低分辨率，小尺度對應著高分辨率。（x，y）則表示在σ尺度下的圖像坐標。

為了在連續的尺度下檢測圖像的特征點，需要建立 DoG 金字塔，而 DoG 金字塔的建立又離不開高斯金字塔的建立，如圖3所示，左側為高斯金字塔，右側為 DoG 金字塔。

1.5 SURF特征檢測

給定圖像I中的某點x=（x，y），在該點x處，尺度為σ的Hessian矩陣H（x，σ）定義為：

其中，Lxx（x，σ）是高斯二階微分σ2g（σ）σx2在點x=（x，y）處與圖像I的卷積，Lxy（x，σ）和Lyy（x，σ）具有相似的含義，這些微分就是LoG。

1.6 ORB特征檢測

ORB算法結合了Fast[2-3]和Brief[16]算法，提出了構造金字塔，為Fast特征點添加了方向，從而使得關鍵點具有了尺度不變性和旋轉不變性。具體流程描述如下：

（1）構造尺度金字塔，金字塔共有n層，與SIFT不同的是，每一層僅有一幅圖像。第s層的尺度為σs=σs0，σ0是初始尺度，默認為1。

（2）原圖在第0層。第s層圖像的大小如下：

在不同的尺度上利用Fast算法檢測特征點，采用Harris角點響應函數，根據角點的響應值排序，選取前N個特征點，作為本尺度的特征點。

計算特征點的主方向，計算以特征點為圓心，半徑為r的圓形鄰域內的灰度質心位置，將從特征點位置到質心位置的方向做特征點的主方向。為了解決旋轉不變性，將特征點的鄰域旋轉到主方向上利用Brief[16]算法構建特征描述符，至此就得到了ORB的特征描述向量。

2 算法框架

圖像拼接流程見圖4。由圖4可知，圖像拼接分為4個步驟：圖像的匹配（Registration）、重新投影（Reprojection）、拼接縫合（Stitching）和圖像融合（Blending）。

其中，圖像匹配是指通過一定的匹配算法在2幅或多幅圖像之間識別同名點。2幅或者多幅圖像可以是由不同的時間、不同的位置拍攝，或者由多個傳感器同時拍攝。重新投影是指通過圖像的幾何變換，把所有的圖片都轉換到一個共同的坐標系下。拼接縫合是指通過合并重疊部分的像素值，并保持沒有重疊的部分使之生成更大分辨率的圖像。圖像融合是指通過幾何和光度偏移錯誤通常導致對象的不連續，并在2個圖像之間的邊界附近產生可見的接縫。圖像的配準程度決定了圖像的拼接質量，因此拼接算法的核心和關鍵就是圖像的配準。

本文提出的基于多特征優選的圖像拼接算法的流程圖如圖5所示。

其中，對于基于無人機拍攝的視頻流數據，可以使用Harris[1]、AKAZE[8]、FAST[2-3]、SIFT[4]、SURF[6]、BRISK[5]、FREAK[7]、ORB[9]等方法對相鄰兩幀之間進行特征提取，但是為了在拼接速度和拼接效果中找到平衡點，本文提出了評價標準，通過將傳統特征的提取方法分為2類，按照特征點數量和拼接速度2個維度，將使用Harris[1]、AKAZE[8]、ORB[9]、FREAK[7]算法進行特征提取的方法記為次級特征提取方法，將使用BRISK[5]、SIFT[4]、SURF[6]算法進行特征提取的方法記為優選特征提取方法，這樣做的目的是可以使用調節評價策略（特征點、角點、斑點、幀間差分值），可以先通過次級特征點提取剔除一部分質量較差的圖像或者對質量滿足設定標準的圖像直接進行拼接，這樣就可以在實時性和最終的拼接效果中找到平衡點。針對具體的基于無人機橋梁巡檢憑借項目，通過實驗部分可以看到策略的魯棒性。

3 實驗結果

3.1 實驗結果分析

無人機在預先設定飛行的區域范圍內，隨機抽取5個采集點的視頻流數據，每個點取20幀相鄰圖片，對其中每相鄰的2幀圖片進行實驗，分別將其分為A組和B組各50張圖片，首先對每張圖片使用不同的算法進行特征提取，然后記錄A組和B組的每一對平均特征點數量，如圖6所示。

對于圖6提取特征點，記錄其所消耗時間如圖7所示。

將每組圖片中提取的最多的特征點作為基數，每一組中匹配成功的數量作為衡量標準，定義匹配成功率=最多匹配成功數量對/最大提取特征數，可以得到圖8。

對于每種算法，統計了50對實驗的總計消耗時間、提取的總特征數量和最多匹配點數量見表1。

通過實驗，由表1得出結論：可以將實驗的算法分為3個層次。第一層是速度最快，準確率和魯棒性最差的，如Harris、ORB、FAST;第二層是速度、準確率和魯棒性適中，如BRISK、FREAK、 AKAZE;第三層是速度最慢，準確率和魯棒性最好的，如SIFT、SURF、ours。進而可推得：

（1）速度比較：FAST>ORB>Harris>AKAZE>FREAK>BRISK>ours>SURF>SIFT。

（2）準確率和魯棒性：SIFT>SURF>ours>BRISK>FREAK>AKAZE>Harris>ORB >FAST。

其中，針對快速提取特征算法，總體準確度和魯棒性較差，但是對于個別實驗組會出現優于慢速提取特征算法。

本文算法通過設計優選特征環節，一方面通過快速特征提取，篩除一部分數據，另一方面結合了準確率和魯棒性較高的特征來提高圖像拼接質量，對于整個無人機橋梁巡檢項目系統，算法實現了各項性能指標的綜合平衡。

對于具體的實驗效果，如圖9所示，通過調節評價指標中的匹配特征點，可以控制拼接時間和圖片的拼接質量。

3.2 系統實現截圖

本項目開發的系統界面及功能展示如下。

（1）登錄界面。登錄界面包含登錄和注冊功能，通過點擊“注冊”可以新建用戶，輸入已有賬戶的用戶名和密碼，點擊“登錄”就可以成功登錄系統，登錄系統界面如圖10所示。

（2）輸入拼接圖片。在菜單欄中點擊 “輸入圖像”按鈕，可以通過文件路徑選擇需要拼接的圖像，左邊可以顯示6張選擇的圖像，右邊窗口顯示選擇圖像的詳細信息，系統界面截圖如圖11所示。

（3）拼接進行中。在菜單欄中點擊“拼接圖像”按鈕，系統后臺會調用拼接算法，界面顯示如圖12所示，進度條進度顯示了算法的運行進度。

（4）拼接完成。當拼接算法運行結束時，系統界面會彈出如圖13所示的“拼接完成”界面，提醒用戶圖像已經拼接完成。

（5）拼接結果展示。在收到圖像拼接完成的提示后，點擊菜單欄的“查看結果”，系統會自動打開圖像拼接結果查看器，界面截圖如圖14所示，在查看器菜單欄中，設置了對圖像放大和縮小以及調整到和顯示器合適的尺寸等功能，還可以對圖片結果進行打開、保存等操作，只需要點擊對應的功能按鈕即可。

4 結束語

在無人機橋梁巡檢的實際項目中，對于采集的圖像存在特征點不均、光影交替、圖片抖動模糊和拼接時效性等問題。本文提出的基于多特征優選的圖像拼接方案，在實際測試中體現出較好的魯棒性，能夠適應橋梁底面復雜的環境，證明了該算法可以在嵌入式設備良好運用。但是，該算法在精度上還需要進一步優化，包括特征點提取和匹配的優化。

參考文獻

[1]HARRIS C G， STEPHENS M. A combined corner and edge detector[C]//Proceedings of 4th Alvey Vision Conference. Manchester England： University of Manchester，1988：189-192.

[2]ROSTEN E， DRUMMOND T. Machine learning for high speed corner detection[C]// 9th European Conference on Computer Vision.? Graz， Austria：Springer， 2006，1：430-443.

[3]ROSTEN E， PORTER R， DRUMMOND T. Faster and better： A machine learning approach to corner detection[J]. IEEE transactions on pattern analysis and machine intelligence， 2008 ，32（1）：105-119.

[4]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004，60（2）：91-110.

[5]LEUTENEGGER S， CHLI M， SIEGWART R Y. BRISK： Binary robust invariant scalable keypoints[C]// 2011 International Conference on Computer Vision.Barcelona， Spain ：IEEE，2011 ：2548-2555.

[6]BAY H， ESS A， TUYTELAARS T， et al. Speeded-up robust features （SURF）[J]. Computer Vision and Image Understanding， 2008，110（3）：346-359.

[7]ALAHI A， ORTIZ R， VANDERGHEYNST P. Freak： Fast retina keypoint[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence， RI， USA ：IEEE，2012：510-517.

[8]ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces[C]// British Machine Vision Conference.Bristol：Qlialcomm， 2013：13.1-13.11.

[9]RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： An efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision. Barcelona， Spain ：IEEE， 2011：2564-2571.

[10]BROWN M， LOWE D G. Automatic panoramic image stitching using invariant features[J]. International Journal of Computer Vision， 2007 ，74（1）：59-73.

[11]GAO J， KIM S J， BROWN M S. Constructing image panoramas using dual-homography warping[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Colorado：IEEE，2011： 49-56.

[12]ZARAGOZA J， CHIN T J， TRAN Q H， et al. As-projective-as-possible image stitching with moving DLT[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2014，36：1285-1298.

[13]LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR） . Boston， MA， USA ：IEEE， 2015：1155-1163 .

[14]ZHANG F， LIU F. Parallax-tolerant image stitching[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Columbus， USA：IEEE， 2014：3262-3269.

[15]GAO Junhong， LI Yu， CHIN T J， et al. Seam-driven image stitching[C]// Eurographics （Short Papers） .Spain：Eurographics，2013 ：45-48.

[16]CALONDER M， LEPETIT V， STRECHA C， et al. Brief： Binary robust independent elementary features[M]// DANIILIDIS K， MARAGOS P， PARAGIOS N. Computer Vision-ECCV 2010. ECCV 2010. Lecture Notes in Computer Science. Berlin/ Heidelberg ：Springer， 2010，6314：778-792.

作者簡介： 姜月武（1995-），男，碩士研究生，主要研究方向：人臉檢測、人臉表情識別、計算機視覺等。

通訊作者： 姜月武Email：jiangyuewu@sues.edu.cn

收稿日期： 2020-12-20