無人機視頻圖像遙感質量監控的實時拼接關鍵技術

竇智 馬軍 楊可明 李小薈 胡靖宇 李木若 朱桐作

摘? 要：無人機（UAV）遙感是獲取視頻圖像的重要手段，但因無人機體積小質量輕而易受氣流擾動、飛行狀況不穩定、飛行路線多變等因素而在一定程度上影響了圖像采集質量，所以給工程和生產應用帶來較大影響。因此，低空無人機遙感視頻圖像采集過程中的序列圖像實時拼接在監測無人機飛行狀態、驗證視頻圖像質量好壞等方面具有重要意義。文章結合OpenCV技術進行了視頻圖像的提取，運用尺度不變特征轉換（SIFT）算法實現了無人機視頻圖像實時拼接。研究成果顯示序列圖像拼接效果理想，能有效監控和保障視頻圖像采集的質量。

關鍵詞：無人機遙感;視頻圖像;OpenCV;SIFT;實時拼接;質量監控

中圖分類號：P23? ? ? ? ? ?文獻標志碼：A? ? ? ? ?文章編號：2095-2945（2020）35-0034-04

Abstract： Remote sensing of unmanned aerial vehicle （UAV） is an important means to obtain video images. However it is easy to be disturbed by air flow， unstable flight conditions， changeable flight routes and other factors due to the small size and light weight of UAV， so that the quality of images acquired by UAV can be affected to a certain extent. As a result， it has some great impacts on engineering and production applications. Therefore， the real-time mosaicking of sequence images is of great significance in monitoring the flight status of UAV and verifying the quality of video images during the process on acquiring the remote sensing video images of low altitude UAV. In the paper， the OpenCV technology was used to extract video images and scale invariant feature transform （SIFT） algorithm was used to realize real-time mosaicking of UAV video images. The research results showed that the mosaicking effect of sequence images was ideal and could effectively monitor and ensure the acquiring quality of video images.

Keywords： UAV remote sensing; video image; OpenCV; SIFT; real-time mosaicking; quality control

1 概述

隨著遙感技術和無人機技術（Unmanned Aerial Vehicle，UAV）的快速發展，現今無人機遙感已經被廣泛運用到減災減害，國土資源信息獲取，生態環境變化監測等眾多領域[1-5]。無人機體積小，具有使用實時便捷、機動性好、費用低且空間分辨率高等優勢，可以完成很多復雜環境下的監測和工程實施任務。然而無人機遙感具有所獲取視頻圖像的場景幅寬小、序列性數量多且重疊不規則以及受飛行姿態不穩定影響、旋轉變形大等缺點[5]，所以能否對實時的視頻序列圖像進行快速拼接以檢查或監控數據采集質量和效果是低空無人機遙感中較為關鍵的技術之一。早期關于無人機等航攝圖像拼接技術常采用相關法[6]、最小二乘法[7]、松弛法[8，9]、跨接法[10]等匹配方法，但它們的主要缺點是拼接結果會受到圖像變形、比例尺不一致和旋轉變化等情況的影響較大;所以目前較多采用了不受旋轉和比例尺等影響的尺度不變特征變換（Scale-invariant Feature Transform， SIFT）[11]、最小生成樹（Minimum Spanning Tree， MST）[12]和加速穩健特征（Speeded-up Robust Features， SURF）[13，14]等拼接算法，而其中MST、SURF等算法本質上還是基于SIFT算法發展或改進得到的。本文重點是基于SIFT算法實現視頻序列圖像提取和拼接技術，旨在通過實時地拼接視頻圖像，監測和調整無人機飛行狀態，保證獲取高質量的視頻圖像。

2 理論與方法

2.1 OpenCV與視頻圖像提取技術

OpenCV[15-18]是開源計算機視覺（Open Computer Vision）類庫，含有較多計算機視覺與圖像處理等通用算法，它具有可使用一些外部庫功能，但并不依賴其它外部庫，其中在存取視頻文件、抓取圖像方面較為高效。在無人機遙感視頻圖像提取時，可結合VC++并利用OpenCV中CV、CXCORE、HIGHGUI等主要函數和模塊的圖形用戶界面（GUI）構建、圖像和視頻數據輸入輸出、圖像數據處理等功能實現遙感攝像頭視頻幀的圖像提取，并能保存為avi、jpg等文件格式。

2.2 SIFT算法

由David Lowe于1999年發表并于2004年完善總結的尺度不變特征轉換（SIFT）是在空間尺度上尋找極值點的偵測或描述圖像中局部性特征算法[11]，能定義所提取極值點的位置、尺度和旋轉不變量。SIFT算法在極值點提取方面有很多算法[19，20]，能夠在不同的空間和圖像區域中準確地檢測到大量的匹配特征點。而這些特征點具有良好的尺度和旋轉不變性，對光照和視角的變化不敏感。SIFT算法獲取圖像特征點的主要步驟是：（1）尺度空間生成，（2）空間極值點的檢測，（3）關鍵點的定位，（4）關鍵點方向的分配，（5）關鍵點描述子生成，（6）特征數據匹配。

2.3 最小二乘法

最小二乘法（least squares method， LSM）是一種數學優化算法。它是基于誤差最小化方法使誤差的平方和最小化以尋找數據的最佳函數匹配。利用LSM能簡便地求得未知的數據，因而在序列圖像的拼接過程中可以使用LSM與多元線性回歸對不同圖像的像對中同名點進行坐標轉換。

2.4 實時拼接方法

無人機遙感視頻圖像實時拼接的主要步驟是：采用OpenCV技術提取視頻幀的序列圖像，再利用SIFT算法尋找序列圖像中各像對的同名點，然后根據同名點進行圖像拼接等后續操作。

（1）提取視頻圖像。讀取攝像頭并獲取視頻幀信息;根據視頻幀信息設置攝像頭屬性信息，定義視頻寫入器，定義計數器，進入視頻幀循環，對每一幀創建窗口實時顯示，并將每一幀寫入視頻文件，同時抓取視頻幀并編號保存。

（2）選出基準片。從第一時段內提取的航拍圖像序列中選出基準片;這一過程要檢測相鄰圖像的重疊度、同名點的誤差、變換模型誤差等;選出合適的基準片之后，在隨后的航拍序列中選取待匹配的圖像，這一過程也要檢測待處理圖像與基準片的重疊度、同名點誤差等。

（3）圖像拼接。利用SIFT特征的圖像融合方法將待處理的圖像鑲嵌到基準片上，最后判斷圖像序列中的所有圖像是否均處理完畢，如果沒有，則重復執行上述處理過程。

3 視頻圖像提取與拼接研發

3.1 多線程應用關鍵技術

為了有效的利用計算機資源，提高無人機遙感視頻圖像的實時拼接處理速度，可采用多線程并發技術。開辟多線程并行運算能在一定程度上提升計算機CPU利用率，降低無人機視頻圖像處理的運行時間。

3.1.1 線程和消息實現思路

（1）播放打開的視頻文件或是由無人飛機傳輸下來的實時視頻。實時傳遞播放的信息（如視頻幀數，視頻圖像的位置）給拼接線程。（2）拼接線程接收傳來的實時消息，進行拼接，并把拼接的信息實時傳送給顯示窗口和航線顯示的窗口。（3）實時視頻顯示窗口和整體航線窗口接收到播放傳來的信息后，顯示當前的拼接結果和實時的航線圖。

3.1.2 線程和消息傳遞的實現

無人機遙感圖像實時拼接技術開辟兩個線程，即視頻播放線程和拼接線程。視頻播放線程實現關鍵代碼如下：

StitchingThread=AfxBeginThread（StitchingThreadFunc， stitchingHandle）;

VideoPlayThread=AfxBeginThread（VideoPlayingFunc， videoplayHandle）;

在拼接過程中，發送消息并等消息返回實現實時準確無誤的拼接結果，由于拼接結果實時顯示所耗費的時間僅為20～30ms，所以顯示只是輕微影響拼接的時間。其中消息的傳送代碼如下：

：：SendMessage（hStitch， WM_STITCH， （WPARAM）tPositionMSG， NULL）;

：：SendMessage（hDiplay， WM_DISPLAY， （WPARAM）tPositionMSG， NULL）;

其中，WM_STITCH，WM_DISPLAY為自定義的消息;hStitch，hDiplay為實時顯示和總體航線顯示線程的句柄;tPositionMSG為自定義的消息結構體。顯示窗口接收到消息后進行窗口刷新和顯示。

3.2 視頻圖像提取編程關鍵技術

視頻圖像提取編程主要包括獲取視頻、抓取視頻幀和設置響應時間等關鍵技術，在獲取的每一幀圖像時重復下述操作即可。

（1）獲取攝像頭視頻：

pCapture = cvCaptureFromCAM（0）;

（2）創建視頻寫入器：

pVideoWriter=cvCreateVideoWriter（pVideoSaveName，CV_FOURCC（'X'，'V'，'I'，'D'），m_iFbs，cvSize（frameW，frameH），1）;

（3）寫入視頻文件：

cvWriteFrame（pVideoWriter，pFrame）;

（4）顯示視頻幀：

cvShowImage（"Frame_By_Frame"，pFrame）;

（5）間隔一定幀數抓圖：

cvSaveImage（buff2，pFrame）;

（6）設置視頻播放每一幀時等待用戶的鍵盤響應時間（單位為：毫秒）。

key=cvWaitKey（nWaitKeyTime）。

3.3 視頻圖像實時拼接關鍵技術

（1）基準片的選取。利用SIFT算法找出相鄰兩張圖像的一定數量的同名點，連接兩張圖片的同名點得到同名點矢量，分別計算同名點矢量在x，y方向的分量，然后分別計算平均值t，若圖像的同名點矢量在x，y方向的分量集中在t周圍，說明飛機此時飛行平穩，可以進行圖像的選取和拼接。

（2）待配準圖像選取。根據基準片從視頻抓取的圖像序列中選取待配準片，其中要檢測航向重疊度、旁向重疊度、同名點誤差等，選取滿足要求的圖像為待配準圖像。

（3）圖像配準。根據同名點坐標（剔除了誤差較大的點）計算出坐標轉換參數，然后將待配準片各像素點坐標值代入坐標轉換方程，求出它們在基準片中的坐標，之后根據坐標值將每一像素點的像素值拷貝到拼接圖像中。

（4）圖像重采樣和融合。我們采用了雙線性內插的方法進行圖像融合。雙線性內插值法計算量大，但圖像質量高，不會出現像素值不連續的情況。由于雙線性插值具有低通濾波器的性質，使高頻分量受損，所以可能會使圖像輪廓在一定程度上變得模糊。

對航拍序列重復進行上述（1）-（4），即完成整個航帶圖像的拼接。圖1中（a）～（c）為拼接前視頻圖像，圖1（d）為拼接后效果圖。

3.4 視頻圖像采集質量監控系統

無人機飛行時存在著路線多變、氣流擾動和飛行狀態不穩等因素，在很大程度上影響了無人機視頻圖像的質量，會使圖像存在較大的投影誤差。基于這些因素，首先在系統窗口的設計方面，將系統界面設計成三個窗口，如圖2所示，分別是視頻窗口（左上窗口），圖像實時拼接窗口（右側窗口）和航線跟蹤窗口（左下窗口），這樣可以更直觀地體現視頻播放與視頻實時拼接的同步。視頻窗口可以實時呈現飛機當前飛行到的區域，可以根據客戶的需要實時調整飛行航線。根據拼接圖像質量調整飛機飛行姿態以達到良好的拼接效果。可以通過航線跟蹤窗口中矩形框的拖動，在圖像實時拼接窗口來查看所飛區域的圖像拼接效果圖，以便檢核飛行過的區域內成像質量，決定是否重新飛行這塊區域。對于圖像的顯示要占用一定的時間，這就影響了圖像拼接的實時顯示效果，可采取分塊顯示和從內存區讀取圖像的方法，由于存儲圖像的內存是不斷更新的，把拼接好的圖像實時存儲后，就可利用MFC的GDI+類將拼接好的最新圖像顯示在圖像實時拼接窗口中，這樣可以更好地達到實時顯示拼接的效果。

4 總結

基于OpenCV以及SIFT算法開發的無人機遙感視頻圖像提取和實時拼接技術能很好的實現快速、高質量圖像采集過程監控以及準確穩健的航拍序列的圖像配準。經過測試，視頻采集與抓圖效率與質量監控效果都比較好，且也能取得很好的圖像拼接效果。但還存在在圖像配準時需反復尋找基準片、某些區域線狀地物拼接效果不理想以及算法處理效率還有待提高等不足，仍需要對拼接算法與融合技術等方向做進一步改進。

參考文獻：

[1]胡文藝，王緒本.岷江流域無人機遙感影像拼接及災害信息提取[J].物探化探計算技術，2012，34（3）：340-343.

[2]陳竹安，施陳敬，馮祥瑞，等.低空多旋翼無人機航測在秀美鄉村規劃建設中的應用[J].測繪通報，2019（8）：144-148.

[3]岳本江，徐佳，高云飛，等.無人機航測成圖精度探究及在水土保持行業中的應用[J].中國水土保持，2020（6）：48-51.

[4]張臘平.無人機技術在關閉建筑石料礦山生態環境綜合治理工程中的應用[J].浙江國土資源，2017（2）：50-52.

[5]謝濤，劉銳，胡秋紅，等.基于無人機遙感技術的環境監測研究進展[J].環境科技，2013，26（4）：55-60+64.

[6]易俐娜，許筱，張桂峰，等.輕小型無人機高光譜影像拼接研究[J].光譜學與光譜分析，2019，39（6）：1885-1891.

[7]秦向南，王慧，李爍，等.無人機載多面陣組合寬角五相機影像拼接技術[J].測繪科學技術學報，2017，34（3）：294-299.

[8]常津，李浩，楊彪.一種適用于近景數碼影像的概率松弛匹配方法[J].科學技術與工程，2013，13（7）：1713-1717.

[9]李宇光，王新華.一種自適應的概率松馳影像匹配算法的研究[J].中國圖象圖形學報，1999，4A（1）：19-22.

[10]張祖勛，張劍清，吳曉良.跨接法概念之擴展及整體影象匹配[J].武漢測繪科技大學學報，1991，16（3）：1-11.

[11]David G Lowe. Distinctive image features from scale-invariant keypoints[J]. International journal of computer vision， 2004，60（2）：91-110.

[12]張冬梅，盧小平，張航，等.一種基于最小生成樹的無人機影像拼接方法[J].測繪科學，2020，45（5）：42-48.

[13]王冬梅，陳普智.一種改進的無人機序列影像快速拼接方法研究[J].黃河水利職業技術學院學報，2020，32（1）：45-49.

[14]劉慶元，劉有，鄒磊，等.無人機遙感影像拼接方法探討[J].測繪通報，2012（5）：53-55.

[15]劉瑞禎，于仕琪.OpenCV教程[M].北京：北京航空航天大學出版社，2007：10-44.

[16]王力超，陳熙，陸起涌.基于OpenCV的運動目標檢測跟蹤實驗平臺[D].上海：復旦大學，2004.

[17]尹俊超，劉直芳.基于OpenCV的運動目標檢測與跟蹤[J].計算機工程與設計，2011，32（8）：2817-2820.

[18]高向.基于OpenCV運動目標檢測與跟蹤算法研究[D].銀川：寧夏大學，2019.

[19]王國美.SIFT特征匹配算法研究[D].貴州大學，2007.

[20]CHEN Zhi-xiong. The SIFT Research and Implementation based on the image Registration[D]. WUHAN： WU-HAN University of Technology， 2008.