基于稀疏光流的道路航拍圖像拼接算法?

張楚東 陸建峰

（南京理工大學(xué)計算機(jī)科學(xué)與工程學(xué)院 南京 210094）

1 引言

無人機(jī)航拍圖像具有大視角、低形變、景深變化小的特點，特別適合獲取平面上帶狀區(qū)域的信息采集。因此，在道路檢測［1］、交通事故勘察［2］、道路基礎(chǔ)設(shè)施維護(hù)［3］等問題上人們逐步開始使用無人機(jī)采集道路圖像，獲取更加高質(zhì)量的原始數(shù)據(jù)。然而，單幅圖像的視野十分有限。為了在保證圖像高分辨率的同時，提高圖像覆蓋的范圍，我們需要對多幀圖像進(jìn)行拼接。

圖像拼接算法主要可分為圖像配準(zhǔn)、變換模型計算、圖像融合三個步驟。尋找兩幅具有重疊區(qū)域的圖像之間的匹配關(guān)系，這一過程稱為圖像配準(zhǔn)。得到圖像的匹配關(guān)系后，使用變換模型從數(shù)學(xué)上對這一關(guān)系進(jìn)行描述。常用的變換模型為單應(yīng)變換，兩幅圖像重疊區(qū)域上的像素點關(guān)于單應(yīng)矩陣一一對應(yīng)。最后，將兩張圖像對應(yīng)到同一坐標(biāo)系下，完成圖像融合。

作為整個算法的前端，圖像配準(zhǔn)與應(yīng)用場景息息相關(guān)。當(dāng)前的主流拼接算法使用特征點完成兩幅圖像的配準(zhǔn)。其基本流程為分別從兩幅圖像中提取特征點與描述子，利用描述子計算特征點間的匹配關(guān)系，以此作為圖像的匹配關(guān)系。然而，在道路航拍圖像中，道路區(qū)域的紋理特征稀少，局部相似性高，從而使得特征法容易失效。針對這一問題，本文利用圖像序列的連續(xù)性，依靠光流法跟蹤特征以實現(xiàn)匹配。

另一方面，長序列圖像拼接中，誤差的累積會大大降低圖像融合的質(zhì)量，使得全景圖像中出現(xiàn)鬼影、模糊等不一致現(xiàn)象。現(xiàn)有的方法中使用基于關(guān)鍵幀的光束平差法［4］、全局注冊［5］、回環(huán)檢測［6］等手段解決這一問題。本文采用全局注冊與二次配準(zhǔn)的思路，首先逐幀計算相鄰關(guān)鍵幀的變換模型，接著利用單應(yīng)變換的傳遞性，將所有圖像映射到全局基準(zhǔn)圖中完成融合。為了降低累積誤差，在融合前二次計算待新圖像與基準(zhǔn)圖的變換關(guān)系，提高精度。最后，將全局基準(zhǔn)圖作為全景圖像輸出。

2 系統(tǒng)設(shè)計概述

如圖1所示，為了提高運(yùn)行效率，圖像序列拼接算法分為并行執(zhí)行的兩個線程，跟蹤線程與拼圖線程。我們按照一定的準(zhǔn)則把所有圖像分為關(guān)鍵幀圖像與非關(guān)鍵幀圖像，跟蹤線程在關(guān)鍵幀中分網(wǎng)格提取分布均勻的特征集合S。對于后續(xù)到來的每一幀圖像，利用光流法逐幀跟蹤S在各自圖像中對應(yīng)的特征點位置。同時，根據(jù)新圖像中跟蹤到的特征點的分布決定是否將其作為新的關(guān)鍵幀。

圖1 圖像拼接系統(tǒng)框架圖

拼圖線程負(fù)責(zé)將關(guān)鍵幀拼接到全局基準(zhǔn)圖上。它從跟蹤線程獲得關(guān)鍵幀序列和相鄰關(guān)鍵幀之間的匹配特征點對。根據(jù)兩幀的匹配點對，恢復(fù)兩個關(guān)鍵幀之間的單應(yīng)矩陣H，以此作為當(dāng)前關(guān)鍵幀在全局地圖中的粗略位置。最后根據(jù)低精度的H將當(dāng)前關(guān)鍵幀映射到全局地圖上，再次利用光流法將當(dāng)前幀與全局地圖進(jìn)行配準(zhǔn)，糾正跟蹤過程與位姿變換過程中累積的誤差。當(dāng)該關(guān)鍵幀包含足夠的未探索區(qū)域時，將關(guān)鍵幀圖像與全局地圖進(jìn)行融合。

我們將在下文中介紹兩個線程中重要模塊的具體實現(xiàn)。

3 跟蹤線程

3.1 特征提取

無人機(jī)低空航拍的圖像中，即使路面占了圖像的主要區(qū)域，但是就特征點的顯著性而言，綠化帶、馬路牙子等路面外的區(qū)域擁有更強(qiáng)、更豐富的特征點。圖2為四種當(dāng)前流行的實時特征檢測算法的效果，按順序分別對應(yīng)Shi-Tomasi［7］、Harris［8］、ORB［9］、FAST［10］。

我們希望馬路上能有足夠多的特征點，從而使路面所在平面在單應(yīng)矩陣的RANSAC估計中獲勝，因此采用了分網(wǎng)格提取特征點的方法。將整幅圖像劃分為許多同等大小的網(wǎng)格，每個網(wǎng)格中只保留一個最佳的特征點。同時，出于速度的考慮，我們選擇了以速度快聞名的FAST角點作為候選特征點。同時，為了保證特征點具有良好的可跟蹤性，對于每一個候選特征點，計算其Shi-Tomasi得分。接著，根據(jù)像素坐標(biāo)將特征點映射到對應(yīng)的網(wǎng)格中，每個網(wǎng)格取Shi-Tomasi得分最高的點作為網(wǎng)格特征點。具體算法流程如下：

1）提取FAST角點。

3）計算每個角點的Shi-Tomasi響應(yīng)值。

4）每個網(wǎng)格選響應(yīng)值最高的點作為本網(wǎng)格的特征點，同時保留Shi-Tomasi得分計算過程中的M矩陣。

圖2 四種現(xiàn)有特征檢測算法的效果

在特征提取步驟，我們不對特征的好壞進(jìn)行評估，也不區(qū)分特征點是否屬于道路區(qū)域。我們將通過后續(xù)嚴(yán)格的光流跟蹤交叉驗證和隨機(jī)采樣一致性（RANSAC）完成特征的篩選，而特征提取步驟只需要保證足夠豐富且有效的特征點即可。

3.2 稀疏光流跟蹤

近年來，在圖像拼接領(lǐng)域，特征法由于其對光照、尺度、視角具有良好的不變性而成為圖像拼接的主流方法。然而，這也意味著特征法對圖像內(nèi)容具有更高的要求，以便能夠從中提出良好的特征點。通過基于ORB的特征匹配實驗我們發(fā)現(xiàn)，在道路航拍圖像中，特征點容易出現(xiàn)在道線，特別是白色虛線的各個角落點，數(shù)量十分稀少；其次，路面紋理的重復(fù)性使得單純依靠特征點局部信息的描述子進(jìn)行的特征匹配容易出現(xiàn)誤匹配現(xiàn)象，如圖3所示。

圖3 ORB特征匹配的光流向量圖

視頻序列中，相鄰圖像之間的變化量很小，且光照在這短暫的時間里可視為不會發(fā)生變化。因此，在有序的、高幀率下的視頻序列可以利用光流法［11］完成特征匹配。其次，我們只對所提取的特征點做光流跟蹤，相比于稠密光流，時間復(fù)雜度將會大大降低。

對于每一幀新到來的圖像，我們利用光流尋找上一幀的特征點在當(dāng)前幀的位置。為了提高光流跟蹤的準(zhǔn)確性，我們將再次使用光流計算所跟蹤到的當(dāng)前幀的特征點在上一幀中的位置。如果經(jīng)過兩次光流映射回上一幀的特征點與原始特征點的誤差夠小（在我們的實驗中，閾值為1個像素），則表示光流跟蹤是成功的，并將這些成功跟蹤的特征點作為當(dāng)前幀的特征點。由于光流法可以得到相鄰兩幀之前的特征對應(yīng)關(guān)系，因此我們可以逐幀回溯，得到當(dāng)前幀與最近的歷史關(guān)鍵幀中提取的特征點之間的匹配關(guān)系。利用這些匹配的特征點對，可以完成每一幀圖像相對于與其最近的歷史關(guān)鍵幀之間的單應(yīng)矩陣。

傳統(tǒng)的LK光流的復(fù)雜度很高，在迭代求解的每一步都需要重新計算雅各比矩陣。為了加速這一過程，我們采用了Inverse Composition形式的LK光流［12］。對于參考幀J中的像素點（u，v），我們需要在當(dāng)前幀I中尋找像素點（x，y）使得

在用高斯-牛頓法求解該問題時，在每一步的迭代過程中，我們將增量(δx，δy)增加到參考幀中，即

重復(fù)迭代直到滿足收斂準(zhǔn)則。

Inverse Composition形式的求解與傳統(tǒng)高斯牛頓法的區(qū)別在于：

1）計算增量時的模型不同。

2）狀態(tài)更新方程不同。

從式（2）中我們可以看到，由于（u，v）的值是固定的，因此我們只需要求解一次雅各比矩陣即可——甚至這一次計算都可以省略，因為對于參考幀中每個特征點（u，v），我們在特征提取時計算Shi-Tomasi得分時已經(jīng)獲得對應(yīng)的M矩陣。這一M矩陣與光流法的Hessian矩陣是相同的，因此可以直接保存并使用特征提取時計算得到的M矩陣。

3.3 關(guān)鍵幀選擇

與非關(guān)鍵幀不同，關(guān)鍵幀作為位姿估計的單位，不僅需要光流跟蹤，還需要計算關(guān)鍵幀到全局基準(zhǔn)圖的坐標(biāo)變換矩陣，即單應(yīng)矩陣。在基于關(guān)鍵幀的圖像拼接中，非關(guān)鍵幀相對于關(guān)鍵幀的位置是固定的，而關(guān)鍵幀本身可以視作圖像序列中的活動節(jié)點，作為優(yōu)化變量最小化拼接過程中累積的誤差。因此，被選為關(guān)鍵幀的圖像需要滿足以下3個基本要求：

1）圖像中跟蹤到的特征點足夠多，從而較為準(zhǔn)確地計算出當(dāng)前幀圖像相對于上一關(guān)鍵幀圖像的單應(yīng)矩陣。

2）跟蹤成功的特征點均勻地分布在圖像中各個部位。如果特征點分布過于集中，容易出現(xiàn)過擬合的現(xiàn)象，無法完整擬合整個區(qū)域。

3）新的關(guān)鍵幀包含盡可能多的未探索區(qū)域，給拼圖線程提供足夠的新信息。

基于上述原因，我們采用如下關(guān)鍵幀選擇策略如下：

1）查看跟蹤的特征點數(shù)是否小于n，若是，則需要關(guān)鍵幀；

3）若需要關(guān)鍵幀，將上一幀圖像作為新的關(guān)鍵幀，從中提取特征點，并將該幀傳遞給拼圖線程；

4）以新的關(guān)鍵幀為參考幀，重新處理當(dāng)前幀，即基于新的參考幀重復(fù)上述光流跟蹤、關(guān)鍵幀選擇的過程。

4 拼圖線程

在絕大多數(shù)圖像拼接的算法中，不同圖像之間公共區(qū)域的拼接模型都采用了單應(yīng)矩陣。單應(yīng)矩陣包含了圖像之間坐標(biāo)變換的所有信息。在拼圖線程中，我們也采用單應(yīng)矩陣作為重疊區(qū)域的拼接模型，分別完成關(guān)鍵幀之間的配準(zhǔn)、關(guān)鍵幀到全局基準(zhǔn)圖的配準(zhǔn)等。

4.1 幀間單應(yīng)矩陣估計

經(jīng)過跟蹤線程的處理與篩選，我們可以到數(shù)量大大減少但依然包含了整個場景信息的關(guān)鍵幀序列，且相鄰兩幀關(guān)鍵幀之間的特征匹配關(guān)系已經(jīng)找到。我們在基于隨機(jī)采樣一致性的框架下，計算相鄰兩幀關(guān)鍵幀之間的單應(yīng)變換，其輸入為匹配好的特征點對。

記參考幀（即上一關(guān)鍵幀）為Ki，其中的特征點集合新的關(guān)鍵幀為K，跟i+1蹤到的特征點集合其中 Pi與Pi+1根據(jù)上標(biāo)一一對應(yīng)。對于任意一對特征點匹配對 pi與 pi+1，我們有

其中，Hi+1，i是一個3×3的矩陣，我們將其中的9個元素設(shè)為未知數(shù)，同時將該矩陣?yán)瓰橐粋€列向量可以得到以下線性系統(tǒng)：

接著，使用normal equation可以得到最小二乘意義下的最優(yōu)h列向量，即單應(yīng)矩陣Hi+1，i。此時，我們便得到了關(guān)鍵幀序列中相鄰兩幀的變換關(guān)系。

4.2 全局單應(yīng)矩陣校準(zhǔn)

單應(yīng)矩陣具有傳遞性，即

根據(jù)這一性質(zhì)，我們可以根據(jù)相鄰幀的單應(yīng)變換關(guān)系得到序列中任意兩個關(guān)鍵幀的單應(yīng)矩陣。在我們的實現(xiàn)中，將第一幀關(guān)鍵幀作為全局基準(zhǔn)，從 而 當(dāng) H0，i-1已 知 時 ，H0，i=H0，i·Hi-1，i。 其 中Hi-1，i為4.1節(jié)中估計得到的幀間單應(yīng)矩陣。

然而，在多幀拼接中，由于誤差隨著拼接過程不斷累積，單純依靠幀間的估計結(jié)果以及單應(yīng)矩陣的傳遞性而獲得的全局單應(yīng)矩陣H0，i無法將當(dāng)前關(guān)鍵幀Ki準(zhǔn)確地拼接到全局基準(zhǔn)圖中，從而產(chǎn)生鬼影現(xiàn)象，如圖4所示。誤差累計的特點是多圖大范圍拼接與兩張或少數(shù)圖像拼接之間的重要差別之一。

圖4 因拼接誤差造成的殘影

校準(zhǔn)算法如下：

1）根據(jù)H0，i計算Ki在全局中的對應(yīng)圖像區(qū)域

3）在Ki中提取特征點 pi，跟蹤這些特征點在Iroi中的位置 pr。

在實現(xiàn)中，由于我們記錄的是前一關(guān)鍵幀在全局基準(zhǔn)圖中的校正后的位置，即當(dāng)前幀為Ki時，我們已知糾正后的位姿H0，i-1與未糾正的幀間單應(yīng)矩陣H'i-1，i，最后可以得到糾正后的幀間位姿轉(zhuǎn)移

風(fēng)俗油畫以現(xiàn)實的生活場景以及日常情感為主題，其故事性為人們了解不同時期、地域、文明、種族的歷史提供了一個橋梁，將那些模糊的世界寫實而又豐富地展現(xiàn)到人們面前。

4.3 圖像融合

在圖像拼接中，很難定量地衡量拼接結(jié)果的好壞。因此在實驗中，為了能更明顯地展現(xiàn)拼接結(jié)果的優(yōu)劣性，均衡考慮效率，我們采用了加權(quán)的方式融合重疊區(qū)域，即

這樣，當(dāng)融合后的圖像出現(xiàn)較為明顯的鬼影時，說明拼接的準(zhǔn)確性較低，如圖4所示。

5 實驗及分析

為了驗證我們的圖像拼接算法的有效性，我們分別在無人機(jī)直線飛行、原地旋轉(zhuǎn)以及路口這三種典型場景下進(jìn)行拼接實驗，并將相同的數(shù)據(jù)與商用全景拼接軟件PTGui進(jìn)行對比。PTGui版本號9.19。所有圖像數(shù)據(jù)均來自禪思X3-FC350相機(jī)，圖像分辨率3840*2160，幀率為30fps。

實驗平臺為Windows 10，CPU Intel i7-5500U 2.4GHz，8G內(nèi)存。所有代碼均用python 2.7語言實現(xiàn)。

在三組實驗中，我們均先將原始的視頻流數(shù)據(jù)作為本文提出的拼接算法的輸入，將最終參與拼接的關(guān)鍵幀挑選出來PTGui的輸入。所有關(guān)鍵幀之間均具有合適（且足夠）的重疊區(qū)域。

評價標(biāo)準(zhǔn)：如前文所述，本文的方法對重疊區(qū)域采用等值加權(quán)融合的方法。因此，拼接效果的好壞將會體現(xiàn)在鬼影上的嚴(yán)重程度上。

5.1 路口場景

路口場景來自387張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共9張。

PTGui的操作過程分為對準(zhǔn)圖像與拼接全景圖兩個部分，其中圖像對準(zhǔn)耗時約8s，全景圖拼接耗時約18s，拼接后的圖像分辨率為4178*4199。效果如圖5（a）所示。可以看到，在下方的斑馬線處出現(xiàn)了明顯的扭曲與鬼影，以及左側(cè)的斑馬線處也發(fā)生了輕微的變形。

本文的拼接算法運(yùn)行結(jié)果如圖5（b）所示，全圖分辨率為4112*4224。其中特征檢測總耗時3.37s，平均耗時0.37s/幀；圖像拼接與校正總耗時3.76s，平均耗時0.41s/幀；光流跟蹤總耗時31.45s，平均耗時0.08s/幀。

可以看到，圖像中路面部分，尤其是道線邊緣清晰，無圖5（a）中的扭曲與模糊。這說明拼接的誤差足夠小。值得一提的是，動態(tài)物體在式（8）的融合策略下，會出現(xiàn)鬼影（我們利用這一特點直觀地評價算法的好壞）。如果僅是為了消除鬼影，我們可以單一式融合準(zhǔn)則，即對重疊區(qū)域只選擇某一圖像（這也是PTGui中的做法），然而這一策略并不能過濾動態(tài)物體。

5.2 直線飛行

路口場景來自532張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共16張。

PTGui的拼接效果如圖6（a）所示，圖像配準(zhǔn)時間約為20s，全景圖生成耗時30s。圖像分辨率4677*5613。可以看到，圖像中有明顯的扭曲，在下半部分的直線發(fā)生了錯位，且道路的走向往右傾斜。

本文的拼接算法運(yùn)行結(jié)果如圖6（b）所示，全圖分辨率為4438*5789。其中特征檢測總耗時8.67s，平均耗時0.54s/幀；圖像拼接與校正總耗時15.84s，平均耗時0.99s/幀；光流跟蹤總耗時44.54s，平均耗時0.13s/幀。

從圖6（c）、（d）的局部對比圖可以看到，我們的方法對于直線的恢復(fù)效果優(yōu)于PTGui的拼接效果。

圖6 直飛場景的拼接

5.3 原地旋轉(zhuǎn)

旋轉(zhuǎn)場景來自751張連續(xù)視頻圖像，其中參與拼接的關(guān)鍵幀共25張。

PTGui圖像對準(zhǔn)耗時約43s，全景圖拼接耗時約63s，拼接后的圖像分辨率為5177*5230。效果如圖7（a）所示。對于純旋轉(zhuǎn)的場景，PTGui無法完成拼接，整張圖像呈現(xiàn)破碎的效果。

本文的拼接算法運(yùn)行結(jié)果如圖7（b）所示，全圖分辨率為4927*4812。其中特征檢測總耗時11.15s，平均耗時0.45s/幀；圖像拼接與校正總耗時27.91s，平均耗時1.12s/幀；光流跟蹤總耗時65.34秒，平均耗時0.09s/幀。相比于PTGui的拼接結(jié)果，我們的方法完整地恢復(fù)了旋轉(zhuǎn)場景下的道路圖像。

圖7 旋轉(zhuǎn)場景拼接結(jié)果

三組實驗的拼接時間對比如表1所示。

表1 各個場景下拼接時間的比較

5.4 大場景拼接

最后，我們采用上述算法對一段長達(dá)5min的路口航拍視頻進(jìn)行路口重建，如圖8所示。圖像分辨率為19117×18916，其表示范圍是單幀圖像的45倍，地表分辨率約為1cm每像素。

圖8 大場景拼接效果圖

6 結(jié)語

根據(jù)與PTGui的對比，以及最后長視頻序列的結(jié)果可知，本文的算法拼接無人機(jī)航拍的道路圖像序列時效果更佳，能完成紋理稀疏和局部相似度高場景下的圖像拼接。然而，由于圖像的高分辨率，算法無法做到實時拼接，時間效率有待進(jìn)一步提高。