應急測繪視頻幀與GIS系統匹配技術

孟靜，王鳳，李玉琳，李娟

(1.山東省國土測繪院，濟南 250000；2.61206部隊，北京 100043)

0 引言

應急測繪作為測繪地理信息未來發展的三大方向之一，是國家突發事件應急救援體系的重要組成部分。尤其是近年來各類自然災害、突發事件頻發，給應急測繪工作提出了新要求，帶來了新挑戰。應急測繪為各類突發公共事件提供地理信息和現代測繪技術的基礎支撐，是指揮決策和搶險救災的保障和依據。應急測繪保障工作主要包括數據獲取、數據快速處理以及信息服務，其中數據獲取與快速處理對獲取應急測繪第一張圖至關重要[1]。

近年來，輕小型無人機遙感系統憑借機動靈活、快速響應、分辨率高等特點，在地震災害、福建漳州PX項目區爆燃、天津濱海新區危險品倉庫爆炸等多次重大自然災害和突發事件應急處置中發揮了重要作用，為國家有關部門指揮決策、搶險救災及恢復重建提供了有力的地理信息支持。

現階段的輕小型無人機遙感系統其傳感器多為數碼相機，由于數據量以及鏈路帶寬等問題難以做到第一時間將獲取的圖像傳輸到指揮部門，而視頻傳感器與無線圖傳設備的結合使得視頻數據的實時傳輸成為可能。為提高視頻應急數據使用效率，必須對視頻數據開展實時處理，從而提高應急處置效率。

視頻數據實時下傳以后，必須與三維地理信息平臺中的底圖影像數據開展數據融合，方能實現視頻數據有效利用，從而為指揮決策部門提供對比分析以及數據所處位置情況。而三維地理信息平臺中的底圖影像數據由于分辨率與視頻幀影像數據不一致、GNSS/IMU精度差、時相不一致等原因，基于已有的匹配方式會出現匹配錯位、定位精度差等問題[2-4]。基于以上原因，為提高視頻幀影像與三維地理信息平臺的實時融合效果，本文開展視頻關鍵幀與底圖數據庫影像數據匹配技術研究。

1 總體思路研究

本文以無人機載視頻流數據為實驗數據，首先實時接收無人機載視頻流以及GNSS/IMU數據。實時接收數據的過程中，在PC端實現視頻幀影像與GNSS/IMU數據的時間同步，從而為每一幀視頻影像附上GNSS/IMU信息。之后，根據GNSS/IMU精度情況、三維地理信息平臺的底圖數據庫影像分辨率情況，通過對不同情況分析，研究多種算法，最終根據不同數據源情況形成較好的解決方案。

根據數據源情況，將算法研究分為以下兩個方面：一是GNSS/IMU精度較好時，直接采用現有技術對幀影像實時正射糾正貼入三維地理信息平臺；二是GNSS/IMU精度較差但三維地理信息平臺有高清底圖時，采用幀影像與底圖實時匹配方法貼入三維地理信息平臺，其中若底圖數據庫為航空影像，則視頻幀影像與底圖直接匹配，若底圖數據庫為衛星影像，則采用幾何糾正與幀影像兩兩匹配相結合的實驗思路。總體流程如圖1所示。

圖1 視頻幀影像與底圖數據庫匹配實驗流程圖

2 視頻流幀影像提取與時間同步技術研究

2.1 視頻幀影像實時提取

傳統航空攝影測量中一般要求影像航向重疊度為60%～70%，視頻幀影像的提取有兩種方法[5]，一種是按照固定時間間隔提取，一種是按照幀影像重疊度提取。

按照固定時間間隔提取需要考慮、航高、飛行速度和傳感器參數等先驗知識，再依據任務所需航向重疊度，即可計算出相鄰幀影像之間的時間間隔。

時間間隔t的計算如式(1)所示。

(1)

式中：f為攝像機焦距；H為航高；fps為攝像機幀率；p為航向重疊度；v為飛行速度；W、μw分別為視頻幀航向像素個數和像素物理尺寸。

按固定時間間隔提取幀影像，算法簡單，但容易受飛行速度和地形起伏的影響導致幀影像重疊度分布不均衡。

按重疊度提取幀影像可基于地形起伏、飛行速度以及重疊度要求等參數自動自適應提取幀影像，重疊度提取誤差不超過±10%，避免等時、等距受地形、風速等因素影響，以及幀影像影像重疊度差異大、出現絕對漏洞等情況，有利于影像的拼接處理[6]。

相鄰視頻幀之間的航向重疊度可采用式(2)進行。

(2)

式中：S為相鄰視頻幀中心點之間的地面距離，通過GNSS/IMU信息中的坐標計算；f為傳感器焦距；W、μw分別為視頻幀航向像素個數和像素物理尺寸；H為視頻幀獲取時刻的相對航高，通過實時獲取的飛行高度與DEM對比獲取。

2.2 視頻幀影像與GNSS/IMU數據的實時同步

視頻幀影像數據和GNSS/IMU數據是由不同設備獲取的，且通過無線鏈路實時同步下傳，本文假設兩路數據傳輸過程中無時間差。

為實現視頻幀影像與GNSS/IMU數據時間同步，通過電腦時間對獲取的每一幀視頻數據標記高精度時間戳，在提取第一幀關鍵幀時，實時記錄其時間戳和此刻的電腦系統時間。串口接收到一包GNSS/IMU數據，系統記錄此刻的電腦系統時間，由于GNSS/IMU數據頻率低于幀影像數據頻率，因此需要對GNSS/IMU數據插值計算。通過相鄰兩兩GNSS/IMU數據插值得到關于電腦系統時間的GNSS/IMU信息數據。任意關鍵幀的電腦系統時間為第一幀的電腦系統時間+(任意一幀時間戳-第一幀時間戳)，將任意一幀的電腦系統時間代入相應的插值方程就能獲得相關的GNSS/IMU信息，從而實現視頻關鍵幀與GNSS/IMU信息數據的時間同步。

3 視頻幀影像與地理信息平臺融合

完成視頻關鍵幀與GNSS/IMU信息數據的時間同步后，即消除了由于時間不同步帶來的誤差，為每一幀視頻影像附上了相對準確的外方位元素，下一步為實現視頻幀影像與地理信息平臺的融合，需要開展視頻幀影像與地理信息平臺底圖數據匹配技術研究。該研究根據GNSS/IMU精度情況分為兩種情況進行。

3.1 高精度GNSS/IMU數據下的視頻幀影像與底圖數據匹配

實驗采用的高精度數據為GNSS/IMU AV610數據。將視頻幀影像與GNSS/IMU數據實時同步，對視頻幀影像數據以及獲取的GNSS/IMU數據通過正射糾正后，利用坐標直接與底圖數據開展匹配。本文用到的視頻幀影像數據為1 920像素×1 080像素，一條航線有72張影像，另一條航線有69張影像。圖2、圖3為兩條航線的視頻幀影像航攝測試數據，從整體上看，兩條航線數據較好，看不出明顯錯位，與拼接后影像差異不大；從細節上看，相鄰的影像相對位置較好且與天地圖底圖數據對應較好。

圖2 高精度GNSS/IMU數據下的幀影像與底圖數據匹配效果圖

圖3 高精度GNSS/IMU數據下的視頻幀影像與底圖數據匹配細節效果圖

通過上述實驗得出，針對GNSS/IMU精度較高的數據，通過利用其GNSS/IMU數據以及傳感器內方位參數開展正射糾正后直接利用坐標匹配底圖的效果較好。

3.2 低精度GNSS/IMU數據下視頻幀影像與底圖數據匹配

1)幀影像直接與天地圖瓦片匹配技術研究。實驗采用的地圖數據為天地圖數據，通過在線實時獲取天地圖瓦片地圖，將天地圖瓦片地圖存入本地硬盤，為幀影像粗略定位到瓦片地圖并與之匹配提供可能。

利用視頻幀影像所對應的粗略GNSS/IMU數據能夠找到同一范圍所對應的某一層級下天地圖瓦片。本次實驗選取一次飛行過程中獲取的兩張航片，原始影像分辨率為0.05 m，利用該處的GNSS/IMU信息獲取的天地圖瓦片最高級別為16級，即瓦片分辨率為2.388 657 m。通過計算獲取原始影像對應的瓦片地圖。

將原始測試數據分別放入PhotoScan、Pix4DMapper、AutoStitch快拼軟件、OpenCV匹配算法進行匹配，所有匹配均已失敗告終。為此，將視頻幀影像在原始影像基礎上壓縮4倍，分辨率變為0.2 m，匹配依然失敗；在原始影像的基礎上壓縮8倍，分辨率變為0.4 m，匹配依然失敗；在原始影像的基礎上壓縮40倍，分辨率變為2 m，與天地圖16級瓦片2.39 m分辨率接近，但匹配依然失敗。通過本次實驗得出，根據幀影像所對應的經緯度坐標能夠很容易找到同一區域不同級別對應的天地圖瓦片數據，但無論是利用現有商業軟件還是開源匹配算法，均無法完成不同分辨率的相機數據與天地圖瓦片數據的匹配。

2)幾何糾正與幀影像兩兩匹配相結合技術研究。視頻幀影像與天地圖瓦片不能進行匹配，但可以借助天地圖瓦片坐標對幀影像進行幾何糾正。采用開源的特征匹配算法能夠獲取任意相鄰兩張具有明顯地物特征的影像的較好匹配結果。受此啟發，本次實驗將兩種方法結合在一起，實現幀影像的實時定位。具體實現過程如下。

步驟1：根據GNSS/IMU數據對第一幀幀影像進行初始定位，接著在天地圖底圖和幀影像上選取5個同名像點，進行幾何糾正，采用最小二乘法計算多項式方程系數并存儲。

步驟2：將第二幀幀影像與第一幀原始影像(非幾何糾正后幀影像)進行SURF特征匹配并多次剔除粗差[7-8]，遵循匹配點分布均勻和匹配點較優原則選取5對匹配點。

步驟3：將第一幀的5個匹配點帶入初始定位中求出的多項式方程，計算其對應的地面點坐標，這些地面點坐標也與第二幀的5個匹配點一一對應，因此再對第二幀進行幾何糾正，并存儲最小二乘法求出的多項式方程系數。

步驟4：接下來的幀影像采用同樣的方法進行匹配與幾何糾正，完成一條航線上的所有幀影像。

編程實現上述方法，只需第一幀手動獲取5個同名像點，之后為自動匹配與幾何糾正。實驗采用無人機飛行獲取的視頻幀數據，1 920像素×1 080像素，共72張。從細節上來看，效果大大優于利用飛控數據正射糾正后的幀影像(圖4、圖5)。

圖4 視頻幀影像數據兩兩匹配與幾何糾正效果圖

圖5 飛控數據直接正射糾正效果圖

從圖4、圖5的比較可以看出，相鄰幀影像兩兩匹配和幾何糾正相結合的方法明顯優于粗略GNSS/IMU直接正射糾正的效果，相鄰幀影像之間相對位置較準確。

但這種方法也有明顯的缺點，隨著匹配影像的增多，雖相鄰幀影像的相對位置關系依然準確，但其與底圖數據庫的對應絕對位置偏差越來越大(圖6)。

圖6 絕對位置偏差效果圖

針對隨著影像增多，絕對位置偏差越大的問題，本次實驗從匹配點盡可能均勻分布且匹配點最優原則出發，經過多次實驗，采用將所有匹配點按坐標分為4塊，再從中選出較優匹配點且離圖像中心較遠的點作為最優選出的匹配點。改進后的方法依然會出現隨著影像增多絕對位置偏差越大的問題，且兩條航線效果較差(圖7、圖8、圖9)。

圖7 寧夏中衛兩條航線飛思數據處理效果圖

圖8 大興一條航線視頻數據處理效果圖

圖9 大興兩條航線視頻數據處理效果圖

從本次實驗可以看出，對于單條航線來說，在沒有高精度GNSS/IMU數據輔助的情況下，采用相鄰幀影像兩兩匹配和幾何糾正相結合的方法能夠獲取較好的效果，但隨著影像的增多，幀影像的絕對位置偏差會越來越大；對于多條航線來說，用相鄰幀影像兩兩匹配和幾何糾正相結合的方法獲取的效果依然較差。為改善以上方案，受幾何糾正可改進匹配效果的方法影響，本文提出多處增加幾何糾正的改進匹配方法開展實驗，為視頻流應急測繪提供解決方案。

3.3 多處增加幾何糾正的改進匹配方法研究

1)增加對每條航線的最后一張手動幾何糾正。針對單條航線隨著影像的增多，位置偏差越來越明顯的問題，首先對航線最后一張影像手動幾何糾正，接著建立多項式方程描述手動幾何糾正影像與自動匹配幾何糾正影像之間的變換關系，再按等差數列為每一幀自動匹配幾何糾正影像分配變換關系，最后對自動匹配幾何糾正影像進行多項式變換生成新的影像，實驗結果如圖10所示，長度較短的影像為算法改進后結果。從圖中可以看出算法改進后整體定位效果較好，相鄰影像位置幾乎無偏差，首尾絕對定位最準，但航線中間影像絕對定位有明顯偏差(圖11紅框)。

圖10 算法改進后與改進前效果圖

圖11 算法改進后視頻幀與底圖融合效果圖

從圖12可以看出，算法改進后兩條航線定位效果有明顯改善，但依然存在航線中間影像定位效果差的問題。為改進該問題，提高手動幾何糾正的次數。

圖12 算法改進后兩條航線定位效果圖

2)每隔三分之一航線進行手動幾何糾正。事先根據飛行參數預估單條航線的總影像數，以其幀影像總量的三分之一作為手動幾何糾正間隔。以視頻幀影像數據為例(1 920像素×1 080像素)，單條航線總影像數目為66張，即每隔22張進行一次手動幾何糾正。第1張手動幾何糾正后，其后影像兩兩匹配并自動幾何糾正，直到完成第23張；接著再對第23張原始影像手動幾何糾正，并建立其與自動幾何糾正影像之間的多項式關系，再用該多項式去微調從第2張到第22張自動幾何糾正后的影像。最后以第手動幾何糾正后的第23張影像作為開始，匹配糾正其后的影像，重復上述過程直到完成航線內的所有影像。圖13體現了單條航線經過該方式改進后的匹配效果，圖14為該條航線局部放大匹配效果圖。實驗結果表明，該算法匹配效果較好。

圖13 算法改進后單條航線匹配效果圖

圖14 算法改進后單條航線局部匹配效果圖

4 結束語

綜合考慮是否有高精度GNSS/IMU數據以及是否有高清底圖，本文采用不同方法實現視頻幀影像與三維地理信息平臺底圖數據實時匹配，通過對實驗結果的分析，針對不同情況選擇最優算法。綜上所述，本次實驗得出的主要結論如下。

1)當有高精度GNSS/IMU數據時，直接采用單幀正射糾正算法，算法速度快，精度高，接近實時。對具備高精度GNSS/IMU數據的視頻幀影像與三維地理信息底圖數據的實時效果較好。

2)當底圖數據與視頻幀影像分辨率差異過大時，以天地圖瓦片為例，目前三維地理信息平臺能免費獲取大部分區域高清衛星影像，根據粗略GNSS/IMU數據幀影像能定位到所在的瓦片，但航空像片與天地圖瓦片不能直接匹配，經過多次實驗發現，隨著影像的增多，誤差積累明顯，因此考慮對單條航線采用每隔一定幀數就進行手動選點幾何糾正，所得效果較好，但人工干預增多，處理速度和實時性降低。盡管如此，對于GNSS/IMU精度不高甚至無GNSS/IMU數據視頻幀來說，這種方法能夠準實時實現視頻幀的定位。以上研究表明，該方法可以用于視頻應急測繪中，在發生應急災害時間實現視頻實時下傳觀看的同時，也能夠對比分析原始底圖數據，同時為視頻的實時定位提供技術依據，為決策指揮提供實時數據支撐[9-10]。

由于研究視頻設備與GNSS/IMU設備數據時鐘同步時未考慮兩者空中時鐘對準以及圖的傳輸是否同步，采用的是在PC端進行的接收電腦時間同步，而以上兩者是匹配精度較差的根本原因，尤其是對于精度較差、頻率低的GNSS/IMU設備而言。筆者希望后期在空中時鐘對準以及傳輸延遲誤差較小情況下，對該問題進行進一步研究。