多機(jī)聯(lián)合低空數(shù)據(jù)處理的關(guān)鍵技術(shù)研究

肖凱 溫夢(mèng)媛 劉曉光 尹洪凱

（1.廣東龍泉科技有限公司，廣東 廣州 510220; 2.河南省測(cè)繪院，河南 鄭州 450003）

1 概述

無人機(jī)遙感系統(tǒng)的優(yōu)點(diǎn)為自主飛行、低空作業(yè)、無需機(jī)場(chǎng)起降，以及具有獲取厘米級(jí)高分辨率影像的能力，同時(shí)以無人機(jī)獲取的影像為基礎(chǔ)，通過內(nèi)業(yè)航測(cè)數(shù)字化成圖流程，可便捷地測(cè)制大比例尺地形圖、構(gòu)造地面三維模型，為政府決策部門和高端專業(yè)用戶提供所需數(shù)據(jù)與地理信息產(chǎn)品。但由于無人機(jī)遙感系統(tǒng)裝備的相機(jī)普遍存在相機(jī)幅面小、無人機(jī)留空時(shí)間短等缺點(diǎn)，原始影像的獲取效率不高，面臨大范圍航測(cè)工程時(shí)顯得力不從心。如何提高無人機(jī)遙感系統(tǒng)的快速獲取能力，降低數(shù)據(jù)處理的復(fù)雜度，是當(dāng)前低空遙感領(lǐng)域數(shù)據(jù)后處理關(guān)鍵技術(shù)的研究熱點(diǎn)和技術(shù)瓶頸。

2 低空遙感數(shù)據(jù)處理

結(jié)合無人機(jī)影像后續(xù)處理的技術(shù)方法、流程及關(guān)鍵問題，探討無人機(jī)影像處理生產(chǎn)中遇到的技術(shù)瓶頸，并與當(dāng)前較為成熟的主流商業(yè)軟件進(jìn)行對(duì)比分析，形成了一套獨(dú)具特色的一體化多機(jī)聯(lián)合模式數(shù)據(jù)處理流程，并在項(xiàng)目生產(chǎn)中進(jìn)行應(yīng)用。具體流程如圖1 所示。

圖1 多機(jī)聯(lián)合數(shù)據(jù)處理技術(shù)流程

2.1 航測(cè)數(shù)據(jù)預(yù)處理

2.1.1 POS 數(shù)據(jù)與航帶整理

無人機(jī)航測(cè)POS 原始數(shù)據(jù)是明碼TXT 格式數(shù)據(jù)或者EXCEL 表格數(shù)據(jù)，詳細(xì)記錄了POS 記錄序號(hào)、拍照時(shí)間、像片名稱、像片曝光點(diǎn)具體位置（經(jīng)度、緯度和橢球高），以及曝光瞬間無人機(jī)姿態(tài)ROLL、PITCH、YAW（橫滾角、俯仰角和航偏角）。在獲取測(cè)區(qū)航飛數(shù)據(jù)后，立即導(dǎo)出或者讓無人機(jī)鏈路傳輸無人機(jī)航測(cè)POS 數(shù)據(jù)，現(xiàn)場(chǎng)輔助檢查飛行相對(duì)漏洞或絕對(duì)漏洞，以便及時(shí)發(fā)現(xiàn)問題并進(jìn)行補(bǔ)飛。

由于POS 原始數(shù)據(jù)中空間位置信息是大地坐標(biāo)格式（B，L，H），而攝影測(cè)量處理軟件一般需要平面坐標(biāo)格式（x，y，h），因此需要進(jìn)行坐標(biāo)格式轉(zhuǎn)換。轉(zhuǎn)換前需整理POS 原始數(shù)據(jù)，僅要像片名稱、經(jīng)度、緯度、高程、橫滾角、俯仰角和航向偏角，剔除其他無用信息，并且使數(shù)據(jù)格式符合坐標(biāo)轉(zhuǎn)換軟件要求。將整理后的POS 數(shù)據(jù)加載到ArcGIS 軟件，并用（x，y）坐標(biāo)生成點(diǎn)文件，查看POS 所構(gòu)建的航帶信息。保留測(cè)圖區(qū)域范圍內(nèi)及因航向重疊而部分超出范圍的POS點(diǎn)，刪除冗余的POS 點(diǎn)數(shù)據(jù)。同時(shí)觀察POS 點(diǎn)序號(hào)即像片ID 順序，得出無人機(jī)航測(cè)時(shí)大致航向和拍照順序。

2.1.2 像片方向旋轉(zhuǎn)

通過航帶整理發(fā)現(xiàn)，無人機(jī)航測(cè)時(shí)飛行順序隨意，并非一條航帶自西向東地起降，下一條航帶則應(yīng)是自東向西地起降。無人機(jī)的航帶次序整理及其航攝飛行方位確定將對(duì)測(cè)區(qū)像片排列產(chǎn)生重大影響。當(dāng)無人機(jī)自西向東地飛行時(shí)，像片將被逆時(shí)針旋轉(zhuǎn)90°，而且在空中保存；當(dāng)無人機(jī)自東向西地飛行時(shí)，像片將被順時(shí)針旋轉(zhuǎn)90°，而且橫向保存，如圖2 所示。在處理航測(cè)數(shù)據(jù)時(shí)，必須將其恢復(fù)到像片在視頻上拍照的方向，保證相片拼接和重疊。

圖2 像片旋轉(zhuǎn)示意圖

2.1.3 像片畸變改正

數(shù)字影像糾正的基本任務(wù)是實(shí)現(xiàn)兩個(gè)二維圖像之間的幾何變換，因此首先應(yīng)確定原始圖像與糾正圖像間的幾何關(guān)系[1]。正解法是從原始圖像出發(fā)，將原始圖像上的逐個(gè)像元素按正解公式X=φx（x,y），Y=φy（x,y）求解糾正后的像點(diǎn)坐標(biāo)；反解法是由糾正后的圖像反求其在原始圖像上的像點(diǎn)坐標(biāo)，運(yùn)用灰度插值法來實(shí)現(xiàn)圖像改正[2]。通過建立數(shù)學(xué)模型完成畸變圖像和改正圖像的相互轉(zhuǎn)換及影像糾正，并對(duì)邊緣地區(qū)影像進(jìn)行自動(dòng)裁切，達(dá)到預(yù)先定制的影像寬高。

2.2 空中三角測(cè)量

實(shí)際作業(yè)采用PixelGrid、Photoscan、Inpho 等專門針對(duì)無人機(jī)影像特點(diǎn)的無人機(jī)影像快速處理模塊（空三加密流程如圖3 所示）。在相對(duì)定向和模型連接完成后，針對(duì)因航飛不穩(wěn)造成模型連接不穩(wěn)的地方，定義航帶初始偏移量時(shí)適當(dāng)增加偏移點(diǎn)個(gè)數(shù)，提高模型間自動(dòng)轉(zhuǎn)點(diǎn)的成功率和精度。對(duì)于部分自動(dòng)連接失敗的模型，通過人工干預(yù)增強(qiáng)模型連接強(qiáng)度[3]。一般應(yīng)當(dāng)保障所有同航向相鄰影像同名像點(diǎn)均不小于7對(duì)，所有隔片影像間同名像點(diǎn)（模型連接點(diǎn)）不小于3 對(duì)。經(jīng)過反復(fù)實(shí)踐證明，達(dá)到這個(gè)條件會(huì)顯著提高自由網(wǎng)的構(gòu)建成功率、整網(wǎng)的剛性及空三解算成果的可靠性。

圖3 無人機(jī)航空影像空三加密流程

連接點(diǎn)提取是無人機(jī)數(shù)據(jù)處理的關(guān)鍵，是利用少量地面控制點(diǎn)計(jì)算所有加密點(diǎn)地面坐標(biāo)的必經(jīng)操作。雖然各軟件可自動(dòng)提取連接點(diǎn)，但由于航攝過程中可能會(huì)出現(xiàn)影像質(zhì)量不理想、影像重疊度不完全一致和旋偏角偏大等情況[2]，連接點(diǎn)質(zhì)量需利用檢查軟件進(jìn)行人工檢查。

3 關(guān)鍵技術(shù)創(chuàng)新

以VC++6.0 為開發(fā)語言，利用OPENCV 和GDAL/OGR 開源視覺算法開發(fā)基于棋盤格檢校的幾何標(biāo)定軟件，提出了數(shù)碼相機(jī)鏡頭畸變參數(shù)通用表達(dá)方法，建立畸變改正通用模型，來實(shí)現(xiàn)原始影像的快速畸變改正。基于透視光線保持不變的原理，利用特殊的數(shù)字影像升采樣算法，自主開發(fā)軟件來自動(dòng)實(shí)現(xiàn)同測(cè)區(qū)多相機(jī)統(tǒng)一參數(shù)處理，實(shí)現(xiàn)后處理中將多相機(jī)數(shù)據(jù)進(jìn)行統(tǒng)一的參數(shù)規(guī)劃，實(shí)現(xiàn)同一區(qū)域網(wǎng)、同一套航攝相機(jī)參數(shù)進(jìn)行數(shù)據(jù)后處理[4]。基于改進(jìn)灰度補(bǔ)償算法的數(shù)字圖像紋理增強(qiáng)技術(shù)，利用OPENCV 直方圖匹配算法實(shí)現(xiàn)數(shù)字影像色彩批量?jī)?yōu)化調(diào)整；開發(fā)空三加密工程轉(zhuǎn)換工具，實(shí)現(xiàn)Inpho、Photoscan 等國(guó)外主流軟件以及國(guó)內(nèi)主流軟件之間空三加密成果數(shù)據(jù)轉(zhuǎn)換；開發(fā)基于密集三維真彩色點(diǎn)云的若干成果應(yīng)用場(chǎng)景。

3.1 數(shù)字影像紋理增強(qiáng)

紋理特征是數(shù)字影像的重要表征指標(biāo)，紋理清晰是數(shù)字影像追求的最好感官目標(biāo)。數(shù)字影像的灰度直方圖是數(shù)字影像的身份證。一幅影像直方圖的均值和方差是最好的統(tǒng)計(jì)表征，均值適中的影像一般表現(xiàn)為影像亮度合適人眼感官。方差越小，灰度直方圖表現(xiàn)收窄，代表影像灰度級(jí)并不充滿，感官層次不豐富，紋理單一；方差越大，灰度直方圖表現(xiàn)拓寬，代表影像灰度級(jí)分布充盈，感官層次豐富，紋理豐富。數(shù)字影像紋理增強(qiáng)的總體目標(biāo)就是對(duì)數(shù)字影像的各個(gè)波段進(jìn)行定制或者自適應(yīng)調(diào)整，達(dá)到均值亮度適中，方差對(duì)比度合適，提升圖像細(xì)節(jié)表現(xiàn)力和解析力。

本文在VC++6.0 開發(fā)環(huán)境下實(shí)現(xiàn)了一種改進(jìn)的灰度補(bǔ)償算法來實(shí)現(xiàn)圖像的紋理增強(qiáng)，有效彌補(bǔ)了傳統(tǒng)灰度圖像直方圖均衡化算法的不足，不僅提供了合適的映射關(guān)系，還大大改善了運(yùn)算效果，最大化減少了圖像信息的丟失，提高了圖像的清晰度，特別是對(duì)于質(zhì)量較差的原始圖像，采用該算法進(jìn)行圖像增強(qiáng)處理也可以取得較好效果，在空三處理過程中顯著提高了初代匹配種子點(diǎn)的數(shù)量和同名像點(diǎn)匹配成功率。

3.2 數(shù)字影像色彩優(yōu)化

色彩表現(xiàn)也是數(shù)字影像的重要感官指標(biāo)，在色彩優(yōu)化方面基于VC++和GDAL/OGR 進(jìn)行軟件開發(fā)，通過OPENCV 直方圖匹配算法實(shí)現(xiàn)數(shù)字影像色彩批量調(diào)整。色彩調(diào)整處理函數(shù)采用逐波段直方圖匹配算法，即給定特定函數(shù)分布，實(shí)現(xiàn)圖像某通道的直方圖分布與給定的函數(shù)形態(tài)趨于一致或相似。自主開發(fā)軟件中涉及的直方圖匹配支持TIF、BMP、JPG 等格式影像，對(duì)超大影像數(shù)據(jù)的處理采用*img 格式。軟件可以對(duì)海量數(shù)字影像進(jìn)行快速色彩調(diào)整集群批處理，對(duì)數(shù)目龐大的無人機(jī)影像進(jìn)行色彩預(yù)處理，能顯著改善DOM 的整體拼接質(zhì)量，在無人機(jī)測(cè)繪工程中具有很強(qiáng)的實(shí)用價(jià)值。

3.3 空三加密工程轉(zhuǎn)換工具

當(dāng)前業(yè)內(nèi)流行很多國(guó)內(nèi)外的空三加密軟件，核心就一個(gè)，即通過空三加密恢復(fù)攝影瞬間各個(gè)攝站在測(cè)量坐標(biāo)空間中的空間位置和姿態(tài)。軟件的工序流程都包括兩部分：（1）自動(dòng)或手動(dòng)匹配提取同名像點(diǎn)，構(gòu)建像點(diǎn)測(cè)量網(wǎng)即自由網(wǎng)。（2）聯(lián)合地面控制點(diǎn)或者其他現(xiàn)驗(yàn)控制約束條件進(jìn)行聯(lián)合平差，平差時(shí)自動(dòng)或手動(dòng)剔除上一步驟誤匹配點(diǎn)，達(dá)到預(yù)期的收斂限差和置信度即可。由于軟件各異，各個(gè)加密軟件輸出的最終加密成果格式和類型不同，產(chǎn)生了數(shù)據(jù)壁壘。本研究通過自定義統(tǒng)一的中間格式，實(shí)現(xiàn)各大主流軟件之間的空三加密數(shù)據(jù)成果的橋聯(lián)，即所有格式都可自動(dòng)轉(zhuǎn)換為本軟件研究設(shè)計(jì)的中間格式，然后由中間格式按設(shè)置選項(xiàng)分轉(zhuǎn)成各大主流軟件的數(shù)據(jù)成果格式，如此統(tǒng)進(jìn)統(tǒng)出就解決了格式混亂中規(guī)劃統(tǒng)一的問題，這在無人機(jī)測(cè)繪工程數(shù)據(jù)后處理過程中有巨大的使用價(jià)值。

3.4 密集三維灰度點(diǎn)云研究和應(yīng)用

本文提出基于密集三維灰度點(diǎn)云拓展的應(yīng)用，自主開發(fā)軟件實(shí)現(xiàn)利用密集三維灰度點(diǎn)云制作TDOM、DSM、DEM、測(cè)制線劃圖，構(gòu)建修飾傾斜實(shí)景三維模型，并實(shí)現(xiàn)實(shí)景三維模型的快速單體化和面片化。此外，嘗試將密集三維灰度點(diǎn)云為無人駕駛和智能飛行器安全運(yùn)行提供底圖服務(wù)保障。

4 創(chuàng)新應(yīng)用

項(xiàng)目通過長(zhǎng)期產(chǎn)學(xué)研緊密合作，對(duì)多機(jī)聯(lián)合低空遙感關(guān)鍵技術(shù)研發(fā)存在的技術(shù)難題進(jìn)行了攻關(guān)，主要?jiǎng)?chuàng)新點(diǎn)如下：

（1）引入數(shù)字影像升采樣方法，改進(jìn)同測(cè)區(qū)多相機(jī)統(tǒng)一參數(shù)算法模型，將多相機(jī)、多參數(shù)歸化為統(tǒng)一相機(jī)參數(shù)，實(shí)現(xiàn)了同測(cè)區(qū)不同相機(jī)、不同攝影時(shí)間的數(shù)據(jù)不分區(qū)一次空三加密[5]。基于保持透視光不變?cè)恚岢鲆环N基于數(shù)字圖像上采樣的多攝像機(jī)統(tǒng)一參數(shù)方法，實(shí)現(xiàn)同一測(cè)區(qū)多攝像機(jī)圖像的自動(dòng)處理，及影像數(shù)據(jù)后處理只設(shè)置一個(gè)相機(jī)參數(shù)不分區(qū)即可處理，降低了多相機(jī)聯(lián)合測(cè)區(qū)的數(shù)據(jù)后處理難度，顯著提高了參數(shù)解算效率，保證了結(jié)果的準(zhǔn)確性和可靠性[6]。

（2）改進(jìn)了基于棋盤格標(biāo)靶的相機(jī)標(biāo)定方法，提出了相機(jī)鏡頭畸變參數(shù)的通用表達(dá)、可量測(cè)粒度的相機(jī)幾何定標(biāo)、影像質(zhì)量評(píng)價(jià)方法。通過研究無人機(jī)遙感系統(tǒng)數(shù)據(jù)獲取方式，分析無人機(jī)獲取數(shù)據(jù)類型，提出可量測(cè)粒度的相機(jī)幾何定標(biāo)、數(shù)碼相機(jī)畸變通用表達(dá)設(shè)計(jì)思路，建立了映射模板，開發(fā)了棋盤格相機(jī)幾何標(biāo)定軟件，實(shí)現(xiàn)非量測(cè)相機(jī)影像畸變的精確改正[5]。

（3）研發(fā)了適用于非量測(cè)相機(jī)的紋理增強(qiáng)、色彩優(yōu)化、密集三維灰度點(diǎn)云應(yīng)用等功能，建立了多機(jī)聯(lián)合航測(cè)遙感的新作業(yè)模式，提高了生產(chǎn)效率和成果質(zhì)量。處理圖像細(xì)節(jié)時(shí)，保留圖像本身地物信息，通過改進(jìn)灰度補(bǔ)償算法，采用分段直方圖均衡化和分段直方圖匹配技術(shù)對(duì)圖像進(jìn)行預(yù)處理，通過增強(qiáng)圖像的動(dòng)態(tài)范圍來增強(qiáng)圖像的細(xì)節(jié)表現(xiàn)能力。色彩調(diào)整處理采用改進(jìn)型直方圖匹配算法，影像紋理增強(qiáng)和色彩優(yōu)化處理時(shí)在單機(jī)上實(shí)現(xiàn)多進(jìn)程處理，在局域網(wǎng)內(nèi)實(shí)現(xiàn)多計(jì)算機(jī)聯(lián)合處理，顯著提高了工作效率。

（4）研發(fā)了適用于Inpho、LPS、Photoscan、PATB等多種商業(yè)空三加密軟件的多相機(jī)數(shù)據(jù)轉(zhuǎn)換工具集，實(shí)現(xiàn)不同軟件數(shù)據(jù)的兼容和無損轉(zhuǎn)換。建立標(biāo)準(zhǔn)中間件，由現(xiàn)有商業(yè)軟件通過該標(biāo)準(zhǔn)中間件轉(zhuǎn)入，再經(jīng)由標(biāo)準(zhǔn)中間件轉(zhuǎn)出到目前業(yè)內(nèi)主流商業(yè)軟件，從而構(gòu)建空三加密轉(zhuǎn)換工具集，實(shí)現(xiàn)數(shù)據(jù)的互轉(zhuǎn)換，充分發(fā)揮各個(gè)商業(yè)軟件的優(yōu)勢(shì)功能，提高空三加密精度和效率。

通過研究無人機(jī)影像數(shù)據(jù)畸變改正、紋理增強(qiáng)、色彩優(yōu)化、非量測(cè)相機(jī)標(biāo)定、空三加密數(shù)據(jù)轉(zhuǎn)換、密集三維灰度點(diǎn)云、多相機(jī)統(tǒng)一參數(shù)聯(lián)合平差等關(guān)鍵技術(shù)，形成一套科學(xué)合理的多機(jī)聯(lián)合低空遙感數(shù)據(jù)處理技術(shù)流程。

5 結(jié)束語

多機(jī)聯(lián)合低空數(shù)據(jù)處理技術(shù)有效提高了航測(cè)數(shù)字化生產(chǎn)效率和生產(chǎn)質(zhì)量[7]。實(shí)際作業(yè)利用該技術(shù)完成相機(jī)參數(shù)檢校、數(shù)字影像批量光譜和幾何增強(qiáng)，及影像的畸變改正、勻光勻色和紋理處理。同時(shí)利用項(xiàng)目空三加密轉(zhuǎn)換工具實(shí)現(xiàn)無人機(jī)測(cè)圖系統(tǒng)、Photoscan、Inpho、PATB 之間的數(shù)據(jù)轉(zhuǎn)換，通過計(jì)算機(jī)視覺三維重建軟件輸出三維密集灰度點(diǎn)云，為數(shù)字測(cè)量成果和傾斜三維模型生產(chǎn)提供保障，為智慧城市建設(shè)、自然資源監(jiān)測(cè)、生態(tài)保護(hù)修復(fù)、國(guó)土空間規(guī)劃等領(lǐng)域的低空遙感影像處理提供了新手段，拓寬了數(shù)字化生產(chǎn)的技術(shù)模式，降低了航測(cè)產(chǎn)品購(gòu)買成本，提高了工作效率。