無人機(jī)高光譜影像處理方法的探索

張晶晶 楊 盼 張德成

(自然資源部第一大地測(cè)量隊(duì),陜西 西安 710054)

0 引言

高光譜遙感是利用成像光譜儀,在電磁波的可見光、近紅外、中紅外和熱紅外波段范圍內(nèi),獲取多個(gè)光譜連續(xù)的影像技術(shù),該影像的光譜分辨率較高[1]。高光譜影像的每個(gè)像元能夠提供幾乎連續(xù)的地物光譜曲線,能夠同時(shí)反映地物的空間特征和光譜特征。隨著緊湊型低成本光譜儀的快速發(fā)展,及無人機(jī)便于攜帶、起降靈活、風(fēng)險(xiǎn)小等優(yōu)點(diǎn),基于無人機(jī)的高光譜成像系統(tǒng)應(yīng)用越來越廣泛,如林火監(jiān)測(cè)、地質(zhì)勘探、海洋探測(cè)等[2-3]。

目前已有很多成熟的商業(yè)軟件用于處理無人機(jī)遙感數(shù)據(jù),如Inpho、PixelGrid、Correlator3D、pixel information expert,unmanned aerial vehicle(PIE-UAV)、PIX4D Mapper、PhotoScan等[4-5]。其中Inpho、PixelGrid對(duì)于源數(shù)據(jù)(相機(jī)參數(shù)、影像外定向參數(shù)等)要求較為嚴(yán)格,難以處理沒有地理參考的影像。PIX4D Mapper、PhotoScan、Correlator3D僅需影像數(shù)據(jù)就可以進(jìn)行影像拼接,但不支持高光譜影像的處理。PIE-UAV軟件系列包含PIE-UAV、PIE-Hyp、PIE-Ortho等模塊,PIE-Hyp為高光譜分析模塊,可以對(duì)星載高光譜數(shù)據(jù)進(jìn)行圖譜分析、目標(biāo)探測(cè)等處理,無法進(jìn)行無人機(jī)高光譜影像的糾正、拼接處理。目前一些研究人員對(duì)機(jī)載高光譜影像處理進(jìn)行研究,如鄒松采用了基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from motion,SFM)和多視圖立體(multi-view stereo,MVS)的影像拼接方法,實(shí)現(xiàn)高光譜影像的快速拼接[6];牛璐璐首先將單波段影像進(jìn)行空間拼接,然后將所有單波段進(jìn)行融合,最后將融合后的光譜影像與顏色系統(tǒng)(red green blue,RGB)合成影像再次進(jìn)行融合,實(shí)現(xiàn)高光譜影像的拼接[7]。雖然這兩種方法都可以進(jìn)行多張無人機(jī)高光譜影像的拼接,但其精度不高。Rikola高光譜儀隨機(jī)軟件RegMosaic自動(dòng)一步完成所有處理,人工無法對(duì)中間過程成果進(jìn)行干預(yù),造成生成的影像有明顯拼接痕跡等問題,影響光譜分析。

為此,本文探索利用多光譜影像的糾正方法處理無人機(jī)高光譜影像,提高結(jié)果精度。PIE-UAV軟件能夠支持高光譜影像的部分處理,如空三加密、數(shù)字地表模型(digital surface model,DSM)匹配、正射糾正等。但由于光譜儀的成像特點(diǎn),導(dǎo)致同一幅影像中不同波段的空間位置出現(xiàn)差異,無法直接利用PIE-UAV軟件進(jìn)行糾正。因此,本文通過交互式數(shù)據(jù)語言(interactive data language,IDL)[8]進(jìn)行影像預(yù)處理以得到PIE-UAV支持的高光譜影像。首先,本文進(jìn)行單波段影像配準(zhǔn)、波段合成、裁切;其次,進(jìn)行白板校正;然后,利用PIE-UAV進(jìn)行空三處理、DSM匹配、影像糾正;最后,利用遙感圖像處理平臺(tái)(The Environment for Visualizing Images，ENVI)軟件進(jìn)行影像鑲嵌,得到拼接高光譜影像。

1 高光譜影像預(yù)處理

1.1 單波段影像配準(zhǔn)裁切

1.1.1影像配準(zhǔn)

由于該傳感器是框幅式成像,使得不同波段成像時(shí)間不一致,導(dǎo)致不同波段之間存在位置差異[6],影像出現(xiàn)重影,如圖1所示。因此,需要做單波段影像配準(zhǔn)。

影像配準(zhǔn)的目的是將兩幅影像中對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來[9]。本文主要采用特征點(diǎn)配準(zhǔn)方法來完成,該方法具有計(jì)算量少、效率高、魯棒性等特點(diǎn)[10]。通過以下4個(gè)步驟進(jìn)行：

(1)特征點(diǎn)檢測(cè)。特征點(diǎn)檢測(cè)結(jié)果的好壞,直接影響配準(zhǔn)的精度,乃至影像拼接的最終結(jié)果。本文使用特征點(diǎn)檢測(cè)算法Moravec,因?yàn)樵撍惴z測(cè)到的特征點(diǎn)較多,準(zhǔn)確率也相對(duì)更高。

(2)特征點(diǎn)匹配。該步驟通過特征描述符、相似性度量等建立待匹配影像與目標(biāo)影像特征間的相關(guān)性。

(3)轉(zhuǎn)換模型估計(jì)。該步驟通過待匹配影像與目標(biāo)影像的相關(guān)性估計(jì)兩張影像間的映射函數(shù)的類型和參數(shù)[7]。

(4)重采樣與轉(zhuǎn)換。使用映射函數(shù)轉(zhuǎn)換待匹配影像,并進(jìn)行重采樣。

無人機(jī)高光譜影像的波段數(shù)目較多,進(jìn)行單波段灰度影像配準(zhǔn)時(shí)需要選擇一個(gè)波段作為基準(zhǔn)波段,將其余波段與基準(zhǔn)波段進(jìn)行配準(zhǔn),得到配準(zhǔn)后的單波段影像。這種方法的配準(zhǔn)誤差最小,且可以避免出現(xiàn)誤差累積的情況。

1.1.2波段合成

通過空間變換將兩個(gè)影像進(jìn)行配準(zhǔn)之后,不可避免地會(huì)出現(xiàn)兩個(gè)單波段影像角點(diǎn)不對(duì)齊的情況,如圖2所示,會(huì)直接導(dǎo)致無法進(jìn)行波段合成。

圖2 配準(zhǔn)后波段3影像角點(diǎn)偏移

為此,本文首先將基準(zhǔn)波段影像進(jìn)行外擴(kuò)處理,即東南西北四個(gè)方位均外擴(kuò)200個(gè)像素,然后將配準(zhǔn)后的其余波段也進(jìn)行外擴(kuò)處理,每個(gè)方位外擴(kuò)的像素?cái)?shù)目由此波段與基準(zhǔn)影像的相對(duì)位置關(guān)系決定。設(shè)基準(zhǔn)影像的左上角坐標(biāo)為(0,0),影像的尺寸為1 010×648,則外擴(kuò)后基準(zhǔn)影像的尺寸為1 410×1 048。圖2中配準(zhǔn)后波段3影像的像素大小為1 011×646,左上角坐標(biāo)相對(duì)于基準(zhǔn)波段的坐標(biāo)為(2,-6),則配準(zhǔn)后波段3影像的西邊應(yīng)外擴(kuò)202個(gè)像素,北邊應(yīng)外擴(kuò)206個(gè)像素,東邊應(yīng)外擴(kuò)197個(gè)像素,南邊應(yīng)外擴(kuò)196個(gè)像素,如圖3所示。

圖3 配準(zhǔn)后波段3影像外擴(kuò)示意圖

進(jìn)行單波段影像配準(zhǔn)并外擴(kuò)后,得到多個(gè)同一空間位置點(diǎn)一一對(duì)應(yīng)且尺寸一致的單波段影像,將其進(jìn)行波段合成,便可得到波段配準(zhǔn)后的高光譜影像[11-12]。

1.1.3影像裁切

為了波段合成,外擴(kuò)處理后的影像與原始數(shù)據(jù)的尺寸不一致,會(huì)導(dǎo)致PIE中影像糾正失敗。為此,需要進(jìn)行影像裁切。為了不改變裁切后影像與原始影像的空間位置,本文以基準(zhǔn)波段的位置為基礎(chǔ),裁掉外擴(kuò)的像素,得到與原始影像尺寸一致的配準(zhǔn)后高光譜影像。

1.2 影像白板校正

配準(zhǔn)后的影像依然包含白板[13],因此,需要通過以下步驟進(jìn)行高光譜影像白板校正。

(1)白板輻射量S3：利用ENVI軟件獲得10個(gè)或更多像素點(diǎn)每個(gè)波段的光譜值,并取每個(gè)波段光譜值的平均值,作為白板輻射量。

(2)標(biāo)準(zhǔn)白板反射率數(shù)據(jù)S2：依據(jù)標(biāo)準(zhǔn)白板反射率得到對(duì)應(yīng)波長的反射率。若波長介于標(biāo)準(zhǔn)白板兩個(gè)波長之間,則可取平均值作為該波段的反射率,或?qū)蓚€(gè)波長的反射率進(jìn)行加權(quán)得到該波段的反射率。

(3)高光譜影像白板校正：在ENVI軟件的spectral math窗口中輸入式(1),即可獲得白板校正后的高光譜影像。

(1)

其中，S表示白板校正后的高光譜影像；S1表示進(jìn)行圖像配準(zhǔn)后的影像；S2表示標(biāo)準(zhǔn)白板反射率；S3表示白板輻射量。

ENVI軟件中每次操作只能校正一幅影像,但航空影像像幅小、數(shù)據(jù)量大,利用ENVI軟件進(jìn)行白板校正,需要消耗大量的時(shí)間。為此,本文利用交互式數(shù)據(jù)語言編寫白板校正批處理工具,提高影像校正效率。

1.3 PIE-UAV影像糾正及鑲嵌

利用PIE-UAV軟件建立工程進(jìn)行影像處理時(shí),需要導(dǎo)入配準(zhǔn)后的高光譜影像、高精度位置與姿態(tài)測(cè)量系統(tǒng)(position and orientation system,POS)數(shù)據(jù)及相機(jī)文件[14]。通常高光譜儀難以獲得地物的地理位置信息,因此,需要借助全球?qū)Ш叫l(wèi)星系統(tǒng)(global navigation satellite system,GNSS)模塊配件獲得影像的位置信息。在正射糾正過程中,為了保持光譜值不變,本文不進(jìn)行影像勻光勻色處理[15]。

進(jìn)行影像糾正后,利用ENVI軟件進(jìn)行高光譜正射影像鑲嵌,同樣不進(jìn)行勻光勻色處理。ENVI軟件編輯鑲嵌線時(shí),只能顯示單個(gè)波段,且為灰度影像,若出現(xiàn)像素缺失問題,則無法發(fā)現(xiàn)。因此,本文先利用ENVI生成鑲嵌線并導(dǎo)出,然后在Arcgis中加載影像及鑲嵌線,并根據(jù)影像紋理編輯鑲嵌線,最后將編輯好的鑲嵌線導(dǎo)入ENVI中,進(jìn)行影像鑲嵌。

綜上所述,本文無人機(jī)高光譜影像處理流程如圖4所示。

圖4 本文無人機(jī)高光譜影像處理流程

2 實(shí)驗(yàn)

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)使用的數(shù)據(jù)是通過無人機(jī)搭載的高光譜成像儀Rikola采集的影像,Rikola高光譜儀的焦距是9 mm,波段范圍為500～900 nm,波段個(gè)數(shù)最大可達(dá)380個(gè)。本文實(shí)驗(yàn)數(shù)據(jù)選取的波段個(gè)數(shù)為50個(gè),波長范圍為504.01～847.05 nm,影像尺寸1 010×648像素。由于高光譜影像波段多,數(shù)據(jù)量大,所以本文研究在三條航帶中選取具有重疊部分的一小塊區(qū)域。

2.2 實(shí)驗(yàn)結(jié)果及分析

2.2.1影像配準(zhǔn)裁切

本文研究使用的無人機(jī)高光譜影像具有50個(gè)波段,本文將波段1影像作為基準(zhǔn)影像,將其余49個(gè)波段影像與基準(zhǔn)影像進(jìn)行配準(zhǔn)。圖5給出了本文使用Moravec特征點(diǎn)檢測(cè)算法在基準(zhǔn)影像及待批準(zhǔn)影像檢測(cè)到的連接點(diǎn)。表1給出了同一高光譜影像的波段1影像及其余影像中同名點(diǎn)的個(gè)數(shù)及誤差。圖6給出了配準(zhǔn)之后的結(jié)果。

(a)基準(zhǔn)影像檢測(cè)到的同名點(diǎn)

從圖5及表1中可看出雖然單波段影像為灰度影像,沒有色彩特征,但Moravec算法依然能夠檢測(cè)到足夠多的同名點(diǎn),均勻分布在影像中;且同名點(diǎn)間的誤差小于1個(gè)像素,精度較好。這些均避免了由于同名點(diǎn)數(shù)量少、同名點(diǎn)分布有漏洞導(dǎo)致的配準(zhǔn)失敗。從圖6可知,本文使用Moravec算法檢測(cè)特征點(diǎn)并配準(zhǔn)的方法能夠得到較好的配準(zhǔn)結(jié)果。

表1 基準(zhǔn)影像與單波段影像同名點(diǎn)的個(gè)數(shù)及誤差

(a)波段3和波段2影像 (b)波段1和波段15影像圖6 不同單波段影像配準(zhǔn)結(jié)果

為進(jìn)行波段合成,本文將原始尺寸為1 010×648像素的基準(zhǔn)影像及配準(zhǔn)后的單波段影像進(jìn)行外擴(kuò),外擴(kuò)的光譜值給定0,得到尺寸為1 410×1 048像素的多個(gè)單波段影像,并進(jìn)行合成。如圖7所示,其中圖7(a)為基準(zhǔn)波段外擴(kuò)后影像,圖7(b)為配準(zhǔn)后波段5外擴(kuò)后影像,圖7(c)為多波段合成后影像。

(a)基準(zhǔn)波段外擴(kuò)后影像 (b)配準(zhǔn)后波段5外擴(kuò)后影像

從圖7(d)可知,本文將基準(zhǔn)波段影像的東南西北四個(gè)方位外擴(kuò)200個(gè)像素,能夠滿足其余波段影像配準(zhǔn)后的像素溢出,并為波段合成提供方便。

波段合成后以基準(zhǔn)波段(波段1)影像為基礎(chǔ)進(jìn)行影像裁切,得到與原始影像像素大小相同的配準(zhǔn)后高光譜影像,如圖8所示。從圖中可知,配準(zhǔn)后的高光譜影像的有效范圍縮小,這是因?yàn)楦吖庾V影像是逐波段不同時(shí)間獲取的,同一地物在同一景影像的不同波段中的像不一致,導(dǎo)致配準(zhǔn)后的影像有效使用范圍減小。但由于航空影像的重疊度高,所以這并不會(huì)影響到后續(xù)的數(shù)據(jù)處理。

(a)影像1 (b)影像2

2.2.2白板校正

本文研究的高光譜影像有50個(gè)波段,波長在504.01～847.05 nm之間,利用ENVI軟件獲得的光譜輻射量和依據(jù)波長得到的標(biāo)準(zhǔn)反射率如表2所示。

表2 白板校正參數(shù)

利用1.2節(jié)所述的式(1)及表2中的光譜輻射量與標(biāo)準(zhǔn)反射率即可進(jìn)行白板校正。本文使用IDL編寫的批量白板校正工具進(jìn)行批處理,節(jié)省時(shí)間及人力。圖9給出了白板校正前后同一點(diǎn)的光譜曲線圖。從圖中可看出,同一點(diǎn)的波譜曲線的趨勢(shì)是一致的,說明白板校正的結(jié)果是有效的、準(zhǔn)確的。

(a)白板校正前

2.2.3影像糾正與拼接

利用PIE-UAV處理高光譜影像,建立高光譜工程,導(dǎo)入高光譜影像、POS數(shù)據(jù)、相機(jī)文件及控制點(diǎn)文件,即可進(jìn)行空三加密、DSM匹配及正射糾正。糾正后的單片影像如圖10所示。

圖10 PIE-UAV正射糾正后影像

PIE-UAV軟件處理影像時(shí),不需要嚴(yán)格的相機(jī)參數(shù)及影像的外方位信息,操作也相對(duì)簡單易學(xué),操作人員能夠快速上手,為無人機(jī)影像的數(shù)據(jù)處理提供方便。

使用1.3節(jié)所述的鑲嵌方法,得到拼接影像,如圖11(a)所示。圖11(b)為Rikola光譜儀隨機(jī)軟件ReMosaic處理后的拼接影像。

(a)本文方法拼接圖 (b)ReMosaic拼接圖

從圖11(b)中可以看出,Rikola光譜儀隨機(jī)軟件ReMosaic處理影像后的結(jié)果不理想,存在較嚴(yán)重的拉花問題,且拼接處的色彩過渡比較生硬。從圖11(a)中可看出,本文方法處理效果較好,影像鑲嵌線兩側(cè)和相鄰影像色調(diào)應(yīng)基本一致色彩過渡自然,地物合理接邊,無模糊、重影和發(fā)虛現(xiàn)象,在高差較大的地區(qū)未出現(xiàn)拉花現(xiàn)象,效果和質(zhì)量均能夠滿足分類的要求。本文使用ArcGIS編輯鑲嵌線的方法能夠盡量避免拼接影像鑲嵌線附近出現(xiàn)一些色彩偏差問題,減少后期工作量,提高工作效率。

3 結(jié)束語

本文研究了無人機(jī)高光譜影像的處理方法,使用交互式數(shù)據(jù)語言完成無人機(jī)高光譜影像的預(yù)處理、PIE-UAV軟件進(jìn)行正射糾正、ENVI軟件進(jìn)行影像鑲嵌,得到無人機(jī)高光譜影像拼接圖。影像預(yù)處理階段,本文首先進(jìn)行單波段影像配準(zhǔn)等步驟得到配準(zhǔn)后的高光譜影像;其次,進(jìn)行影像白板校正,為后續(xù)影像處理做好準(zhǔn)備。通過使用Rikola高光譜成像儀采集影像的實(shí)驗(yàn)證明,本文方法能夠得到無波段損失且精度滿足要求的拼接影像,結(jié)果優(yōu)于ReMosaic軟件的拼接成果,且在部分處理步驟上使用批處理工具,一定程度上提高了工作效率。

本文研究的不足有以下兩點(diǎn)：①影像配準(zhǔn)工具處理時(shí)占用內(nèi)存較大;②PIE-UAV軟件處理時(shí),人工干預(yù)較少,匹配出來的DSM數(shù)據(jù)無法進(jìn)行編輯。在以后的工作中,本文會(huì)以這兩點(diǎn)為主要目標(biāo),尋找解決辦法,進(jìn)一步提高精度及效率。