機載中波紅外影像分類性能分析

閆利，李青山，王嫣然，葉志云

(武漢大學 測繪學院，武漢 430079)

0 引言

中波紅外譜段(3～5 μm)與熱紅外譜段(8～12 μm)一直是紅外技術發展應用的重點。面陣型紅外焦平面探測器技術出現后，第二代紅外成像技術已將工作波段由長波擴展至中波和短波紅外。目前，紅外成像技術已全部覆蓋短波紅外至長波紅外譜段[1]。相較于可見光譜段，紅外波段對煙霧穿透能力更強，可全天候成像，其中中波紅外在制導頭、自動跟蹤系統以及對空中飛行目標探測領域作用距離更遠[2]。

中波紅外譜段在對地觀測中的優勢可廣泛應用于目標提取[3]、溫度反演[4]、圖像融合[5]、工業排放氣體監測[6]、火災監測[7]、武器制導[8]等應用領域。在遙感觀測領域，國外已有包含中波紅外譜段的機載高光譜成像系統[9]。基于中波紅外譜段，已有海岸線分割[10]以及植物類別提取[11]等地物分類相關研究。由圖1可知，我國在中波紅外波段的對地觀測上空間分辨率較低，與國外存在較大差距。同時由于政策原因，國內可采購中波紅外相機最大面陣大小為640像素×512像素。故目前國內尚未展開中波紅外在遙感影像分類中的研究。開展中波紅外遙感相關研究可以有效利用頻譜資源，填補相應領域的空白。

圖1 紅外波段衛星對地觀測現狀示意圖

本文的項目背景是國內首套機載中波紅外成像系統的研制，該系統同時裝配有中波紅外和可見光光學相機。本文旨在探索地物在中波紅外波段的輻射特性，進而融合地物的中波紅外與可見光的特征，提高遙感地物分類的精度，探索中波紅外譜段在對地觀測領域的潛在價值。

1 研究區及數據源概況

1.1 研究區概況

研究區位于湖北省荊門市漳河機場。荊門為湖北省地級市，位于湖北省中部，漢江中下游，介于111°51′E～113°29′E，30°32′N～31°36′N之間。荊門市屬于亞熱帶季風氣候，其植被主要以常綠闊葉、落葉闊葉混交林為主，松樹、杉木、櫟樹分布普遍。建筑物主要由零散村鎮中的低層民居以及城鎮居民區和低層廠房構成。影像中所包含道路類型很豐富，有柏油馬路、水泥路面以及飛機跑道。同時，影像中還包含有林地、草地、耕地等植被類型和湖泊、池塘等水體類型。

1.2 數據源及預處理

研究區航拍影像為2017年2月26日早9時至10時于荊門漳河機場通過運-5飛機搭載自主研發航拍系統得到。其可見光影像由哈蘇H3D相機拍攝，影像大小為7 216像素×5 412像素，分辨率為0.136 6 m，中紅外影像由Onca-MWIR-MCT640相機拍攝，其接收光譜范圍為3.7～4.8 μm，影像大小為640像素×512像素，分辨率為0.625 m。

航拍得到的中紅外影像為小像幅影像，與光學相機的像幅相差很大。因此，中波紅外相機采用面陣擺掃成像的方式，以實現寬幅機載中波紅外成像。利用定位定姿系統(positioning and orientation system，POS)以及地面實測控制點實施POS輔助空中三角測量，制作可見光及中紅外正射影像(digital orthophoto map，DOM)。然后將可見光與中紅外影像生成的正射影像進行配準，裁剪二者的重疊區域得到最終使用的研究數據(圖2)，其中圖2(a)為可見光(visible，VIS)三波段彩色顯示，圖2(b)為中波紅外譜段(mid-wave infrared，MID)灰度顯示影像。

圖2 研究數據

2 中紅外波段特性分析

2.1 中波紅外光譜輻射特性

中波紅外譜段(3～5 μm)與熱紅外波段(8～12 μm)同屬于紅外譜段，但其光譜輻射特性不同于可見光與熱紅外譜段，既包含地面反射輻射，也包含地面物體的發射輻射能量，可實現全天候成像。圖3表明[12]，不同溫度目標在中波紅外波段具有更高的熱對比度，更容易區分不同溫度目標，同時在600～1 000 K物體輻射功率峰值對應波長為中波，具有優于熱紅外的高溫物體監測能力。此外，中波紅外波長較長，不易受到霧霾的散射，能有效突破低能見度氣候對遙感影像獲取時效性的限制。

圖3 不同溫度目標對比示意圖

2.2 研究影像中波紅外特性

光學遙感傳感器的照明源主要是太陽輻射，因此高分辨率遙感影像中存在很多由建筑、橋梁、樹木等地物的遮擋形成的陰影區域。這些陰影區域雖然對于影像的信息提取及密集匹配等處理有很大的干擾[13]，但研究表明[14]，同一地物類型非陰影區域與陰影區域輻射值之比有與波長成正比的物理特性。

結合遙感影像非陰影區域與陰影區域接收到的光照輻射能量比值的特性與中波紅外譜段包含地物發射輻射能量的特性，分析研究影像不同地物非陰影區域與陰影區域的光譜特性曲線。如圖 4所示，中波紅外波段顯示出不同于可見光譜段的輻射特性。波譜特性曲線(1)表明，裸露土地與水泥道路的波譜特性曲線在可見光譜段呈上升趨勢而后在中波紅外波段下降，瀝青道路則呈現相反的特征。由波譜特性曲線(2)可知，中波紅外波段不同地物的亮度比值(非陰影區/陰影區)不符合隨波長增大而增大的趨勢。其原因為中波紅外波段傳感器接收到的輻射能量不只包括地物反射的太陽直射輻射與大氣漫反射，還包含有地物的發射輻射能量(圖 5)，傳感器在中紅外譜段接收到的太陽直射輻射能量在總輻射能量中占比低于可見光譜段，故地物的亮度比值(非陰影區/陰影區)不遵循可見光譜段的規律。

圖4 研究區影像中波紅外特性

圖5 可見光譜段與中波紅外譜段輻射能量構成

3 研究方法

3.1 多尺度分割

影像分割是面向對象分類的基礎。通過圖像分割可以得到同質像元組成的多邊形對象。多尺度分割[15](multiresolution segmentation)算法連續地合并像元或現有的影像對象。該過程首先基于像素層，根據同質性標準合并像元，然后基于合成的對象結合設置的尺度參數繼續合并影像對象，循環此步驟直至同質性指標大于設定的尺度參數，分割即停止。多尺度分割過程識別一個像元或現有的影像對象并根據相關的同質性標準與它們相鄰的對象合并，是一種自下而上的分割。

3.2 隨機森林分類器及特征評估

隨機森林(random forests)算法是Leo Breiman繼Bagging算法之后，提出的另一種利用多個樹學習器進行分類和回歸的組合算法[16-17]。該算法利用bootstrap重抽樣方法從原始樣本中抽取多個重抽樣樣本集，對每個bootstrap樣本進行決策樹建模得到決策樹分類模型集：

{h(X，Θk)，k=1，2，…}

(1)

式中：X為給定自變量，本文中具體為所選訓練樣本對應的特征向量集；參數集{Θk}是獨立同分布的隨機向量；k為隨機森林中決策樹棵樹，本文實驗中k為100。

隨機森林分類器可通過OOB平均下降精度、Gini指數來度量特征重要性。

OOB平均下降精度衡量特征重要性FIM(feature importance measures)：

FIM=∑(errOOB2-errOOB1)/Ntree

(2)

式中：errOOB1為每棵決策樹的袋外數據誤差；errOOB2為對袋外數據OOB所有樣本的特征X加入噪聲干擾，再次計算得到的袋外數據誤差。

(3)

式中：K表示有K個類別；|K|為類別個數；k′表示除k之外的類別；Pmk′表示節點m中類別k′所占的比例；Pmk表示節點m中類別k所占的比例。

特征Xj在節點m的重要性，即節點m分枝前后的Gini指數變化量為：

(4)

式中：GIl和GIr分別表示分枝后2個新節點的Gini指數。如果，特征Xj在決策樹i中出現的節點在集合M中，那么Xj在第i棵樹的重要性為：

(5)

假設RF中共有n棵樹，那么

(6)

最后，所有求得的重要性評分歸一化：

(7)

3.3 特征空間分析與優化

通過分割形成的影像對象在面向對象的分類方法中為新的信息載體，其包含有光譜、形狀、紋理、層次等特性，這些特性稱為特征(features)。充分利用影像對象的這些特征信息能夠產生更加精確的分類結果，對初始特征空間進行合理的特征選擇，將經過優選之后的特征空間作為分類特征，有助于提高分類器的分類效率及精度[18]

表1描述了本文所選擇的初始特征空間，涵蓋波段灰度值、亮度、標準差等光譜特征，長寬比、形狀指數等幾何特征以及GLCM紋理特征。

表1 初始特征空間

實驗中基于分割形成的對象選取分析樣本，提取可見光影像與可見光+中紅外融合四波段影像特征向量集。其中HIS顏色模型特征選取可見光與中紅外四波段中任意三波段計算各HIS分量，其余特征單獨提取中紅外波段影像特征，構建可見光+中紅外融合影像特征向量集。分別對可見光影像特征集與融合影像特征集通過OOB下降精度與Gini指數排序特征重要性，通過驗證樣本集精度確定各自的最優特征向量集，實施隨機森林分類。

4 實驗與分析

4.1 實驗流程

本文實施例中，基于多尺度分割與隨機森林分類器實現面向對象地物分類，融合了地物的可見光與中波紅外特征，并且評估了光譜、形狀、紋理等特征在分類中的重要程度，定量分析了融合中波紅外波段后的特征空間。如圖6所示，包括以下步驟：

步驟1，數據準備。包括利用POS系統及地面實測控制點制作可見光與中紅外正射影像，將生成的正射影像分為可見光三波段影像與可見光與中紅外融合四波段影像，2組數據進行對照實驗。

步驟2，影像分割。基于多尺度分割算法分割影像得到對象圖層，實驗中2組數據均以可見光三波段影像等權重進行多尺度分割，中紅外波段不參與分割，以保證特征分析選取樣本一致。形狀異質性指標權重為0.1，平滑與緊密2個子異質性指標權重均為0.5，分割參數為45。

步驟3，初始特征提取。基于分割形成的對象圖層選取分析樣本及初始特征向量集。將選取的樣本分為訓練樣本與驗證樣本，分別用于模型訓練與精度分析。分類體系根據研究區影像內容，確定為裸露土地、建筑物、林地、道路交通、草地和水體6種地物類型，各地物均選取1 000個訓練樣本，500個驗證樣本。根據初始特征空間分別提取可見光與融合影像的訓練樣本與測試樣本的初始特征向量集。可見光影像與融合影像初始特征向量維度分別為88、120。

圖6 實驗流程圖

步驟4，優化特征空間。分析步驟3提取的訓練樣本原始特征向量集，利用隨機森林OOB平均下降精度與Gini指數衡量特征向量重要性，達到優化特征空間的目的。

步驟5，隨機森林分類。基于步驟2得到的分割結果與步驟3確定的優化特征空間利用隨機森林分類器進行分類并分析分類精度，對比可見光影像分類結果與融合影像分類結果，分析中波紅外特征在分類中的作用。

4.2 優化特征空間

利用訓練樣本初始特征向量集，訓練隨機森林分類器，并根據隨機森林OOB平均下降精度與Gini指數衡量特征向量重要性，可見光+中紅外融合影像初始特征向量集重要性衡量如圖7所示，分別為OOB精度下降示意圖與Gini指數示意圖。根據兩指數特征重要性排序如表2所示，涉及中波紅外波段的特征由黑體顯示，針對中紅外特征，最有效特征為中紅外與可見光其中兩波段組合HIS空間各分量特征，其次為GLCM紋理信息。

結合2種指數，通過排序特征變量重要性指標優化選擇特征空間，訓練隨機森林分類器，以驗證樣本分類總精度選擇優化特征空間維度，選取總精度最高的維度，如表3所示，實驗中可見光影像優化特征空間維度為35，融合影像優化特征空間維度為40。

圖7 融合影像特征重要性示意圖

表2 融合影像特征重要性排序表

表3 不同維度優化特征空間分類結果總精度表 %

4.3 分類結果分析與精度評價

基于步驟2分割結果與步驟4優化特征空間，分別對可見光影像與融合影像實現基于隨機森林的面向對象分類，分類結果細節如圖8所示。以步驟3選取的驗證樣本評估可見光影像單獨分類與融合影像分類精度差異，分類混淆矩陣見表4、表5。分析分類結果細節圖8及易錯分地物波譜特性曲線圖9可知：

圖9 易錯分地物波譜特性曲線

區域(1)(2)中植被陰影區、瀝青道路在可見光影像中易被錯分為水體，引入中波紅外波段可以改善此類錯分現象。結合圖8中VIS、MID影像與圖 9(a)分析：三類地物在可見光譜段亮度值均較低，色彩暗淡。但瀝青道路與植被陰影區在中波紅外譜段相較于紅光波段明顯上升，水體則沒有此趨勢。因此引入中波紅外譜段可避免植被陰影區和瀝青道路被錯分為水體的現象，提高道路交通類別的制圖精度。

區域(3)中磚瓦屋頂在可見光影像中被錯分為裸露土地。結合圖8中VIS、MID影像與圖9(b)分析：磚瓦屋頂在可見光譜段與裸露土地顏色近似，但在中波紅外譜段，磚瓦屋頂向陽面亮度值明顯高于裸露土地以及背陰面磚瓦屋頂，故引入中波紅外譜段有助于此類房屋的提取。同時，對比區域(1)VIS+MID分類結果與VIS分類結果，水泥材質屋頂在引入中波紅外后分類結果更加完整。因此，引入中波紅外譜段有助于提取磚瓦材質屋頂以及水泥材質屋頂的完整性，提高建筑物類別的制圖精度。

由表2及分類結果混淆矩陣(表4、表5)可知：

1)可見光影像地物分類總精度最高為87.87%，融合影像地物分類總精度最高為89.63%，引入中波紅外波段后地物分類總精度可提高1.76%；

2)人工地物(建筑物、道路交通)制圖精度提升了2.8%，非人工地物制圖精度僅提升了1.25%，故中波紅外波段對于人工地物的分類效果優于非人工地物類型。由表6可知，建筑物的精度提升最多，其制圖精度與用戶精度分別提高3.00%、3.44%；其次為道路交通，其制圖精度與用戶精度分別提升了2.60%、2.70%。

表4 可見光影像分類結果混淆矩陣 %

表5 可見光&中紅外融合影像分類結果混淆矩陣 %

表6 融合影像分類地物精度變化表 %

5 結束語

本文使用自主研發的機載中波紅外成像系統，航拍得到荊門市漳河機場區域影像資料，生成可見光及中波紅外正射影像后，基于隨機森林分類器研究融合影像特征空間及中波紅外影像對地物分類精度的提升效果。根據目前的實驗結果，中波紅外波段更建議應用于城市區域遙感相關應用領域。

研究結果表明：

①針對中紅外特征，最有效特征為其與可見光其中兩波段組合HIS空間各分量特征，其次為GLCM紋理信息。

②中波紅外可以穩定得提高地物分類的總精度，可見光影像與可見光+中紅外影像的最高分類精度分別為87.87%、89.63%，引入中波紅外波段提高了1.76%。

③中波紅外波段對于人工地物的分類效果優于非人工地物類型。引入中波紅外波段后，人工地物制圖精度提升了2.8%，非人工地物制圖精度僅提升了1.25%。其中建筑物的精度提升最多，其制圖精度與用戶精度分別提高3.00%、3.44%；其次為道路交通，其制圖精度與用戶精度分別提升了2.60%、2.70%。