基于機器學習的傾斜攝影影像質量改善方法

韓 健，艾小童，溫旭昶，蔣江俊男

（1.武漢大學資源與環境科學學院，湖北 武漢 430079；2.廣西華遙空間信息科技有限公司，廣西 南寧 530031；3.自然資源部數字制圖與國土信息應用重點實驗室，湖北 武漢 430079）

傾斜攝影測量技術是測繪領域近年來新興的一項高新技術，其通過在航測平臺上搭載多臺傳感器的方式，從多個角度對地物進行采集，得到大量被采集對象的高分辨率紋理數據[1]。由于傾斜攝影測量技術具有采集范圍大、采集面廣等優點，在三維城市等大區域的建模應用中，其效率遠高于傳統的人工建模，故其在基礎測繪和城市管理中有著廣泛的應用前景[2-3]。

傾斜攝影過程中常常會出現因為相機傾角較大，導致得到的影像出現陰影、薄霧等問題，對影像的清晰度產生了影響，從而無法保證后期建模的精度和模型的真實效果，難以滿足基礎測繪的要求[4-5]。目前已有多篇論文針對正射影像的質量改善提出了解決方案，而鮮有研究進行過傾斜攝影影像的質量改善[6-7]。本文以生成式對抗網絡為機器學習的訓練模型，從影像的顏色、紋理、內容3個方面建立損失函數，來實現對傾斜攝影影像的質量改善。基于此，本文以廣西某地采集得到的傾斜攝影影像作為研究對象，用本文提出的基于機器學習的傾斜影像質量改善的方法進行測試，并對測試結果進行對比分析。

1 方法

1.1 訓練樣本

為了得到對多種不同場景的訓練結果，本文訓練樣本為無人機在廣西某地獲取的傾斜攝影影像，樣本類型包括建筑類、植被類、其他類。

通過航測攝影設備采集這三類樣本，并定義采集到的影像為原始影像（Is）。然后用相應軟件人為地對原始影像的質量進行改善，將修改結果作為目標影像（It），每張原始影像和其對應的目標影像的集合為一組樣本。

1.2 訓練方法

本文用生成式對抗網絡來實現傾斜攝影影像的質量改善，生成式對抗網絡是一種深度學習模型，主要用于機器學習的無監督學習中。生成式對抗網絡由生成模型（G）和判別模型（D）組成。生成模型是對聯合概率進行建模，從統計的角度表示數據的分布；判別模型是對條件概率進行建模，尋找不同類別之間的最優分類面[8]。本文所使用的生成式對抗網絡訓練的具體流程如圖1所示。

圖1 生成式對抗網絡訓練方式示意圖

每次訓練都會先將原始影像和訓練噪聲（第一次訓練的訓練噪聲為隨機噪聲）輸入到生成模型中，生成模型通過前面訓練得到的結果改善原始影像的質量，將處理后的影像輸入到判別模型中，再由判別模型判斷輸入的影像是否為目標影像。如果判別模型判斷出輸入的影像不為目標影像，則繼續訓練；如果判別模型將輸入的影像判斷為目標影像，則結束訓練[9]。

1.3 預訓練方法

本文通過預訓練構造生成模型和判別模型，并且通過預訓練計算生成式對抗網絡訓練后影像的損失[10]。因為VGG卷積神經網絡層數深，適合于處理大量的數據集，故本文用該網絡作為預訓練模型。該模型通過小核的卷積核構建卷積神經網絡結構以提高神經網絡的計算量，其主要的網絡深度分別為16層和19層的VGG16和VGG19兩種結構。本文使用的是VGG19的網絡結構，圖2中直觀展示了VGG19的結構，其結構中包括了16個卷積層和3個全連接層。

圖2 VGG19網絡結構示意圖

分別將生成式對抗網絡訓練后增強的影像和目標影像輸入到VGG19網絡中，該網絡會對輸入的影像進行特征提取，然后將兩幅影像間的特征進行對比來計算增強后影像的損失。

1.4 損失函數

損失函數是機器學習中的一個關鍵要素，其作用在于通過對機器學習模型訓練結果好壞的衡量來提升該模型的訓練質量。傾斜攝影影像往往會因為相機傾角較大導致影像的質量不高，主要體現在影像的顏色、紋理和內容3個方面。因此，本文從處理影像的顏色質量、紋理質量和內容質量3個方面建立損失函數，以確保影像的每個部分都能得到優化[11]。

1.4.1 顏色損失

為計算顏色損失，本文分別對生成式對抗網絡訓練后質量改善的影像（改善影像）和目標影像進行高斯模糊處理，以降低影像的細節層次，消除影像的紋理部分和內容部分，將影像的顏色部分提取出來進行對比。高斯模糊算子為：

式中，σ是正態分布的標準偏差；k和l分別是高斯模糊的長和寬。

通過高斯模糊算子得到經過高斯模糊后的改善影像和目標影像：

式中，X、Y分別為生成式對抗網絡訓練后質量改善的影像和目標影像；Xb、Yb分別為經過高斯模糊處理后的改善影像和目標影像；i、j分別為影像中每一像素的橫坐標和縱坐標。

最后，計算高斯模糊后2個影像之間的歐氏距離作為改善影像的顏色損失。

顏色損失模型在不用對同組兩張影像之間的紋理和內容進行比較的情況下，可以估計出影像之間的亮度、對比度和主要顏色的差異。因此，我們可以將正態分布的標準偏差σ固定為最小值（3），來確保影像的紋理和內容不會出現丟失。同時，高斯模糊能夠減少影像中的噪聲，故該顏色損失模型不會因為影像中少量的失真而受影響，確保質量改善后的影像具有與目標影像一樣的顏色分布。

1.4.2 紋理損失

紋理損失是對感知損失的改進，適用于捕獲影像的風格特征。本文中的紋理損失函數未進行預定義，而是利用生成式對抗網絡，直接通過機器學習的方法來評估影像紋理的質量指標。紋理損失是位移不變的，所以在生成式對抗網絡中不需要進行對準。

本文的紋理損失函數設計為最小化交叉熵損失函數:

式中，Is為原始影像；It為目標影像；G(Is)為生成模型將原始影像增強后的影像；D(G(Is)，It)為判別模型判斷出的增強影像與目標影像的相似度；Ltexture為紋理損失。當判別函數D將增強影像評價為和目標影像一樣時，D(G(Is)，It)=1，則Ltexture=0，此時，經過生成式對抗網絡增強后的影像沒有紋理損失。

1.4.3 內容損失

內容損失用于計算質量改善后的影像與目標影像的內容和感知質量等各個方面的相似度，本文通過VGG19網絡分別將經過生成式對抗網絡質量改善后的影像與目標影像的特征進行提取。在本文中，內容損失用于保存其他損失并未考慮的影像語義，并用改善影像和目標影像內容特征之間的歐氏距離來定義內容損失:

式中，Is為原始影像；It為目標影像；G(Is)為生成模型將原始影像質量改善后的影像；Ψj是通過VGG19網絡的第j個卷積層特征提取后的影像；Cj、Hj、Wj分別表示第j個卷積層特征提取后影像要素的數量、高度和寬度。

1.4.4 梯度損失

梯度損失是在VGG19網絡中影像在相鄰兩層導數之間傳導造成，其在總損失中占比相對較低，故其不會對高頻特征的優化產生影響。計算梯度損失是為了從整體上對影像進行微小的平滑處理，并去除影像中的椒鹽噪聲，梯度損失函數為：

式中，Is為原始影像；G(Is)為生成模型將原始影像質量改善后的影像；C、H和W分別是改善影像要素的數量、高度和寬度；?x、?y分別是改善影像在橫坐標和縱坐標下的梯度。

1.4.5 總損失

總損失用于對生成式對抗網絡進行約束，以保證改善后影像的質量。將上述損失進行加權后相加得到總損失。

式中，Ltotal為總損失；Lcontent為內容損失；Ltexture為紋理損失；Lcolor為顏色損失；Ltv為梯度損失。

然后將由N個影像對（每個影像對由一個增強影像和一個目標影像組成）組成訓練集加入到VGG19網絡中進行訓練，以將損失最小化。

式中，L為訓練后的損失；是第j個影像對中原始影像質量改善后的影像；是第j個影像對中的目標影像。

2 應用實例

2.1 影像處理效果

2.1.1 去霧處理

圖3是在林地上空采集的原始傾斜攝影影像，以及基于機器學習的影像質量改善方法處理后的影像。可以看出原始影像霧化比較嚴重，清晰度不高，地物界線不明顯，經基于機器學習的影像質量改善方法處理影像后，影像清晰度顯著提高，對比度明顯， 能清楚地分辨出各類地物。

圖3 霧化處理對比圖

2.1.2 去陰影處理

圖4是在城市上空采集的原始傾斜攝影影像，基于機器學習的影像質量改善方法處理后的影像。原始影像中的低矮地物被高樓陰影遮擋，難以看清地物特征，不利于后續三維建模。而經基于機器學習的影像質量改善方法處理后，陰影部分的亮度得到明顯的提升，而沒有陰影的區域變化不太明顯，被遮擋地物的亮度被提升到和無陰影區相當。可以得出結論，基于機器學習的影像質量改善方法針對影像的不同特征進行了差異化的處理。

2.1.3 色彩增強處理

圖5是在農村上空采集的原始傾斜攝影影像和基于機器學習的影像質量改善方法處理后的影像。不同于圖3～4所示的原始影像，這里的原始影像較為清晰明亮。經過基于機器學習的影像質量改善方法處理后，該影像中藍色、綠色等特征性較強的色彩效果顯著增強，不同顏色的分界線也更為明顯。顏色對比增強，圖片中的地物特征也變得更為明顯。

2.2 對比分析與討論

通過對圖6中四張圖片對比（a為原始傾斜攝影影像；b為PS參數處理影像；c為勻色模板處理影像；d為基于機器學習的影像質量改善方法處理影像）可見原圖較為模糊，PS處理后的影像清晰度仍然不高，勻色處理后的影像則噪聲點較多，出現了顏色失真。經過基于機器學習的影像質量改善方法處理后的影像兼顧了清晰度和對比度，并保證了原始影像中的地物特征沒有丟失。通過對比分析，傳統模式和機器學習模式進行影像質量改善的優缺點如表1所示。

表1 傳統模式和機器學習模式優缺點對比表

圖6 效果對比圖

基于機器學習的傾斜攝影影像質量改善結果對獨立地物的特征更為突出，滿足了大多數客戶對影像處理結果的要求。對于傾斜攝影測量這類影像數據較多的工程而言，可以獲得足夠的原始影像供機器學習網絡訓練，以提高機器學習對傾斜攝影影像進行增強處理的效率。雖然該方法對硬件的要求較高，但是隨著當前云計算、大數據和硬件質量的發展，該方法會得到越來越廣泛的應用。

3 結語

本文研究分析了機器學習在傾斜攝影影像質量改善的方法與應用，并對廣西某地的傾斜攝影影像進行了質量改善處理。歸納整理了基于機器學習的傾斜攝影影像質量改善的技術要點，分析了處理后的影像效果，驗證了其在對傾斜攝影影像處理中具有很好的可行性和應用價值。在當前傾斜攝影測量技術在智慧城市、道路檢測等領域的需求快速增長之際，機器學習對傾斜攝影影像質量改善的方法會進一步得到規范和優化，逐步滿足社會各界對傾斜攝影影像精度和數據量的要求，基本解決了傾斜攝影影像成千上萬根節點加載速度卡頓的問題，從而為社會各界提供應用場景更廣、更新周期更短、數據精度更高的基礎測繪產品和服務[12]。