基于各向異性的遙感影像勻光勻色算法

張衛龍

(中鐵第一勘察設計院集團有限公司測繪地理信息工程技術研究院， 西安 710043)

遙感影像作為三維地理實景空間信息獲取的主要載體，其承載了特定時刻與方向的時空輻射片段，為計算機視覺、攝影測量學科的主要研究對象，也是目標識別、災害監測等應用領域的主要數據來源。然而受到獲取時刻不同光照條件、方向等參數的影響，使得具有重疊區的不同影像間存在不可忽視的色彩差異性，嚴重影響到影像集合在廣域范圍內的鑲嵌，如大場景影像的生成、正射影像(digital orthophoto map，DOM)的生產以及三維重建模型的精度與質量。故如何解決遙感影像間的色差問題成為相關領域學者和從業者關注的問題。

影像的色差一致性約束處理即為解決影像間色差問題的技術，影像的色差一致性約束處理需要同時處理亮度與色調域的差異，故影像的一致性處理方法統稱為勻光勻色或勻色方法，遙感影像的勻光勻色處理方法大致可以分為4種主要方法：單幅影像自適應勻色法、參考影像勻色法、相鄰區域拼接方法、多幅影像勻色法。單幅影像自適應勻色法多建立在某種假設之上，如場景亮度域高斯分布、色彩對比度平衡等，故其容易產生非自然色澤，如暗通道處理[1]，所以這類方法只是解決特定問題，很難在不考慮相鄰影像約束情況下達到理論效果；單幅影像自適應勻色法可以理解為一種虛擬參考影像的勻光勻色方法，而參考影像勻色法則需要指定場景中特定影像為色調匹配基準，代表方法有直方圖匹配算法[2]、Wallis(沃利斯)方法[1-3]等，待處理影像通過建立與基準影像的彩色統計信息映射函數，實現輻射亮度與色調的統一，此類方法直接與統計信息相關，不能體現同名內容信息的一致性，效果與統計量對應的窗口大小有關；相鄰區域拼接方法多用于拼接影像當中，通過提取拼接線緩沖封閉區域的色差作為觀測值，構建區域改正模型，如泊松(poisson)影像勻色方法[4]，把區域界線上的封閉觀測值作為一階邊界約束，最終使用拉普拉斯方程求解，這類方法為局部改正方法，可以有很大的自由度，符合自然規律，但其整體性的過渡約束較弱，容易產生花斑，運算量大，多用于人工影像編輯；多幅影像勻色法，則是利用重疊信息、同名區域信息改正場景中所有影像色彩分布，如任中杰等[5]針對傳統的wallis方法中缺乏局部約束條件，提出分塊局部區域加權處理方法，使得該像元點變換參數由鄰域方塊范圍共同加權確定，仍然需要選擇特定的參考影像。

除此之外中外學者在色差一致性方面也做了大量的研究工作。Huang等[6]通過加權自適應伽馬校正直方圖，當具有亮度集中分布時容易出現細節丟失。常高等[7]基于密度大的地方透光量減少，密度小的地方透光量增多的原理，提出圖形顯卡加速器(GPU)加速的掩膜(Mask)勻色方法，以加速衛星影像的勻色過程。范新南等[8]針對傳統勻色方法在處理影像信息的時候，會削弱紋理信息，提出一種具有紋理保持功能的勻光處理。楊宇航[9]提出一種在兩個異色彩空間的最小化方差的最優線性映射關系，以提高拼接線重疊區域附近的色彩一致性，另外為了在HSV(hue， saturation， value)空間提升其自動化程度，實現了基于Haar-like(哈爾)的邊緣特征的支持向量機(support vector machine，SVM)接縫檢測器，但是其只是針對大尺度多源光學遙感圖像。魏文杰等[10]針對衛星影像不同時間、成像條件、傳感器等因素所產生的較大色彩差異，研究基于色彩平衡原理的技術方法，采樣低頻色彩匹配的方式，整體效果不錯，但不具備局部約束，局部差異性明顯。夏孟涵[11]提出了兼顧最小化色差與保留影像對比度的方法，使用直方圖統計的方法代替同名點的提取，為了避免變化區域的影響，事先需要剔除內容不一致的區域，但其只是為每張影像求取一個映射曲線模型，缺乏局部各向異性的特性。薛鵬[12]提出一種局部與全局相結合的勻色方法，總結了傳統直方圖匹配、wallis方法、雙邊濾波的勻色方法，本質還是統計量信息的改正。高小旭等[13]提出一種基于最大標準差基準的Wallis勻光勻色方法，但此方法只適用于大場景無云霧影像，對噪聲敏感。楊元維等[14]通過增強補償強度系數及拉伸系數，對陰影部分進行勻色處理，需鄰域相似區域約束。李爍等[15]為了控制區域整體的勻色質量，解決Wallis全局問題，使用Voronoi圖(維諾圖)和Dijkstra(迪杰斯特拉)算法約束影像處理的順序，操作起來復雜且解不唯一。張蕎等[16]提出一種基于改進的直方圖匹配方法，用于解決直方圖匹配過程中灰度級合并的問題，使其保留較高的對比度值。杜神斌[17]針對影像殘留的光暈與白平衡失調問題，提出一種改進的非線性相機響應函數，試圖量化相機采集過程的系統誤差，然而其需要建立在假設條件之上，時間差與環境光變化是此方法待解決的致命問題。

針對以上問題，現研究一種基于虛擬參考影像的多重疊影像勻色方法，且具有局部與全局約束的各向異性的勻光勻色方法。嘗試通過具有環境變化抵抗性的局部特征，代替傳統方法統計變量，使色差局部量化，然后建立具有各向異性的色彩改正模型，通過正則化與空間約束獲取最優解，擬達到使重疊區域不同影像間色彩差異最小化的效果。

1 色差理論研究

(1)

對影像的勻光勻色處理本質就是消除輻射混沌場和噪聲影響場的影響，由影像的獲取過程可知，在影像中任意一點(u，v)對應的輻射影響值都不同，但在局部足夠小的范圍內呈現可線性的特性，這得益于傳輸介質的散射與物質表面的漫反射性質。因此由輻射混沌場和噪聲影響場所產生的色差既具有全局的整體性也具有局部的差異性，以及定向傳播方向的平滑性。而現有的色彩空間拉伸勻光勻色算法多通過全局或者半全局的統計量來匹配拉伸待匹配影像中的每一個像素值，使用的拉伸函數形式以線性為主，如Wallis方法[1-3]，不具備局部差異性，會使影像灰度向最大最小值靠攏，損失影像的對比度；直接使用統計量配準的方式又缺乏內容相關的約束，在內容差異較大的環境下出現嚴重的色偏[11]。因此現有的方法從消除色差的原理上分析，出現嚴重的欠擬合的問題，無法滿足輻射混沌場和噪聲影響場自身的特性。本文研究在勻光勻色的改正過程中既保留了影像空間關系的改正量又基于影像的內容特征，以局部特征引導的輻射改正，因此具有各向異性的特點，可看作為在輻射混沌場和噪聲影響場組成的干擾場D(u，v)中的采樣，從理論層次上是完備的，既解決了傳統統計量匹配方法缺乏空間分布的問題，又彌補了色彩拉伸方法中缺乏內容特征的問題，結合式(1)和式(2)把式(1)改造為式(3)。

D(u，v)=m(u，v)+e(u，v)

(2)

(3)

2 局部特征提取

本文處理的影像為具有重疊區影像集合，如不同時期的觀測數據，可以為航空影像或者航天影像數據。針對干擾場D(u，v)對輻射值的影響，同名點在不同影像中的輻射值差異明顯，同名毗鄰也存在透視變換的差異性，因此局部同名特征點的提取需要選取具有抗局部幾何變形和輻射值變化的影響，得益于SIFT[18]家族算法的強大，可以勝任大部分場景，提供豐富的同名采樣點。

2.1 局部特征關聯

(4)

2.2 局部特征預處理

通過局部特征關聯之后獲取的特征點還存在以下問題誤匹配點和局部分布不均勻的特征點的現象。誤匹配點是由于匹配算法非完全透視不變性和輻射變化不變性導致的，誤匹配點的存在會使得特征觀測值鏈接失敗，出現異匹配點串聯現象，影響了對輻射干擾場的正確性觀測。局部分布不均勻的特征點會影響不必要的計算消耗與觀測采樣不充分。針對以上3種情況，可以從特征提取前期、后期分別采用不同的策略。針對誤匹配的問題可以在任意匹配影像對中進行隨機一致性檢測或者引入匹配再生空間[19]把誤匹配與正確匹配的對應關系線性分割，然后通過特征關聯關系剔除這些異常采樣值。針對特征分布不均勻問題，可以采用grid(格網)分塊策略，使得影像在每一個分塊區域中具有等量的特征點，釋放傳統特征提取過程中通過整體響應值大小排序閾值機制，抑制低響應值的現象。另外如果影像中存在弱紋理現象，也會導致特征不均勻，但不會影響本文方法的效果，由于弱紋理區域的輻射變化是線性連續的，否則此弱紋理區域具有輻射明顯變化點，不符合弱紋理的定義。

3 構建各向異性能量函數

3.1 虛擬輻射場景的概念模型

(5)

因此在此虛擬輻射場景的概念模型的支持下，便可通過多個觀測形成超定最小二乘方程尋找最接近真實輻射場的解。而勻光勻色即為尋找觀測方程的逆過程，即對逆變換函數的量化。

3.2 各向異性能量函數模型

(6)

式(6)中：Ev為能量項，代表改正期望為場景同名點在不同影像中經過改正之后具有相同輻射值，以達到勻光勻色的目的，因此使用改正后的同名點在不同影像中的像素值差異衡量。但此時發現當同名觀測值數量為n<3，輻射改正量數量也為n，觀測方程個數為n(n-1)/2，會出現秩虧的問題n(n-1)/2>n。因此需要增加額外的正則約束En，當期望觀測方程數量小于改正值未知量數量時，使得最優解為模最小的解，另一個方面此正則約束項也是構成全局平滑現象的主要約束性。vq∈Nk(vp)為vq在影像k中的鄰域點，用來約束相鄰點位的改正量的平滑特性。式(6)為附有約束條件的間接最小二乘平差形式，可以使用凸優化理論，構建與之對應的矩陣形式，如式(7)所示，完成改正量的求解。

‖Bg-f‖+‖Cg‖=gT(BTB+CTC)g-

2fTBg+fTf

(7)

式(7)中：B為輻射改正量的稀疏系數矩陣；C為輻射改正量約束項稀疏系數矩陣；f為影像觀測值稀疏矩陣；g為輻射改正量列向量。

3.3 恢復影像輻射改正場

(8)

為了加速影像改正過程，無須逐像素空間搜索鄰域改值，可通過網格錨點的方式，在影像中設置有限個網格點M×N，M、N分別為行列采樣個數，每一個網格頂點為一個錨點，依次求取每個錨點的輻射改正量，然后雙線性上采樣至與原始影像等尺寸大小，及獲取得到每張影像的擾動場D(u，v)，完成了對逆變換函數的量化。

4 實驗與分析

首先從空三工程中提取特征同名點坐標信息；然后過濾掉誤匹配點，利用特征同名點信息提取不同影像中的同名色彩信息，這些同名色彩信息由于攝影姿態、時間差、傳輸誤差等的存在，使得存在嚴重的色彩差異；接著不同同名特征色差組成本文算法的觀測值，觀測值中包含同名點在不同影像中坐標信息、鄰接拓撲信息、色彩信息；最后使用本文提出的各向異性的勻色勻光算法，可以利用同名信息的方位各異性與局部色彩差異性，構建凸優化能量函數，在能量項中體現同名相似約束，在約束項中體現鄰域位置約束，同時顧及全局色彩值的平滑過渡。

本文研究用于體現算法優越性的定性指標為同名區域的視覺感官效果，對比勻色勻光處理之后同名區域色彩差異性和相似性。定量指標為同名特征點在不同影像中殘留的色差，同名色差越小說明色彩輻射量改正越有效，同時使用同名色差殘留統計量中誤差來整體衡量，避免樣本偏差問題。為了測試本文算法的有效性，分別從航空影像與航天影像兩個數據集作為測試數據集，測試數據集詳細信息如表1所示，分布包含數據集數量、采集規格等。

表1 數據集信息表Table 1 Data set information table

數據集1為通過設置模擬出相機在不同白平衡、霧霾、光暈等環境下拍攝出的影像數據集合，可以代表影像在極大的色差條件下的情況，以測試本文算法的有效性。測試數據集中包含同名點個數為1 059個，同名點信息是從空三數據工程中直接提取出來的。如圖1所示，該數據集中有影像9張，通過設置拍攝不同參數(感光、快門、時間等參數)所獲取的，出現了較大的白平衡與亮度差異。

數據集2為航天影像數據，由于航天影像相對于航空影像在時間分辨率方面具有很大的劣勢，重疊影像之間存在較大的時間差異，再加地物的輻射變化影響，使得同名點色差明顯，以測試本文算法的有效性。測試數據集中包含同名點個數為67 730個，同名點信息是從空三工程數據中直接提取出來的。如圖2所示，由于航天影像自帶有理多項式函數模型(rational polynomial coefficient，RPC)參數，可以直接使用地理信息平臺軟件(geographic information system， GIS)軟件打開，展示其初始方位的同時，也凸顯出不同同名輻射區域導致的鮮明拼接線問題，使得整體色彩、亮度過渡不平滑。

圖1 航空數據集1Fig.1 Airborne dataset 1

圖2 航天數據集2Fig.2 Space dataset 2

本文提出的勻光勻色算法具有局部的各向異性的特點，且具有整體光滑特性，為了充分說明此特點，分別從勻光勻色前后的同名特征點灰度差異性和整體差異性兩個方面對比。選取直方圖匹配方法作為對比算法，由于其在環境適應能力和效果上都高于基于一般線性拉伸的算法，且是最經典的統計量處理方法之一。

數據集1效果對比如圖3和圖4所示。由圖3和圖4可見使用直方圖匹配的方法會使得局部色彩出現嚴重的失真，如圖3中草地(如影像2、影像5、影像8中同名區域所示)、樓頂(如影像1、影像2左上角同名區域所示)、地面(如影像3、影像6、影像9中廣場地面同名區域所示)出現了嚴重的色偏，這是由于基于統計量的勻光勻色方法都忽略了局部特征的約束，強行進行匹配拉伸導致的，體現了統計量的位置不確定性，無法做局部精細化勻色處理。反觀本文提出的算法在草地、樓頂、地面等位置未出現色彩失真情況，無論是色彩飽和度、整體色彩平滑性都保留了原始真實理想場景影像的色調，同時又削弱了色差的影響，如圖4所示。

圖5和圖6為影像集合的拼接效果圖，使用拼接影像可以最大程度地反映出不同影像間的色差，且拼接過程不改變色差變化。使用直方圖匹配方法處理之后的影像，進行拼接成的整體影像表現出色彩過渡差，殘留色差大，圖5(b)為局部放大圖，其中紅色框內的為對比同名對象區域，其是色差處理之后的不同影像拼接而成的，與其中圖5(c)處理之后的另外一張同名影像對比，明顯發現是使用直方圖匹配方法生成的色差勻色效果差，具體表現在同名對象區域車輛顏色、草地等顏色反差明顯，出現色彩嚴重偏差(同名區域使用紅色框框出)。而使用本文提出的方法，處理的效果如圖6所示，同名對象區域內明顯不存在色差，不同重疊影像間色差處理之后色澤相似，這也是本文利用同名特征點進行局部約束特殊功能。為了從定量上分析本文算法的優越性，通過統計勻光勻色后的色彩差殘留異大小標準差來衡量。原始影像在同名點處的色差標準差σ=36.502，使用直方圖匹配方法的色差標準差σ=19.081，本文方法對應的色差標準差為σ= 16.663。圖7為兩種方法同名點殘余色差統計圖，只統計色差殘余值大于0的同名點，可見本文方法明顯降低了大色差所產生的概率。

圖3 數據集1直方圖匹配法效果Fig.3 Effect of Histogram matching method in dataset 1

圖4 數據集1本文方法效果Fig.4 Effect of the proposed method in dataset 1

圖5 數據集1直方圖匹配法整體效果Fig.5 Overall effect of histogram matching method in dataset 1

圖6 數據集1本文方法整體效果Fig.6 Overall effect of the proposed method in dataset 1

圖7 數據集1同名點殘余色差統計Fig.7 Residual chromatic aberration statistics of homonymous point of dataset 1

圖8為數據集2的整體效果圖，從圖8可見兩種對比算法都可以使得影像間的整體色調一致，然而最大差異在于局部拼接線附近，使用直方圖匹配方法存在明顯的拼接痕跡，反映在數值方面，原始影像在特征同名點處的色差標準差σ= 32.443，使用直方圖匹配方法的色差標準差σ= 78.082，本文方法對應的色差標準差為σ= 5.872 91。圖8為兩種方法同名點色差統計，只統計色差殘余值大于0的同名點，本文方法使得色差集中到低色差范圍，這也是使用最小二乘優化方法的特性，得益于本文構建的勻光勻色能量函數。而對比方法直方圖匹配算法，則其無法顧及局部驟變的情況，因此在圖9高色差范圍內有凸起，故色差勻色勻光處理不佳。

圖8 數據集2直方圖匹配法整體效果Fig.8 Overall effect of histogram matching method in dataset 2

圖9 數據集2同名點殘余色差統計Fig.9 Residual chromatic aberration statistics of homonymous point of dataset 2

5 結論

提出了虛擬場景輻射參考的概念，通過特征同名點多余觀測值構建能量函數，使色彩改正拉伸不再依靠統計量完成，彌補了輻射改正的觀測值模糊的特性，實現輻射改正理論的完備性，并顧及平滑約束的正則表達，以此達到各向異性的勻光勻色的效果。通過實驗數據的對比，從定量和定性兩個方法衡量本文算法的優越性，提出了以同名特征點為驅動的各向異性勻光勻色算法，既能保留局部特征色調又能具有良好的整體色彩平滑性。為勻色勻光算法提供一條新的理論嘗試，為相關研究探索新的思路，具有參考意義。