一種多尺度幾何細節抽取的陰影處理算法

王博， 張永軍， 陳奇

(武漢大學遙感信息工程學院，武漢 430079)

0 引言

隨著信息技術的迅猛發展，遙感技術已廣泛應用于資源調查、城市規劃、環境監測以及防災減災等各個領域，對遙感影像質量也提出了越來越高的要求。然而，傳感器分辨率的大幅度提高，遙感圖像上的云影、建筑物陰影以及自然地貌陰影對影像質量的影響問題也變得更加突出，增加了影像匹配、信息提取、模式識別及正射影像制作等一系列生產工藝的難度。

對陰影區域的處理，學者們做了大量的研究。Funka-Lea等[1]從產生原因上對陰影進行了深入分析； Huang等[2]從光照模型出發，提出了從影像色調分量上的閾值分割思路，為陰影的有效檢測提供了可借鑒的構想； Tsai[3]從影像的色調和亮度信息出發，提出了在HIS，HSV和YCbCr等不變色彩空間進行陰影檢測的方法。此外，小波變換[4]和Retinex模型[5-7]等相繼被引入陰影區域增強的研究中，均取得了一些突破性進展。

然而，隨著影像分辨率的提高，如何在高分辨率航空遙感圖像上準確且自動檢測出陰影區域，并在保證影像不出現較大失真的情況下補償陰影區域，已成為攝影測量與遙感的一個瓶頸問題[8-10]。本文在HIS彩色空間內篩選出3個通道的判斷閾值，進行陰影像元的檢測，能夠有效抑制誤判； 利用尺度空間下的高斯濾波器組提取陰影區域的幾何細節，可以在陰影區域進行陰影補償的同時，增強影像的幾何紋理細節，提高影像處理的保真度。實驗證明，該方法能夠在保留陰影區域紋理特征的前提下，得到合理的陰影補償效果，保證影像后續處理的準確度和可靠性。

1 陰影區域的影像特征

遙感影像的亮度或色彩，都是光照函數和地物反射函數的復合函數，在影像處理中需要考慮遙感信號傳輸過程中的畸變誤差。經典的影像處理模型可以表達為

f(x,y)=g(x,y)+n(x,y)g(x,y)

,

(1)

式中：g(x,y)為物體真實表達函數;n(x,y)為噪聲函數;f(x,y)為物體像方表達函數。

對于陰影區域來說，曝光不足會使該區域影像的信噪比降低，與非陰影區域的反差加大，但整體上仍能保持與非陰影區域的紋理連貫性。同時，在某些特定的色彩空間，影像的一些分量并不會因為被陰影覆蓋而受到明顯的影響，即保持了一種對陰影的不變性。分析phong光照模型[11]，得出陰影區域在彩色空間上具有亮度值較低、飽和度較高及色調頗為一致等特征。除此之外，大量的實踐表明： 陰影區域的形狀往往不規則，受到光照方向和環境復雜度的限制； 陰影區域的邊緣較為模糊，很難精確描述邊緣； 陰影區域與水體具有相似的影像特征，不易分辨。這些特征的研究對于陰影檢測和補償是十分有利的。從式(1)可以看出，陰影區域的補償可以通過抑制n(x,y)的方法實現。而對于曝光過后的圖像處理，理論上是一個不可逆的過程，往往很難將丟失的信息補償回來。因此，需要通過抑制噪聲，提高信噪比的途徑，增強陰影區域的信息。

2 陰影區域的檢測與補償

大量的研究表明，陰影區域在HIS彩色空間是可分類的。例如唐亮等[12]提出的基于光學色彩不變量理論的檢測技術； 楊俊等[13]提出的基于歸一化雙閾值的檢測手段； 虢建宏等[14]在多波段遙感影像中的陰影檢測與去除研究，都取得了較好的檢測效果。然而，隨著影像分辨率的提高，雙閾值法在檢測中容易出現漏檢的情況，并在紋理的幾何細節處理上不具有魯棒性。對高分辨率的航空遙感影像來說，陰影處理應該在最大限度保留地物幾何細節的同時，盡可能地考慮更為魯棒的檢測方法。

在HIS彩色空間，影像的3個分量，即H(色度)、I(明度)和S(飽和度)分量相對獨立。其中，H分量在光學系統中是一種光學彩色不變量，它不隨諸如視角、物體表面法向及光照條件的變化而變化，因此在彩色物體識別、彩色圖像檢索及彩色圖像恢復等領域起著重要作用； I分量集中了幾乎所有的幾何細節，對于地物紋理的幾何細節處理十分便利； S分量從一定程度上反映了像方對光照的響應，可區別出顏色較暗的屋頂與陰影區域。本文通過研究H，I和S分量，利用3個通道的聯合閾值測度進行陰影區域與非陰影區域的分割，在一定程度上避免了單一閾值或雙閾值對復雜地物環境誤判的可能性，提高了檢測的有效性； 同時，利用高斯函數進行多尺度的幾何細節抽取，最大程度地保留陰影區域的地物紋理信息，提高陰影區域處理的保真度。

陰影區域是一個閉合的圖像塊，可將其看成一個幾何模型，其所包含的信息就可以看成是這個幾何模型所對應的幾何細節。因此，對于陰影區域的信息補償問題，就可轉化為幾何細節增強的問題。本文基于高斯濾波構建多尺度保特征平滑算子，并由此逐步抽取陰影區域的幾何細節，通過加權方式對陰影區域進行增強。

高斯濾波的用途是信號的平滑處理，并能保證接近真實的信號響應，其函數模型為

(2)

式中: (i,j)表示像素的位置;σ來控制尺度大小。對二維離散圖像來說，對σ的調整也就是對卷積模板大小的調整。

在陰影區域這個幾何模型中，設想其幾何細節屬于一種“噪聲”。首先建立不同尺度的高斯函數對原始影像進行迭代處理，得到比較光滑的基礎影像，理論上可以保證基礎影像上基本的信息輪廓； 然后根據一個序列的“噪聲”集，分析增強的加權系數，得到陰影區域增強的方案； 最后按照所得到的增強方案，在進行陰影區域灰度補償的同時，加入幾何細節的恢復增強，從而保證陰影區域補償的結果在灰度和幾何細節上較為一致。

3 算法流程

1)彩色空間變換。根據式(3)將RGB模式變換為HIS模式，即

(3)

(4)

(5)

2)提取各彩色空間下的分量圖，進行相應測度閾值的估算。這里可以采用Otsu二值圖像分割的自動閾值檢測方法估算，也可以采用直方圖單峰法來估算。

3)根據閾值將原始影像二值化，并進行數學形態學處理。以閉運算填充陰影區域內的細小空洞； 以開運算去除非陰影區域內的細小陰影區域。

4)針對陰影區域的I分量亮度圖進行幾何細節抽取。主要利用保特征平滑算子——高斯濾波器組進行圖像處理。選擇模板大小為3×3，5×5，7×7，9×9及11×11的高斯濾波器組，分別對原始影像做高斯平滑處理，提取未被高斯濾波器通過的高頻信息，即通常情況下認為的“影像噪聲”和“影像邊緣”。此時，提取的信息是一組在尺度上有聯系的噪聲像素值，通過與原始影像的差值可以確定這些像素值是否為影像的幾何細節。

5)分析序列影像，配置增強方案。以11×11模板處理后的影像為基準影像，每一尺度模板(選用5種不同模板大小的高斯濾波器決定了尺度模板共有5個)下生成幾何細節，即多尺度高斯濾波算子運算得到的“噪聲與邊緣”點集，若點集中有成面狀分布且有擴散趨勢的細節，則將其權設為大權值，其余為小權值。

6)按照加權方案，將“噪聲”點集疊加到原始影像的灰度圖上，得到新的灰度補償影像，可直接應用于針對灰度進行處理的攝影測量作業流程中。而對于針對RGB彩色空間的色彩信息恢復，實驗中并未設計RGB各個通道的不同補償方式和融合處理方法，因此本文不做分析。

4 實驗結果評價及分析

4.1 陰影檢測結果分析

本實驗采用高分辨率航空遙感影像(圖1(左)，圖2(左))，影像的地面分辨率達0.1 m。陰影檢測的閾值是由Oust算法在3個通道的二值化估算閾值，其中H分量的閾值為45，I分量的為140，S分量的為15，同時滿足上述3個通道閾值的像素記為陰影篩選集。陰影檢測結果如圖1(右)和圖2(右)。

圖1 原始影像一(左)及其陰影檢測結果(右，白色區域為陰影)

圖2 原始影像二(左)及其檢測結果(右，白色區域為陰影)

從圖1，2的檢測結果可以看出，陰影區域的位置基本符合真實情況。但仍然存在2個問題： ①在邊緣區域有部分不能完全吻合，這是由于陰影區像元本身的分辨率造成的。理論上來說，陰影區像元的點擴散性使得其邊緣存在不確定性，給準確檢測帶來困難； ②有些陰影沒有被檢測出來。例如，圖2(左)中某些處于陰影區域的停車線未被檢測出，這是由于影像本身的灰度分辨率太高，還難以提出一個普適的閾值組合，使其可以檢測出所有類型的陰影。對直接檢測結果進行“膨脹”和“腐蝕”處理后，可以填補陰影區域內的漏檢像素，進一步明確檢測區域的邊緣。

應用3通道閾值聯合的方法可以有效抑制錯分情況，其中H分量確保陰影區域的特征不變性，這一點對真彩色影像可能不明顯，但是對假彩色影像就較為明顯； I分量是核心指標，用來確定大部分陰影類型； S分量用于區分實際照射目標和被遮擋目標，若實際照射目標的I分量灰度值較低，則其S分量通常較低，但是陰影區域剛好相反，如圖3所示。圖中屋頂在H分量和I分量上無法與陰影區分，但在S分量上的特征就比較明顯，屋頂的飽和度較低，而陰影的飽和度較高。這一點也可以用于區分水體與陰影。

圖3 原始影像三(左)及其S分量(右，白色區域為陰影)

4.2 陰影補償結果分析

陰影補償的關鍵在于幾何細節的加權方案及背景色彩的填充。在基準影像(11×11窗口的高斯濾波結果影像)的約束下，一方面按照周圍像素來確定陰影區域的背景色彩； 另一方面根據各尺度下的幾何細節集進行加權融合，補償陰影區域的紋理特征。在融合過程中，面狀細節權值最大，線狀細節權值次之，點狀細節權值最小，同時需要判斷點集的序列擴張。

圖4與圖5為原始影像一和原始影像二在5組高斯濾波器下的幾何細節抽取結果。可以看出，影像上陰影區域的紋理特點能夠直觀地反映在各層高斯濾波器下，在進行補償時，需要針對這些幾何細節部分給予增強，才能保證陰影部分灰度補償后，幾何細節能夠同比補償，使得影像處理更符合視覺特性。

需要說明的是，5組高斯濾波器的處理結果并不是機械地疊加過程。從圖4的第4幅和第5幅圖可以看出，陰影部分已經沒有幾何細節了，因此在加權中，可以設定小權值； 而第1幅和第2幅圖的幾何細節較多，在加權中，應設定大權值。同理，圖5的第5幅圖的加權應為小權值，第1幅和第2幅圖的加權應為大權值。

圖4 原始影像一的5層幾何細節抽取結果

圖5 原始影像二的5層幾何細節抽取結果

圖6(左)與圖7(左)分別為2幅原始影像的灰度圖； 圖6(右)與圖7(右)分別為它們的補償結果。

圖6原始影像一的灰度圖(左)及其灰度補償結果(右)

Fig.6Grayfigureofimageone(left)anditsgraycompensationresult(right)

圖7 原始影像二的灰度圖(左)及其灰度補償結果(右)

可以看出，補償后的影像基本滿足了非陰影區域與陰影區域的連貫性，縮小了陰影區域對攝影測量與遙感處理的干擾，降低了陰影區域的噪聲。

然而不足的是，陰影區域與非陰影區域之間仍然存在一條較為明顯的過渡區域，補償后的陰影區域內出現一些噪聲。從圖7(右)可以看到，非陰影區域也有被補償的。產生這些問題的原因主要可以概括為以下2點： ①陰影檢測過程中無法精確定位陰影，導致陰影邊緣的處理無法做到平滑過渡； ②陰影與某些地物具有極其相似的影像特征，實踐中很難將其嚴格區分開。這些問題說明陰影區域的處理仍然需要部分人工干預，目前還無法做到全自動化處理。

5 結論

從實驗中可以看出，陰影區域與局部特定地物(如水體、冰雪及產生鏡面效應的地物)覆蓋區具有相類似的影像特征。本文在HIS空間的陰影特征分析中指出，這類影像特征在波段數較少的彩色空間中無法做到有效區分陰影區與局部特定物覆蓋區。與此同時，陰影區域的色彩恢復并不能簡單地進行波段疊加，需要分析RGB空間下的補償方案，本文并未就此問題進行展開。

實驗結果證明，本文算法雖然還無法將陰影與其近似影像特征的水體完全區分開來，對陰影的邊緣定位也不十分準確，但對于絕大多數的陰影區域都能夠有效檢測并加以補償，能夠針對大部分的陰影區域進行有效處理。在HIS空間中進行3通道閾值的陰影檢測，可以有效提高陰影檢測的準確率； 同時，在陰影補償的過程中，引入多尺度高斯濾波器，較好地保留了陰影區域的幾何細節。在輔助人工處理的基礎上，本文算法可以應用到高分辨率航空影像的處理過程中，完成正射影像圖和高質量影像地圖的自動化成圖。算法的后續研究可就彩色信息恢復與陰影邊緣處理展開。

參考文獻(References)：

[1] Funka-Lea G,Bajscy R.Combining colour and geometry for the active,visual recognition of shadows[C]//IEEE International Conference on Computer Vision.Boston,MA,1995:203-209.

[2] Huang J J,Xie W X,Tang L.Detection of and compensation for shadows in colored urban aerial images[C]//The 5th World Congress on Intelligent Control and Automation.Hangzhou，2004:3098-3105.

[3] Tsai V J D.A comparative study on shadow compensation of color aerial images in invariant color models[J].IEEE Trans on Geoscience and Remote Sensing,2006,44(6):1661-1667.

[4] 陶純堪,陶純匡.光學信息論[M].北京:科學出版社,2004:24.

Tao C K,Tao C K.Optical Information Theory[M].Beijing:Science Press,2004:24.

[5] Jobson D J,Rahman Z,Woodell G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.

[6] Edwin H L.The retinex theory of color vision[J].Scientific American,1977,237(6):108-128.

[7] McCann J J.Capturing a black cat in shade:The past and present of retinex color appearance models[C]//Proc.SPIE 4662,Human Vision and Electronic Imaging VII.SPIE,2002:33l-340.

[8] 王軍利,王樹根.一種基于RGB彩色空間的影像陰影檢測方法[J].信息技術,2002,26(12):7-8.

Wang J L,Wang S G.A shadow detection method of color image based on RGB color space[J].Information Technology,2002,26(12):7-8.

[9] Polodorio A M,Flores F C,Imai N N,et al.Automatic shadow segmentation in aerial color images[C]//Proceedings of the XVI Brazilian Symposium on Computer Graphics and Image Processing.Sao Carlos,Brazil:IEEE,2003:270-277.

[10]王樹根,郭澤金,李德仁.彩色航空影像上陰影區域信息補償的方法[J].武漢大學學報:信息科學版,2003,28(5):514-516.

Wang S G,Guo Z J,Li D R.Shadow compensation of color aerial images[J].Geomatics and Information Science of Wuhan University,2003,28(5):514-516.

[11]Xia H Y,Guo P.A shadow detection of remote sensing images based on statistical texture features[J].Journal of Remote Sensing,2011,15(4):778-791.

[12]唐亮,謝維信,黃建軍.城市彩色航空影像中的陰影檢測[J].中國體視覺與圖像分析,2003,8(3):129-134.

Tang L,Xie W X,Huang J J.Detection of shadow in urban color aerial images[J].Chinese Journal of Stereology and Image Analysis,2003,8(3):129-134.

[13]楊俊,趙忠明,楊健.一種高分辨率遙感影像陰影去除方法[J].武漢大學學報:信息科學版,2008,33(1):17-20.

Yang J,Zhao Z M,Yang J.A shadow removal method for high resolution remote sensing image[J].Geomatics and Information Science of Wuhan University,2008,33(1):17-20.

[14]虢建宏,田慶久,吳昀昭.遙感影像陰影多波段檢測與去除理論模型研究[J].遙感學報,2006,10(2):151-159.

Guo J H,Tian Q J,Wu J Z.Study on multispectral detecting shadow areas and a theoretical model of removing shadows from remote sensing images[J].Journal of Remote Sensing,2006,10(2):151-159.