SAR和光學圖像精配準技術的研究

尤紅建 胡巖峰

(中國科學院電子學研究所 北京 100190)

SAR和光學圖像精配準技術的研究

尤紅建*胡巖峰

(中國科學院電子學研究所 北京 100190)

光學圖像和 SAR圖像的配準是實現多源圖像融合和復合分析的基礎，該文介紹了一種光學圖像和 SAR圖像精配準的方法。首先采用人工的方式選擇 3～4個同名控制點，在此基礎上實現圖像的粗略配準，保證 SAR與光學圖像尺度和旋轉的歸一化；然后在粗配準的光學圖像上提取特征點，并分別采用不同的梯度算子提取 SAR和光學圖像的梯度強度，基于梯度強度進行歸一化互相關，從而得到不同圖像上的同名特征點；最后根據提取的同名特征點構建不規則三角網，并對每個三角網構成的小面元進行圖像的精確配準，最終實現SAR和光學圖像的精配準。通過采用星載圖像的精配準處理和檢驗，證明了該方法的可行性，能獲得較好的配準效果。

SAR圖像；光學圖像；梯度強度；精配準；歸一化互相關(NCC)

1 引言

隨著對地觀測的不斷發展，積累的遙感圖像數據在不斷地增加，而SAR和光學圖像是其中最為典型的兩類圖像，它們各有優勢，而且一些應用中也會常常對SAR和光圖像進行數據組織、圖像融合、比對分析。為了能夠實現這些功能，就需要對SAR和光學圖像進行配準，保證它們在幾何位置上完全一致。SAR和光學圖像的配準技術可以廣泛應用于異源圖像的變化檢測、復合立體、圖像融合等應用場合。但是由于SAR和光學圖像成像機理有著本質的差異，它們之間的配準難度較大。多年來國內外學者對 SAR和光學圖像的配準算法進行了不少研究[1－5]，歸納起來主要包括：(1)基于邊緣提取的方法[1,6]，即提取 SAR 圖像和光學圖像邊緣特征的基礎上按照一定的相似性測度進行匹配。缺點是依賴圖像邊緣的準確提取，如果邊緣提取不夠準確則配準效果就受到影響。(2)基于封閉區域的方法[2,7]，采用各種分割的方法提取封閉區域或子區，在閉合區域邊緣進行匹配，精度和基于邊緣類似，但是必須要求圖像上存在封閉的邊緣，如果沒有封閉的邊緣則很難實現配準。(3)基于圖像互相關的方法[8]，但是由于SAR和光學機理差異大，互相關匹配的方法并不能完全有效。無論是提取圖像的邊緣還是封閉區域，都是根據原始圖像提取邊緣，而邊緣的提取又會受到局部閾值的影響，閾值的不同會得到不同的邊緣，因此基于邊緣的方法十分依賴于邊緣的提取效果。

如果直接提取梯度強度，會減少對閾值的依賴性，同時梯度強度信息有一定的相似性，因此考慮匹配測度上則采用互相關的優勢。為此，本文針對SAR和光學圖像配準問題，研究了一種由粗到精的精配準方法，圖1給出實現的具體過程，首先通過人工選取 3～4個少量的同名控制點進行圖像的粗配準，從而解決SAR和光學圖像之間可能存在的旋轉角度和分辨率差異，使得粗配準的圖像之間只存在局部平移關系；然后在粗配準的圖像上提取典型的特征點，并通過梯度算子提取SAR和光學圖像的梯度強度信息，并基于梯度強度進行歸一化互相關來提取SAR和光學圖像上的同名特征點；最后根據SAR和光學上的同名特征點構建不規則三角網，并對每個三角網小面元進行圖像的精確配準，從而實現SAR圖像和光學圖像的整體精確配準。

圖1 SAR圖像和光學圖像精配準的技術流程Fig. 1 The flowchart of fine registration for SAR and optical image

2 基于Harris算子提取圖像的特征點

圖像的特征點是具有某種特征的“特殊點”，如角點、線性地物的交叉點、比周圍圖像更亮或更暗的點，這些點常常暗示圖像周圍存在某種特殊信息。特征點的檢測本質上是從2維圖像的數據空間來尋找具有極值的點。在計算機視覺領域，有兩類主要的特征點檢測算子：(1)基于導數表達的差分方法；(2)基于亮度場景中的局部極值方法。

最通用的特征點檢測算子是高斯拉普拉斯(LoG)，后來發展了差分高斯方法(DoG)，其本質類似于拉普拉斯，可以被看成是拉普拉斯算子的近似。而基于 Hessian矩陣的特征點檢測是根據尺度選擇Hessian行列式(DoH)的尺度空間極值定義的斑點，在非歐式仿射變換下比更通用的拉普拉斯算子也具有略好的尺度選擇特性(Lindeberg 1998)。DoG 和 DoH考慮尺度特性主要是為了在特征點匹配階段具有尺度不變性。而我們在SAR和光學圖像的粗配準階段已經實現了尺度的統一，不需要再考慮多尺度特性。而Harris角點具有計算簡單、穩定性好的優點，因此我們選用Harris角點檢測算法來檢測光學圖像上的特征點。

Harris角點檢測算法由Harris和Stephens于1988年提出，其基本思想是從局部小窗口中觀測圖像特征，因為角點的定義包含灰度值變化明顯的點，那么窗口的移動會導致灰度值出現明顯的變化。在平坦區域，任意方向的移動，窗口內灰度值無明顯變化；在邊緣附近，沿著邊緣方向移動，窗口內灰度值無明顯變化；當窗口覆蓋角點時，沿任意方向移動，窗口內灰度值都有明顯變化。設圖像強度為I，則移動窗口后圖像的強度變化為：

式中wu,v表示局部窗口函數，Ix+u,y+v為移動的強度，Ix,y為強度。通過求得 min{E}的局部極大值來確定角點。對于局部小的移動量，可以用雙線性來近似表達：

計算M矩陣的兩個主要特征值λ1,λ2，它們與局部自相關函數的曲線成比例。如果λ1,λ2都很小，則窗口位于圖像的平坦區域；如果或者窗口內包含邊緣信息；為此可以定義一個響應函數來確定窗口圖像內的特征：

3 梯度強度圖像的構建

3.1 光學梯度圖像

計算光學圖像的梯度算法也有多種，如Robert梯度、Sobel梯度等等，而提取邊緣較好的 Canny算子先對圖像進行Gauss函數平滑，再用一階微分計算梯度。圖像梯度的定義為：

其幅度為：

梯度的方向為：

對于圖像而言，關鍵問題之一是如何數字化地估計Gx和Gy，常用的Sobel方法，根據當前圖像的9鄰域圖像，分別用兩個3×3的算子計算Gx,Gy方向的微分值：

這兩個矩陣的作用是：將上述定義的Gx,Gy代入振幅計算公式近似計算梯度。圖3為原始的光學圖像，而圖 4是利用Sobel算子計算得到的梯度強度圖，它基本上正確反映了光學圖像上邊緣的強弱變化情況。

3.2 SAR圖像的ROA梯度

由于SAR圖像具有典型的乘性斑點噪聲，常規的梯度算子很難反映圖像的邊緣和輪廓信息。而Touzi提出的基于比值邊緣檢測算法ROA可以較好地克服SAR圖像斑點噪聲，比較準確地反映SAR圖像上的邊緣信息[9]。為此可以采用 ROA來提取SAR圖像的梯度強度。

計算SAR梯度強度是根據圖5所示的4種模板進行的，每個模板被分為3個區域。4個模板對應著4個方向：水平、垂直、左傾、右傾，以感興趣像素為中心，大小為w×w像素的滑動窗口被其分成兩個相鄰且無重疊區域，如圖5所示。某個像素第i對區域邊緣強度定義為：

式中，Pk,Qk分別是當前像素第k對的邊側區域像素的平均灰度值。并計算全部邊緣強度R的最大值，即

圖2 在光學圖像提取的特征點Fig. 2 Characteristic points in optical image

圖3 光學原始圖像Fig. 3 Raw optical image

圖4 基于Sobel提取的光學圖像強度信息Fig. 4 Intensity of gradient in optical image extracted by Sobel operator

并采用4個方向的最大值作為當前像素的梯度強度值。圖6為原始的SAR圖像，而圖7顯示了基于ROA算子得到的SAR圖像梯度強度信息，可以看出ROA算子的梯度強度能比較準確地顯示SAR圖像邊緣的強弱。

4 基于梯度強度的同名點匹配

從數學上講，歸一化相關系數是標準化的協方差函數，協方差函數除以兩個函數的方差即為相關系數，相關系數表示了兩個函數的相似程度，如果相關系數達到 1，則表明這兩個函數完全相同，否則相關系數小于1。

對于離散化的SAR圖像而言，其計算公式為：

其中，T表示模板圖像，I表示待配準圖像；μT表示模板均值，μI表示待配準圖像的均值，使用待配準的圖像片在參考圖像中進行匹配，獲得歸一化相關系數最大的位置就是需要的匹配點。

圖8顯示了利用光學圖像的梯度強度和候選區域內SAR圖像ROA梯度強度歸一化互相關匹配的系數圖，最大的峰值就是正確匹配的同名點位置。

5 基于三角網的自動精配準

兩幅 SAR圖像上提取的大量同名特征點為圖像精配準提供了精確的配準依據，即可以根據這些同名特征點構成一系列的小面元區域實現圖像精確配準，根據不規則分布的特征點采用不規則三角形網(Triangulated Irregular Network, TIN)是構建小面元的一種比較理想的選擇，TIN的優點是能夠對復雜場景進行準確描述。

三角形網格是最基本的一種網格，它可以表達各種復雜的場景。在所有可能的三角網中，狄洛克三角網表現最好，它構建的TIN是唯一的、保證最鄰近的點構成三角形，且每個三角形盡量接近等邊形狀。構建TIN的方法主要有分而治之方法、數據點漸次插入方法和三角網生長方法。

通過特征點構成的連續三角形小面元來覆蓋整幅圖像。每個三角形小面元的3個頂點都是同名特征點，在特征點上兩幅圖像之間的對應關系是已知的，在三角形內部的像元點可以認為符合簡單的仿射變換關系，從而計算出三角形小面元內部各個像元點的對應關系，也就實現了圖像每個像元點精確對應，從而達到精確配準的目的。

圖5 ROA計算原理Fig. 5 Principle of ROA

圖6 SAR原始圖像Fig. 6 Raw SAR image

圖7 基于ROA提取的SAR圖像梯度強度Fig. 7 Intensity of gradient in SAR image extracted by ROA

圖8 基于梯度強度的歸一化互相關系數圖Fig. 8 NCC of intensity of gradient

兩個三角形面元內部采用仿射變換模型來描述轉換關系，即根據三角形的3個頂點建立1次多項式：

其中，(i,j)為參考圖像的坐標，(x,y)為待配準圖像的坐標。

由于 3個頂點坐標之間已經通過同名點構建，因此得到3組點對：T1(i1,j1,x1,y1),T2(i2,j2,x2,y2),T3(i3,j3,x3,y3)，利用這3個點計算該子塊的仿射變換系數。即將這些點帶入仿射變換公式，可以得到式(11)所示的方程，通過解算得到仿射變換的系數(a0,

可由式(11)計算出仿射變換系數：

這樣每個三角形需要按照公式計算一次仿射變換系數，對整幅圖像的三角網中的每個三角形都進行類似處理，就可以完成圖像的配準。

6 實驗和結論

為了驗證方法的可行性，我們采用Cosmo 3 m分辨率的SAR圖像和Ikonos的1 m全色光學圖像進行了配準實驗。首先用Harris提取光學圖像上的特征點，并利用這些特征點構建三角網，圖9顯示了光學圖像提取的局部同名特征點以及構建的TIN。利用光學圖像的特征點為基礎，基于梯度強度的歸一化互相關提取SAR圖像上的同名特征點，圖10就顯示了SAR圖像上提取的同名特征點以及構建的TIN。最后根據這些同名點對的三角網進行逐個三角形的校正就實現了 SAR和光學圖像的精配準，為了檢驗配準的精度，我們分別從配準后的SAR圖像和光學圖像上提取不同對應區域的子塊區域拼合得到一幅新圖像，如圖11所示，由于該圖像是由提取精配準后兩個時相圖像的相鄰子塊構成，因此它的地物自然程度和平滑程度就顯示了兩幅圖像的配準精度，從圖11可以看出，各種地物(河流、道路和田塊)在子塊交叉地區表現十分自然和平滑，表明配準精度是較高的。

為了定量分析SAR和光學圖像的配準精度，采用北京地區的6組星載圖像進行了配準實驗和精度定量分析。SAR圖像主要是3 m分辨率的Cosmo, TerraSAR-X以及RadarSat 2，而光學圖像主要是Ikonos和我國的資源衛星圖像。在配準后的圖像上分別選取一定數量的特征點并量測其圖像坐標，這些點一般都是位于地物的交叉點或地物角點上，根據這些點的坐標差，就可以計算出配準精度。表 1給出了這6組實驗圖像的配準精度，可以看出配準精度都是優于2個像素的。

表1 SAR和光學圖像的配準精度結果Tab. 1 The registration accuracy of SAR and optical image

通過上面的分析和定量實驗結果，可以看出圖像的梯度信息包含了圖像上的邊緣輪廓及其強弱情況，因此利用梯度強度可以有效克服光學圖像和SAR圖像的不同成像機理所導致的圖像差異。而人工選取少量控制點通過粗配準可以實現 SAR和光學圖像的尺度和旋轉關系的歸一化，在此基礎上再采用歸一化互相關就能夠精確地實現 SAR和光學圖像局部平移匹配。

圖9 光學圖像上提取的特征點及其構建的三角網Fig. 9 Characteristic points and constructed TIN in optical image

圖10 SAR圖像上提取的同名特征點及其構建的三角網Fig. 10 Homologous points and constructed TIN in SAR image

圖11 SAR圖像和光學圖像分交錯拼合的圖像Fig. 11 Interlaced image of SAR and optical image

[1] 于秋則, 程輝, 柳健, 等. 基于改進Hausdorf測度和遺傳算法的SAR圖像與光學圖像匹配[J]. 宇航學報, 2006, 27(1): 130-134.

Yu Qiu-ze, Cheng Hui, Liu Jian,et al.. Matching SAR image to optical image using modified Hausdorff distance and genetic algorithms[J].Journal of Astronautics, 2006, 27(1): 130-134.

[2] 張紹明, 陳鷹, 林怡. SAR 圖像與光學圖像多子區魯棒匹配算法[J]. 同濟大學學報, 2009, 37(1): 121-125.

Zhang Shao-ming, Chen Ying, and Lin Yi. Robust algorithm of matching SAR image to optical image using multiple subarea[J].Journal of Tongji University, 2009, 37(1): 121-125.

[3] 張登榮, 俞樂, 蔡志剛. 基于面特征的光學與SAR影像自動匹配方法[J]. 中國礦業大學學報, 2007, 36(6): 844-848.

Zhang Deng-rong, Yu Le, and Cai Zhi-gang. A region feature based automatic matching for optical and SAR images[J].Journal of China University of Mining&Technology, 2007, 36(6): 844-848.

[4] Suri S, Türmer S, Reinartz P,et al.. Registration of high resolution SAR and optical satellite imagery in urban areas[C]. ISPRS Hannover Workshop 2009: High-Resolution Earth Imaging for Geospatial Information, Hannover, Germany, 2009: 413-418.

[5] Dare Paul and Dowman Ian. An improved model for automatic feature-based registration of SAR and SPOT images[J].ISPRS Journal of Photogrammetry&Remote Sensing, 2001, 56(1): 13-28.

[6] Cheng H. Matching of SAR images and optical images based on edge feature extracted via SVM[C]. 7th International Conference on Signal Processing, Beijing, China, 2004: 930-933.

[7] Hong T D and Schowengerdt R A. A robust technique for precise registration of radar and optical satellite images[J].Photogrammetric Engineering&Remote Sensing, 2005, 71(5): 585-593.

[8] Vassilaki D I, Ioannidis C C, and Stamos A A. Registration of unrectified optical and SAR imagery over mountainous areas through automatic free-form features global matching[C]. ISPRS Hannover Workshop 2009: High-Resolution Earth Imaging for Geospatial Information, Hannover, Germany, 2009: 723-727.

[9] Touzi R, Lopes A, and Bousquet P. A statistical and geometrical edge detectors for SAR images[J].IEEE Transactions on Geosciences and Remote Sensing, 1988, 26(6): 764-773.

尤紅建(1969-)，男，籍貫江蘇，中國科學院遙感應用研究所博士學位，中國科學院電子學研究所研究員，博士生導師。主要研究方向為遙感信息處理和應用。

E-mail: hjyou@mail.ie.ac.cn

胡巖峰(1975-)，男，籍貫北京，中國科學院西安光學精密機械研究所博士學位，中國科學院電子學研究所副研究員。主要研究方向為地理空間信息處理和應用。

E-mail: yfhu@mail.ie.ac.cn

Investigation on Fine Registration for SAR and Optical Image

You Hong-jian Hu Yan-feng
(Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China)

The registration of SAR and optical remote sensing image is the basise for fusing of multi-source image and comprehensive analysis. In this paper a new fine registration method for SAR and optical image is proposed. Firstly, three to four corresponding points are selected manually to realize a coarse registration that eliminates the differences in scale and rotation. Many characteristic points in the optical image are detected and the corresponding points in SAR image are extracted using normalized gradient correlations based on the different gradients by operators. An irregular triangle network is constructed using these corresponding points and each triangle region is finely registered. Finally SAR image and optical image are finely registered. Experiment and processed results demonstrate the feasibility of this method.

SAR image; Optical image; Gradient intensity; Fine registration; Normalized Cross Correlation (NCC)

中國分類號：O436

A

2095-283X(2014)01-0078-07

10.3724/SP.J.1300.2014.13154

2013-12-31收到，2014-03-06改回；2014-03-13網絡優先出版國家重大型號工程項目資助課題

*通信作者： 尤紅建 hjyou@mail.ie.ac.cn