云動對多CCD遙感影像拼接精度的影響分析

徐振堯，劉保成，程家勝

(中國天繪衛星中心，北京 102102)

1 引 言

天繪一號衛星是我國第一顆傳輸性立體測繪衛星，其搭載的全色相機有8片TDICCD。在后期的處理中，需要將拍攝的8個條帶影像進行拼接，可以獲得大寬幅的影像。研究可靠、高效的影像拼接算法，對于提高天繪影像的質量和推動天繪影像的應用，具有重要意義。

本文在原始影像進行幾何粗校正的基礎上，重點基于SIFT算法[1]進行了大量的拼接實驗，發現在拼接區域，云層的運動會造成影像拼接錯位。在簡單介紹了SIFT算法的基礎上，重點分析了云動對拼接的影響，提出了有效消除云動影響的方法。結果表明，該方法可以有效消除云動對影像拼接精度的影響，達到預期目的。

2 SIFT算法基本思想

2.1 SIFT特征提取

SIFT特征匹配方法[2]，是由Lowe在總結現有的基于變量技術的特征提取方法基礎上提出的一種基于尺度空間局部特征描述算子，即尺度不變特征算子[3]。

利用SIFT特征算子提取影像特征，主要分為4步：

①尺度空間極值檢測。利用高斯核對圖像進行尺度變換，獲得圖像多尺度空間表示序列，高斯核定義如下：

(1)

對一幅影像I(x,y)其尺度空間可表示為L(x,y,σ)=G(x,y,σ)×I(x,y)，將圖像與不同尺度高斯核進行卷積運算建立高斯金字塔，然后在DOG(Difference of Gaussian)金字塔里面進行極值檢測，粗略確定特征點的位置和所在的尺度，通過擬合三維二次函數精確標定特征點的位置和尺度，同時剔除低對比度的特征點和不穩定的邊緣響應點，增強匹配的穩定性，提高了抗干擾能力[4]。

②計算SIFT特征點的主方向。利用特征點鄰域像素的梯度方向分布特征為每個特征點指定主方向，從而使得SIFT特征具有旋轉不變性[5-6]。

(2)

(3)

其中，m(x,y)和θ(x,y)分別為像點(x,y)的梯度值和方向。

③計算SIFT特征點的主方向。以特征點為中心選取8×8像素的鄰域窗口，計算窗口內每個像素8個方向的梯度值和方向，形成特征描述。

④利用KD樹搜索算法在輸入兩幅圖像中搜索匹配的特征點對。

2.2 剔除誤匹配點

由于影像中的噪聲等因素干擾，通過SIFT所提取的特征點對并不都正確。對于錯誤的特征點在求解幾何變換參數時影響很大，所以需要采取一定的措施剔除那些無效的干擾點對，即所謂的外點。本文采用RANSAC[4]方法來剔除無效點，主要流程如下：

①重復N次隨機采樣，每個樣本包含4對匹配點，選點條件是：任意3點不能共線，否則就重新選取，為保證采樣的4對匹配點都是內點的概率足夠高，需要確定采樣次數N，通常設定匹配點是內點的概率P大于95%，則采樣次數N需要滿足：

N=log(1-p)/log(1-p4)

(4)

②根據選取的4對匹配點計算單應性矩陣M。

③計算匹配特征點的歐氏距離，如果小于D，則認為是內點；否則為外點[7]。距離公式為：

D=D(Xa,MXb)2

(5)

其中，Xa,Xb為一對候選匹配的特征點。

④通過上述過程剔除外點后，選取內點集中的所后匹配點，用最小二乘法重新計算圖像間單應性矩陣。

3 云動影響分析

天繪一號衛星2m分辨率全色相機焦面共8片TDICCD，采用視場中心線兩側分上下兩行交錯排列，相鄰兩TDICCD搭接96個像元，兩行CCD間距為2114個像元。其幾何關系如圖1所示。

圖1 8片TDICCD安裝示意圖

在衛星進行攝影期間，進行了偏流角控制，保證了相鄰兩片TDICCD間的搭接像元數量，便于影像拼接處理。

云的移動速度取決云所在高度的氣流速度，而海拔高度、地理位置、季節、時間等因素都會對氣流速度產生影響[8]。無風時云速為零，但是云總在高空，氣流速度一般不可能為零。高積云在高空3～5km，云速20m/s～30m/s左右，即使雨天云層高度低，大約幾百米，云速超過10m/s。所以云速一般10m/s～30m/s左右，最大云速可以達到49m/s。

上下兩排CCD間距為2114個像元，像元地面分辨率為1.999m，相機的行周期為0.2652ms～0.3051ms。通過計算得到，當云速最大時，同一塊云在上下兩排CCD上所成像的位置差異為：2114×0.0003051(s)×49(m/s)÷1.999=15.81≈16(個)像素點。對于一般的云速，同一塊云在上下兩排CCD上所成像的位置差異也達到3.23～9.68(個)像素點。可見，假設在相鄰兩片CCD進行拼接時，在重疊區域中有云層存在，并且在云上或云的周圍找到特征點時，那么通過這些特征點得到的拼接參數可能會對拼接精度產生較大影響。

從SIFT算法介紹可以看出，該算法主要是依據影像灰度的梯度變化尋找特征點，云層與地物交界處一般灰度變化比較大，梯度值也比較大，故在云層與地物的交界處一般能找到匹配特征點。如圖2所示，在云的周圍找到了大量匹配點。

從圖2可以看出，基于SIFT算法找到的匹配點是準確的。為了驗證云動對拼接參數的影響，對圖2中的匹配點位置參數進行了定量分析。為敘述方便，本文把衛星飛行方向定為Y軸，飛行的垂直方向定為X軸。在圖3中，橫坐標表示匹配點的序號，縱坐標表示通過SIFT算法找到的一對匹配點間Y軸方向的位置差。可以看出，此時找到的匹配點Y軸方向的位置差有較大波動，分布范圍很廣。主要原因是云周圍的匹配點隨著云的移動而發生移動，導致了匹配點的位置差發生了很大波動。這些位置差較大的匹配點可能造成計算的拼接參數有誤。

圖2 云區匹配點分布圖

圖3 云匹配點位置參數差

4 消除云動影響算法設計

在大量的實驗中發現，如果在相鄰條帶的重疊區中存在云層的情況下，即使基于SIFT算法得出的匹配點個數足夠多，最后得出的影像拼接結果仍然可能有誤。所以影像拼接前，對待拼接影像的重疊區必須先剔除已提取的有云匹配點，避免有云匹配點對正常拼接結果的影響。本文的拼接算法實現流程如圖4所示。

相鄰兩片待拼接影像理論的重疊區域寬度為96個像素，所以在左右相鄰兩片待拼接影像上各取110個像素，完全包含了重疊區。重疊區影像提取主要是為了快速計算拼接參數，節省對整條帶影像的讀取時間，提高效率。

待拼接影像長為35000個像素，把重疊區影像平均分為60段，每段長度為512個像素，每段分別利用SIFT算法獨立計算拼接參數。未將整個條帶當作一個整體進行拼接參數的計算，主要是考慮到衛星在成像過程中，由于偏流角、衛星抖動等方面的影響，相鄰兩個條帶間相對位置會發生變化。從這個角度說，分區越小越好，但考慮到系統效率和SIFT算法本身的特點，本文兼顧各方面情況，折衷選擇512個像素的長度作為一個分區。

圖4 算法流程圖

在每個分區中利用云的灰度值信息，對云層進行識別。如果識別出該分區存在云，則計算出的拼接參數將被舍去。采用上述基于灰度信息識別云的方法會存在兩個問題：①由于冰雪與云的灰度值信息相似，冰雪覆蓋區很可能被誤判為云覆蓋區，該區得到的匹配點將會被舍去；②薄云的灰度信息和地物區分度不明顯，薄云很難被識別，其周圍的匹配點會參與拼接參數的計算，導致結果有誤。

針對上述存在的兩個問題，本文采用下述方法解決。針對問題①：首先對分區影像進行灰度值統計，獲得灰度值的分布情況。冰雪覆蓋區的灰度值整體較高且方差較小，利用該特點進行冰雪覆蓋區的識別。針對問題②：本文通過對匹配點Y方向拼接位置參數的分析得到，薄云周圍得到的匹配點與非云區域得到的匹配點Y方向拼接位置參數相比，跳動比較大，認為這些點存在異常，不參與拼接參數計算，這樣就消除了薄云帶來的影響。

消除云層對拼接參數的影響后，整理SIFT算法最終可用的特征點個數，如果特征點個數大于一定的閥值，則利用SIFT算法計算得出的拼接參數進行拼接；若SIFT最終的可用特征點個數小于閥值，則采用默認的拼接參數進行拼接。默認拼接參數根據星上相機的物理安裝結構得到，本文中天繪一號衛星相鄰兩片CCD的間距為2114個像素，所以流程圖中的默認拼接參數即為2114像素。

5 實例分析

實驗分為兩部分：云動對影像拼接效果分析和消除云動影像的算法效果實驗，第1部分實驗是對存在云的區域進行物理去云后再進行拼接[9]，該實驗主要是進一步證實云動對天繪一號衛星全色影像拼接的影響；第2部分實驗主要是檢驗本文提出的消除云動影響算法效果。

5.1 云動對影像拼接效果分析實驗

在未考慮云動影響時，拼接后的影像第一條帶與第二條帶的第10個分區局部存在拼接錯位現象，如圖5所示。為方便分析，實驗中輸出了最終的拼接參數結果，從圖6可以看出，在第10個分區中，拼接參數為-2105個像素，其他分區的拼接參數都在-2110附近，可見第10個分區的拼接參數存在較大的跳變。

圖5 云區影像拼接圖

圖6 云區拼接參數輸出結果

本文截取了第10個分區左右相鄰兩片影像的重疊區域，從圖7中可以看出，該分區的重疊區域內存在云層。圖8對該區域范圍內存在的云進行了物理剔除處理。

對云層區域進行剔除處理后得到的拼接參數如圖9所示。可以看出，第10個分區的拼接參數為-2111，與其他分區計算得到的拼接參數具有一致性，無跳變現象。

剔除云后第10個分區的拼接結果，如圖10所示。可以看出，在同一個區域，錯位現象已經消除。可見，云動的存在確實對天繪一號衛星全色影像的拼接產生很大影響。

圖7 重疊區云覆蓋

圖8 去除重疊區云層

圖9 去云后拼接參數輸出結果

圖10 去云后影像拼接圖

5.2 消除云動影響的算法效果實驗

為檢驗本文提出的消除云動影響算法的效果，主要對圖2中的薄云區域進行實驗。從圖11與圖2 的對比可以看出，經過消除云動影響處理后，在云周圍的匹配點數量大大減少。

圖11 消除云動后匹配點分布圖

圖12 消除云動后匹配點位置參數差

圖12表示經過處理后，匹配點Y方向拼接位置參數的分布情況。

對比圖12與圖3可以得出，經過處理后得到的匹配點Y方向拼接位置參數比較平均，分布比較集中，有效去除了跳動較大的點。

圖13 去云前后拼接影像對比圖

從圖13可以看出，左圖是未考慮云動影響的拼接影像，可見在路的中部存在明顯的錯位，右圖是消除云動影響后的拼接影像，可見該算法能有效消除云動的影響，路的中部錯位現象已經消除。

5.3 算法性能分析

從5.1和5.2的對比試驗分析可以看出，改進后的SIFT算法有效的消除了云動對拼接精度的影響。但算法效率也是一個實用算法需要考慮的重要方面，為此本文針對算法效率進行了大量測試。

在測試中，待拼接影像為8個條帶，每個條帶為4096個像素，每個條帶高為35000個像素；采用單臺曙光服務器，配置為：2*Intel E 5530(2.4GHz)，四核；6*2GB DDR3 1333 ECC；4*146GB，3.5寸SAS。針對不同地形進行了大量測試，測試結果為：不同地形拼接所用的時間有一定的差異，平均每景影像大約耗費3min～4min。

現在的流水線生產模式中，都采取大規模、集群化、并行化等集群技術，所以實際生產中，拼接所用的時間遠遠小于單臺服務器所耗費的時間，因此該算法從拼接性能和拼接效率方面來看都具有實際生產意義。

6 結束語

本文針對實際生產中遇到的問題，分析云動對天繪一號衛星全色影像拼接精度造成的影響，并通過實驗得以證實。經過消除云動算法處理后，天繪一號衛星全色影像拼接精度大幅提高，有效提高了影像質量，具有很高的實用價值。

但從實驗的結果來看，經過消除云動影響處理后，有的影像仍然存在錯位現象，說明該算法還存在一定的缺陷，可能還有其他因素導致拼接參數錯誤。下一步的主要工作是進一步對該算法進行優化，更加深入分析對拼接精度產生影響的原因，進一步提高天繪一號衛星全色影像的拼接精度，提高影像質量。

參考文獻：

[1] YANG H，WANG Q.A novel local feature descriptor for image matching[C].IEEE International Conference on Multimedia and Expo，2008：1405-1408.

[2] LINDEBERG T.Scale-Space theory：A basic for analyzing structures at different scales[J].Joumal of Applied Statistics，1994，21(2)：225-270.

[3] 賈世杰，王鵬翔，姜海洋，等.基于SIFT的圖像匹配算法[J].大連交通大學學報，2010，37(4)：17-21.

[4] FISCHLER M A，BOLLES R C.Random sample consensus：a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM，1981，24(6)：381-395.

[5] 曹楠，王萍.基于SIFT特征匹配的圖像無縫拼接算法[J].計算機與應用化學，2011，28(2)：242-244.

[6] LOWE D G.Object recognition from local scale-invariant features[C].The 7th International Conference on Computer Vision，Kerkyra，Corfu，Greece，1999(2)：1150-1157.

[7] 劉立，彭復員，趙坤，等.采用簡化 SIFT 算法實現快速圖像匹配[J].紅外與激光工程，2008，37(1)：181-184.

[8] 鄭玉鳳，李海濤，顧海燕.基于環境衛星CCD影像的薄云去除研究[J].遙感信息，2011，27(3)：77-81.

[9] 朱虹.數字圖像處理基礎[M].北京：科學出版社，2005：31-55.