L0級機載三線陣影像連接點自動提取

杜守基， 鄒崢嶸， 張云生1,， 張明磊

(1.水能資源利用關(guān)鍵技術(shù)湖南省重點實驗室，長沙 410014；2.中南大學地球科學與信息物理學院,長沙 410083)

L0級機載三線陣影像連接點自動提取

杜守基2， 鄒崢嶸2， 張云生1,2， 張明磊2

(1.水能資源利用關(guān)鍵技術(shù)湖南省重點實驗室，長沙 410014；2.中南大學地球科學與信息物理學院,長沙 410083)

針對L0級機載三線陣影像數(shù)據(jù)量大以及變形大的問題，提出一種基于SIFT和相關(guān)系數(shù)法匹配相結(jié)合的連接點提取方法。首先，建立金字塔影像后，在影像金字塔頂層采用SIFT算法匹配同名點； 然后,基于金字塔匹配傳播以及相關(guān)系數(shù)法實現(xiàn)連接點的傳遞； 最后,通過POS數(shù)據(jù)幾何約束剔除可能的誤差，并進行分布優(yōu)化。3個條帶ADS40影像的試驗結(jié)果表明： 與常規(guī)連接點提取方法相比，該文方法匹配正確率提高6%以上，且連接點分布更均勻，可以滿足自動空三的需求。

三線陣影像； 影像匹配； SIFT特征； 相關(guān)系數(shù)法； 金字塔影像

0 引言

由于傳感器姿態(tài)高頻率變化、飛行平臺抖動以及POS系統(tǒng)本身存在的系統(tǒng)誤差，機載三線陣系統(tǒng)提供的POS數(shù)據(jù)還不能滿足高精度的測圖要求，需要通過自動空三來進一步提高外定向數(shù)據(jù)的精度[1-2]，而高精度、高可靠性的影像連接點是進行自動空三的基礎。三線陣影像是非等傾斜攝影產(chǎn)生的，前視、下視和后視的攝影角度不同，對應的視差和影像紋理不如框幅式影像的一致性好[3]。另外，三線陣影像還存在數(shù)據(jù)量大、影像變形大等問題，給傳統(tǒng)的連接點提取方法帶來了一定的困難。

對于三線陣影像匹配，張永生等[4]提出用于ADS40傳感器的多視覺立體匹配算法模型； 紀松等[5]提出幾何條件約束下的自適應三線陣影像匹配模型，并與范大昭等[6-7]改進了鉛垂線軌跡法多視匹配模型； 張力等[8]提出幾何約束互相關(guān)多視匹配模型，這些方法主要用于生成高精度數(shù)字表面模型，依賴于精確的外方位元素，而機載三線陣系統(tǒng)提供的POS數(shù)據(jù)帶有一定的誤差，需要提取影像連接點進行平差以提高外方位元素的精度。趙斐等[3]采用基于金字塔分層動態(tài)窗口運算的相關(guān)系數(shù)法來自動量測三線陣影像空三加密點，通過實驗證明了該方法的有效性。孟俊俊等[9]提出基于POS數(shù)據(jù)約束的ADS40影像SIFT匹配方法，該方法應用于糾正后的L1級影像，會受到幾何糾正等預處理的影響。

影像數(shù)據(jù)量大和變形大是機載三線陣影像連接點提取需要解決的2個問題。針對影像數(shù)據(jù)量大的特點，本文采用由粗到精的金字塔影像匹配策略，首先在低分辨率影像上進行匹配，然后將匹配結(jié)果作為約束信息向下一層金字塔影像傳遞[10]，直至原始影像。針對機載三線陣影像變形大的問題，雖然經(jīng)過幾何校正后的L1級影像變形減小，有利于匹配，但是將L0級影像糾正成L1級影像需要耗費較多時間，而變形較大的L0級影像又難以使用常規(guī)相關(guān)系數(shù)法進行匹配。綜上考慮，本文提出一種基于SIFT和相關(guān)系數(shù)法匹配相結(jié)合的L0級機載三線陣影像連接點提取方法。

1 連接點自動提取方法

連接點自動提取方法主要包括影像預處理、基于SIFT算法的頂層同名點匹配、連接點金字塔影像匹配傳播和連接點優(yōu)化4個步驟，流程如圖1所示。

圖1 連接點自動提取流程

本文首先生成金字塔影像，并對頂層金字塔影像進行Wallis濾波，以增強和銳化影像的紋理信息； 其次在頂層金字塔影像上提取SIFT特征點并進行匹配，獲取頂層影像上的連接點，然后通過金字塔影像匹配傳播將頂層影像上的連接點傳遞到原始影像； 最后采用幾何約束剔除錯誤匹配點，并進行分布優(yōu)化。

1.1 影像預處理

1.1.1 金字塔影像的生成

由于機載三線陣影像分辨率高、數(shù)據(jù)量大，為了提高影像匹配結(jié)果的可靠性，采用由粗到精的金字塔影像匹配策略，一方面保留影像大的整體結(jié)構(gòu)特征，增大影像的拉入范圍，從而在高層影像上提高匹配的可靠性； 另一方面，在匹配過程中，高一層影像上的匹配結(jié)果可以作為下一層影像的參考，從而使得下一層影像上匹配的搜索范圍變小，以提高匹配的效率。本文采用2×2的平均金字塔方法來生成金字塔影像。

1.1.2 影像增強

機載三線陣影像前視、下視和后視的航攝角度不同，影像之間的顏色和紋理存在一定的差異，因此在頂層影像提取SIFT特征點之前對影像進行Wallis濾波，以增強和銳化影像的紋理信息，增加影像的信噪比，從而提高影像匹配的精度和可靠性[11-13]。

1.2 基于SIFT算法的頂層同名點匹配

根據(jù)SIFT算法原理，特征點表示為

f=(x,s,o,d)[14]，

(1)

式中：x為特征點坐標；s為尺度；o為方向；d為128維描述符。在進行匹配時，采用K-d樹對搜索影像的SIFT特征描述符建立空間索引[15]，之后利用歐氏距離作為相似性度量，找出參考影像與搜索影像中歐式距離最近的前2個特征點，計算最近與次近距離之間的比值，當比值小于某個閾值時，則認為是一對同名點，閾值越小，則匹配的同名點數(shù)量越少，但是匹配正確率越高，為了兼顧匹配點數(shù)量和正確率，本文將閾值設為0.6。

多條帶三線陣頂層金字塔影像連接點匹配過程主要包括條帶內(nèi)匹配和條帶間匹配，如圖2所示。

圖2 條帶影像匹配示意圖

條帶內(nèi)匹配以條帶1為例，下視影像1_N分別與前視影像1_F和后視影像1_B進行匹配，對得到的2個匹配結(jié)果以1_N為基準進行連接串點，即提取出在3張影像上的匹配點，以減少因遮擋等導致的誤匹配問題，提高匹配的可靠性，條帶1中的匹配點包括：p1-p4-p7，p2-p5-p8，p3-p6-p9，稱其為3度重疊點。通過條帶內(nèi)匹配成功的匹配點再進行條帶間匹配，以條帶1和2為例，以條帶1的下視影像1_N為基準，先雙向匹配條帶2的下視影像2_N，匹配成功的點再傳遞給條帶1的1_F和1_B以及條帶2的2_F和2_B。由于機載三線陣影像條帶間重疊度為30%左右，所以條帶間重疊部分的匹配點會出現(xiàn)在6張影像上，即為6度重疊點(如p3-p6-p9-p10-p13-p16)。以此類推便可得到金字塔頂層影像上多條帶上的連接點。

1.3 連接點金字塔影像匹配傳播

將連接點向下傳遞，直至原始影像。連接點傳遞到下一層金字塔影像時，高一層影像上的匹配結(jié)果作為下一層影像上的連接點初始值，因此下一層影像匹配只需要在小范圍內(nèi)搜索。以圖2中的連接點p1-p4-p7為例來說明連接點的傳遞流程(圖3)。

圖3 連接點傳遞流程

由圖3可知，p1-p4-p7為頂層金字塔影像上匹配的連接點。由于在生成金字塔影像時采用了4像元平均法，所以將p1，p4和p7坐標值的2倍作為第2層金字塔影像上連接點坐標的初始值，初始連接點分別記為p1_2，p4_2和p7_2。以p1_2為基準，在點p4_2和p7_2附近尋找點p1_2的最優(yōu)匹配點，分別記為p4_2′和p7_2′，并以該層的最優(yōu)匹配點p1_2-p4_2′-p7_2′為基準，繼續(xù)向下一層金字塔影像傳遞，直至原始影像。

采用相關(guān)系數(shù)法匹配約束連接點的傳遞，搜索鄰域范圍設置為3像元×3像元，相關(guān)系數(shù)窗口大小設置為11像元×11像元，具體計算過程如圖4所示。p1_2，p4_2和p7_2分別與圖3相對應，是由上一層金字塔影像傳遞而來。在該層金字塔影像的

圖4 連接點傳遞過程中的約束匹配

Fig.4 Constraint matching in tie points propagating

下視影像上讀取121個像元(11×11)的灰度值，前視和后視影像上分別讀取169個像元(13×13)的灰度值，以p1_2為基準，在前視后視影像上p4_2和p7_2附近3×3鄰域內(nèi)分別計算9個相關(guān)系數(shù)，以相關(guān)系數(shù)最大且大于給定閾值(由于L0級三線陣影像存在較大幾何變形，為了保證同名點可靠性，本文相關(guān)系數(shù)閾值取經(jīng)驗值0.7)的點為該層金字塔前視后視影像上的最優(yōu)匹配點。

條帶之間的6度連接點傳遞是以條帶1的下視影像1_N(圖2)為基準，約束前視影像1_F、后視影像1_B以及條帶2的下視影像2_N重疊部分連接點的傳遞，然后再以2_N為基準，約束條帶2的前視影像2_F和后視影像2_B連接點的傳遞，其余條帶以此類推。

1.4 連接點優(yōu)化

經(jīng)過以上步驟提取的原始影像上的連接點難免會有錯誤匹配點存在，需要進行粗差剔除。另外，提取的連接點分布不均勻，不利于自動空三工作。

1.4.1 粗差剔除

由于機載三線陣系統(tǒng)的POS數(shù)據(jù)一般具有較高的精度，因此利用幾何條件來進行誤匹配的剔除，如圖5所示。

圖5 幾何約束剔除錯誤匹配點

(2)

1.4.2 分布優(yōu)化

為了便于后續(xù)的平差計算，需要保證影像上有一定數(shù)量連接點的同時，還要盡量讓這些連接點均勻分布于影像。連接點分布優(yōu)化逐條帶進行，首先根據(jù)條帶內(nèi)下視影像上所有連接點的坐標計算外包盒，然后根據(jù)需要的連接點數(shù)，將外包盒自動劃分規(guī)則格網(wǎng)，每個格網(wǎng)內(nèi)只保留距離格網(wǎng)中心最近的點。本文將3度連接點劃分200個格網(wǎng)，6度連接點劃分100個格網(wǎng)。由于劃分的是規(guī)則格網(wǎng)，每個條帶重疊區(qū)域大小可能不同，所以自動劃分的格網(wǎng)數(shù)目可能會稍多于或者少于所設置的格網(wǎng)數(shù)目。

2 結(jié)果與分析

2.1 試驗數(shù)據(jù)

試驗采用3個條帶共9張L0級ADS40影像。3個條帶影像大小分別為12 000像元×79 056像元、12 000像元×80 912像元、12 000像元×88 752像元，前視、下視和后視影像的航攝角分別為27°，0°和14°。試驗中所用計算機處理器為i5(3.20GHz)四核，內(nèi)存為8 GB，程序采用C++實現(xiàn)。

2.2 連接點自動提取結(jié)果

對3個條帶影像自動提取連接點，人工逐點檢查匹配點的正確性，連接點自動提取結(jié)果如表1和表2所示。

表1 3度連接點自動提取結(jié)果

表2 6度連接點自動提取結(jié)果

本文方法提取的連接點分為條帶內(nèi)的3度連接點和條帶間的6度連接點2類。由表1和表2可以看出，本文方法提取的連接點誤匹配數(shù)較少，且連接點總數(shù)可以滿足后續(xù)的平差計算。經(jīng)過POS數(shù)據(jù)幾何約束剔除錯誤匹配點后，結(jié)果中仍然會含有少量錯誤匹配點，主要原因是機載三線陣系統(tǒng)提供的初始POS數(shù)據(jù)精度不足以將全部錯誤匹配點剔除。

條帶1中3度連接點結(jié)果如圖6所示，從上到下依次為前視、下視和后視影像。圖上不同影像上的連接點用不同顏色來顯示，且同名點用彩色線條連接，可以看出，本文方法提取的連接點在影像上分布較為均勻，利于后續(xù)的平差計算。

圖6 條帶1中3度連接點提取結(jié)果

2.3 自動提取結(jié)果比較

為了進行對比分析，本文還利用常規(guī)方法提取影像連接點，同樣采用由粗到精的金字塔影像匹配策略，通過初始視差確定下視影像與前視后視影像間的3度重疊區(qū)域[16]，在頂層金字塔影像上，將重疊區(qū)域均勻劃分200個格網(wǎng)，并在每個格網(wǎng)內(nèi)提取Harris特征點[17]，采用相關(guān)系數(shù)法進行同名點匹配，經(jīng)過逐層金字塔影像匹配直至原始影像，相關(guān)系數(shù)閾值設為0.7。常規(guī)方法連接點提取結(jié)果如表3所示。

表3 常規(guī)方法3度連接點提取結(jié)果

通過人工逐點檢查，分別對3個條帶影像內(nèi)提取的3度連接點進行匹配正確率和格網(wǎng)匹配率評價，其中格網(wǎng)匹配率是指落入匹配點的格網(wǎng)數(shù)目與劃分格網(wǎng)總數(shù)的比值。由于在分布優(yōu)化時，每個格網(wǎng)內(nèi)保留了距格網(wǎng)中心最近的點，該點通常在該格網(wǎng)內(nèi)，但也可能會在附近的另一個格網(wǎng)內(nèi)，使得該格網(wǎng)內(nèi)并沒有落入匹配點，因此存在落入匹配點的格網(wǎng)數(shù)目少于劃分格網(wǎng)總數(shù)的情況。連接點提取結(jié)果對比如表4所示。

表4 連接點提取結(jié)果對比

由表4可知，本文方法明顯優(yōu)于常規(guī)影像連接點提取方法，主要原因是L0級ADS40 影像變形較大，而且非等傾斜攝影產(chǎn)生的影像角度、光照等差別較大，常規(guī)方法難以適用，容易造成錯誤匹配。另外，本文方法的格網(wǎng)匹配率要高于常規(guī)方法，可以看出對于變形較大的L0級ADS40影像，常規(guī)提取方法難以匹配出分布均勻的連接點，不利于后續(xù)的平差計算。

3 結(jié)論

1)針對L0級機載三線陣影像數(shù)據(jù)量大、變形大等問題，本文提出了一種基于SIFT和相關(guān)系數(shù)法匹配相結(jié)合的連接點提取方法，對于可能的錯誤匹配，采用POS數(shù)據(jù)幾何約束來進行剔除。

2)采用ADS40影像進行試驗，并與常規(guī)連接點提取方法進行比較，匹配正確率提高6%以上，且連接點分布更均勻，試驗結(jié)果可以滿足自動空三的需求。

3)由于機載三線陣系統(tǒng)提供的POS數(shù)據(jù)精度不足以將全部誤匹配點剔除，所以本文提取結(jié)果中仍含有少量錯誤匹配點。下一步工作將研究如何進一步剔除剩余的錯誤匹配點。

[1] 李德仁,趙雙明,陸宇紅,等.機載三線陣傳感器影像區(qū)域網(wǎng)聯(lián)合平差[J].測繪學報,2007,36(3):245-250. Li D R,Zhao S M,Lu Y H,et al.Combined block adjustment for airborne three-line CCD scanner images[J].Acta Geodaetica et Cartographica Sinica,2007,36(3):245-250.

[2] 趙雙明.機載三線陣傳感器影像區(qū)域網(wǎng)聯(lián)合平差研究[D].武漢:武漢大學,2007. Zhao S M.Block Combined Adjustment for Airborne Three Line Scanner Sensors[D].Wuhan:Wuhan University,2007.

[3] 趙斐,胡莘,關(guān)澤群,等.三線陣CCD影像的像點自動匹配技術(shù)研究[J].測繪科學,2008,33(4):12-14,44. Zhao F,Hu X,Guan Z Q,et al.Study of automatic matching technology of image points for three line array CCD imaging[J].Science of Surveying and Mapping,2008,33(4):12-14,44.

[4] 張永生,范大昭,紀松.用于ADS40傳感器的多視覺立體匹配算法模型[J].測繪科學技術(shù)學報,2007,24(2):83-86. Zhang Y S,Fan D Z,Ji S.Multi-view matching algorithm model for ADS40 sensor[J].Journal of Zhengzhou Institute of Surveying and Mapping,2007,24(2):83-86.

[5] 紀松,范大昭,張永生,等.基于AMMGC三線陣影像多視匹配模型的DSM自動提取[J].測繪科學,2009,34(2):139-141. Ji S,Fan D Z,Zhang Y S,et al.Automatic DSM generation from three-line-array digital images based on AMMGC multiple-image matching model[J].Science of Surveying and Mapping,2009,34(2):139-141.

[6] 紀松,范大昭,張永生,等.多視匹配MVLL算法及其在ADS40線陣影像中的運用[J].武漢大學學報:信息科學版,2009,34(1):28-31. Ji S,Fan D Z,Zhang Y S,et al.MVLL Multi-image matching model and its application in ADS40 linear array images[J].Geomatics and Information Science of Wuhan University,2009,34(1):28-31.

[7] Fan D Z,Ji S,Lei R.Investigation of multi-view matching models for Three-line-array digital imagery[C]//Proceedings of 2010 the 3rd International Conference on Applied Informatics and Communication.Berlin Heidelberg:Springer,2010:59-65.

[8] Zhang L.Automatic Digital Surface Model(DSM) Generation from Linear Array Images[D].Zurich:Swiss Federal Institute of Technology Zürich,2005.

[9] 孟俊俊,馬慧云,石寧,等.基于POS數(shù)據(jù)約束的ADS40影像SIFT匹配方法[J].信息工程大學學報,2014,15(3):370-374. Meng J J,Ma H Y,Shi N,et al.ADS40 image matching method based on SIFT features constrained by POS data[J].Journal of Information Engineering University,2014,15(3):370-374.

[10]耿迅,徐青,蘭遠鴿,等.火星快車HRSC影像光束法平差連接點自動生成方法[C]//中國宇航學會深空探測技術(shù)專業(yè)委員會第十屆學術(shù)年會論文集.北京:中國宇航學會深空探測技術(shù)專業(yè)委員會,2013. Geng X,Xu Q,Lan Y G,et al.An automatic tie points generating method for HRSC images bundle adjustment[C]//Proceedings of The Tenth Academic Annual Meeting of Chinese Society of Astronautics-Deep Space Exploration Committee.Beijing,2013.

[11]唐敏,李永樹,李歆,等.無人機影像局部增強方法及其在影像匹配中的應用[J].國土資源遙感,2013,25(4):53-57.doi:10.6046/gtzyyg.2013.04.09. Tang M,Li Y S,Li X,et al.Local enhancement method and its applications to UAV image matching[J].Remote Sensing for Land and Resources,2013,25(4):53-57.doi:10.6046/gtzyyg.2013.04.09.

[12]張力,張祖勛,張劍清.Wallis濾波在影像匹配中的應用[J].武漢測繪科技大學學報,1999,24(1):24-27,35. Zhang L,Zhang Z X,Zhang J Q.The image matching based on Wallis filtering[J].Journal of Wuhan Technical University of Surveying and Mapping,1999,24(1):24-27,35.

[13]Xiong J X,Zhang Y.Combined multi-view matching algorithm with long-strips of satellite imagery from different orbits[J].ISPRS Annals of Photogrammetry,Remote Sensing and Spatial Information Sciences,2012,I-3:87-92.

[14]戴激光,宋偉東,李玉.漸進式異源光學衛(wèi)星影像SIFT匹配方法[J].測繪學報,2014,43(7):746-752. Dai J G,Song W D,Li Y.Progressive SIFT matching algorithm for multi-source optical satellite images[J].Acta Geodaetica et Cartographica Sinica,2014,43(7):746-752.

[15]王佩軍,徐亞明.攝影測量學[M].武漢:武漢大學出版社,2012:134-137. Wang P J,Xu Y M.Photogrammetry[M].Wuhan:Wuhan University Press,2012:134-137.

[16]袁修孝,明洋.POS輔助航帶間航攝影像的自動轉(zhuǎn)點[J].測繪學報,2010,39(2):156-161. Yuan X X,Ming Y.POS-supported matching method for aerial images between neighboring strips[J].Acta Geodaetica et Cartographica Sinica,2010,39(2):156-161.

[17]張登榮,劉輔兵,俞樂,等.基于Harris算子的遙感影像自適應特征提取方法[J].國土資源遙感,2006,18(2):35-38.doi:10.6046/gtzyyg.2006.02.09. Zhang D R,Liu F B,Yu L,et al.An Auto-adapted features extraction method based on Harris operator[J].Remote Sensing for Land and Resources,2006,18(2):35-38.doi:10.6046/gtzyyg.2006.02.09.

(責任編輯： 邢宇)

An automatic tie point matching method for L0 level airborne three-line-array images

DU Shouji2, ZOU Zhengrong2, ZHANG Yunsheng1,2, ZHANG Minglei2

(1.HunanProvincialKeyLaboratoryofHydropowerDevelopmentKeyTechnology，Changsha410014，China；2.SchoolofGeosciencesandInfo-Physics,CentralSouthUniversity,Changsha410083，China)

To tackle the problem of the large quantities and serious deformation of L0 level airborne three-line-array images, this paper proposes a tie point matching method based on SIFT algorithm and correlation coefficient. Firstly, pyramid image is generated and SIFT algorithm is used to match initial corresponding points on the top-level of pyramid image. Then tie points are propagated through pyramid images via correlation coefficient matching method. Finally, possible match error is removed based on geometric constraint of POS data, and distribution of tie points are optimized. Three stripes of ADS40 images were used for experiments. Compared with the conventional image tie point transfer method, the proposed method can improve the ratio of correct matches by more than 6% and the tie points are well-distributed.

three-line-array images； image matching； SIFT features; correlation coefficient matching; pyramid images

10.6046/gtzyyg.2017.01.10

杜守基,鄒崢嶸,張云生,等.L0級機載三線陣影像連接點自動提取[J].國土資源遙感,2017,29(1):65-70.(Du S J,Zou Z R,Zhang Y S,et al.An automatic tie point matching method for L0 level airborne three-line-array images[J].Remote Sensing for Land and Resources,2017,29(1):65-70.)

2015-07-24；

2015-09-09

水能資源利用關(guān)鍵技術(shù)湖南省重點實驗室開放基金項目“基于近景攝影測量的庫岸滑坡監(jiān)測關(guān)鍵技術(shù)研究”(編號： PKLHD201310)、國家“863”計劃項目“典型地質(zhì)災害遙感監(jiān)測與應急關(guān)鍵技術(shù)及應用”(編號： 2012AA121301)和國家自然科學基金項目“自適應三角形約束的多角度影像多基元匹配方法”(編號： 41201472)共同資助。

杜守基(1990-),男,碩士研究生,主要從事數(shù)字攝影測量方面的研究。Email: dsjcug@163.com。

張云生(1984-) ,男,博士,副教授,主要從事數(shù)字攝影測量、數(shù)字影像與激光掃描數(shù)據(jù)的集成處理等方面的研究。Email: zhangys@csu.edu.cn。

TP 751.1

A

1001-070X(2017)01-0065-06