隧洞平行攝影測量立體影像尺度差估計及匹配優化

摘要：為提升平行攝影隧洞序列影像的同名點匹配率及精度，對成像規律及匹配方法展開研究。提出了一種窗口尺度自動改正的LK光流法，核心是利用物像空間關系構建尺度差模型，并采用可變窗口進行特征點光流跟蹤。結果表明：隧洞序列影像像點尺度差呈對稱性徑向分布，差異值符合冪函數模型增長趨勢；將該方法應用在多組尺度差立體像對的匹配實驗中，均取得了優于0.3個像素精度的實驗結果，較基本光流法至少提升34.3%，最大提升45.5%。研究成果可為顧及尺度差的匹配方法提供參考，也可為隧洞平行攝影立體影像匹配提供基礎。

關 鍵 詞：平行攝影； 隧洞影像； 尺度差模型； 光流法； 冪函數模型

中圖法分類號： P23；TV221 文獻標志碼： A DOI：10.16232/j.cnki.1001-4179.2024.02.018

0 引 言

平行攝影是利用被測物體在大致同一個方向上的投影來反演被測物體的三維形態［1］。平行攝影影像采集時攝影機的主光軸和基線方向大體上一致，沿一個方向間隔一定的距離對同一被測物體成像，獲取平行攝影序列影像，影像采集效率高［2］。平行攝影方式獲取的影像在實際應用中較廣泛，除了用于隧洞等地下工程外，還適應街景測圖攝影、運載體“著落”攝影、機器人行進攝影、室內視覺導航等［3-7］。MARR等［8］首次指出，在被測物體受到遮擋或其他原因造成對測量視角的限制，不能多角度地對被測物體成像時，可采用平行攝影測量方案來獲取被測目標的三維信息。近年來，對平行攝影的理論研究和實際應用逐漸豐富［9］。Leanne等綜述了隧道結構監測的兩種方法，指出傳統的大地測量監測方法受制于效率和環境條件，而基于圖像點特征和攝影測量技術的自動化測量方法是當下熱點［10］。孔明等［11］針對平行攝影測量這種特殊測量方式，推導了平行攝影成像條件下的攝影測量三維坐標公式，并得到了在理想狀態下，平行攝影測量的物方空間點與影像投影點間的對應關系。李春梅等［12］在實驗的基礎上指出，平行攝影立體像對間的交會角小，易于匹配，但易造成攝影測量精度的損失。Sun等［13］研究指出，人工控制測量和常規攝影測量方法采集數據不夠充分，效率較低，而沿隧道主軸線攝影測量計算具有匹配運算量少、效率高、共線方程簡單等優點，可以快速準確地獲得隧道開挖輪廓和節理參數，有效控制欠挖和超挖現象。實際應用中，Li等［4］在解決火星運載體“著落”的定位問題時，指出了在航高減小時影像重疊度減小，影像分辨率在增大，基于著落序列影像的空三就面臨著非常規幾何、影像分辨率和尺度變化等方面的問題，同時提出了對著落序列影像進行增量式光束法約束，實現了漫游車的高精度定位。蒼桂華等［14］研究了提高平行攝影測量精度的方法，得出了理想情況下增加攝影基線長度有利于提高平行攝影測量精度的結論。唐新莊［15］等針對沿主光軸方向車載序列影像視覺定位計算時外方位元素初值不確定和解不收斂的問題，研究和比較了直接線性變換法、旋轉矩陣法和四元數法，發現將單位四元數法用于平行攝影測量中可得到更加穩定的結果。于鵬等［16］研究將SIFT算法和MLESAC算法相結合用于平行攝影立體像對的同名點匹配，能夠有效提高匹配中的內點率，但該算法需要反復隨機采樣剔除不一致點，效率較低。溫四林等［17］分析并驗證了平行攝影測量精度在像幅內的不均勻性，并研究得出在隧洞和室內場景下，通過平行攝影相對定向可以取得物方毫米級的測量精度。Cheng等［18］采用大量行進的街景影像進行影像匹配和三維重建，發現物方距離攝影中心越近的特征點，即物距越小，其產生的誤差越小。Guan等［19］通過提取序列街景圖像中的共有感興趣區域，后經圖像匹配方法解算得到攝影時視覺空間關系，結果顯示，平均姿態誤差為2度，證明了行進的街景影像測量方式滿足目前的數字導航地圖要求。

可見現有的研究集中在平行攝影方式、定向算法、穩定性和精度等方面，很少有研究平行攝影序列影像間顯著的尺度差、同名像點尺度變化規律及其對立體像對匹配結果的影響。因此，本文將在隧洞平行攝影測量的背景下開展尺度影響的研究，提出一種尺度差模型和平行攝影序列影像高精度匹配方法，以提高平行攝影測量方法的質量和適用性。

1 隧洞平行攝影立體影像尺度差解析

1.1 成像方式

隧道、洞室和其他地下工程被廣泛運用于鐵路、公路、礦產、水利水電和軍事等領域。由于隧道、洞室等結構的特殊性，在狹長的地下空間開展攝影測量工作時，常規的攝影基線常常難以布設、工效低下，甚至無法使用［20］。正因如此，平行攝影方式更適合于隧洞攝影測量，其成像關系如圖1所示。

在隧洞應用中，平行攝影是在隧洞中軸線上獲取序列影像。洞軸成像于像幅中心，隧洞場景在影像上以洞軸為中心呈輻射狀構像。影像中心處物點距離相機最遠，由像幅中心過渡到邊緣時，攝影物距逐漸減小，像幅邊緣處的攝影物距最小。理想攝影條件下，物像呈現如下關系：Yf=L2 r （1）式中：Y為物點物距，f為攝影主距，L為洞寬，r為像點到像平面中心的距離。

1.2 立體像對尺度差模型

根據平行攝影這種特殊拍攝方式，以前進方向為前序，前后兩張影像（P2、P1）間存在明顯的尺度差，并且由于洞室的特殊性，導致影像上不同位置像點尺度差不同。

圖1中，S2、S1分別是前后兩個平行攝影設站點，P2、P1是對應的像平面，將后攝影設站點作為原點，Y軸與洞軸方向一致，Z軸為鉛垂方向，建立物方空間直角坐標系S1－XYZ。其中，f是攝影主距，B是攝影基線，M、N是物方點，（XM，YM）是M點的物方坐標長度。x（1）M、x（2）M、x（1）N、x（2）N是對應像點的橫坐標長度。理想情況下，該物方坐標系與P1的像空間坐標系重合，P1、P2的外方位線元素分別是（0，0，0）和（0，B，0），角元素都為零。

結合式（1）、（4）可得出一般規律，像幅內任一像點尺度差S與該點距離攝影中心的距離半徑r的變化關系如下：S=fL－2Br+fL=1－2BfLr+1＞1（5） 上述變化關系可簡化為S（r）=1ar+1（6） 可知，同名像點尺度差S隨著像點距離攝影中心的距離半徑r增大而增大，且呈現式（6）的冪函數形式的快速增長，變化曲線如圖2（b）所示。

綜上，根據隧洞影像的特點和平行攝影同名像點尺度差變化曲線可知，影像中心到邊緣的像點攝影物距越來越小，相應像點的尺度差越來越大，這有別于常規基線攝影測量的立體像對。

尺度差將給立體像對匹配帶來困難，尺度差異越大，同一算法提取的不同影像中同名點特征描述符差異越大，導致同名點難以檢出。相關研究表明，一般情況下，超過1.4倍的尺度差的立體像對特征點匹配率不足40%。在隧洞影像場景下，尺度差較大的點多為影像邊緣點，邊緣點較難檢出將使得三維建模時隧洞內壁點云較稀疏，影響到三維模型的精度和質量。故探尋隧洞影像尺度變化規律，建立模型并加以改正，這有利于提高平行攝影測量影像匹配精度，并提升其在三維建模領域的適用性。

2 尺度差模型的實驗驗證

2.1 實驗設計

實驗所用的隧洞平行攝影序列影像由作業人員手持富士相機（X-T10），沿洞軸線方向等基線長度拍攝，影像尺寸大小為3 628×4 896。隧洞洞室影像紋理豐富，但洞壁的超欠挖導致影像存在部分遮擋現象。本文選取了4張連續前進的相鄰影像作為實驗數據，前進距離為作業人員的一步之長，約0.6 m，如圖3所示。4張洞室影像編號分別為DS14、DS15、DS16、DS17，可組成3組像對，分別是DS14、DS15為像對1，DS15、DS16為像對2，DS16、DS17為像對3。

為驗證隧洞平行攝影立體像對中具有相同尺度關系的同名像點分布可近似成圓環，以及同名像點尺度差從影像中心至邊緣呈現的冪函數模型增長規律，設計了以下兩組實驗。

（1） 實驗1，首先對每一組平行攝影立體像對進行SURF特征匹配和強角點選擇，去除誤匹配點，篩選得到穩定的、正確的同名像點，并求出每一個同名像點的尺度差值；然后根據同名像點的尺度差值大小進行等級劃分，分別是S=1.0，1.0＜S≤1.1，1.1＜S≤1.2，1.2＜S≤1.3，S＞1.3等5個等級；最后統計落入各等級的同名像點個數，并分別展示在影像上，可直觀地查看同名像點尺度的分布情況。

（2） 實驗2，以隧洞洞室影像中心為圓心，以Δr=300 pixel為半徑增量繪制同心圓環，分別統計每組立體像對中各同心圓（環）內同名像點的尺度差均值，繪制整張影像的尺度差變化折線圖，可直觀地反映出影像上像點尺度差的變化規律。

2.2 實驗結果與分析

根據實驗設計中的兩組實驗方案，本文在每組實驗方案中均使用了3對不同的立體像對進行驗證。表1展示了3組像對各尺度等級內同名像點的數量情況。

以像對1為例，圖4展示了其同名像點尺度分布情況。由圖4可看出，尺度差S=1.0的同名像點較為集中地分布在影像中心處，尺度差S＞1.3的同名像點位于影像最外圍，隨著同名像點尺度差逐漸增大，像點分布位置由影像中心逐漸向影像邊緣呈環形擴散。由于隧洞內壁存在凹凸，因此個別尺度差較大的同名像點可能位于尺度差較小的同名像點的內側，如尺度差S＜1.1的部分像點位于尺度關系S=1.0的內側，那只是投影差引起的位移現象。

在實驗1結論的基礎上，按照如圖5（a）所示的圓環區域開展實驗2，得到了影像同名像點尺度差與像點半徑r的變化曲線，如圖5（b）中實線所示；對得到的變化曲線按照式（6）的冪函數模型擬合，結果如圖5（b）中虛線所示。

由圖5（b）可以看出，3組隧洞立體像對的同名像點的尺度差變化趨勢一致，隨著像點半徑的增大，對應圓環內同名像點的尺度差也逐漸增大，且呈現非線性增長。盡管部分洞壁起伏引起的投影位移對同名像點的尺度差統計有一定干擾，但是從尺度差的擬合曲線及表2的擬合精度來看，3組擬合曲線均方根誤差均在0.02左右，擬合優度可達0.98，即可認為像點尺度差與像點半徑r的關系很好地符合了冪函數增長模型。

3 尺度差改正的影像匹配及精度提升

影像匹配是從二維影像恢復所攝物體三維信息的關鍵技術，LK光流法（Lucas-Kaneda光流算法）常用于視頻影像的匹配或跟蹤定位，而平行攝影的影像可以來自于相機或攝像機拍攝［21］。本文利用LK光流法進行洞室影像特征點的匹配，而現有LK光流法匹配沒有考慮同名像點間的尺度差問題［22-23］。故本文提出一種窗口尺度自動改正的LK光流法，減小尺度差對影像邊緣同名像點檢出率的影響，以達到提高同名像點匹配率的目的，算法流程如圖6所示。

方法關鍵是計算得到影像中各區域尺度差模型，并據此模型對前、后序影像中特征點位置及鄰域窗口大小進行校正，達到前、后視影像各區域成像尺度的統一，然后進行LK光流法匹配。算法具體步驟如下：

（1） 分別提取前、后序影像SURF稀疏同名像點，構建尺度差模型；

（2） 分別提取前、后序影像光流法特征點，以后序影像為基準，計算該特征點在前序影像上的預估位置；

（3） 提取后序影像特征點n×n鄰域信息，提取前序影像（S×n）×（S×n）鄰域信息，并重采樣至n×n特征窗口大小；

（4） 求取前、后序影像特征點鄰域灰度差矩陣，判定同名點，最終得到隧洞平行攝影影像匹配結果。

步驟（2）中，光流法跟蹤目標的前提是小位移目標跟蹤，計算模型如式（7）所示。

I（x，y，t）=I（x×S+dx，y×S+dy，t+dt）（7）

式中：（x，y）表示的是特征點影像坐標，（dx，dy，dt）表示的是位移矢量，S表示的是尺度差異。對于隧洞影像來說，影像外圍同名點尺度差較大，若忽略尺度差異，則會導致同名點跟蹤失敗。

步驟（3）中，在獲取到正確同名點位置后，若忽略尺度差異，則會導致提取到的同名點鄰域窗口信息不一致。如：對于1.4倍的尺度差異，后序影像5×5大小的窗口信息，應該對應前序影像7×7大小的窗口信息。若采用同樣大小的窗口，則會丟失外圍信息，導致光流誤差較大。

為了驗證提出方法的優點，以像對1為例，選擇常用窗口5×5、7×7、9×9、11×11進行LK光流法匹配，并與本文提出的窗口尺度自動改正的LK光流匹配算法進行對比實驗，匹配正確率如表3所列。

從表3可看出，兩種算法在初始匹配數相同的情況下，本文提出的窗口尺度自動改正的LK光流匹配算法能夠得到更多的正確匹配對，在不同窗口大小下的匹配正確率平均提升約11%。

為了直觀地對比匹配精度，以SURF算法得到的同名點對位置為參考，按照隨機抽樣原則，兩種方法在不同窗口實驗中均隨機提取15對正確匹配點，計算各匹配點對和參考點對的重投影位置誤差，得到兩個方向匹配精度Δx、Δy，以及匹配點的點位均方差，兩種方法的結果分別如表4和表5所列。

從表4～5可看出，加入了尺度差改正的光流法匹配結果的誤差均小于0.3個pixel，在4種不同窗口下的匹配精度均高于基本光流法，精度至少提升34.3%，最大可達45.5%。即本文提出的尺度差模型適用于隧洞平行攝影序列影像匹配，且通過改正尺度差，能有效提高影像匹配精度。

4 結 論

針對隧洞平行攝影中因物距不同而產生的立體像對尺度形變問題，本文提出了平行攝影立體像對尺度差的概念，從理論上分析并驗證了隧洞平行攝影立體像對的影像尺度差異分布符合冪函數增長模型的結論。為提高具有尺度差的平行攝影立體像對的匹配精度，將影像尺度差模型引入光流法匹配中，提出了一種窗口尺度自動改正的LK光流法。實驗結果表明：在與現有LK光流法的比較實驗中，所提方法不但能夠匹配得到更多的同名像點，而且點位精度至少提升34.3%，最大可達45.5%。這表明影像尺度差是影響平行攝影影像匹配質量的主要因素，而本文提出的隧洞平行攝影尺度差模型準確、有效，對提高匹配質量可發揮重要作用。當然，本文方法不限于隧洞影像，也適用于移動方式的街景影像測量和室內導航測量等，而垂直降落測量方式只是本文方法在物距近似相等情形下的一種特例。

參考文獻：

［1］吳慶忠.平行攝影測量的原理及應用［J］.測繪通報，2001（12）：12-13，24.

［2］李國琴，李浩，李語旻.平行攝影序列影像的核線影像生成方法［J］.測繪科學，2019，44（10）：1-7.

［3］LI R X，MA F，XU FL，et al.Localization of mars rovers using descent and surface‐based image data［J］.Journal of Geophysical Research：Planets，2002，107（E11）：FIDO 4-1-FIDO 4-8.

［4］VOUMARD J，ABELLN A，NICOLET P，et al.Using street view imagery for 3-D survey of rock slope failures［J］.Natural Hazards and Earth System Sciences，2017，17（12）：2093-2107.

［5］GRAMOLA M，BRUCE P J K，SANTER M.Photogrammetry for accurate model deformation measurement in a supersonic wind tunnel［J］.Experiments in Fluids，2019，60（1）：8-16.

［6］XUE Y D，ZHANG S.A fast metro tunnel profile measuring method based on close-range photogrammetry［J］.Information Technology in Geo-Engineering，2020，150：57-69.

［7］李樹明，嚴麗英，蔣建平，等.數碼相機與GNSS集成的河道陡岸船載測量方法研究［J］.人民長江，2023，54（6）：120-125.

［8］MARR D，POGGIO T.A computational theory of human stereo vision［J］.Proceedings of the Royal Society B：Biological Sciences，1979，204（1156）：301-328.

［9］趙瀛舟，袁瑞紅.地面近景攝影在白鶴灘水電站高邊坡開挖中的應用［J］.人民長江，2020，51（增2）：84-87.

［10］LEANNE A，CARL J D，GIANLUCA V，et al.Tunnel inspection using photogrammetric techniques and image processing：a review［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2018，144：180-188.

［11］孔明，王式民.共軸法立體視覺三維測量的研究［J］.計量學報，2004（4）：294-297.

［12］李春梅，張連蓬.采石場邊坡多基線數字近景攝影測量精度的影響因素分析［J］.測繪通報，2011（10）：23-26.

［13］SUN S Q，LI S C，LI L P，et al.Structural planes surveying and fractal dimension characteristics of tunnel face based on digital photogrammetry［J］.Arabian Journal of Geosciences，2018，11（20）：1-14.

［14］蒼桂華.非量測數碼影像的量測應用方法研究［D］.南京：河海大學，2005.

［15］唐新莊.基于車載沿主光軸方向序列影像的視覺定位方法研究［D］.北京：中國地質大學（北京），2012.

［16］于鵬.非常規攝影條件下立體像對的同名點匹配方法研究［D］.北京：中國地質大學（北京），2013.

［17］溫四林，李浩，王田芳.平行攝影相對定向的精度分析［J］.勘察科學技術，2016（3）：40-43，46.

［18］CHENG L，YUAN Y，XIA N，et al.Crowd-sourced pictures geo-localization method based on street view images and 3D reconstruction［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2018，141：72-85.

［19］GUAN F L，FANG Z X，YU T，et al.Detecting visually salient scene areas and deriving their relative spatial relations from continuous street-view panoramas［J］.International Journal of Digital Earth，2020，13（12）：1504-1531.

［20］QIN R J.A critical analysis of satellite stereo pairs for digital surface model generation and a matching quality prediction model［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2019，154：139-150.

［21］李成美，白宏陽，郭宏偉，等.一種改進光流法的運動目標檢測及跟蹤算法［J］.儀器儀表學報，2018，39（5）：249-256.

［22］劉彬，陳向寧，郭連惠.一種基于Harris-Sift引導LK光流約束的特征點匹配算法［J］.測繪科學技術學報，2014，31（2）：162-166.

［23］CHEN Q H，YAO L J，XU L J，et al.Horticultural image feature matching algorithm based on improved orb and lk optical flow［J］.Remote Sensing，2022，14（18）：4465-4465.

（編輯：劉 媛）

Stereo image scale difference estimation and matching optimization in

parallel tunnel photogrammetryYU Pengfei LI Hao1，DING Ying1，LI Guoqin1，HE Xiufeng1

（1.School of Earth Science andEngineering，Hohai University，Nanjing 211100，China； 2.Three Gorges Bureau of Hydrological and Water Resources Survey，Hydrology Bureau of Changjiang Water Resources Commission，Yichang 443000，China）

Abstract： In pursuit of heightened accuracy in matching homologous points within parallel tunnel sequence images，this paper delved into the realms of imaging perspective and matching methodologies.A novel automated scale correction approach，rooted in the Lucas-Kanade （LK） optical flow method and implemented within a predefined window，was introduced.The core concept involved constructing a scale difference model based on the spatial relationship between the object and its image，coupled with the utilization of a variable window for tracking feature points' optical flow.The obtained results revealed a symmetric radial distribution of scale differences in tunnel sequence images，with difference values adhering to a power-law growth trend.When applied in matching experiments involving stereo image pairs with multiple scale differences，the proposed method consistently obtained experiment precision exceeding 0.3 pixels.This method was superior to basic optical flow method，with improvements ranging from 34.3% to 45.5%.These research findings not only contribute references for matching methods that account for scale differences，but also establish a foundation for stereo image matching in parallel tunnel photography.

Key words： parallel photography；tunnel image；scale differences model；optical flow method；power-law model

收稿日期：2023-03-29；接受日期：2023-07-22

基金項目： 國家自然科學基金重點項目“基于微型雷達干涉測量的隧道形變穩定性監測理論與方法”（41830110）

作者簡介：喻鵬飛，男，碩士，主要從事數字圖像處理、計算機視覺、攝影測量與遙感方面的研究。E-mail：853436799@qq.com

通信作者：李 浩，男，教授，博士，主要從事攝影測量、計算機視覺及影像地理信息系統研究。E-mail：lihao@hhu.edu.cn