基于PhotoScan的徑流小區三維重建參數優化

張興義 甄懷才 JAMES R Mike 楊 薇 張晟旻 李 浩

(1.東北農業大學資源與環境學院， 哈爾濱 150030；2.中國科學院東北地理與農業生態研究所黑土區農業生態重點實驗室， 哈爾濱 150081；3.蘭卡斯特大學環境中心， 蘭開夏郡 LA1 4YQ； 4.黑龍江省水利科學研究院， 哈爾濱 150081；5.中國科學院大學， 北京 100049)

0 引言

近年來，應用基于運動恢復結構和多視圖立體視覺技術(Structure-from-motion with muti-view-stereo，SfM-MVS)的三維重建軟件，從地面或無人機系統獲取的高分辨率影像及衍生品已應用于與地表過程有關的環境科學[1-2]。典型的處理過程是從多時段的影像中獲取數字高程模型(Digital elevation model，DEM)，進而得到地表變化[3-5]。相比其他數字測量方法，SfM-MVS具有成本低、易于野外采集、能夠生成全三維數據、精度高等特點[6]。

盡管SfM-MVS方法易于使用，但實際應用中的精度差異較大。其主要原因是軟件參數設置不當或直接采用默認參數，也可能與采用的誤差評價方式有關[7]。目前已有研究多在理論方面使用具有復雜參數的開源SfM-MVS程序，以評估處理參數的優化對DEM精度的影響。而應用型研究主要使用參數較少的商業SfM-MVS軟件及默認參數，直接生成DEM[8-9]，缺乏評估商業SfM-MVS軟件中處理參數對點云精度影響的研究。大部分實際應用以后者為實施方案，因此需要評估商業SfM-MVS處理參數對數據誤差的影響，評估結果亦有助于通過優化處理參數提高DEM精度。

坡面是土壤侵蝕發生的基本單元[10-11]，坡面土壤侵蝕過程主要包括細溝間和細溝侵蝕[12]。徑流小區是監測坡面侵蝕的常規方法[13]，該方法僅能通過徑流桶收集產流確定產沙總量，而不能區分細溝間與細溝侵蝕的貢獻。目前應用SfM-MVS技術獲取侵蝕坡面的細溝體積及侵蝕量尚處于起步階段[14-16]，對處理過程優化的研究較少。

本文以三維重建軟件Agisoft PhotoScan為例，研究商業SfM-MVS軟件的參數設置對坡面徑流小區三維重建精度的影響，并通過參數優化，評估優化后的DEM精度。

1 原理

1.1 理論基礎

SfM-MVS方法主要采用尺度不變特征變換(Scale-invariant feature transform，SIFT)[17]，在一系列不同的圖像中檢測和匹配特征點，并結合隨機采樣一致性算法(Random sample and consensus，RANSAC)[18]剔除誤匹配的特征點。采用基于最小二乘網絡優化的光束平差法(Bundle adjustment)處理，生成特征點的三維坐標及相機參數[19]。在僅有圖像時光束平差過程對點云賦予局部坐標系，無法量測三維點之間的絕對距離。當提供了外部控制信息時，光束平差將三維點云向外部控制信息做擬合匹配，并轉換為世界坐標系。但如果對外部控制信息精度考慮不當，添加外部控制信息的過程也可能引入新的誤差[20-21]。

添加控制信息的過程會影響匹配點與控制信息間的相對權重，以及相機模型的選擇，進而影響DEM精度。點云中每個點是對多幅圖像中的特征點做匹配處理生成的，具有多余觀測，因此點云有自身的精度估計。同時外部控制信息也有精度估計。當使用地面點為控制信息時，其精度包括控制點在圖像中的刺點精度和控制點的地面實測精度。如果控制點精度被高估，三維點云形狀可能因對控制點過度擬合而產生畸變，降低總體精度。相反地，控制點精度被低估會降低其在光束平差過程中的權重，弱化控制點在降低三維點誤差中的作用，同樣會影響DEM的總體精度。此外，不恰當的精度設置同時會對相機參數產生影響，進而影響DEM精度。因此，對匹配點、控制點及相機參數賦予恰當的數值，對得到合適的DEM精度十分重要。

傳統立體攝影測量軟件的光束平差過程能夠自動調整匹配點和控制點間的相對權重，并選擇最優的相機模型，從而確保生成的DEM精度最佳[22]。盡管目前商業化SfM-MVS軟件能夠在項目執行結束后的輸出報告中得到上述參數的實際值，但多數僅能使用參數初始值執行光束平差，而不具備重新賦值的過程。因此，使用SfM-MVS輸出報告中的實際參數，對軟件的初始設置進行調整并重做三維重建過程，有可能改善DEM精度。

1.2 優化指標

控制點誤差是配準誤差，而驗證點誤差代表精度，驗證點誤差是通用的DEM精度評價方法。同時驗證點與控制點誤差比能夠體現自動連接點與控制信息二者各自對DEM形態的控制性。誤差比越低，表明DEM形態向自動連接點與控制點的擬合趨近平衡。因此選用的指標為：驗證點誤差和驗證點與控制點誤差比。

2 試驗布設與優化過程

2.1 試驗布設

試驗選在位于黑龍江省海倫市的中國科學院海倫水土保持監測研究站的裸地徑流小區(126°50′1.42″ E，47°21′12.61″ N)進行。徑流小區長20.0 m，寬4.5 m。于2019年4月春季翻耕前開展試驗。

2.2 數據獲取

首先在徑流小區內外均勻布設37個地面點(圖1)。其中外部7個地面點，包括頂部一個，小區每側各3個。徑流小區內部均勻布設30個地面點。使用南方測繪公司銀河6的差分GPS(±(8 mm+1×10-6D)，D表示以GPS為中心的方圓直徑)獲取每個地面點的三維坐標，建立獨立坐標系。應用大疆公司的精靈4 Pro無人機(1英寸2 000萬像素CMOS)航拍獲取小區圖像。飛行高度3.5 m，拍攝時確保圖像的寬度方向能夠覆蓋小區的短邊及外部地面點，并手動依次沿小區長邊移動無人機拍攝，相鄰圖像的覆蓋度約85%。共拍攝圖像42幅。

圖1 試驗小區及拍攝方案Fig.1 Overview of research plot with image distributions and ground point locations

2.3 三維重建基本流程

本文應用Agisoft PhotoScan Professional (V1.2.6)執行SfM-MVS流程。使用Matlab相機標定工具箱(Camera Calibration Toolbox for Matlab)[24]檢測相機鏡頭畸變，以明確相機個體誤差對三維重建結果的影響。在PhotoScan中運行蒙特卡洛Python腳本[20]，以執行不同參數設置對DEM精度影響的批處理。使用ArcGIS V10.2對DEM做剪切、相減等柵格處理。

2.4 優化流程

PhotoScan默認設置中，自動連接點刺點精度(Tie point accuracy)、地面點刺點精度(Projection accuracy)以及地面點精度(Marker accuracy)分別為1.0像素、0.1像素及5 mm。而相機模型的參數較多，如表1所示。

表1 相機模型與參數Tab.1 Camera models and their parameters

優化過程1確定自動連接點與地面點二者的實際刺點精度。首先使用PhotoScan將圖像自動匹配定向(使用‘Align images’功能，參數設置為‘High’精度，‘Generic pair’圖像對，單張圖像關鍵點和連接點分別限制為40 000和1 000)，以生成稀疏點云。然后將所有地面點在潛在圖像中刺出，即刺點。之后執行“Optimization”，即光束平差。此時PhotoScan的“Reference”界面能夠獲取自動連接點與地面點二者的實際刺點精度，即優化后的刺點精度。將其輸入到“Reference setting”中，重新運行光束平差。

優化過程2確定相機模型和參數以及地面點的實測精度。相機模型有4種(表1)。地面點的實測精度測試范圍設置為1、2、5、10、20、50、100、200、500、1 000、2 000 mm。每次執行時隨機選擇一半數目的地面點為控制點，另一半為驗證點，以評估相機模型和地面實測精度的每種組合下驗證點和控制點的誤差，以及二者的比值。判斷標準是前兩者能夠顯著降低，或二者的比值降低。確定了相機模型和地面點實測精度組合后，將所有地面點作為控制點，確定此種相機模型的各個參數值。

在確定優化過程1和2中的參數后，生成DEM。在PhotoScan中使用“High”質量和“Aggressive”深度過濾生成密集點云。使用“High”面數生成網格，并生成2 mm分辨率DEM。

2.5 誤差評估

首先使用軟件的默認設置(圖2)，以及小區外圍地面點為控制點、內部地面點為驗證點生成DEM1；然后采用優化后的參數設置，以及全部地面點為控制點生成DEM2；采用優化后的參數設置，以及小區外圍地面點為控制點、內部地面點為驗證點生成DEM3。將DEM2與DEM1做柵格相減生成DoD1(DEMs of difference，DoD)，DEM3與DEM2做柵格相減生成DoD2。通過對比驗證點誤差，以及DoD1與DoD2的差異評估優化過程對DEM精度的影響。

圖2 SfM-MVS優化流程圖Fig.2 SfM-MVS optimization workflow

3 結果與分析

3.1 相機標定

圖3 相機標定及標定結果Fig.3 Carema calibration photo and results

基于Matlab相機標定工具箱的傳統標定方法表明，精靈4 Pro無人機鏡頭的畸變較小。本實例共拍攝了28幅校正圖像(圖3a)。圖3b表明幾乎所有的標志點在X、Y方向的重投影誤差均小于1像素，平均值分別為0.29、0.25像素(表2)，且在每個方向上的分布密度均相似。此外，焦距、焦點、斜率與畸變系數的變異系數均小于3%，因此本試驗采用的精靈4 Pro鏡頭的畸變系數較小，排除相機個體差異。

表2 相機參數Tab.2 Camera parameters

3.2 刺點精度參數優化

為了明晰DEM誤差對軟件精度設置的敏感度，首先檢驗了自動連接點和地面點的刺點精度以及地面點的實測精度對驗證點/控制點誤差的影響。設置如下：自動連接點刺點精度為0.1～4.0像素，地面點刺點精度為0.1～1.0像素，地面點實測精度為1～50 mm。每次執行光束平差時，隨機選擇一半數目的地面點為控制點，另一半為驗證點，以消除特定地面點誤差的影響。

以地面點實測精度為基礎，軟件精度設置對驗證點與控制點的影響如表3所示。軟件的精度設置對控制點影響較大(11～26 mm)，對驗證點誤差影響較小(24～26 mm)，表明軟件參數設置對控制信息擬合程度影響的差異較大。當地面點精度為1 mm時，不同的自動連接點和地面點刺點精度組合下，控制點誤差為11～26 mm；而當地面點精度為50 mm，控制點誤差減小為22～23 mm。

表3 軟件精度設置對控制點和驗證點誤差的影響Tab.3 PhotoScan settings effect on control and check points error mm

圖4 設置參數對驗證點與控制點誤差比的綜合影響Fig.4 Effect of varying projection accuracy, tie-point accuracy and marker accuracy on check to control point error ratio

設置參數時對驗證點與控制點誤差比的綜合影響如圖4所示。由圖4可知，驗證點與控制點誤差比范圍較大(1.0～2.4)，同時在默認參數設置下，即自動連接點刺點精度1.0像素、地面點實測精度0.1像素，誤差比為1.95。PhotoScan給出的二者精度分別為0.33、0.26像素，并應用其重新運行光束平差后，驗證點與控制點誤差比為1.26，即優化后誤差比降低了35%。

圖5 不同相機模型的控制點與驗證點誤差Fig.5 RMSE of control and check points by using different camera models

3.3 相機模型選擇

不同相機模型下的誤差特征差異如圖5所示。地面點實測精度對垂直方向誤差有較大影響，而對水平方向誤差影響較弱。當相機模型僅包含焦距信息(相機模型A)時，地面點實測精度變化對誤差幾乎無影響。當相機模型包含像主點、徑向畸變、切向畸變及縱橫比和扭曲度參數時，隨著參數的增加，驗證點誤差以及驗證點與控制點誤差比隨地面點實測精度的變化趨勢與取值均類似(圖6)。相對于相機模型B，相機模型C的控制點和驗證點的RMSE稍低。然而相對于相機模型C，更復雜的相機模型D并沒有表現出明顯的優勢，控制點和驗證點的RMSE以及驗證點與控制點誤差比均類似。考慮到復雜的相機模型需更長的處理時間，因此選擇包含焦距、像主點、徑向畸變、切向畸變參數的相機模型C作為相機模型。

圖6 不同相機模型驗證點與控制點誤差曲線Fig.6 Effect of varying camera models on error ratios of check to control point

4 誤差分析

4.1 DEM表面形態差異

圖7a為優化前后的DEM表面形態。從DEM表面形態上難以看出優化過程對DEM形態的影響。在DEM表面繪制剖面參考線(圖7b)，結果表明優化前后DEM表面形態有變化，不同DEM間高程差異小于10 mm。

圖7 優化前后DEM形態及剖面Fig.7 DEM surfaces and corresponding profiles

4.2 DEM誤差

SfM-MVS獲取的DEM誤差通常隨控制點數量或布設均勻度增加而降低[20]。對于徑流小區，控制點只能布設在小區外圍，而難以布設在小區內部。因此理論上應用全部地面點為控制點且采用優化流程后生成的DEM的誤差最小。在僅使用外圍地面點的情形下，采用了優化流程，生成的DEM也存在一定的誤差。因此本文以使用全部地面點作為控制點、采用優化流程后的DEM作為基準，評估在僅應用外圍地面點為控制點時，優化流程前后DEM誤差的變化，優化前后DEM誤差如表4所示。

表4 優化前后DEM誤差Tab.4 DEM error before and after optimization mm

由表4可知，優化過程降低了DEM誤差。驗證點誤差為基于單點位置的DEM驗證方法，而平均絕對誤差(Mean absolute error，MAE)、均方根誤差(Root mean squard error，RMSE)及標準差(Standard deviation，SD)為基于點云的DEM驗證方法[25]。優化后驗證點誤差從20.0 mm降低至11.0 mm，精度提高了45%，DEM誤差范圍從(-40，40) mm降低到(-20，20) mm。平均絕對誤差從4.8 mm降低至2.8 mm，均方根誤差從5.4 mm降低至3.7 mm，均降低約40%。標準差反映誤差的離散程度。優化前后誤差離散程度從4.4 mm降低至3.7 mm。由于優化后的驗證點誤差(11 mm)與細溝侵蝕深度標準相當[26](溝深大于等于10 mm)，因此優化后的徑流小區三維重建過程更適宜于細溝侵蝕過程的三維表達。

圖8 優化前后DEM誤差空間分布Fig.8 DEM error spatial distribution before and after optimization

從誤差空間分布看(圖8)，優化前后誤差正負值呈現出一定的“碗”狀分布。優化前正值誤差集中于研究區域的右上部，負值誤差分散于左下部；優化后該“碗”狀被加強，正值誤差集中于研究區域的中上部，負值誤差分布于兩側。表明優化過程并沒有降低“碗”狀效應。這可能與圖像拍攝方向均垂直于地表有關。已有研究指出當所有拍攝方向均平行時易于出現“碗效應”[21]，應增加不同拍攝角度圖像最小化“碗效應”的影響，從而產生收斂的成像效果。此外，相對于PhotoScan，MicMac具有包含5個徑向失真系數的布朗畸變模型(Brown’s distortion model)，有可能消除“碗效應”產生的系統誤差[27]。

5 結論

(1)商業SfM-MVS三維重建軟件能夠通過優化參數，提高DEM精度。

(2)PhotoScan的精度參數和相機模型設置對DEM誤差有較大影響。默認設置下生成的徑流小區DEM趨于對地面控制點的過度擬合，而弱化了自動連接點的準確性在DEM誤差控制中的作用。可以使用PhotoScan輸出報告給出的自動連接點與地面點刺點精度代替軟件默認值，并使用相機模型C，執行優化過程，以改善徑流小區DEM對地面控制點的過度擬合。

(3)實施優化過程后，驗證點與控制點誤差比降低了35%。基于單點和點云二者的驗證誤差降低約40%。驗證點誤差從20.0 mm降至11.0 mm，MAE和RMSE分別從4.8 mm與5.4 mm降至2.8 mm與3.7 mm，SD從4.4 mm降至3.7 mm。

(4)優化后的驗證點誤差(11 mm)與細溝侵蝕深度標準相當(溝深大于等于10 mm)，因此經過優化后的徑流小區三維重建過程更適宜于細溝侵蝕過程的三維表達。