傾斜攝影中無效影像判斷篩選方法與應用

方強

(成都市勘察測繪研究院，四川 成都 610081)

1 引 言

傾斜攝影技術(shù)具有數(shù)據(jù)獲取效率高、成果精度高、成果數(shù)據(jù)類型廣泛等顯著特點，使得傾斜攝影技術(shù)在地形圖、實景三維模型、房地一體、地籍等測繪產(chǎn)品的生產(chǎn)中得到了廣泛應用。

在傾斜攝影的數(shù)據(jù)獲取階段中，相機會拍攝到大量的影像數(shù)據(jù)。在數(shù)據(jù)處理階段的影像自動匹配、空三平差、三維重建等環(huán)節(jié)中，影像的數(shù)量直接影響自動處理的速度。影像數(shù)量越高，后期處理的時間也越長。通常1萬張影像就需要至少5小時左右完成影像的自動匹配，并且會有一定的失敗概率。因此如果能在影像分辨率、重疊度等條件不變的前提下，減少需要處理的影像數(shù)量，即能顯著減少后期處理的時間，提高生產(chǎn)效率。

2 傾斜影像有效性

2.1 曝光點外擴

傾斜攝影通過多張傾斜角度和垂直角度影像的多重覆蓋，實現(xiàn)地物的多角度多基線交會。相比傳統(tǒng)航空攝影測量，傾斜攝影具有更大的基高比、更多的攝影基線，因此可以極大地提高地物點的空間交會精度(見圖1)。

圖1 傳統(tǒng)攝影測量與傾斜攝影測量基線對比

在實際生產(chǎn)實施過程中為滿足測區(qū)內(nèi)所有地形地物的多基線多角度影像覆蓋，測區(qū)內(nèi)所有位置均需要有多個方向的傾斜影像覆蓋。而對于測區(qū)邊界附件區(qū)域，傳統(tǒng)航空攝影中的外擴曝光點不能實現(xiàn)傾斜方向影像的多重覆蓋，因此需要有多的外擴距離。在實際傾斜攝影實施中，會根據(jù)飛行高度、傾斜鏡頭角度等參數(shù)設(shè)置一定數(shù)量的外擴航線和航點。[1]

2.2 無效影像產(chǎn)生

傾斜攝影系統(tǒng)中通常安裝有多個不同朝向的傾斜相機，每一次曝光會同時獲取多張影像。因此在測區(qū)邊界兩側(cè)的曝光點中必然存在相機鏡頭朝向測區(qū)之外的影像。此類影像由于不包含測區(qū)內(nèi)的景物，對當前測區(qū)的后期處理沒有實用價值，因此可將此類影像定義為無效影像(如圖2所示)。反之可以將那些所拍攝到地面、地物在測區(qū)內(nèi)，或包含測區(qū)內(nèi)部分區(qū)域的影像定義為有效影像。對于多個分區(qū)構(gòu)成的測區(qū)中，某個分區(qū)的無效影像可能是相鄰分區(qū)的有效影像，某有效影像則可能是相鄰分區(qū)的無效影像。

圖2 無效影像與有效影像

2.3 無效影像數(shù)量及影響

對于使用多個固定鏡頭組成的傾斜攝影系統(tǒng)而言，每次曝光均會獲得多張影像，因此在測區(qū)邊界附近的曝光點中就會如圖2所示獲得一定數(shù)量的無效影像。如果不將無效影像進行鑒別和剔除，后續(xù)的影像處理會增加需要處理的影像數(shù)量。此外無效影像中對應區(qū)域的影像重疊度較低、影像角度單一，會對影像空三處理的效率和正確率造成不良影響。

3 影像有效性判斷

3.1 影像點位置計算

為實現(xiàn)影像的有效性判斷，需要較為精準地計算出所有影像對應的地面覆蓋區(qū)域。然后根據(jù)所需的測區(qū)范圍即可判斷出影像的有效性。

攝影測量學中共線方程式可以在已知影像的外方位元素條件下，計算出空間中任意一點(XA，YA，ZA)在影像上對應的像素位置(x，y)[2]。

共線方程中(x0，y0)為影像像主點的像平面坐標，(XA，YA，ZA)為影像攝影中心的空間坐標。影像姿態(tài)角經(jīng)過矩陣計算得到的旋轉(zhuǎn)矩陣構(gòu)成了參數(shù)an，bn，cn。

共線方程的逆運算，及從影像上任一點計算對應的空間坐標，則有以下方程：

(1)

式(1)也稱之為數(shù)字微分糾正正解法方程[3]。通過觀察式(1)可以看出，需要在某點高程值ZA已知條件下，方可計算出該點的平面坐標值(XA，YA)。

3.2 影像邊界點

如果要計算影像每個像素所對應的地面點坐標，則每張影像需要進行數(shù)千萬次計算，需要耗費大量時間。而在地形起伏不劇烈的條件下，影像最外圍的像素即對應影像覆蓋范圍面邊緣的點，因此僅需計算出最外圍部分像素的地面點，然后將地面點依次連線，即可得到每張影像的地面覆蓋范圍面。

3.3 真實地形的影像地面覆蓋計算

目前有部分傾斜攝影系統(tǒng)在配套軟件中提供了有效影像篩選的工具，可以利用影像的位置、姿態(tài)等信息獲得影像的覆蓋區(qū)域。此類工具在影像地面覆蓋計算時，通過將地面簡化為水平面，利用設(shè)定地面高作為式(1)中的ZA，因此可以簡便快捷地得到影像覆蓋度范圍和有效性，實現(xiàn)影像篩選的目的。但對于超低空作業(yè)的無人機傾斜攝影，地面幾十米的高差變化就會對影像的覆蓋范圍造成巨大的變化。在地形起伏較大的丘陵和山地，這種簡捷方式獲取的影像地面覆蓋范圍會有較大的誤差，極易出現(xiàn)錯判、漏判的結(jié)果，并不能完全滿足影像篩選的要求[4]。

為確保影像地面覆蓋計算的正確性，需要以真實的地形為基礎(chǔ)，考慮地形起伏對影像覆蓋范圍的影響。在實際工作中，在項目設(shè)計階段會收集到測區(qū)的DEM資料，因此可以以DEM為基準，精確地計算出每張影像的地面覆蓋范圍。

在該條件下，對影像上任一點的地面位置，需使用迭代方式計算該地面點坐標。首先設(shè)定高程初始值，通常為測區(qū)平均高程Z0。將Z0作為ZA代入(1)中，然后計算出坐標(X0，Y0)。隨后在DEM中使用坐標(X0，Y0)內(nèi)插獲得新的高程值Z1。然后將Z1作為ZA代入(1)中，然后計算出坐標(X1，Y1)，并再次在DEM中內(nèi)插獲得新的高程值Z2(圖3)。進行若干次迭代之后，即可獲得較為準確的地面點坐標。

圖3 迭代計算示意圖

獲取到所有影像的地面覆蓋范圍后，即可通過與測區(qū)范圍面的疊加分析判斷出哪些影像覆蓋范圍不在測區(qū)范圍內(nèi)，即為無效影像，從而起到對影像進行篩選的作用。經(jīng)過影像的篩選即可有效減少后期處理所需要的影像數(shù)量。

3.4 外方位元素設(shè)定

影像地面覆蓋計算需要較為精確的影像外方位元素，影像的外方位元素由影像攝影中心位置坐標和影像姿態(tài)角構(gòu)成。目前傾斜攝影系統(tǒng)都集成有高精度的GPS差分模塊，可以獲得厘米級精度的影像位置信息。因此可以直接將差分獲得的影像位置坐標成果作為覆蓋分析計算時的影像位置坐標(XA，YA，ZA)。但對于影像姿態(tài)角，如果傾斜攝影系統(tǒng)無法提供高精度的姿態(tài)角，則需人為地設(shè)定影像的姿態(tài)角。

攝影測量中影像的姿態(tài)角包括方向角、仰俯角、橫滾角。根據(jù)坐標軸旋轉(zhuǎn)次序，姿態(tài)角目前有三類轉(zhuǎn)角系統(tǒng)，即YXZ旋轉(zhuǎn)次序的POK(Phi-Omega-Kappa)系統(tǒng)、XYZ旋轉(zhuǎn)次序的OPK(Omega’-Phi’-Kappa’)系統(tǒng)、ZYX旋轉(zhuǎn)次序的HPR(Heading-Pitch-Roll，也稱為Yaw-Pitch-Roll)系統(tǒng)[5]。同一張影像在位置姿態(tài)不變條件下，其姿態(tài)角在不同轉(zhuǎn)角系統(tǒng)上會呈現(xiàn)出不同數(shù)值，如表1所示。

影像不同轉(zhuǎn)角系統(tǒng)角度對比 表1

由表1可以看出，在POK、OPK轉(zhuǎn)角系統(tǒng)中影像的仰俯角和橫滾角與方向角度相關(guān)。相同相機不同影像在不同方向角時仰俯角橫滾角數(shù)值有極大的差異。而在HPR轉(zhuǎn)角系統(tǒng)中，影像的仰俯角和橫滾角數(shù)值與方向角度無關(guān)，僅與其鏡頭安置角度相關(guān)，不同方向角下的仰俯角和橫滾角基本穩(wěn)定。因此使用HPR的轉(zhuǎn)角系統(tǒng)時僅需要獲得影像的方向角，對于仰俯角和橫滾角可以使用固定值。在影像覆蓋分析時可以將同一相機所有影像的Pitch值設(shè)定與安裝角度一致，為45°或0°，Roll值設(shè)定為0°。而Heading數(shù)值可以根據(jù)航線方位角，或根據(jù)相鄰影像之間的位置變化計算獲得。

4 利用FME的影像判斷篩選方法

4.1 FME簡介

FME(Feature Manipulate Engine)一款功能強大的地理空間數(shù)據(jù)分析計算工具。在FME中內(nèi)置有數(shù)百個轉(zhuǎn)換工具，可以通過轉(zhuǎn)換工具的靈活組合，實現(xiàn)不同類型數(shù)據(jù)的讀寫、計算、空間分析等功能。使用FME在實現(xiàn)地理信息數(shù)據(jù)的格式轉(zhuǎn)換和空間分析時無須耗時耗力的軟件開發(fā)，具有極大的便利性和易用性。

4.2 外方位元素設(shè)定

影像的POS中的影像攝影中心的坐標值可作為外方位元素使用。在FME中直接讀取影像的圖像名和坐標值，使用AttributeCreator轉(zhuǎn)換器，獲得相鄰影像的坐標值。然后根據(jù)影像的前后的位置變化即可計算出飛行的方位角，再根據(jù)不同相機的安置角度計算出Heading值，并設(shè)定Pitch為0°或45°，Roll為0°。

4.3 影像邊界點

設(shè)定若干個影像邊界點添加每張影像圖像邊緣的像素點。對于同一張影像，所選取的邊緣采樣點數(shù)量與影像覆蓋范圍精準程度相關(guān)。邊緣采樣點越多，生成的范圍面越精確，但計算量也會隨之上升。同時對于不同的地形條件，不同數(shù)量采樣點之間的覆蓋范圍差異也有所區(qū)別。由圖4可以看出，地形起伏較大的區(qū)域需要較多的采樣點才可獲得較為準確的覆蓋范圍，但過多的采樣點會需要更長的計算時間，且覆蓋范圍準確性提示也較小。因此需要根據(jù)實際的地形條件，設(shè)置合適的采樣點，對于丘陵地區(qū)通常12個采樣點就能計算出較準確的覆蓋范圍。

圖4 不同數(shù)量采樣點不同地形條件下生成的范圍面

4.4 旋轉(zhuǎn)矩陣計算

添加AttributeCreator轉(zhuǎn)換器，將影像的外方位元素連接至該轉(zhuǎn)換器。然后在轉(zhuǎn)換器的Attribute Value參數(shù)中實現(xiàn)旋轉(zhuǎn)矩陣的計算，輸出旋轉(zhuǎn)矩陣的值。使用HPR轉(zhuǎn)角系統(tǒng)時，旋轉(zhuǎn)矩陣的計算方式為：[5]

即為：

4.5 地面點迭代計算

新建循環(huán)工具Loop，在其中加入AttributeCreator、PointOnRasterValueExtractor等轉(zhuǎn)換器，實現(xiàn)如下迭代計算：

(1)將AttributeCreator轉(zhuǎn)換器作為地面平面坐標計算器，在其Attribute Value中輸入式(1)的表示式。該轉(zhuǎn)換器即可根據(jù)輸入的影像外方位元素、地面點高程ZN計算出地面點平面坐標(XN，YN)。初始高程值Z0可以使用當前區(qū)域的平均高程。

(2)將PointOnRasterValueExtractor轉(zhuǎn)換器作為地面點高程計算器，利用地面點平面坐標(XN，YN)在DEM中內(nèi)插計算出該點的高程值ZN+1。

(3)使用Tester轉(zhuǎn)換器判斷ZN+1與ZN的差值是否小于設(shè)定閾值。若小于則跳出循環(huán)，輸出地面點坐標(XN，YN，ZN)。

將同一張影像的邊界點相連，即獲得了該影像的地面覆蓋范圍。圖5為某架次影像的地面覆蓋范圍計算，可以看出由于地形起伏使得影像覆蓋面的邊緣呈現(xiàn)出彎曲的形態(tài)。

圖5 影像覆蓋范圍計算結(jié)果

4.6 有效性判斷

使用LineBuilder轉(zhuǎn)換器將影像邊界的地面點連接構(gòu)面，即獲得了每張影像的地面覆蓋范圍，并根據(jù)實際情況選取或繪制當前需要處理的測區(qū)范圍。然后判斷影像覆蓋范圍面與測區(qū)范圍面之間的空間關(guān)系，將所覆蓋范圍全部在測區(qū)外的影像判定為無效影像，反之則為有效影像。

在FME中可以使用SpatialRelator轉(zhuǎn)換器實現(xiàn)疊加分析，并使用Tester轉(zhuǎn)換器判斷每個影像覆蓋范圍面與測區(qū)范圍面之間的重疊關(guān)系，并輸出判斷結(jié)果。

在選取測區(qū)范圍時需要注意像控點所在位置，如果有部分像控點在區(qū)域外，則需要根據(jù)實際情況適當外擴或增加獨立區(qū)域，以確保所有像控點均滿足多角度影像的覆蓋。在地形起伏變化較大的區(qū)域，有可能會出現(xiàn)計算范圍與實際范圍偏差較大的情況，同樣會造成影像有效性的誤判，因此可以適當外擴測區(qū)范圍。

通過上述流程可以較快速度完成影像的有效性判斷，通常十余分鐘即可完成數(shù)萬張影像的有效性判斷。在后續(xù)的各項環(huán)節(jié)中即可僅將有效影像進行處理，從而減少需要處理的影像數(shù)量。

5 實例驗證與應用

利用影像篩選方法可以減少需要處理的影像數(shù)量，可以減少空三環(huán)節(jié)的處理時間并降低出錯概率，從而起到提高生產(chǎn)效率的作用。為驗證該方法的有效性，目前已通過多個傾斜攝影測量項目中使用該方法，充分驗證了該方法的有效性。

5.1 覆蓋范圍驗證

在目前已完成對傾斜攝影項目中，選取多張影像對影像地面覆蓋范圍計算的正確性進行判斷。將經(jīng)過地形正射糾正后影像與計算出的影像覆蓋范圍面進行疊加檢查。檢查中發(fā)現(xiàn)大部分影像所計算出的覆蓋范圍與最終實際覆蓋范圍基本一致，在使用12個采樣點的計算條件下，地面覆蓋區(qū)域誤差小于20%(圖6)。個別差別較大的影像均是位于航線首尾區(qū)域，由于無人機轉(zhuǎn)向使得影像實際的姿態(tài)角偏移較大。

圖6 計算出的范圍與真實影像疊加

5.2 影像篩選前后對比測試

隨后選取了多個已完成的傾斜攝影項目進行驗證和對比測試，用于檢驗影像篩選對處理時長的影響。首先對實驗樣本區(qū)進行影像篩選，然后再僅使用有效影像進行空三處理，最后將空三處理的時長與最初未進行影像篩選的空三時長進行對比。部分典型實驗樣本區(qū)的測試結(jié)果如表2所示：

由表2可以看出由于處理的影像數(shù)量減少，空三處理時間均減少了10%左右。并且由于所有像控點均位于篩選時的測區(qū)范圍內(nèi)，因此所有像控點影像數(shù)量、定向殘差等均未發(fā)生變化，精度與未經(jīng)篩選的影像處理結(jié)果保持一致。

影像篩選前后空三處理時間對比 表2

5.3 實際項目應用

驗證該影像篩選的有效性后，在成都某地區(qū)的實景三維生產(chǎn)項目中即將影像篩選作為生產(chǎn)處理中的必要流程。測區(qū)中每個分區(qū)在空三處理前均使用影像篩選方法然后僅對有效影像進行空三和建模處理，共計減少了數(shù)萬張無效影像。各分區(qū)的影像數(shù)與處理時間如表3所示：

影像篩選實際效用 表3

經(jīng)過影像篩選和空三處理后的部分影像姿態(tài)如圖7所示，可以看出在最外邊緣的曝光點中僅保留了鏡頭朝向測區(qū)的有效影像。

圖7 篩選后測區(qū)邊界附近的影像分布

在本項目中為增加每個分區(qū)的像控點數(shù)量與分布條件，每個分區(qū)均有一定程度的邊界外擴。并且為確保分區(qū)接邊精度，分區(qū)之間也有較多的重疊。最終像控點的連接點殘差、定向點殘差、檢查點較差、分區(qū)之間公共點較差(表4)均符合預期，滿足后續(xù)的地形圖測繪與單體化建模要求。

影像篩選后精度情況 表4

6 結(jié) 論

傾斜攝影中在測區(qū)邊界附近會獲取到大量的無效影像。無效影像的存在會增加需要處理的影像數(shù)量，也延長了空三及建模處理的時間。利用影像覆蓋計算方法可以快速判斷影像的有效性，從而可以在后期處理中排除無效影像，起到減少處理時間、降低出錯概率、提高生產(chǎn)效率的作用。

除此之外，本文中的影像篩選方法的準確度和效率還有可提升的空間和余地。體現(xiàn)在如下方面：

(1)在測區(qū)中間的曝光點的所有影像均是有效影像，可以利用影像位置、航高、航向等參數(shù)排除掉這類曝光點的影像覆蓋計算，從而減少影像篩選計算時間。

(2)目前大多數(shù)無人機傾斜攝影系統(tǒng)無法提供高精度的影像曝光姿態(tài)信息，因此僅能通過后期推斷和假定等方式得到影像的姿態(tài)角。而當影像實際出現(xiàn)姿態(tài)偏離時，利用人為設(shè)定姿態(tài)角計算出的影像覆蓋范圍與真實值會有較大差異。今后隨著傾斜攝影系統(tǒng)的改進升級，預期可以利用IMU設(shè)備直接獲取高精度的影像姿態(tài)角，即可精準地計算出每張影像的地面覆蓋范圍，從而為影像篩選、漏洞分析、重疊度計算、像控點可見性分析等提供更加精準的依據(jù)。