999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于虛擬成像原理的組合相機視場拼接與波段配準方法

2024-09-19 00:00:00馮笑宇李雷鐘聯宇陳江蘇顧杭
無線電工程 2024年6期

摘 要:針對寬幅組合相機在交會角過小、平差精度不穩定等方面的挑戰,以及多光譜組合相機面臨的波段配準技術難題,深入探討了虛擬成像原理在擴大視場角和提升波譜分辨率方面的實現途徑。通過分析和優化組合相機各物理相機間固有的幾何關系,將多臺物理相機的位置和姿態關系視為剛體連接。通過測量不同相機拍攝的影像間的同名像點,解算相機間的幾何變換關系并重投影至虛擬成像面,最終實現了各物理相機所獲取的獨立圖像的高效且精確的影像融合,融合的圖像符合單中心投影規律。通過優化,擴展了寬幅組合相機的航攝范圍,提高了多光譜組合相機的光譜分辨率,尤其在處理無紋理區域和地形起伏場景時展現出卓越的適應性和精確度。實驗結果顯示,對于寬幅組合相機,該方法的影像拼接精度達到0. 31 pixel;對于多光譜組合相機,波段配準精度達到0. 25 pixel。證明了虛擬成像技術能夠顯著提升組合相機數據的處理性能和效率,且與現有攝影測量處理軟件系統完全兼容,拓寬了組合相機數據在航空攝影測量領域的應用范圍,為地理信息系統的應用提供了新視角。

關鍵詞:虛擬成像;波段配準;寬幅相機;多光譜相機;多拼相機;組合相機

中圖分類號:TP391. 41 文獻標志碼:A 開放科學(資源服務)標識碼(OSID):

文章編號:1003-3106(2024)06-1576-08

0 引言

直升機、無人機等低空攝影平臺作為航空航天攝影測量的重要補充手段,廣泛應用于抗災救援[1]、國土監察[2]、林業調查[3]以及大比例尺地形圖測繪[4]等多個領域,在中小范圍航空攝影測量作業中發揮了巨大的作用。面對不斷增長的地理信息需求,這些攝影平臺需要在有限的飛行時間內實現盡可能廣的地面覆蓋率且盡可能高的分辨率。

在復雜多變的應用背景下,單一相機往往受限于其傳感器幅面和鏡頭的限制難以滿足不同領域對高分辨率和寬視角影像的需求,因此寬幅組合相機[5]和多光譜組合相機[6]變得尤為重要。一方面,寬幅組合相機在城市規劃、交通監控等領域扮演著關鍵角色。通過將多臺數碼單鏡頭反光相機(Digital Single Lens Reflex Camera,DSLRC)的影像組合在一起,可以顯著增加視場角和覆蓋地面范圍,為城市的發展和管理提供詳細的視角[7]。另一方面,多光譜組合相機則在農業監測、環境評估中發揮著不可或缺的作用[8]。它能夠捕捉不同光譜范圍內的數據,提供有關地面狀況的更多細節,以支持精確的農業管理和生態保護。

然而,由寬幅組合相機和多光譜組合相機在不同條件下獲得的多幅獨立影像在視角、光譜特性和覆蓋范圍上各有差異,給攝影測量數據處理帶來了不小的難度,因此,當前的挑戰在于如何高效地整合這些影像。現有攝影測量數據處理軟件在處理面陣傳感器影像時,通常基于小孔成像模型[9]對相機的成像過程進行建模,以共線條件方程為基本數學模型。如果將上述2 類組合相機在同時曝光時獲取的多幅圖像看作是相互獨立的,直接采用現有的攝影測量數據處理軟件進行處理,常常面臨諸多挑戰,如交會角過小、未知數相關性強以及平差結果精度不穩定等[10]。

當前,基于單中心投影[11]理論研究的攝影測量數據處理技術日趨成熟,并在行業內已得到廣泛應用。在這樣的背景下,為了實現成本效益和實用性的最優化,針對寬幅和多光譜組合相機中的特定問題,基于現有的處理軟件對現有技術進行細致優化來提高數據的應用價值,而非開發新理論或軟件。根據虛擬成像原理,深入分析了組合相機成像時各物理相機間的固有幾何關系;優化了將相互獨立的幾幅圖像合成為一幅符合單中心投影規律的新圖像的過程。采用該優化方法能夠擴大寬幅組合相機的航攝范圍,提高多光譜組合相機的光譜分辨率,同時使得這些組合相機能夠適用于現有的攝影測量處理技術和軟件。在實際應用中,這一優化方法在處理寬視角組合相機的影像時被稱為“相機拼接”[12-14],而在處理多光譜相機的影像時則被稱為“波段配準”[15],以上方式旨在提升寬幅和多光譜組合相機在多樣化地理信息應用中的效能和效率。

1 虛擬成像原理

1. 1 組合相機工作原理

當組合相機中的各物理相機曝光嚴格同步時,飛行平臺對組合相機的影響是可以忽略的,因此相機之間的幾何關系可以看作是恒定的。組合相機工作原理示意如圖1 所示。

在圖1(a)中,左視、下視和右視相機相互靠近,盡可能減少投影中心間的距離,右視相機放置在左側,鏡頭向右傾斜,左視相機放置在右側,鏡頭向左傾斜,傾斜角度對稱,大小根據左右相機的地面度進行設置。圖1 (b)展示了多光譜組合相機的成像原理,每臺物理相機的鏡頭指向近似平行,對地面范圍相同區域成像,獲取各自濾光片對應的譜段數據。

1. 2 虛擬成像模型

無論是用于擴大視場角的寬幅組合相機,還是旨在提高波譜分辨率的多光譜組合相機,它們的基本工作原理是相同的。每臺物理相機自身是一個完整的DSLRC 系統,擁有獨立的光學路徑和成像傳感器。所提到的成像傳感器,通常是互補金屬氧化物半導體(Complementary Metal-Oxide Semiconductor,CMOS)或電荷耦合器件(Charge-Coupled Device,CCD)。在討論組合相機的幾何關系時,重要的是考慮各物理相機的攝影中心和攝影方向。每臺物理相機,例如第i 臺,具有攝影中心Si 和像主點oi,后者是攝影方向與影像成像平面的交點。相機i 的像平面坐標系oi -xi yi 中,xi 軸方向通常與航向方向一致。建立像空間坐標系Si -xi yi zi 時,以物理相機投影中心Si 為坐標原點,相機主光軸Si oi 為坐標系的zi軸,同時確保其xi、yi 軸分別平行于像平面坐標系的xi、yi 軸。對于組合相機系統,以虛擬投影中心S 在空間中的位置為坐標原點,以鉛垂線方向為Z 軸,取航線方向為X 軸,按照右手系規則建立虛擬像空間輔助坐標系S-XYZ。取地面一點A 為原點,坐標軸與虛擬像空間輔助坐標系坐標軸平行,建立地面攝影測量坐標系A-Xp Yp Zp。此外,考慮一個投影中心位于S 的虛擬理想水平像片,建立其虛擬像空間坐標系S-xyz,其中主光軸So 為坐標系z 軸。相應的虛擬水平像片的像平面坐標系表示為o-xy。這些空間關系和坐標系統如圖2 所示。

設地物點M,其在第i 臺物理相機所攝影像上的像點記作mi。相機i 攝影時,其攝影中心Si、地物點M 和其構像點mi 滿足共線條件方差:

式中:(XM YM ZM) T 為地物點M 在地面攝影測量坐標系A-Xp Yp Zp 下的坐標,λi 為物理相機i 上的攝影比例尺分母,Ri 為相機i 成像光束姿態方向余弦構成的旋轉矩陣,(xi yi zi) T 為相機i 上的構象mi 在像空間坐標系Si -xi yi zi 下的坐標,(XSi YSi ZSi) T 為相機i 投影中心在攝影測量坐標系A-Xp Yp Zp 下的坐標。

同理,設地物點M 在理想像片上的構像為m0 ,其在虛擬像空間坐標系S-xyz 下的坐標為(x0 y0 z0 ),且滿足:

式中:λ0 為虛擬相機的攝影比例尺分母,R0 為虛擬相機姿態參數構成的旋轉矩陣,(x0 y0 z0) T 為虛擬相機上的構象m0 在像空間坐標系S-xyz 下的坐標,(XS0 YS0 ZS0) T 為虛擬相機投影中心在攝影測量坐標系A-Xp Yp Zp 下的坐標。

聯立式(1)和式(2)可以發現,mi 與m0 之間存在式(3)所示的變換關系———虛擬攝影作業公式:

式中:fi 與f0 分別為物理相機和虛擬相機的主距,Hi為投影中心Si 與地物點M 之間的距離,即深度;R-1i為姿態方向余弦構成的旋轉矩陣,i 取值為0 時對應虛擬相機。

結合組合相機成像特點,進一步分析式(3)可以發現,當虛擬相機以理想水平姿態對地成像時,R0 = E,Ri 為物理相機i 成像光束相對于理想相機的姿態,虛擬攝影成像誤差由(XS0 - XSi YS0 - YSi ZS0 -ZSi) T / Hi 決定,當虛擬相機投影中心與物理相機投影中心重合時,誤差項分子為0,此時虛擬相機與物理相機間的幾何變換關系是嚴密的。然而,組合相機的物理結構決定了虛擬相機無法同時與各個物理相機的投影中心重合,因此虛擬攝影過程不可避免地引入誤差:

式中:H0 為虛擬成像投影面平均高程,ΔH 為地物點與投影水平面間的高差,(Δx Δy Δz) T 為地形起伏引起的投影誤差。一般情況下,投影中心間距離為厘米級,航空飛行平臺的攝影距離通常為數百米,誤差項數值較小,可忽略其影響。

2 實驗及分析

本節通過一系列實驗來驗證虛擬成像原理在寬幅組合相機圖像拼接以及多光譜組合相機波段配準中的有效性[16]。為了展示虛擬成像技術在處理不同攝影平臺和條件下獲取的圖像數據時的適應能力和精度,并證明理論的可行性和實用性,實驗選取了2 種不同類型的相機:徠卡ContentMapper 寬幅組合相機和長光禹辰MS600 多光譜組合相機作為實驗的主要設備。

詳細的技術參數和外觀特征為實驗提供了必要的技術背景,是理解實驗結果的關鍵因素。2 種相機的外觀及其基本參數分別如表1 和表2 所示。

表1 列出了徠卡ContentMapper 組合相機中3 臺獨立物理相機的基本參數,下視相機與左、右2 臺側視相機相比,主距短,視場角大,由于其攝影距離較側視相機更近,因此成像時3 臺物理相機間的空間分辨率差異較小,對于虛擬拼接是有利的。

表2 列出了長光禹辰6 波段多光譜組合相機的基本參數,每臺物理相機除濾光片不同外,其他參數均相同,安裝角度近似相互平行,拍攝范圍基本一致。

2. 1 寬幅組合相機實驗與分析

徠卡ContentMapper 寬幅組合相機實驗數據位于城區,相對地面飛行高度約為2 700 m,影像空間分辨率約為0. 09 m,影像紋理豐富、對比度適中,無明顯模糊。在成像時,3 臺物理相機分別對地面不同區域進行攝影,側視相機與下視相機視場角之間的重疊度約為0. 6°,處于重疊區的地物會同時在側視相機和下視相機上成像。首先利用影像匹配算法在重疊區內量取一組空間分布盡可能均勻的同名像點,如圖3 所示,圖中紅色十字絲代表同名像點在影像中的位置。

然后將同名像點坐標視作觀測值,利用最小二乘方法解算式(3)對應的未知數,建立3 臺相機之間的剛體變換關系。接著將虛擬相機成像傳感器幅面設置為191. 76 mm×40. 00 mm,并通過虛擬成像重投影變換[17]和灰度重采樣過程,生成一整幅寬視角影像,結果如圖4 所示。

圖4 所示影像寬51 000 pixel,高10 640 pixel,與表1 所示物理相機幅面相比,虛擬寬幅影像合成了左視、下視以及右視3 臺相機拍攝的影像,顯著增大了虛擬相機的視場角。

為了進一步驗證相機重疊區拼接縫兩側地物的對齊精度,實驗臨時關閉了虛擬成像過程中的色彩均衡算法和羽化過度算法。這樣做可以保留拼接縫,便于觀察地物幾何錯位,這種幾何錯位在圖5 中有所展示。

圖5 為拼接縫兩側放大2 倍后的結果,沿拼接縫兩側線狀地物對齊良好,無明顯錯位。為了定量評價3 臺相機重地區拼接精度,實驗在求得式(3)中的未知數后,將左、右2 臺相機上的像點坐標變換至下視相機,并與同名像點在下視相機上的坐標求差,其中誤差為1. 19 μm,約為0. 31 pixel(1. 19 / 3. 76≈0. 31),該值可作為拼接精度的定量評價指標。

2. 2 多光譜組合相機實驗與分析

在本節中,第一組實驗數據選取高大建筑區,用于本文方法對場景深度變化的適應能力;第二組數據為無紋理及乏紋理區,用于檢驗將組合相機幾何關系視作剛體的合理性;第三組紋理豐富,用于定量評價本文方法的精度。

2. 2. 1 場景深度變化時的驗證與分析

實驗采用多旋翼無人機搭載多光譜組合相機進行飛行,相對地面飛行高度為100 m,同時觀察的樓房高度約為20 m。為了展示波段配準的效果,比較了配準前后的影像,對比效果如圖6 所示。

從圖6(a)可以看出,配準前將各物理相機拍攝的波段直接疊加,存在明顯的幾何錯位;而采用本文方法配準后,整體目視效果良好。從圖6(c)的局部放大圖來看,地面停車場中車位邊線及屋頂均嚴格配準,無錯位現象,說明忽略式(4)所示誤差項是可行的。

2. 2. 2 乏紋理及無紋理區的驗證與分析

當用組合相機拍攝大面積河流、湖泊、沙漠和草原等無紋理或乏紋理地區時,可利用相同航高獲取的一組紋理豐富的圖像,計算式(3)所需參數,進而處理無紋理區圖像。實驗選取一個水面面積較大的區域進行觀測,其中相對水面的航高約50 m。為了展示不同條件下的配準效果,特別關注了部分落水和完全落水2 種情況。這2 種情況下的配準效果分別如圖7 和圖8 所示。

從圖7 和圖8 可以看出,地面和水面均嚴密配準,特別是當影像全部落水時,波段之間仍然配準嚴密,這說明將組合相機的幾何變換關系視作剛體,相同飛行條件使用同一套變換參數是合理的。

2. 2. 3 精度驗證與分析

為定量評價本文方法的幾何精度,實驗進一步選取一幅已配準影像,取該影像的第四、第五波段,利用最小二乘匹配方法[18]提取波段間同名像點,并將像點在2 個波段上的坐標之差作為評價波段間配準精度[19-21]的指標。

波段4 與波段5 之間的同名像點(經統計共計212 對同名像點)基本覆蓋了整幅影像,這些點不僅分布在地面上,也位于房頂和樹冠上。這種廣泛的分布可用于評估不同深度地物的配準精度。同名像點的分布如圖9 所示,而2 個波段間同名像點的坐標差值,作為評價配準精度的部分結果,如表3 所示。

從表3 可以看出,2 個波段間在列和行方向的配準誤差分別為0. 16 pixel 和0. 19 pixel,平面配準誤差為0. 25 pixel,滿足遙感領域中對影像配準精度一般不低于0. 3 pixel 的要求。

3 結束語

基于通道分離型組合相機成像原理,深入探討了虛擬成像技術在擴展寬幅組合相機視場角及實現多光譜組合相機波段精確配準方面的應用。將多臺物理相機的相對位置和姿態關系視為剛體連接,通過精確測量不同相機捕捉的同名像點,計算相機間的幾何變換關系,成功將各個相機拍攝的圖像集有效地融合為一幅符合單中心投影規律的新圖像。核心工作在于優化各物理相機的固有幾何關系,特別是在航空攝影中,通過忽略地形起伏引入的誤差,簡化了平差模型,顯著提升了圖像融合的處理效率,在處理無紋理區域或復雜地形時顯示出高適應性和精確度,擴展了寬幅組合相機在中小范圍航攝中的應用范圍和提高了多光譜組合相機的光譜分辨率。

此外,基于虛擬成像原理的組合相機視場拼接與波段配準后生成的單中心投影虛擬影像,完全兼容現有攝影測量處理軟件系統。這一成果在理論上具有精確性,在實際應用中展現出高效性,解決了寬幅組合相機的拼接難題和多光譜相機的波段配準問題,為航空攝影測量領域提供了新視角和實用解決方案。該技術不僅提高了數據處理的效率和精度,也為地理信息系統的應用開辟了新途徑。

然而,在特殊場景,尤其是處理各物理相機曝光不同步的問題時仍面臨挑戰。在物理相機攝影中心間距較大時,虛擬成像方法難以解決寬幅組合相機的拼接和多光譜組合相機的配準問題。未來將探索更高效的同步曝光技術和改進的影像融合算法[22],以確保在各種條件下都能獲得高質量影像數據。

參考文獻

[1] 葛小三,陳曦,趙文智,等. 基于生成對抗網絡的建筑物損毀檢測[J]. 測繪學報,2022,51(2):238-247.

[2] 韓杰,王爭. 無人機遙感國土資源快速監察系統關鍵技術研究[J]. 測繪通報,2008(2):4-6.

[3] 吳培強,任廣波,張程飛,等. 無人機多光譜和LiDAR的紅樹林精細識別與生物量估算[J]. 遙感學報,2022,26(6):1169-1181.

[4] 薛武,張永生,王濤,等. 無人直升機面陣影像高精度對地定位[J]. 武漢大學學報(信息科學版),2019,44(2):246-253.

[5] 劉宇,熊恒斌,文義紅,等. GPU 支持的寬幅遙感影像RPC 校正并行處理[J]. 無線電工程,2021,51 (8):699-704.

[6] 范鑫,胡昌苗,霍連志. 耦合多源地理數據的多分辨率遙感影像場景分類方法研究[J]. 無線電工程,2021,51(12):1449-1460.

[7] 孫佳敏,宋慧慧. 基于DWT 和生成對抗網絡的高光譜多光譜圖像融合[J]. 無線電工程,2021,51 (12 ):1434-1441.

[8] JHAN J P,RAU J Y,HAALA N. Robust and AdaptiveBandtoBand Image Transform of UAS Miniature Multilens Multispectral Camera [J]. ISPRS Journal of Photogrammetry and Remote Sensing,2018,137:47-60.

[9] 張杰,范生宏,劉昌儒,等. 空間后方交會精度分析及實驗驗證[J]. 無線電工程,2015,45(12):59-63.

[10] 徐斌,李英成,劉曉龍,等. 附加約束條件的光束法區域網平差在四拼數碼航空相機平臺檢校中的應用[J]. 測繪學報,2014,43(1):66-73.

[11] 高燕,夏霏. 視覺信息位姿估計在火箭起飛漂移量中的應用[J]. 無線電工程,2021,51(4):302-307.

[12] TANG L,D?RSTEL C,JACOBSEN K,et al. GeometricAccuracy Potential of the Digital Modular Camera[J]. International Archives of Photogrammetry and Remote Sensing,2000,33:1051-1057.

[13] 林宗堅,蘇國中,支曉棟. 無人機雙拼相機低空航測系統[J]. 地理空間信息,2010,8(4):1-3.

[14] 于君娜,王士成,梁碩. 基于POS 系統和SIFT 特征的無人機遙感影像拼接方法[J]. 無線電工程,2019,49(10):875-879.

[15] 李健,劉先林,劉鳳德,等. SWDC-4 大面陣數碼航空相機拼接模型與立體測圖精度分析[J]. 測繪科學,2008(2):104-106.

[16] JHAN J P,RAU J Y,HUANG C Y. BandtoBand Registration and Orthorectification of Multilens/ MultispectralImagery:A Case Study of MiniMCA12 Acquired by aFixedwing UAS [J]. ISPRS Journal of Photogrammetryand Remote Sensing,2016,114:66-77.

[17] 黃鴻柳,譚果,蔣林利,等. 基于雷達傳感器和改進深度學習的無人機目標檢測方法[J]. 無線電工程,2023,53(9):2143-2150.

[18] 耿傲婷,李遲生. 一種基于粒子群的多站測向交叉定位改進算法[J]. 無線電工程,2023,53(9):2012-2018.

[19] 魏泓安,單小軍,鄭柯,等. 基于深度學習的SAR 與光學影像配準方法綜述[J]. 無線電工程,2021,51(12):1363-1372.

[20] 宋梟,朱家明,王瑩. 基于生成對抗網絡的多模態可變形醫學圖像配準[J]. 無線電工程,2021,51 (9 ):999-1006.

[21] 楊毅,李大成,于杰,等. 基于迭代更新的SIFT 遙感圖像配準算法[J]. 無線電工程,2023,53(2):401-409.

[22] 常學立,郭鑫軼,嚴盟. 基于Pansharp 模型色彩高保真優化的高分遙感影像融合方法[J]. 無線電工程,2021,51(12):1382-1388.

作者簡介

馮笑宇 男,(1992—),碩士,工程師。主要研究方向:航電系統、導航。

李 雷 男,(1985—),碩士,高級工程師。主要研究方向:航電武器任務系統。

鐘聯宇 男,(1968—),碩士,正高級工程師。主要研究方向:航電、衛星導航、火控和通信。

陳江蘇 男,(1984—),碩士,高級工程師。主要研究方向:航電系統、導航、座艙顯示。

顧 杭 男,(1971—),碩士,正高級工程師。主要研究方向:航電任務系統、通信。

基金項目:國家自然科學基金(6181373)

主站蜘蛛池模板: 亚洲精品中文字幕无乱码| 伊人久久婷婷五月综合97色 | 黄色网在线| 香蕉精品在线| 亚洲成人www| 久久精品日日躁夜夜躁欧美| 久久黄色一级视频| 中文字幕亚洲专区第19页| 蜜臀av性久久久久蜜臀aⅴ麻豆 | 久99久热只有精品国产15| 久久久久久国产精品mv| 国产精欧美一区二区三区| 91青青草视频在线观看的| 天堂在线视频精品| 国产精品自拍露脸视频| 98超碰在线观看| 亚洲人成网18禁| 久久综合九九亚洲一区| 国产高清免费午夜在线视频| 制服丝袜亚洲| 久久伊人久久亚洲综合| 国产精品女同一区三区五区| 欧美日韩亚洲综合在线观看| 一级全黄毛片| 国内精品视频| 亚洲无码37.| 久久国产亚洲欧美日韩精品| 99草精品视频| 久久久91人妻无码精品蜜桃HD| 亚洲AV免费一区二区三区| 国产成人精品男人的天堂下载| 国产精品久久久久鬼色| 青青草原国产精品啪啪视频| 日韩av无码DVD| 午夜毛片免费看| 日本精品一在线观看视频| 国产高清在线观看| 宅男噜噜噜66国产在线观看| 午夜国产精品视频| 国产精品女熟高潮视频| 亚洲国产天堂在线观看| 91成人在线观看| 国产成人综合欧美精品久久| 亚洲高清无码久久久| 99视频精品在线观看| 毛片手机在线看| 2021最新国产精品网站| 伊在人亚洲香蕉精品播放| 在线观看网站国产| 亚洲伊人电影| 青青网在线国产| 久久久久人妻一区精品色奶水| 亚洲福利视频网址| 欧美日韩国产精品va| 91无码视频在线观看| 国产精品网址在线观看你懂的| 国产在线小视频| 免费人成视频在线观看网站| 欧美性久久久久| 91久久夜色精品| 国产高清在线观看| 91免费国产高清观看| 国产午夜精品一区二区三| 亚洲精品无码av中文字幕| 午夜精品久久久久久久99热下载| 婷五月综合| 国产高清又黄又嫩的免费视频网站| 在线欧美一区| 久久这里只有精品国产99| 亚洲无码视频一区二区三区| 欧美三级自拍| 2021国产v亚洲v天堂无码| 亚洲精品国产日韩无码AV永久免费网| 蝴蝶伊人久久中文娱乐网| 精品久久久久久中文字幕女 | 黄色成年视频| 91小视频在线播放| 国产精品女主播| 欧美人人干| 久久鸭综合久久国产| 亚洲欧美日韩精品专区| 久久久久国产精品熟女影院|