基于局部大氣修復的偏振導航方法

李宇陽，王霞，趙家碧，李磊磊，陳家斌

(1.北京理工大學 光電學院，北京 100081；2.北京理工大學 光電成像技術與系統教育部重點實驗室，北京 100081；>3.北京理工大學 自動化學院，北京 100081)

0 引言

隨著科技的發展，導航技術在國防安全領域上占有非常重要的地位，對國家國防實力的提升也起著極其重要的作用。現階段的主流導航方式主要依靠慣性導航系統(INS)以及全球定位系統(GPS)進行導航，但是INS每次使用前都需要初始化設置，且累計誤差大，GPS信號容易受到信號干擾的影響[1-2]，因此無論對于軍用還是民用，都迫切需要一種更好的導航方式。

生物學家發現，沙漠螞蟻能夠利用背部邊緣區域的小眼感知天空偏振光，獲取全天空大氣偏振分布模式，從中提取可靠的航向信息，引導自身覓食、返巢等行為[3]。在此啟發下，國內外許多研究學者模仿其導航原理提出各種仿生偏振光導航算法，包括基于對稱分析法、最小二乘估計法、混合遺傳算法和天頂角標定法來擬合太陽子午線[4-10]以及基于偏振增強光流法[11]的導航方法。但是這些研究大多針對理想條件即晴朗天氣條件或夜間低照度等復雜條件，關于遮擋環境的影響研究較少，對于陸上運動的車載實驗，圖像采集過程中視野里總是會出現飛鳥、樹枝、電線桿和建筑物等隨機遮擋，這些遮擋會嚴重影響對偏振度和偏振角的解算，進而影響導航精度。

為克服這一困難，本文提出一種基于局部大氣修復的偏振導航方法。首先對采集的天空圖像進行修復預處理，建立基于相似塊偏移量的圖像修復模型，通過計算天空圖像中每一個圖像塊對應的偏移量直方圖，對直方圖進行高斯濾波和非極大值抑制，得到圖像中的主要偏移量，再計算每個像素點對應的偏移量來進行圖像的填充，還原被遮擋的圖像信息。在此基礎上，解算修復后圖像的天空偏振分布模式，再通過天文歷解算出太陽方位角及其實際空間位置，得到航向角以實現導航的目的。計算機仿真和外場有無遮擋條件對比實驗結果表明，該算法能適應視野內部分遮擋環境，具有一定的可行性。

1 基于相似塊偏移量的圖像修復算法

自然圖像具有潛在的規律性，在空域和變換域內對圖像進行統計與分析表明，圖像具有自相似性和尺度不變性[12-13]。許多研究者嘗試獲取自然圖像的統計性先驗知識并將其用于圖像修復，修復過程中匹配圖像塊時需要給每個未知圖像塊分配一個偏移量，即拷貝塊與待修復塊的相對位置。研究發現這些偏移量的統計量是稀疏分布的，即大部分的圖像塊都有相似的偏移量，在統計量中形成了幾個突出的峰值[14]。這種主要偏移量描述了圖像的重復規律，從而為修復缺失區域提供了可靠的線索。根據這一現象，建立一種基于圖像相似塊偏移量統計特性的修復模型，修復由于遮擋導致缺失的天空圖像信息。

1.1 相似塊偏移量計算

在進行修復前，需要先將天空中被遮擋的部分分離出來。Canny算法一直被認為是最經典的邊緣檢測算法之一，能在一定程度上抗噪聲又能保持弱邊緣[15]，因此采用Canny算子進行邊緣檢測，提取遮擋部分區域。而后對圖像進行形態學處理，通過腐蝕膨脹連接相近的圖像區域，并去除孤立細小的色塊以生成遮擋區域Ω。如圖1所示，利用(1)式對遮擋區域進行二值化處理以制作掩模，并通過(2)式將天空圖像中被遮擋區域歸零化。

(1)

F(x,y)=H(x,y)·K(x,y)

(2)

式中：K(x,y)表示掩模像素矩陣K在(x,y)處的元素值；F(x,y)表示去遮擋后天空圖像像素矩陣F在(x,y)處的元素值；H(x,y)表示原始天空圖像的像素矩陣H在(x,y)處的元素值。

圖1 圖像修復算法示意圖Fig.1 Schematic diagram of the image inpainting algorithm

遮擋區域分離以后，剩下的即為已知區域。對于已知區域內每一個圖像塊，都尋找與之最相似的另一個已知圖像塊，并計算兩個圖像塊的相對位置，這個相對位置便是需要的偏移量，用(3)式表示，匹配過程采用PatchMatch算法實現[16]。

(3)

式中：s為偏移量的坐標，其對應坐標值為(u,v)，即s=(u,v)；ε為圖像塊的位置，ε=(x,y)；P(ε)為以ε為中心的ω×ω(本文ω取8)的圖像塊；h、w分別表示圖像的長和寬。約束條件|s|>τ可排除鄰近圖像塊的影響，避免瑣碎統計。

得到所有已知區域像素ε的偏移量s(ε)后，用(4)式計算其統計特性并繪制偏移量直方圖g(u,v)：

(4)

式中：δ(·)為二值函數，當s(ε)=(u,v)成立時δ(·)=1，否則δ(·)=0。

對直方圖進行高斯濾波和非極大值抑制，從中選出最大的k個偏移量，一般情況下前60個偏移量能夠涵蓋多數的偏移量可能性，因此，經驗值設定為k=60。

1.2 基于偏移量的圖像修復

給定k個主要的偏移量以后，將不同偏移量的圖像堆疊起來，作為待填充區域的候選值。每個需要填充的點都有其對應的偏移量，這個偏移量便是需要獲得的標簽，圖像修復問題也就轉化為一個多標簽的問題，找到每個像素點對應的最優偏移量也就完成了圖像的修復。

構建如(5)式的MRF能量函數進行優化從而選取最佳的偏移量，本文采用GCO-v3.0開源軟件來實現[17]。

(5)

數據項Ed保證被選取用作填充的像素是已知的，即當計算的偏移量對應的ε+si位置的像素在已知區域內，Ed=0，否則Ed=+∞。平滑項Es用(6)式表示，代表對于相鄰的像素點盡量獲得相同的偏移量，因為當相鄰像素ε、ε′被賦予不同的偏移量時，二者之間很可能出現裂縫，而Es可以減少裂縫的出現。

Es(a,b)=‖I(ε+sa)-I(ε+sb)‖2+ ‖I(ε′+sa)-I(ε′+sb)‖2

(6)

式中：sa表示預設的第a個偏移量；sb表示預設的第b個偏移量；I(ε)表示待修復圖像I在位置處的像素值。

得到所有被遮擋區域像素的最優偏移量以后，便可根據偏移量對圖像進行修復。

2 航向角獲取算法

在對采集的天空圖像進行修復處理后，需要解算其偏振模式，進而算出航向角。本文采用基于局部大氣偏振特性的仿生導航算法[18]，可以在小視場條件下獲取航向信息，避免視野中需要太陽子午線存在的限制。實驗相機為加拿大LUCID公司生產的PHX050S-P偏振相機，相機采用日本索尼公司生產的IMX250MZR CMOS偏振傳感器，每4個像素上具有4個不同的定向偏振濾波器，如圖2所示，方向分別為0°、45°、90°和135°，因此采集一次圖像能得到4個方向的強度通道，即I0、I45、I90和I135(見圖3)，避免了旋轉偏振片所造成的誤差。用Stokes矢量(S0，S1，S2，S3)表示部分偏振光，如(7)式所示(多數情況下圓偏振分量S3可以忽略[19])：

(7)

圖2 偏振相機及其結構Fig.2 Polarization camera and its structure

圖3 4個方向的強度通道Fig.3 Intensity channels in four directions

入射光的偏振度DOP和偏振角AOP可按如下公式計算：

(8)

(9)

由于大氣偏振模式分布與太陽高度角和方位角密切相關，解算出入射光的偏振信息后便可求得太陽的位置信息。如圖4所示，以觀測者位置O為坐標原點，觀測者所在地平面為Oxy平面建立地平坐標系。圖4中，S為太陽所在位置，P為天空中某一觀測點的位置，N為天頂。散射角θ定義為觀測點O到太陽位置S的向量OS與觀測方向OP的夾角。太陽高度角hs定義為OS與xy平面的夾角。太陽方位角As定義為OS在Oxy平面上的投影與x軸正方向的夾角。對于觀測點P，也有類似定義的高度角hp和方位角Ap。偏振方位角φ定義為P點光矢量振動方向與天球上過天頂N與觀測點P的弧在P點處的切線的夾角。為求解偏振角φ，以P點為坐標原點Oi，P點處地平經圈切線為xi軸，地平緯圈切線為yi軸建立新的直角坐標系。

圖4 天球坐標系示意圖Fig.4 Schematic diagram of the celestial coordinate system

計算得到P點處偏振方位角φ為

(10)

計算出偏振方位角后，根據Oixiyizi坐標系和偏振方位角的定義，可以計算Oxyz坐標系下的振動矢量：

(11)

由于天空任一點P的電矢量振動方向垂直于OSP平面，因此只要得到兩個不相關的e矢量，即可將兩者進行叉乘得到太陽方向向量s，即

s=ei×ej

(12)

確定太陽方向向量后，再利用天文歷計算太陽子午線相對于正北方向的夾角，即可得到航向角As：

(13)

式中：L表示觀測點的地理緯度；δs和Ts分別表示太陽赤緯角和太陽時角。

3 計算機仿真與外場實驗

為驗證前述算法的可行性，分別設計了計算機仿真和外場部分遮擋環境對比實驗。

在已有的天空圖像上用畫筆工具涂抹點狀、條狀和塊狀圖形，以模擬實際觀測過程中視野內可能出現的飛鳥、樹枝、電線桿以及建筑物等隨機遮擋，每類遮擋分別測試了5幅天空圖像。圖5(a)～圖5(c)展示了3種遮擋類型下的其中1幅圖像，其對應的修復結果如圖5(d)～圖5(f)所示。解算修復前后圖像的航向角，其誤差對比曲線如圖6所示，統計誤差數據，結果如表1所示。

圖5 修復前后對比圖Fig.5 Comparison of image inpainting results

圖6 去除遮擋前后航向角誤差比較Fig.6 Comparison of heading angle errors before and after removing occlusion

直觀上，圖5中不論是點狀遮擋、條狀遮擋還是塊狀遮擋都被有效去除，恢復了圖像細節信息。客觀上來說，圖6可以看出隨著遮擋類型從點狀到條狀再到塊狀，誤差曲線變化越來越劇烈，表明遮擋區域面積變大，對航向角精度的影響也隨之變大，去除遮擋以后，誤差曲線平緩許多。表1的數據進一步證實，航向角誤差與遮擋區域面積呈正相關，而修復圖像以后誤差都有顯著下降，精度提高了80%左右。

表1 3種遮擋條件下去除遮擋前后 航向角誤差比較Table 1 Comparison of heading angle errors before and after occlusion removal under three conditions

為進一步驗證該方法的可行性，搭建了偏振光羅盤系統進行外場部分遮擋環境實驗，系統由偏振相機、嵌入式偏振并行解算系統和光羅盤集成框架子系統構成(見圖7)。偏振相機采用前述PHX050S-P相機，其分辨率為2 448×2 048，幀率為24幀/ps，波長響應范圍為400～900 nm，相機以固有幀率輸出圖像，并通過千兆網口傳輸到嵌入式偏振并行解算系統；解算系統由美國NVIDIA公司制造的TX2核心板和TX2載板構成，TX2核心板是系統的主體，主要進行信號并行處理，TX2載板進行信號傳輸，系統使用CUDA加速，處理輸入圖像并估計航向角；子系統將前述系統集成進行信息輸出和電流供給，并隱沒脆弱突出部件以進行保護。

圖7 仿生偏振光羅盤系統Fig.7 Bionic polarized light compass system

于2021年6月19日上午9:00左右在北京某地(116°20′ E，39°56′ N)進行外場有無遮擋條件對比實驗，實驗時天氣晴朗、微風，理論上可以減少Mie散射對實驗的影響，實驗場景如圖8所示。實驗過程中以假花樹枝作為遮擋，多齒分度臺帶動相機順時針旋轉，每轉10°采集一次天空數據，一共采集15次數據，每次分別拍攝有遮擋和無遮擋兩種場景，由于兩次拍攝間隔不超過2 s，故認為此時天空偏振分布模式不變。

圖8 實驗場景圖Fig.8 Test setup

表2展示了兩次采集數據中對有遮擋的圖像進行修復的實驗結果。數據1與數據2對應實驗結果分別為表2的第2、3列及第4、5列。其中，第2列和第4列從上至下是采集的原始圖像以及原圖對應解算的偏振度和偏振角分布圖，第3列和第5列是去除遮擋后的圖像及它們對應的偏振度和偏振角分布圖。對比表2第2、3列及第4、5列，可以觀察到本文提出的方法能較好地去除遮擋，還原圖像信息。由于遮擋信息不參與偏振度與偏振角的解算中，所還原的天空偏振分布模式信息質量能夠得到進一步的提升。但實驗結果相比仿真還是略顯不足，例如在修復后的圖像中，遮擋區域邊緣部分存在一些過渡不自然的問題，其原因是實驗過程中陽光讓遮擋物體周圍存在陰影，導致邊緣檢測的準確程度下降，因此在修復時隱約出現了遮擋物的外輪廓，但是這部分邊緣對偏振信息變化趨勢的重建影響較小，后續可以通過泊松融合或梯度檢測算法進行去除。

表2 修復結果對比

解算修復前后圖像的航向角，并將本文方法與傳統的偏振光強提取算法(PIEA)[20]及FMM圖像修復算法[21]進行對比，其統計分析結果誤差和對比曲線分別如表3和圖9所示。可以觀察到相較于修復前，3種方法的誤差都有所降低，而本文方法的整體誤差曲線更為平緩，穩定性更好，誤差平均值及標準差等也是本文方法最低。原因是PIEA將遮擋區域去除，只采用剩下的區域計算，這樣過度依賴天空剩余部分偏振信息的完整性，當剩余部分的規律不再明顯時，該方法的精度會降低；而FMM算法雖然修復了缺失區域，但其采用擴散式擬合修復，只適用于狹窄細長的遮擋，對于塊狀遮擋來說無法準確修復其內部信息。本文方法既利用了天空剩余部分，又對遮擋區域采用塊匹配式修復，不論是細長遮擋還是塊狀遮擋，都有較好的修復效果。綜合來看，本文方法將誤差平均值縮小到1°左右，精度提高了約61%，可見該方法能降低遮擋環境對導航精度的影響，驗證了其可行性。

表3 3種方法的航向角誤差比較Table 3 Comparison of heading angle errors using three methods (°)

圖9 3種方法的航向角誤差計算曲線Fig.9 Calculation curves of heading angle errors using three methods

4 結論

本文針對目前仿生偏振導航算法缺乏對遮擋環境因素的考慮，本文提出一種基于圖像相似塊偏移量統計特性的修復模型，并將此模型用于偏振導航系統，從而弱化遮擋環境對航向角解算的干擾。得出主要結論如下：

1) 遮擋面積增大，航向精度隨之下降且變化程度更加劇烈，因此去除遮擋還原圖像信息十分必要。

2) 算法采用塊匹配式修復，通過計算圖像相似塊的偏移量將圖像修復問題轉化為多標簽問題，簡化修復過程的同時提高了修復準確性。

3) 算法采用局部大氣偏振特性進行解算，可以在小視場條件下獲取航向信息，避免視野中需要太陽子午線存在的限制。

4) 本文方法可以有效抑制遮擋環境的干擾，還原圖像偏振信息，實現小視場條件下遮擋環境中的高精度導航，具有較好的魯棒性。

后續工作考慮將復眼成像技術應用于航向角解算，通過采集的多視角圖像增加角度分辨率，使航向角精度進一步提高。本文的研究主要集中在晴朗天氣條件和可見光上，然而復雜天氣條件如雨天、霧霾天氣下粒子散射特性不同，同時不同波長的光散射特性也有顯著差異，因此復雜天氣條件以及不同波長的光對偏振導航精度的影響也是下一步的研究重點。