面向水下自主作業的環境安全性態勢評估*

胡文杰, 王 楠, 續林剛, 崔燕妮

(中國海洋大學信息科學與工程學部, 山東 青島 266100)

海洋是未來人類賴以生存的重要資源,是經濟發展的重要指標。作為陸海兼備的發展中國家,中國提出海洋強國戰略,加快海洋建設,提高海洋礦產資源的開發與保護。水下機器人作為新型海洋裝備的重要成員,無疑是新時代探測與開發海洋資源的利器[1]。近年來,中國水下機器人技術飛速發展,多次在海洋資源探測中發揮不可替代的作用[2]。

水下自主作業機器人是智能化的移動載具,其最大的優點在于無人無纜、自帶電源和推進系統[3]。正是憑借其獨特的作業特點和技術優勢,填補了遙控水下機器人無法完成的作業空白。水下自主作業機器人可以應用在海洋資源調查、海底測繪、海洋安防等各種復雜的水下任務中[4]。因此,水下自主作業機器人是新一代水下裝備的研究重點。

水下機器人作業環境的安全是其完成各種任務的重要前提和基礎保障。在復雜的海洋環境中完成作業,水下機器人會受到多種多樣的海洋環境要素影響,尤其是惡劣的海洋環境會對水下機器人的安全構成嚴重威脅。因此,水下機器人在復雜的海洋環境中需要對周圍環境有全面準確的態勢評估,以提高自主作業情況下決策的精準度。

對復雜多變的海洋環境有準確的態勢評估,才能使水下自主作業機器人具備自主完成各種任務的軟實力,這使得態勢評估在理論和應用方面不斷發展。最早提出態勢評估解決方法要追溯到上世紀,Jerome Azarewicz等[5]在1989年提出基于模板的態勢評估的方法。2016年Carlos Morales等[6]提出基于貝葉斯方法進行建模和檢測態勢感知信息,應用于評估飛行器的狀態問題。2018年何艷俠等[7]提出基于環境態勢評估對智能車自主變道決策機制的研究。同年Mingjun Li等[8]提出了一種基于駕駛意圖識別和態勢評估的共享控制駕駛員輔助系統,以避開障礙物。2019年姜龍亭等[9]提出一種面向空戰環境認知的態勢評估模型。2020年丁華東等[10]運用混合模型對網絡安全態勢進行評定。同年Yun Zhang等[11]運用強化學習的角色批評算法訓練評估網絡,并在模擬戰斗訓練中建立目標的態勢評估模型,為導彈攻擊決策提供有效依據。2021年Hongyu Yang等[12]提出一種基于對抗式深度學習的網絡態勢評估方法,可以全面靈活地評估網絡狀況。

雖然國內外學者在水下機器人的環境建模理論[13-14]研究取得了許多成果,但是對于水下機器人的環境安全態勢評估研究卻是淺嘗輒止。目前態勢評估領域的研究多為零散、獨立的觀點,至今沒有一個系統的理論體系。因此,研究水下自主作業機器人的海洋環境安全態勢評估有重要的理論價值和現實意義。

本文提出一種面向水下自主作業的環境安全性態勢評估的算法,通過對圖像提取環境物體與作業主體之間的距離信息、水下物體運動狀況信息和海底地質復雜度等環境要素實現信息融合,獲得態勢評估特征,從而構建態勢評估模型,生成環境態勢危險指數,并對評估結果進行等級量化來表征水下環境態勢安全狀況。此外,運用圖像金字塔和四叉樹對態勢評估算法進行優化,以此來提高算法的計算效率和準確率。實驗表明,態勢評估算法能夠快速、準確的對周圍環境進行安全性態勢評估,為水下機器人的自主決策提供有效的參數保障。

1 相關工作

態勢評估主要是利用擬人的認知思維推理方式,根據已獲得的要素信息對環境進行高層理解,并對未來進行預測。由于海洋環境具有復雜性、未知性和時變性,因此,水下自主作業機器人要有能力對環境進行態勢評估和相應的態勢預測,幫助其高效地完成任務。

態勢評估可以為水下機器人的自主決策、路徑規劃等提供有效的參考。許多學者對水下環境態勢評估進行了探索性研究。2012年莫君等[15]采用模糊數學方法構建環境要素對海洋環境要素的航行安全進行評估,但是研究是在較理想條件下的分析和初步探索。2015年Zhao Yuxin等[16]提出了一種基于D-S證據理論的水下環境安全狀況評價方法,但是僅選取了三種評估要素,并不能完全地衡量水下環境安全狀態。同年Snidaro Lauro等[17]通過馬爾可夫網絡理論整合不同的信息,實現情境評估,開發了復雜的事件級評估機制。由于應用的場景均為海面上,無法對水下的環境進行安全性評估。2018年么洪飛等[18]采用遺傳算法實現離散動態貝葉斯網絡參數學習,能夠有效地解決復雜海洋環境下的態勢評估問題,但是貝葉斯模型需要收集大量的樣本數據完成參數的學習。2019年黃欽龍等[19]提出了基于潛在威脅分析的近岸目標威脅評估模型,兼顧主觀經驗和客觀數據分析其潛在的威脅。但是僅對海上近岸目標進行評估,未對水下環境安全態勢進行評估。2020年Lang Kun等[20]提出了一種基于貝葉斯網絡的急情況評價方法,對深海應急情況進行定量評價。然而,貝葉斯網絡建模需要大量的案例數據來進行結構和參數的學習。

2 態勢評估

2.1 態勢評估框架

態勢評估是高層信息處理的過程,是體現機器人智能化的重要環節。通過對水下環境進行態勢評估可獲得水下環境威脅的基本情況,為水下自主作業機器人確定海域危險程度提供依據。水下環境安全態勢評估涉及到多種感知信息融合,因此,本文結合態勢感知三級模型[21]構建水下環境安全性態勢評估框架,可將其分為態勢觀測、態勢理解和態勢估計三個階段,整體流程如圖1所示。

圖1 態勢評估流程圖

2.2 態勢評估環境要素

環境安全受到多種海洋環境因素的影響,與海洋環境因素的基本特征和分布密切相關,特別是一些環境要素會對水下機器人的自主作業構成直接影響和嚴重制約,因此,要獲得更為精確的、可為自主作業提供幫助的態勢評估,水下自主機器人需要綜合評估多種環境要素,其中包括:環境物體與作業主體之間的距離、水下物體運動混亂度和海底地質復雜度。本文重點關注由視覺攝像機提供的環境參數信息,包括深度信息、運動信息和地質復雜度信息。

2.2.1 深度信息 場景中的深度估計信息在態勢評估中發揮著重要的作用,而深度信息的獲取主要可以分為兩種方式:主動深度傳感器和被動測距傳感器[22]。主動深度傳感器主要是通過機械設備來獲得場景的深度信息,最常見的設備就是激光雷達。然而,水體對光線的吸收、散射以及不同水域渾濁度變化極大,因此,激光雷達在水下的測量無法保證精度。被動深度信息獲取是利用同一場景的圖像進行深度估計。常見的被動測距可以分為兩種方法:單視圖估計和多視圖估計。其中,基于多視圖估計的方法主要是使用雙目圖像進行推理,通過幾何方法對圖像進行推理、匹配、計算,利用相機參數和匹配信息從而獲得深度信息。基于雙目圖像的深度估計方法受到基線長度的影響,因此應用范圍有較大的局限性。相對而言,單視圖深度估計只需要幾幅場景單目圖像即可估計深度信息。其中,最簡單的單目圖像獲取方式就是使用單目相機拍攝。為了充分發揮水下機器人現有攝像機的作用,本文采用基于單視圖的方式獲取深度信息。

根據Jaffe-McGlamery模型[23],水下成像系統所接收到的總強度由目標物體反射的直接分量、目標物體反射發生小角度散射的前向散射分量、周圍環境光被懸浮顆粒等散射所造成的后向散射分量這三部分線性疊加組成。對比太陽光與水下目標的距離,水下相機與目標的距離很近,可忽略前向散射分量所引起的模糊。因此,水下光學成像模型為:

I(x)=J(x)ξ(x)+A(x)[1-ξ(x)]。

(1)

式中:x表示圖像中的像素點;I(x)表示拍攝圖像;J(x)表示清晰圖像;A(x)為背景光;ξ(x)表示傳播系數。

為了獲得準確的深度估計圖,采用基于像素值的方法求解背景光。由于水體對不同顏色光的吸收和散射系數不同,因此在水下的衰減也不同,所以R,G,B三種顏色的傳播系數需要分開考慮,因此,可將式(1)改寫成:

IR(x)=JR(x)ξR(x)+AR(x)[1-ξR(x)],IG(x)=JG(x)ξG(x)+AG(x)[1-ξG(x)],IB(x)=JB(x)ξB(x)+AB(x)[1-ξB(x)]。

(2)

式中R,G,B分別代表圖像的三個通道。

以R通道為例,對式(2)兩邊在局部區域Ω(x)上取最大值,假設傳播系數ξ(x)和背景光A(x)在局部區域Ω(x)中保持一致,得到:

(3)

式中y代表局部區域Ω(x)上的像素點。

將式(3)化簡,可得到:

(4)

考慮到近距離的衰減,通常水下背景光A是比較暗的,特別是在深海中,同時在合適的窗口尺寸下,目標離相機越接近,目標區域越明亮,J的最大值越近似于1,則有:

(5)

利用背景光和傳播系數并結合式(1),即可獲得圖像的深度估計信息。

2.2.2 運動信息 場景中移動物體的運動情況對于準確預測場景未來走向,幫助機器人盡早做出規劃至關重要。光流法能夠從圖像中獲得密集的速度矢量,被廣泛應用于檢測各種流體,適用于不同場景下的運動估計[24]。因此,可采用光流法表示水流以及內部物體的運動混亂程度,從而實現對水下物體運動狀況的檢測。

光流法研究的是圖像中像素運動的瞬時速度,其原理是利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性,找出圖像的上一幀與當前幀之間存在的對應關系,從而計算出圖像相鄰幀之間物體的運動信息。根據光流微小運動和亮度恒定這兩個假設,則有:

P(m,n,t)=P(m+Δm,n+Δn,t+Δt)。

(6)

式中:P(m,n,t)表示在t時刻圖像(m,n)處的像素值;P(m+Δm,n+Δn,t+Δt)表示經過Δt時間后圖像(m,n)分別在m,n方向上移動了Δm,Δn距離后的像素值。

將式(6)按照泰勒公式展開并整理可得:

(7)

(8)

然而,單獨使用式(8)去求解兩個未知量u、v是不能獲得唯一解,這被稱為光流計算的孔徑問題。為了解決這個問題,通常引用附加的平滑項Ereg(u,v)執行流場的空間平滑度一致性,具體為:

Ereg(u,v)=?Ω[(|▽u|)2+(|▽v|)2]dmdn。

(9)

式中▽表示梯度算子。通過式(8)和式(9)可獲得經典的變分光流法的能量最小化函數E(u,v)。通過式(10)可求解運動物體的光流信息:

(10)

式中γ為平衡系數。

2.2.3 地質復雜度信息 海底地貌形態是由于受到板塊運動、地震火山等各種因素導致地質變化而形成的。海底復雜度是描述海底地貌復雜程度的一個量化指標,是水下機器人自主作業時需要考慮的一個重要因素。

圖像復雜度是對一個圖像復雜程度的度量,關于圖像復雜度目前沒有一個統一的定量描述,直覺上往往從圖像的輪廓等信息來描述復雜度。因此,本文采用對水下圖像求取二階導數獲取地質的輪廓信息,以此表征地質復雜度信息。其中,Laplacian邊緣檢測算法是一種常用的二階微分算法,被廣泛應用于圖像的邊緣檢測。它具有各方向同性的優點,即旋轉不變性和位移不變性,能夠對任意方向的邊緣進行提取,具體的計算公式如下:

(11)

式中:(i,j)為圖像對應點坐標;f為原始圖像;FLaplacian為檢測得到的邊緣信息;?代表卷積運算。

2.3 態勢評估信息融合

影響水下機器人自主作業的海洋環境要素有很多,若只考慮環境與作業主體之間的距離、物體運動混亂度和海底地質復雜度信息進行態勢評估顯然是不全面的。若在評估中考慮所有的海洋環境要素,不僅評估模型構建復雜、計算繁瑣,還有可能會混淆或者削弱主要海洋環境要素的作用,故可按照代表性、全面性以及可行性等原則對海洋環境要素進行篩選。選取影響水下態勢評估環境要素主要有:復雜度信息、深度信息、光流流速信息、區域混亂度信息以及運動狀態光流混亂度信息。

單目攝像機獲取水下環境的圖像信息,提取圖像的環境要素,通過信息融合并結合海洋環境的特點,從而建立海洋環境安全態勢評估特征S,如式(12)所示:

(12)

圖2 態勢評估結構圖

為了實現更加準確的信息融合和評估推斷,以此更好的表征環境態勢安全性模型,在態勢評估特征信息的基礎上實現進一步提取特征,生成三個更高維度的特征信息,即整體特征、區域特征和細節特征。其中,環境安全態勢用來保存最終的推理結果,不需要進行提取節點屬性。

2.4 態勢空間推理

本文并沒有對水下環境中具體目標進行分類,也沒有對其行為分類,而是從更加普適性的角度出發,重點分析水下場景的復雜程度,通過對圖像提取特征進行信息融合處理,從而實現準確的水下環境安全性態勢評估。其中,圖像信息融合可以實現特征信息互補,減少背景信息的干擾,為此我們定義了環境態勢危險指數,以此來定量表征態勢安全性。其中,環境態勢危險指數越接近于0,表示環境態勢越安全;該數值越大,表示環境態勢越危險。對態勢評估特征進行歸一化處理,結合態勢評估模型框架,構建環境態勢危險指數的計算規則為:

(13)

3 態勢評估算法與結果評價

3.1 態勢評估準則

由于態勢空間推理階段獲得離散數值無法直觀地表征水下環境安全狀況,因此,本文使用了隸屬度函數,將離散數值轉換為對應的隸屬值,實現對海洋環境從數值描述轉換為態勢安全狀態描述,使得結果展示更加直觀、簡潔。為了提高評估效果并結合實際情況,對海洋環境安全態勢的評估等級劃分為3種:安全、較危險和危險。選擇三值模糊處理的方式,實現對環境態勢危險指數進行安全等級量化。隸屬度函數U(s_value)定義形式如下:

(14)

式中s_value代表環境態勢危險指數,若s_value位于區間[0,0.42),則態勢評估結果的隸屬值為0,將該s_value對應的圖像塊原色輸出,在本文中亦可以理解為環境態勢安全;若s_value位于區間[0.42,0.6),則態勢評估結果的隸屬值為1,將s_value對應的圖像塊添加黃色背景,在本文中亦可以理解為環境態勢較危險;若s_value>0.6,則態勢評估結果的隸屬值為2,將s_value對應的圖像塊添加紅色背景,在本文中亦可以理解為環境態勢危險。

3.2 算法實現

為了實現精準檢測復雜背景下環境的安全態勢,需要將復雜的海洋環境要素信息素簡化為可計算的數值。對于深度信息,本文參照了IBLA算法(Image blurriness and light absorption)[25]。IBLA通過結合三種深度估計方法計算出場景的深度,從而可以獲得精準的深度估計信息。紅光是可見光中波長最長的,即前向傳播能力最強,因此,可直接根據紅色通道的衰減程度獲得深度估計圖Dr;采用MIP算法(Maximum intensity prior)[26],即使用紅色通道和藍色與綠色通道的最大強度的差值,獲得深度估計圖Dd;利用圖像模糊度計算深度估計圖Db。最后,按照式(15)實現三種深度估計圖的結合,得到最終的深度估計圖:

D=θ[φ×Dd+(1-φ)Dr]+(1-θ)Db。

(15)

式中:D為三種方法結合的深度估計圖;Dr,Dd,Db分別為上述三種估計方法獲得的深度估計圖;θ,φ為平衡系數。

對于運動信息,Farneback稠密光流算法可準確獲取所有運動物體的光流矢量。Farneback算法使用多項式擬合平面的方式評估圖像中各個點的運動情況,將笛卡爾坐標系上的二維圖像信號轉換到以(1,x,y,x2,y2,xy)作為基函數的空間中,通過觀察一個多項式如何在平移下進行精確變換,最終從多項式展開系數中推導得到位移場。將圖像上所有像素點的光流都計算出來,因此可以獲得全面的運動物體檢測。

對于地質復雜度信息,通過對采集的圖像使用Laplacian算子計算圖像的二階梯度,從而可以統計出圖像中物體的復雜度信息。此外,光流不僅可以表示剛性物體的運動狀況,在流體的運動表示中同樣出色[24]。光流法可以從圖像中提取密集準確的速度矢量,從而準確的檢測物體運動。因此,本文采用光流法表示水流以及內部物體的運動混亂程度,以便對水下環境進行全面的態勢評估。對于每一個時間的光流方向,更加值得關注的是光流方向的變化,更混亂的變化意味著更混亂的擾動,意味著水下環境更加復雜危險。所以,通過計算出圖像區域光流方向直方圖,用光流方向直方圖的方差表征區域混亂度,計算時間內的光流方向直方圖的協方差的均值表征運動狀態光流混亂度。

對于環境態勢危險的區域不適宜自主作業,無需進一步細化窗口區域。同理,環境態勢安全的區域也無需進一步細化。因此,為了提高環境態勢評估的計算效率和準確率,對構建的態勢評估模型進行算法優化。采用圖像金字塔自頂至下,逐步細化的思路,并且將圖像金字塔生成相對應的四叉樹,引入閾值熔斷機制,采取基于節點的態勢評估計算方法,可快速計算態勢評估結果。所開發的態勢評估方法的偽代碼如下列算法所示:

從單目攝像機中獲得水下環境圖像實現預處理(見圖3)。首先,圖像按照每層縮小2倍進行5層下采樣,生成相對應的圖像金字塔。然后,將圖像金字塔表示成一顆四叉樹,樹根代表最頂層的圖像,除了葉節點外,樹中每個節點均有四個子節點。其中,四叉樹的每層節點與圖像金字塔的每層相對應,四叉樹中每個節點的圖像塊尺寸都相同,可以保證后續檢測的準確性。根據四叉樹的節點進行態勢評估,如果檢查到某個子節點符合態勢評估準則,則該子節點不再往下分割,把該節點作為根節點的子樹進行刪除,完成剪枝操作;否則,把這個節點再根據對應的圖像金字塔分割成四個區域,這樣遞歸地分割,直到每個區域都符合態勢評估準則中安全或者危險等級。

圖3 圖像預處理

3.3 態勢評估結果

首先,我們定性地分析態勢評估結果。在圖4中,我們對14種不同水域的水下環境圖像進行態勢評估測評,可以看出本文提的態勢評估算法是一種可普遍適應于水下場景的評估方法。態勢評估算法可以直接輸出給定水下環境的安全性評估結果,可將海洋環境在物理層面上地形地貌、水文等要素相互作用的結果轉換為數學層面上多源環境信息綜合的結果。

圖4 態勢評估結果

此外,為了使得態勢評估的結果更加直觀、方便可視化,對態勢評估結果進一步處理,即判斷出水下環境適宜自主作業的安全等級,對不安全的區域根據不同安全等級進行標記,按照紅色、黃色和原色三種不同的背景顏色將危險程度進行等級量化。其中,紅色背景代表危險、黃色背景代表較危險、原色背景代表安全。態勢評估算法通過數值量化風險等級,便于客觀定量的分析比較,并且采用不同顏色對評估的不同安全等級進行標定,并將危險分級標注出來,從而獲得合理、直觀的評估結果。態勢評估算法可對水下自然環境及其內部物體進行精細化的危險性評估,為水下機器人自主作業提供技術支持。

為了定量評判態勢評估算法的準確性,本文從實際水下自主作業的需求出發,開發了環境態勢分析交互界面,實現人工對照實驗。通過咨詢海洋生態、環境等領域的專家,充分融合專家經驗、知識與水下環境要素的客觀數據,按照綜合性安全評估準則進行人工態勢評估,從而獲得人工評估結果圖。將人工評估結果圖與態勢評估結果圖各自均分為256份,按照評估結果為安全或危險轉化為16×16的二維矩陣,根據兩者評估結果是否相同計算出態勢相似準確度,其公式為:

(16)

式中:Accuracy代表態勢相似準確度;Saij代表態勢評估二維矩陣的第i行,第j列結果;Aaij代表人工評估二維矩陣的第i行,第j列結果。

通過統計態勢評估算法和人工評估兩者結果的異同,計算出相應的態勢相似準確度(見圖5)。態勢評估算法在14種不同的水下環境場景下進行測評,對14種不同的水下環境場景計算平均態勢評估準確率達到87.2%。由圖5可知,態勢評估算法的準確率較高,證實了水下環境安全性態勢評估算法的可操作性和準確性。此外,為了方便觀察態勢評估結果準確率,在垂直面設置了0.70的閾值面,小于閾值的圖像進行反向的輸出,其中,由于水下相機拍攝角度的問題,從而出現假性的近距離,導致圖4(e)和圖4(n)的態勢相似度較差,后續將考慮添加相機位,多角度拍攝取景,實現聯合態勢評估從而克服這個問題。針對圖4(d)出現對于魚類的危險性誤判,后續擬采用光流聚類的方法對數據進行分析,得到光流一致且幅度較大的目標,減除掉目標的光流信息,從而解決危險誤判的問題,最終可得到優化的環境態勢評估結果。總體而言,態勢評估算法可以輸出不錯的評估結果,可以為水下機器人自主作業提供有效參考。

圖5 態勢準確度柱狀圖

4 結語

在本文中,我們提出了一種面向水下自主作業的環境安全性態勢評估方法,可以將圖像中不確定的環境狀態要素轉換為可靠的評估結果。通過信息融合處理獲得態勢評估特征,構建態勢評估模型,對水下環境安全進行評估。此外,還通過結合圖像金字塔和四叉樹對態勢評估算法實現優化,提高態勢評估的計算效率。實驗表明,本文所提算法能準確、有效評價水下環境安全態勢評估的問題,進而增強水下自主作業機器人應對海洋環境的快速反應能力,為研究海洋環境評價提供了新思路。但是,本文算法是基于圖像的態勢評估,忽略了時間序列對態勢評估的影響,未來我們研究的重點將是基于水下視頻的態勢評估。