基于水下云邊協同架構的珊瑚礁監測新機制

金志剛, 段晨旭, 羊秋玲, 蘇毅珊,*

(1. 天津大學電氣自動化與信息工程學院, 天津 300072;2. 海南大學計算機科學與網絡空間安全學院, 海南 ?？?570228)

0 引 言

水聲傳感器網絡(underwater acoustic sensor networks, UASNs)作為一種探索海洋的新興技術已被廣泛應用于資源勘探、災害預警以及污染監測等諸多領域[1-2]。由于近年來海洋環境監測與保護成為國際社會的戰略中心,在水下部署具備感知、計算、處理以及中繼功能的水下傳感設備所構成的大規模異構UASNs,對海洋監測和環境保護的應用價值愈發凸顯[3]。然而,傳感設備的大量應用使得感知數據的類型及數量大幅增加,數據中心集中處理的傳統架構面臨巨大壓力。此外,傳統的將邊緣設備產生的原始數據直接上傳的傳輸方式存在路徑長、延遲大、能耗高等問題,無法有效支持大容量、高速度流量數據的傳輸[4-5]。因此,亟需設計新的UASNs架構和數據傳輸策略以滿足海洋監測快速響應的需求。

作為極具價值的海洋生態系統,珊瑚礁對海洋環境有極高的要求,近年來因海洋表面溫度升高及海洋污染等因素導致的大規模珊瑚礁白化事件屢見不鮮[6]。因此,開展生態監測預警,客觀掌握珊瑚礁生態現狀,是準確識別其面臨風險的關鍵。現有珊瑚礁白化監測方法大致分為遙感監測、現場監測及生態監測3類[7]。其中,遙感監測法中最常用的是海表溫法。該方法通過對海水表面溫度的遙感衛星監測來預警珊瑚礁的白化狀況。但該方法僅對大規模海域有較好的監測效果,此外還需現場監測數據加以驗證輔助。現場監測法基于水下傳感設備獲取的實拍影像,僅能實現珊瑚礁健康狀況的一次性監測,無法實現監測過程的實時持續化。生態監測法采集珊瑚礁區域的海洋環境信息,根據水質環境數據信息評估珊瑚礁的白化狀況。該方法雖然可實現高精度持續監測,但存在成本高昂且監測范圍有限的缺點[8]。因此,單一的某一種監測方法無法完成大規模、實時且持續的珊瑚礁生態監測。此外,現場監測法及生態監測法所需的現場實拍圖像信息以及水質信息均來源于水下,這些信息具有種類多樣化、數據流量大的特點,而傳統集中式處理的架構及原始數據直接上傳的傳輸方式已很難適用于帶寬及能量均受限的水下通信。

利用云服務把上述3種監測方式的感知數據統一上傳至云端進行聯合分析,并將復雜的計算任務從集中式云端轉移到分散式邊緣端是解決上述問題的關鍵。邊緣計算模型通過在邊緣設備完成一定的預處理任務以實現網絡數據流量的減少及延遲和能耗的降低,現已成功應用于智能家居、智慧醫療以及電力物聯等諸多領域[9-10],且在UASNs領域的應用也逐漸興起[11]。此外,機器學習技術也在朝著輕量化端側發展,文獻[12]提出的TensorFlow Lite是一個輕量快速的開源機器學習框架。該框架能夠進一步提升邊緣計算模型優勢,使得邊緣設備具有提供更為復雜的深度學習處理服務的能力。將邊緣計算模型應用于UASNs,可以充分發揮配備了計算芯片的水下設備能夠高效完成多樣化邊緣處理任務的優勢[13-14],合理解決珊瑚礁監測中存在的問題。

基于以上分析,首先,本文構建了一種水下端邊云(underwater end-edge-cloud, UEEC)系統架構,將處理任務由集中式云中心分散至邊緣端,并在邊緣端部署輕量化端側機器學習環境,使機器學習服務能夠在端側高效實現。其次,提出一種適用于該架構的兩級協同珊瑚礁監測(two-level collaborative coral reef monitoring, TCCRM)機制,在協同分析遙感衛星與水下傳感設備所獲取數據的基礎上,實現對珊瑚礁白化情況的云洋聯合監測。該機制首先開展一級大范圍遙感監測,通過遙感衛星獲取的信息確定是否存在白化風險區域及其大致范圍,隨后進行二級小范圍本地監測。且在二級監測環節中,提出端側圖像處理方案及端邊協同數據檢測方案分別對圖像數據和數值數據進行處理。通過部署邊緣設備實現復雜服務的本地化執行,避免了復雜網絡條件下通信中斷和數據丟失等問題,有效降低了網絡能耗及傳輸時延,縮減了數據流量,滿足了海洋監測低時延、高可靠和實時響應的需求。

1 系統模型

本節描述了UEEC系統架構,給出了TCCRM機制流程圖,并對該機制的執行步驟進行概述。

1.1 UEEC系統架構

UEEC系統整體架構如圖1所示,該架構在網絡邊緣部署兼具計算、分析、存儲和網絡接入功能的邊緣設備與水下智能傳感器緊密聯系。根據節點的功能和位置將UEEC整體架構自下而上分為終端感知層、邊緣預處理層和云計算層。終端感知層由多種傳感器及具有高清拍攝功能的無人水下航行器(unmanned underwater vehicle, UUV)組成,邊緣層由具備計算存儲及機器學習功能的邊緣節點組成,地面數據中心和云數據中心共同構成云計算層。

該架構可實現來自邊緣端設備的上行數據和來自云中心的下行數據的交互通信[15-16]。來自海底的終端感知數據經中繼傳輸至邊緣節點,UUVs通過跨層移動直接將拍攝的原始圖像傳送至邊緣端。首先,原始數據在邊緣端進行預處理,待完成邊緣計算核心服務(如圖像增強、數據壓縮、異常檢測等)后,將處理結果中繼至水面,繼而上傳至陸地分析中心及云中心。其次,云端完成數據的深層次處理,將分析結論及報警信息查詢等內容顯示給用戶。云中心可根據分析結果下發控制命令至邊緣端,進行特定區域或指標的數據收集,最終可實現分層式立體的海洋環境條件協同監測。

終端設備UUVs利用高分辨攝像功能完成實時影像采集,然后移動到邊緣節點進一步執行圖像預處理任務。水下數據延遲包括3部分:端-邊傳輸延遲Tend-edge、邊緣預處理產生的延遲Tpretreatment和邊-云傳輸延遲Tedge-cloud。由于終端設備的不同,Tend-edge分為感知數據中繼延遲Trelay和UUVs移動延遲TUUV,總延遲為

Tdelay=Tend-edge+Tpretreatment+Tedge-cloud

(1)

(2)

每個節點能量有限,用Cξ表示數據發送能耗,Cφ表示數據接收能耗,N和M分別為發送和接收數據包的數量,Epre表示邊緣處理任務的能耗開銷。因此,能耗模型需滿足以下要求:

Etotal=Eξ+Eφ+Epre=N·Cξ+M·Cφ+Epre

(3)

1.2 TCCRM機制

TCCRM機制概述如圖2所示,該機制綜合遙感衛星、水質傳感器以及UUVs三方終端數據,對珊瑚礁白化以及海洋環境進行監測。先由環境遙感衛星對大規模海域進行一級初篩,若產生白化風險預警響應,繼而由云端向水下終端設備發送命令,執行二級本地化監測,進行小規模實地信息采集。

圖2 兩級協同珊瑚礁監測機制

TCCRM機制采用分級監測的方式,利用遙感技術在大面積區域尤其是偏遠地域容易展開監測的優勢完成一級初步篩查。此外,將多種水質傳感器和具備水下拍攝功能的UUVs整合于一個系統內,對產生一級預警響應的區域進行二級本地化監測。該機制實現了云洋聯合分析,能夠完成對珊瑚礁生態狀況及海洋環境的實時監測和在線遠距離傳輸。二級監測中邊緣計算核心服務涉及的圖像增強、圖像灰度化處理以及異常數據檢測任務的具體策略將在第2節詳細描述。

2 邊緣計算核心功能

2.1 一級大范圍遙感監測

一級監測主要關注環境衛星與云端分析中心間的信息交互。研究表明,海表溫度的升高會導致大規模珊瑚礁白化甚至死亡[17]。第一級的預警監測主要基于環境衛星獲取的實時海表溫度信息,對珊瑚礁區域白化情況進行大規模預警初篩。

一級大范圍遙感監測預警結構顯示在圖2左半部分。采用美國國家海洋和大氣管理局(National Oceanic and Atmospheric Administration,NOAA)珊瑚礁監測計劃(coral reef watch, CRW)提供的方法[18]。通過海洋遙感衛星獲取的5 km海表溫度值(sea surface temperatures, SST)與長期監測的基準海表溫度值進行比較,推算出熱點指數(HotSpot)和周熱度指數(degree heating week,DHW)作為預警指標,計算方法如下:

(4)

(5)

式中:MMM (maximum monthly mean climatology)為最熱月平均溫度值;DHW表示在過去12周(84天)內HotSpot的累加值,以評估熱壓力對于珊瑚礁白化的累加影響。

將得到的HotSpot和DHW指標上傳至云中心,按照表1中CRW有關標準給出一級監測預警結論[18]。若無白化風險(HotSpot<1),則簡單存儲并持續監測;若存在白化風險(HotSpot≥1),則由云端做出預警響應,并向水下終端設備發送通告數據包,執行二級本地化監測,依據實地監測數據進一步分析。

表1 珊瑚礁白化警報級別

2.2 二級小范圍本地監測

二級小范圍本地監測結構如圖2右半部分所示,其重點在于水下終端設備與邊緣節點間的信息交互和數據原位處理。為獲得更詳細的珊瑚礁生態狀況,本文設計了第二級本地化監測。該環節針對圖像數據和水質數值數據分別提出了端側聯合圖像預處理方案和端邊協同數據檢測方案。

2.2.1 端側聯合圖像預處理方案

基于邊緣計算的端側圖像預處理方案主要包括圖像增強和圖像灰度化處理兩部分。

第一部分為圖像增強,對UUVs拍攝的實景圖像進行增強處理。水下實拍圖分析是珊瑚礁白化監測方法中最直觀且便捷的一種,該方法通過將獲取的珊瑚實際水下影像與珊瑚健康圖[19]的顏色對比,可匹配出相應的健康等級顏色代碼。珊瑚健康圖原理為在4種顏色色度內使用6個亮度(飽和度)來記錄珊瑚白化狀態的變化。然而,因受到水中選擇性光吸收和散射的影響,原始水下圖像大多呈藍色和綠色[20],嚴重的色彩偏差以及低亮度的特點會直接導致白化預警的誤判,因此進行原始圖像的增強處理。

本文采用本課題組所提出的基于兩種顏色空間的水下圖像增強卷積神經網絡(簡稱為UIEC2-Net)[20]對原始圖像進行增強處理。該網絡將RGB和HSV顏色空間結合在一個單獨的卷積神經網絡(convolutional neural network, CNN)中,對亮度和飽和度屬性敏感,可有效去除水下背景顏色投射,能最大程度還原真實色彩。UIEC^2-Net的端到端訓練由4部分損失組成,其中包含兩個顏色空間損失,總損失函數如下所示:

(6)

第二部分為圖像灰度化處理。首先,提取增強處理后圖像的灰度信息,對比所提取的灰度信息與灰度處理后珊瑚健康圖的健康等級顏色代碼，如圖3所示。圖3中顏色代碼數值越低,表示珊瑚礁團塊越接近白色,即出現珊瑚礁白化問題。

圖3 經灰度處理的珊瑚健康圖

因現有大部分彩色圖像均采用RGB顏色模式,而RGB模式只是從光學原理上進行顏色的調配。對于珊瑚礁白化狀態評判,實際上關注的僅僅是在不同顏色色度內的亮度(飽和度)情況,色彩信息本身能夠提供的信息量十分有限。因此,可以直接用灰度化處理后所得像素灰度值來表示珊瑚礁白化程度(范圍從0到255,白色為255,黑色為0),即珊瑚礁白化情況越嚴重,圖片整體顏色越趨于白色,每個像素的灰度值越大。采用平均值法完成圖像灰度化處理,具體公式為

Gray(i,j)=(R(i,j)+G(i,j)+B(i,j))/3

(7)

將得到的圖像灰度值與圖3的顏色等級標準所對應的灰度值進行比對。若灰度值超出標準閾值,則認為存在白化情況,需立即將含地理位置及白化顏色代碼等信息的數據包上傳至云端;若灰度值未超出標準閾值,則認為生長狀況良好,無需上傳信息,僅持續監測即可。實際上,圖像灰度化處理良好解決了高分辨率彩色圖像數據量過大所導致的存儲壓力大及傳輸能耗高等問題。

2.2.2 端邊協同數據檢測方案

UASNs節點能量受限與監測任務持續性之間的矛盾要求網絡需具有高效的數據處理能力從而保證長期有效的監測數據采集。然而，傳統以時間觸發上傳數據的方式需要終端傳感器持續不斷地向數據中心上傳原始數據,這其中包含大量正常數據。而這些正常數據的傳輸會導致網絡帶寬、能量、存儲空間等資源的嚴重浪費,影響網絡生存周期。

因此，需利用邊緣設備進行數據的原位處理。本文設計了一種數據驅動的端邊協同數據檢測方案。終端節點首先判斷感知數據是否正常,并上傳判斷結果至邊緣節點協同分析。若數據值判為正常,即無水質污染等不利因素,可原位存儲不再上傳;若數據值判為異常,且經多邊緣節點協同確認異常后及時上報數據中心。

圖4為數據驅動的端邊協同數據檢測方案具體流程。數據驅動的檢測機制需預設好終端設備的數據閾值作為報警規則,如海水的pH值、鹽度、溫度等。部署于海底的終端傳感器具有感知及數據原位處理功能,可根據閾值對數據進行異常檢測。

圖4 端邊協同數據檢測方法流程圖

具體的端邊協同數據檢測方案異常判斷如圖5所示。如圖5(a),當節點n4檢測到異常時,如海水鹽度超出閾值(海水鹽度超出范圍3.4%～3.6%會導致珊瑚礁死亡),該節點n4立即廣播數據包,通告同區域的終端節點(n1～n9)采集并上傳監測數據至邊緣節點,隨后多個邊緣節點(E1～E3)進行信息交互協同分析,則可能出現兩種情況。情況1:如圖5(b),多區域節點(n2～n7)檢測數據均為異常值,判為真異常,則上傳異常數值和報警規則并給出污染水質的覆蓋范圍;情況2:如圖5(c),經多節點協同分析僅為個別節點(n4)數據異常,判為偽異常,僅存儲數據且對此區域進行持續監測,并上報傳感器設備故障信息。

圖5 端邊協同數據檢測示意圖

3 實驗與性能評價

本節通過數值實驗來評估本文研究性能。首先,對端側聯合圖像處理方案的表現進行評價。其次,模擬不同異常數據率,評價端邊協同數據檢測方案在處理時延及傳輸能耗方面的性能。最后,比較基于本文架構與傳統架構的數據傳輸在端到端延遲、能量效率和網絡生命周期方面的性能。圖6為NOAA提供的2021年6月21日全球珊瑚礁預警圖,根據第2.1節中表1標準,警報等級為白化預警及以上級別的區域均需進行二級本地化協同監測。

圖6 2021年6月21日全球珊瑚礁預警圖

3.1 實驗設置

本實驗場景中120個異構傳感器節點(包含終端感知節點、邊緣處理節點以及中繼傳輸節點)根據其不同的端邊功能分別部署在6 000×6 000×2 000 m3的三維水下區域不同層內。水面設有4個位置已知的sink節點用于接收來自海底的數據包,任一sink節點接收到數據包即認為該數據成功送達陸地數據中心,以便后續傳輸至云中心進行深層次處理。由于本文研究主要集中在邊緣側數據協同處理環節,同時考慮到傳統的基于向量的轉發路由協議(vector-based forwarding protocol, VBF)在UASNs數據傳輸過程中具有很好的檢測性能[21],因此,對于邊緣端處理結果的后續上傳,統一采用VBF協議來完成。水下聲速為1 500 m/s,主要實驗參數如表2所示[14,21]。

表2 實驗參數設置

3.2 性能評價

3.2.1 端側聯合圖像預處理方案性能評價

選用來自DUIE數據集[22]的水下圖像模擬UUVs采集的水下珊瑚實景圖,分別從圖像增強主觀質量(主觀比較)和圖像灰度化處理兩方面評價圖像邊緣處理效果。

如圖7(a)所示,水下原始圖像存在亮度低且大多呈現藍色或綠色背景的情況,色彩偏差嚴重影響了其視覺質量。圖7(b)為經圖像增強處理后的水下圖像,該方法有效去除了水下圖像的色彩偏差,特別是對背景顏色的恢復效果突出。本處理恢復了珊瑚顏色的真實情況,有效避免了因圖像色彩偏差造成的誤判?？梢悦黠@看出,經灰度化處理后的圖像,圖7(c)中綠色方框內珊瑚礁灰度圖像素顏色更接近黑色,對應圖3中數值較高的顏色代碼值,表明該珊瑚礁生長狀況良好,無需上傳數據;而紅色方框內珊瑚礁灰度圖像素顏色明顯呈現白色,對應圖3中低顏色代碼數值,表明該珊瑚礁出現白化問題,需立即上傳報警信息。

圖7 端側圖像處理效果

端側圖像處理將原本需要全部上傳且數據量較大的圖像數據壓縮為發生白化問題的珊瑚礁的灰度顏色等級代碼數據,顯著降低了數據傳輸流量,有效減小了數據傳輸過程中節點能耗及存儲壓力。

3.2.2 端邊協同數據檢測方法性能評價

實驗保持數據包生成率λ為0.1 packets/s,異常數據率α取值為0～1,用來模擬不同異常數據個數的情況(α=0為數據全部正常,α=1則表示數據全部異常)。

當α=0.5時,異常數據平均處理時間如表3所示,端邊協同處理僅需1.324 s。這是因為端邊處理策略更靠近數據源,異常數據傳輸至邊緣處理節點所經過的跳數少。而云端集中處理方式數據需經多跳才能到達水面sink節點,長路徑多跳數還會導致數據包的碰撞或重傳,產生更大的時延。

表3 異常數據處理時間比較

圖8對比了不同異常數據率時端邊協同與云端集中兩種處理策略在傳輸能耗方面的性能?？擅黠@看出,本文端邊協同處理策略的能耗遠低于傳統方式,這是因為在邊緣側增加異常數據檢測處理,只有數據存在異常才觸發上傳,大量的正常數據是無需上傳的。當α=0時,無異常數據產生,無數據包需要上傳,因此能耗為0;當α=1時,所有數據均為異常,即需要全部上傳,此時兩種方式能耗一致。

圖8 傳輸能耗與異常數據率關系

3.2.3 UEEC架構性能評價

本節比較了基于本文UEEC架構和傳統架構的數據傳輸在端到端延遲、能量效率和網絡生命周期方面的性能。其中,端到端延遲是指數據包從源端正確傳輸到接收器(邊緣處理節點)所需的時間,能量效率定義為網絡生命周期與總能量消耗的比值,代表特定能量消耗下的網絡生存時間,網絡生存期定義為第一個傳感器節點死亡的時間。為評價不同數據流量對架構性能的影響,本實驗的數據異常率α設為0.2。中繼方式統一采用VBF500和VBF1000(管道半徑分別為500 m和1 000 m的VBF協議)來完成。

圖9表示本文架構與傳統架構在VBF500和VBF1000傳輸方式下端到端延遲與包生成率的關系。可明顯看出,本文架構的端到端延遲遠低于傳統架構,這是因為UEEC架構將原本在云端處理的任務轉移至邊緣端,處理響應的速度更快,且本架構的任務處理功能更靠近數據源,原始數據的傳輸路徑及跳數也相應減少。隨著數據包生成速率的增加,每種方案的端到端延遲也在增加。這是因為隨著數據包碰撞率的增加,數據傳輸失敗的概率增加,有更多的數據包被重傳,從而導致成功數據包的端到端時延增加。此外,VBF500的時延總是低于VBF1000,這是因為VBF協議是從路由管道半徑內選擇轉發節點的,隨著路由管道半徑的增加,參與轉發節點數量的增加導致了端到端時延增加。

圖9 端到端延遲與數據包生成速率關系

圖10和圖11分別表示在VBF500和VBF1000傳輸方式下不同架構的能量效率和網絡生命周期與數據包生成速率間的關系。隨著數據包生成速率的增加,每種方案的能量效率和網絡生命周期都在降低,且趨勢基本一致。這是因為發送更多的數據包將消耗更多的能量,導致能量效率下降,從而縮短網絡生命周期。顯然無論用哪種中繼方式,本文架構的能量效率和網絡壽命均遠高于傳統架構。以VBF500傳輸為例,與傳統架構相比本文架構將網絡生命周期提高約40%。一方面,因為本文處理架構更靠近源端,數據的原位處理降低了傳輸過程所需能耗;另一方面,邊緣側采用異常數據觸發路由策略將大部分正常數據過濾掉。區別于傳統將全部原始數據上傳的方式,本方案僅上傳異常數據，可大幅減少傳輸能耗,因此在能源效率和網絡生命周期方面具有很大的優勢。

圖10 能量效率與數據包生成速率關系

圖11 網絡生命周期與數據包生成速率關系

4 結束語

為了緩解傳統UASNs架構將大量原始數據直接上傳至遠程數據中心完成處理所帶來的網絡能耗及時延壓力,本文構建了UEEC系統架構,實現了數據的原位處理。同時,提出了一種適用于該架構的兩級協同珊瑚礁系統監測機制,通過端側機器學習及端邊數據協同分析,實現了水下圖像和數值數據的邊緣側處理分析。實驗結果表明,本文提出的水下新架構與監測機制能顯著降低數據流量,同時在傳輸延遲、能量效率和網絡生存周期性能方面均有明顯提升,適用于珊瑚礁系統的實時監測管理。在未來的研究工作中,將進一步擴展邊緣側業務范圍,執行更加復雜的端側機器學習任務。