













摘" 要:為了確保水上應急救援的及時性和可靠性,提高水上應急救援裝備的智能化水平,提出一種水上應急救援無人船系統。首先提出落水人員識別模塊,基于深度學習的單階段檢測算法,選擇YOLOv5作為救援目標檢測的網絡模型,能夠實現目標精準檢測;以針孔相機模型的定位算法,定位落水人員的位置;在此基礎上研究自主導航模塊,通過LOS制導算法,實現應急救援無人船的自主導航和避障,通過軌跡跟蹤實驗,達到較好的跟蹤效果;最后設計的自動救援模塊,當距離目標點1 m范圍內由救生系統拋擲救生圈實現救援。實驗結果表明,能夠滿足江河湖泊應急救援的需求,提高救援行動的成功率。
關鍵詞:應急救援;無人船;落水人員識別;深度學習;LOS制導
中圖分類號:U661" " " " 文獻標志碼:A" " " " " 文章編號:2095-2945(2024)04-0050-05
Abstract: In order to ensure the timeliness and reliability of water emergency rescue and improve the intelligent level of water emergency rescue equipment, an unmanned ship system for water emergency rescue is proposed. Firstly, the identification module of people who fell into the water is proposed, which is based on the single-stage detection algorithm of deep learning, and YOLOv5 is selected as the network model of rescue target detection, which can achieve accurate target detection, and the location algorithm of pinhole camera model is used to locate the location of people who fall into the water. On this basis, the autonomous navigation module is studied, and the autonomous navigation and obstacle avoidance of the emergency rescue unmanned ship are realized through the LOS guidance algorithm, and a better tracking effect is achieved through the trajectory tracking experiment. Finally, the automatic rescue module is designed, when the lifebuoy is thrown by the life-saving system within 1 meter from the target point. The experimental results show that it can meet the needs of emergency rescue of rivers and lakes and improve the success rate of rescue operations.
Keywords: emergency rescue; unmanned ship; identification of people who fall into the water; deep learning; LOS guidance
我國地大物博,水域資源遼闊,江河湖泊不計其數。隨著人們生活水平的提高,越來越多的人在閑暇時間選擇江河、湖泊、景區、近海浴場等進行水上娛樂活動,大量與水有關的生產娛樂活動存在著或多或少的安全隱患。在全國范圍內,由于江河湖泊眾多,海岸線綿長,每年夏季,溺水事故時有發生。據我國衛生部統計,全國每年約有5.7萬人死于溺水[1-2]。而目前的溺水救援,仍以傳統的人工救援為主,人工監測無法保證24小時不間斷巡查,且因人力資源配備原因,無法覆蓋較大水域,在救援的同時,施救人員的生命安全也受到較大威脅。在溺水事件發生后,如果能夠充分利用先進的應急救援裝備,便可大幅降低救援難度,提高救援效率,最大限度減小救生人員死亡風險。
為了確保水上應急救援行動的及時性和可靠性,提高水上應急救援裝備的智能化程度勢在必行。隨著人工智能技術的高速發展,全天候、智能化、無人化的水上應急救援裝備的研制已經成為可能,不僅可大幅度提高溺水人員救援的成功率,更是避免了施救人員的風險,是關系到人民群眾生命安全的大事。
當前,提高水域救援效率的研究普遍采用智能化技術,但對于搜索救援無人船的研究卻相對較少。國內外也沒有報道關于綜合性的智能應急救援無人船的研究成果。從如何將水面無人船的優勢充分發揮到水域救援這一空白領域,到未來水上無人船的發展方向多元化、智能化,均需要人們的深入研究與探索。因此,如何創新性地將無人船應用到水域救援這一特殊領域,將成為未來研究的重點和挑戰。國內外針對于溺水人員的搜索救援智能無人船鮮有報道,主要集中于軍事、海洋監測、水樣數據采集等領域的無人船研發和應用[3]。
因此,本文開展基于水上應急救援無人船關鍵技術研究,研究了落水人員識別模塊系統,能夠定位落水人員的位置;研究自主導航模塊,實現應急救援無人船的自主導航和避障;設計的自動救援模塊,由救生系統拋擲救生圈實現救援。最后進行了救援效果的實驗驗證,滿足應急救援的需求。
1" 總體技術方案
智能識別通過落水人員圖像識別結合實現落水監測與定位,配合使用自采集數據集+WSODD數據集訓練YOLOv5模型,并部署至工控機,進行落水人員識別;將智能識別模型部署在無人船上,根據返回的識別信息與定位信息調用航行控制算法;航行控制收到定位信息后將根據任務發送控制信息,根據狀態反饋調整偏差,前往指定目標點,自主導航與避障行駛至目標點(落水人員)附近,拋擲救生圈,實現救援任務。其總體技術方案如圖1所示。
2" 落水人員智能識別系統的設計與優化
針對落水人員智能識別的關鍵技術挑戰, 傳統方法過渡依賴經驗知識且手工設計特征無法適應復雜場景,導致模型檢測準確率偏低[4]。深度學習方法能自動從數據中學習魯棒的特征表示以適應復雜場景[5]。但是深度學習網絡具有預測能力至關重要的特征是其有大量需要學習的參數,由于無人船系統的計算存儲設備資源算力有限,深度學習網絡常常難以展現其優勢。綜合需求分析,選擇目標識別能力較強,且在資源有限的嵌入式設備中發揮穩定的深度學習模型[6]。
2.1" 數據集采集與標注
由于水上救援目標的特殊性,并沒有滿足需求的公開數據集供訓練使用。因此,首先考慮自采集數據集,在江河、湖泊、泳池、近海浴場等地方進行了模擬落水人員數據集采集,在各大網絡平臺尋找落水事件相關圖片,最終收集落水人員數據集1 000余張,并用LabelImg對其進行了標注。
采集數據集中只包含落水人員的相關圖片,但實際救援環境相對復雜,為增強模型的魯棒性,實驗中又加入了Water Surface Object Detection Dataset (WSODD),該公開數據集包含7 467張圖片、14種類型、21 911個實例,覆蓋了江河、湖泊、近海浴場等地方3種環境,晴天、多云天、霧天3種天氣,白天、夜晚、暮色3種時間段。豐富的環境信息、背景信息,使模型更快速準確地鎖定落水人員,防止環境中的相似物體對識別造成影響、妨礙救援。
2.2" 模型訓練與部署
基于深度學習的目標檢測算法包括單階段檢測算法和雙階段檢測算法[7-8]。其中雙目標的檢測器分為2步,第一階段根據特征回歸目標的大致位置,第二階段進行目標具體類別預測以及位置修正,檢測速度較慢,檢測精度較高。救援目標檢測需要模型快速檢測出落水人員,考慮從檢測速度更快的單階段檢測,并且隨著算法的不斷優化,單階段檢測算法的檢測精度已接近甚至超越雙階段檢測算法。再考慮模型的大小,選擇檢測精度高,且模型參數小的算法。經過多次對比實驗,最終選擇YOLOv5作為救援目標檢測的網絡模型。
在本系統中,采用YOLOv5中s、m、l、x 4個版本的模型中深度最小、特征圖的寬度最小的YOLOv5s網絡。YOLOv5的網絡模型主要分為主干網絡、瓶頸網絡和預測網絡3個部分[9],系統采用s版本的網絡結構,訓練完成的模型參數量大小僅14.4 M,滿足嵌入式設備的需求。
選定模型后,將標注好的自采集數據集與WSODD進行劃分,其中80%進行訓練,設置迭代次數為300,隨著迭代次數增加,模型準確率逐步增強,訓練完畢后,利用剩下的20%數據集進行驗證。最終將訓練好的模型部署到處理器為Intel Core I5 Celeron 4205U Pentium 5405U的工控機中,與船控聯動進行落水人員救援,可以不需要將模型轉換到不同框架上,直接在邊緣端部署訓練模型,這種方式能夠快速實現模型的設計并應用到實踐中,避免了軟件兼容性的問題。
3" 定位與自主導航系統的設計與優化
3.1" 針孔相機模型
針孔模型可以描述為將三維世界的坐標點(單位為m)映射到二維圖像平面(單位為像素)。基于物理學中蠟燭投影實驗,小孔模型把三維世界的蠟燭投影到了一個二維成像平面上,同樣也解釋了相機的成像過程[10],如圖2所示。
針孔模型的幾何建模過程和步驟如下:首先設相機坐標系為O-x-y-z,通常情況下,z軸指向前,x軸指向右,y軸指向下,坐標原點為相機的光心O,也就是針孔的位置,將空間點P經過小孔O投影后將會在平面 上成像[11],對應的點為P′。設P的坐標為[X,Y,Z],P′為[X′,Y′,Z′],物理成像平面到小孔的距離為f。那么,根據三角形相似關系,可以發現針孔到成像點的距離與實際物體距離成比例,得到公式(1)
為了簡化針孔模型而采取一種常見處理方式,即將三維空間點和成像平面放置在相同側面,公式簡化為
整理得
針孔模型描述了點P和其對應的成像點之間的空間關系,需要在成像平面上對像素進行采樣和量化。設定一個像素平面,它位于物理成像平面o-u-ν上且固定不動,在像素平面P′的像素坐標為[u,ν]。
基于圖像的定位算法設計正是基于相機的針孔模型,其中涉及到以下4個坐標系[12]:①世界坐標系,描述相機位置,單位m;②相機坐標系,光心為原點,單位m;③圖像坐標系,原點為成像平面中點,單位mm;④像素坐標系,原點為圖像左上角。
P為世界坐標系中的一點,即為生活中真實的一點;p為點P在圖像中的成像點,在圖像坐標系中的坐標為(x,y),在像素坐標系中的坐標為(u,v);f為相機焦距,等于o與O_c的距離。利用相機焦距和圖像中成像點的坐標可以計算出物體在真實世界的位置,具體原理如下
極坐標解算算法如下
式中:D為物體距離攝像頭的距離,θ為偏離角度,再結合無人船慣性導航定位的全球經緯度數據計算出落水人員的坐標,再依靠設計的自主導航系統到達目標點。
3.2" 視線法(LOS)制導原理
自動導航系統的實現依靠制導策略和控制算法的結合,制導策略即跟蹤方法,這里采用的是視線法(LOS)。該算法通過計算期望航向點和當前位置之間的航向角,結合控制器來消除航向角偏差,從而讓無人船的當前航向角逐步接近期望航向角。具體實現時,算法需要將期望航向點和當前位置進行比較,計算出期望航向角,然后通過控制器調節方向舵角來實現航向角的調整,從而跟蹤期望航向點。最終,通過穩定的控制,無人船能夠準確地到達目標航向點[13-14],如圖3所示。
為了實現對USV(Unmanned Surface Vessel)航跡點更優的跟蹤控制,因此,需要對LOS算法進行優化。優化的LOS算法引入了一個可視距離,以提高無人船的航向控制精度,原理如圖4所示。
已知參數中,期望航向點PLOS=[XLOS,YLOS]T,USV當前位置在期望航跡上投影點之間的距離Δ=nLpp,Δ為被控USV的可視距離,USV長度為Lpp,n=2~5。此時,可推導出
式中:e表示USV橫向跟隨誤差,即被控制無人船橫向跟隨誤差的度量,這個度量是通過計算期望航跡線與大地坐標系北向軸之間的偏轉角得到的。假設航向角偏差Ψe=α?-Ψ逐漸趨近于零,那么可以通過執行上述過程實現路徑跟蹤,即向目標航向點行進,最終到達期望航跡。最后,通過PID控制,實現當前航向角跟蹤期望航向角α?,使無人船沿著期望航跡前進。
通過優化的LOS算法,被控USV實現跟蹤當前的期望航向點Pk+1=[Xk+1,Yk+1]T。當無人船進入該期望航向點的某個區域時,當前的期望航向點的跟蹤被自動放棄,下一個期望航向點的跟蹤立即執行,即k=k+1。因此,需要一種有效的控制算法來確定何時判斷和切換期望航向點。假設以被控制的無人船當前跟蹤的期望航向點(Xk+1,Yk+1)為圓心,以R0為半徑生成圓形。若在某一點,無人船的當前位置P=[X,Y]T滿足
則需要將當前跟蹤的期望航向點轉換為下一個期望航向點,并在ΨLOS計算時使用下一個期望航向點的數據進行計算。
實船驗證中,USV從起始點向目標點航行過程中,LOS軌跡跟蹤效果如圖5所示,可以看出,除了在拐角處的軌跡點跟蹤稍有波動,一般情況下的軌跡點跟蹤擬合效果比較理想。
4" 實驗結果
通過針孔相機模型和相機標定的內參矩陣,根據式(5)解算出救援目標點的相對位置D和θ,再由相對位置和無人船的世界坐標求出救援目標點的世界坐標即經緯度。根據LOS制導跟蹤軌跡點與PID糾正偏差,實時輸出控制信號航向與航速前往目標點。當距離目標點1 m范圍內由慣性向前推進并由救生系統拋擲救生圈實現救援,其流程圖如圖6所示。
自動拋投救援系統設計主要由脫鉤器配合自動充氣救生圈組成,如圖7所示。脫鉤器主要依靠與控制信號接收機相連的數字舵機,當到達救援點時船內的微型控制器會給接收機通道發送釋放信號,舵機將控制掛臂收縮,原本在掛臂上的氣脹式救生圈會落入水中。氣脹式救生圈主要由密封充氣式背心氣囊、微型高壓二氧化碳鋼瓶、快速充氣閥、嘴吹氣裝置、求救哨等組成。一旦落入水中,可在3~5 s短時間內充滿,成為具有大于等于100 N浮力的救生衣,并將人向上托起,使頭和肩部露出水面,吹響口哨從而保證穿戴人員生命安全并及時獲救,如圖8所示。
5" 結論
針對當前水上應急救援應具有的及時性和可靠性,提出了一種水上應用救援無人船系統及其關鍵技術應用。本文提出的落水人員識別模塊系統,利用深度學習的單階段檢測算法,基于YOLOv5作為救援目標檢測的網絡模型能夠實現落水人員的精準目標檢測;以針孔相機模型的定位算法,能夠定位落水人員的位置;基于LOS制導算法的自主導航模塊系統,實現應急救援無人船的自主導航和避障,通過軌跡跟蹤實驗,能夠實現準確的目標跟蹤;最后設計的自動救援模塊系統,當距離目標點1 m范圍內由救生系統拋擲救生圈實現救援。實驗結果表明,本文提出的水上應急救援無人船系統能夠滿足江河湖泊應急救援的需求,減少不必要的人員傷亡,提升了水上應急救援的智能化水平。
參考文獻:
[1] 董炳艷,張自強,徐蘭軍,等.智能應急救援裝備研究現狀與發展趨勢[J].機械工程學報,2020,56(11):1-25.
[2] 宋學強.基于計算機視覺的水面目標檢測及無人船平臺研發[D].杭州:杭州電子科技大學,2020.
[3] 王石,張建強,楊舒卉,等.國內外無人艇發展現狀及典型作戰應用研究[J].火力與指揮控制,2019,44(2):11-15.
[4] 向濤.復雜場景下目標檢測算法研究[D].成都:電子科技大學,2016.
[5] 王晶.基于深度學習的文本表示和分類研究[D].北京:北京郵電大學,2019.
[6] 李冰.目標檢測模型壓縮算法的研究與實現[D].哈爾濱:哈爾濱工業大學,2019.
[7] 杜嘉偉.基于深度學習的復雜場景下車牌檢測與識別算法研究[D].秦皇島:燕山大學,2021.
[8] 劉俊明,孟衛華.基于深度學習的單階段目標檢測算法研究綜述[J].航空兵器,2020,27(3):44-53.
[9] LIANG C,YAN Z,REN M,et al. Improved YOLOv5 infrared tank target detection method under ground background[J]. Scientific Reports,2023,13(1).
[10] 曲吉旺.基于多路顯微視覺的微管-微球裝配研究[D].哈爾濱:哈爾濱理工大學,2020.
[11] 孫靜文.室內服務機器人熱場地圖構建與目標檢測技術研究[D].哈爾濱:哈爾濱工業大學,2020.
[12] 倪樺,關巍,張顯庫.基于激光雷達與攝像頭的無人船目標感知與測距[J].船舶工程,2022,44(9):107-113.
[13] 曾江峰,萬磊,李岳明,等.基于切換視線法的欠驅動無人艇魯棒自適應路徑跟蹤控制[J].兵工學報,2018,39(12):2427-2437.
[14] 韓鵬,劉志林,周澤才,等.基于LOS法的自航模航跡跟蹤控制算法實現[J].應用科技,2018,45(3):66-70.