









摘要:在無人機巡檢電力通信光纜設備時將產生的視覺數據卸載到云端處理,通過邊緣計算優化電力通信光纜設備的深度學習檢測運算量。由ROSLink(robot operating system,ROS)從機器人操作系統提取電力通信光纜設備的數據,然后嵌入JSON進行序列化后將信息發送至云端,進而實現圖像的云計算卸載。深度學習模塊中DeepBrain云子系統啟動云服務器的多個GPU,高速同步處理多架無人機的批量圖像。實驗表明,將視覺數據卸載至云端后電壓降低率和功耗是機載GPU處理的50%,可延長無人機續航時間、縮短圖像實時處理時間。
關鍵詞:無人機;云計算卸載;邊緣計算;深度學習;電力通信光纜設備
中圖分類號:TM762;TQ39文獻標志碼:A文章編號:1001-5922(2024)10-0140-05
Research on intelligent detection technology of communication optical cable equipment based"on improved edge algorithm
HU Xin1,SHEN Wei1,LI Wei2,WANG Xinglong2,CHEN Yijun2
(1. State Grid Jiangsu Taizhou Power Supply Branch Co.,Ltd.,Taizhou 225300,Jiangsu China;2. State Grid Jiangsu Electric Power Co.,Ltd.,Nanjing 210000,China)
Abstract:When the unmanned aerial vehicle inspects the power communication optical cable equipment, the gen?erated visual data is offloaded to the cloud for processing, and the deep learning detection calculation of the powercommunication optical cable equipment is optimized through edge computing. ROSLink(robot operating system,ROS)extracted the data of the Power communication optical cable equipment from the robot operating system andthen embeded JSON for serialization and sent the information to the cloud,thereby achieving cloud computingoffloading of the image. The DeepBrain cloud subsystem in the deep learning module activated multiple GPUs of thecloud server to process batch images of various drones simultaneously at high speed. Experiments showed that thevoltage reduction rate and power consumption after offloading the visual data to the cloud were 50% of the onboardGPU processing,extending the UAV’s lifetime and shortening real-time image processing time.
Key words:unmanned aerial vehicle;cloud computing offloading;edge computing;deep learning;power communi?cation optical cable equipment
電力通信光纜設備在信息傳輸方面起著至關重要的作用,這些設備常年承受惡劣天氣[1-2],較高的機械張力和極高的電壓功率,存在安全隱患,需要及時維修或更換[3-4],若不及時處理,將影響電力通信網安全運行,威脅電力通信光纜安全及其穩定運行。利用無人機巡檢電力通信光纜設備,拍攝光纜線、金具和纜架等設備的高分辨率圖片或視頻,然后分析潛在缺陷,具有不受地形限制、巡檢速度快、效率高的特點,已成為電力設備巡檢主流[5-6]。目前可利用基于卷積神經網絡的深度學習算法來處理從無人機采集的航空圖像[7-8]。無人機巡檢輸電光纜線路途中實時處理大量計算機視覺數據、規劃無人機飛行路徑、分析設備故障,需要消耗過多能量[9-11],但其機載能量的能力有限,因此無人機網絡環境下邊緣采集數據的實時處理仍然是一個挑戰。構建UAV輔助邊緣計算模型并且利用塊坐標下降的兩步迭代優化算法,實現了約定時間內最小化用戶終端能耗[12]。利用正交自適應鯨魚優化算法的云計算任務調度方法研究[13]。基于深度強化學習提出多用戶多任務下的任務卸載調度與資源分配算法,在降低延遲和本地耗能方面有比較優越的性能[14]因此,本文提出對基于云計算卸載和邊緣計算的巡檢方案進行評估,確定高效的無人機巡檢電力通信光纜設備方案。
1計算方法
1. 1云計算模型
云計算是通過服務器在無線接入點將大規模圖像數據傳輸到云端進行計算分析,遠端云節點圖像數據傳播時延為ttc,包括無人機端傳輸數據至無線接入點時間tkue=kr×xkcloud及無線接入點至云端節點×xcloudk至云端節點的傳輸速率,xkcloud為云端節點的工作量,若Ccloud為云端節點執行能力,遠端云節點計算模型平穩狀態下,其計算時間為:
當邊緣節點到云端節點的傳播時延為?t,則云端節點執行卸載任務的時延為:
1. 2邊緣計算模型
邊緣計算是指在邊緣(即無人機)使用帶有嵌入式GPU的Jetson Nano、Raspberry Pi設備執行深度學習計算。
數據傳輸模型主要包括無線傳輸與互聯網傳輸2部分。若無人機分配的通信帶寬為B,hup為終端kk
與邊緣節點間的信道增益,假設無人機端k傳輸速率為r,則數據傳輸速率為:
邊緣節點為無人機k分配的計算數據為Ck,為邊緣節點單位時間可執行的GPU周期次數。
無人機k的任務執行時延期為:
式中:邊緣節點執行卸載任務的時延tedge數據從無人機端傳輸至邊緣節點的傳輸時延ttek
1. 3無人機云計算能耗模型
1. 3. 1無人機自身計算能耗
無人機GPU的頻率為fc,執行無人機UVAk總能耗為:
其中無人機UVAk計算1 bit需要消耗的能量Ec(lfc)為γcC l(f)c2,在T內計算Ibit的數據kksk,CPU的頻率fkm為。
1. 3. 2無人機飛行能耗
假設無人機飛行高度不變且在每個時間間隔內,無人機飛行能耗只與速度有關,與加速度無關,飛行能耗表達式和動能相似,所以能耗與飛行速度平方成正比,在第n個時間間隔內無人機飛行速度是vnc:
1. 3. 3數據傳輸能耗
正交與非正交傳輸數據方式的能耗不同,當以正交方式傳輸數據時,在第n個時間間隔中,第k個無人機UVAk與云端間傳輸的上行數據為Lkmnbit,下行數據為Lkcnbit,數據傳輸在時間?/K內完成。正交方式傳輸數據能耗為:
當數據以正交方式傳-輸數據時上行和下行能表達式相同,上式中gkn(pnc)表示無人機與云端在第n個時間間隔的路徑能耗,其表達式如下:
式中:g0表示在1 W的傳輸能耗在1 m路徑內的收益。數據傳輸信道模型為加性高斯白噪聲(AWGN),能量譜密為N。
當采用非正交方式時,上行傳輸能耗為:
式中:上行傳輸數據合集為Lm
由此可知,當采取非正交方式時無人機傳輸數據受其他無人機的影響。
2構建DeepBrain系統
2. 1DeepBrain結構
DeepBrain系統是將無人機繁重的計算工作卸載到云端,利用云資源執行深度學習任務,從而達到降低能耗,延長無人機的任務時長目的。其DeepBrain系統結構如圖1所示,包括以下4個子系統:
無人系統層:包括無人機、機載傳感器和無線通信接口,負責采集電力通信光纜設備圖像。本研究通過無人機上的WiFi接口連接到4G/5G便攜式WiFi路由器實現邊緣、云服務器通信。在偏遠或地形復雜地區,使用無線客戶終端設備(CPE)為無人機巡檢設備提供網絡訪問、邊緣計算和緩存。
邊緣層:該層旨在提高系統的可擴展性,減少云層的負載。邊緣計算中心靠近無人機,將一部分深度學習計算從云端遷移到邊緣,并且分散于多個服務器之間。
云層:用于時間緊迫性較低的圖像數據處理,邊緣服務器無法滿足深度神經網絡算法需要的大量存儲和計算資源。同時,云服務器可提供部署生成式對抗網絡(GANs)、語義分割算法、無人機和用戶管理等服務。
終端用戶層:通過互聯網使用DeepBrain系統的最終用戶,其通過Web服務應用程序接口(APIs)與云端交互,使用交互式儀表板實時監控無人機的狀態,并在需要時發送命令;通過邊緣或云端的深度學習應用程序接收并處理來自無人機的實時數據;終端用戶通過命令儀表板顯示無人機路徑規劃和圖像處理結果。
2. 2系統組件
DeepBrain系統組件如圖2所示。它由無人機子系統、云端子系統和終端用戶子系統3個子系統組成。
無人機子系統:由無人機硬件組成,包括電機、傳感器及其低級驅動器。
云端子系統:是在計算、存儲和網絡方面擁有大量資源的遠程服務器,充當無人機和終端用戶之間的中繼。
用戶子系統:用戶子系統通過ROSLink網橋客戶端與云端子系統的ROSLink實現云與無人機交互,利用儀表板可視化在云端進行的深度學習推理結果,實時監控無人機的活動,并通過互聯網發送命令遠程控制無人機。
本文研究了有無計算卸載2種算法的傳輸和計算能耗如圖3所示。
3實驗結果與分析
3. 1實驗裝置
建立4G連接無人機實驗臺,評估不同條件下DeepBrain系統的性能。采用4G定制無人機,載有GPS、指南針、加速度計、陀螺儀等傳感器和Raspber?ry PI3計算模塊。同時在Raspberry PI3機載計算機上設有Navio2自動駕駛儀防護罩。無人機配備了連接到Raspberry PI 3的USB攝像頭,并使用ROSLink協議通過mavros接口來傳輸無人機的內部狀態和圖像數據。
無人機利用ROS可將無人機機載傳感器和執行器進行交互,利用APIs軟件鏈接硬件資源。ROSLink從ROS中提取圖像、傳感器狀態、位置、運動狀態數據,將其嵌入JSON序列化消息中,利用DP通過互聯網控制,監控和與無人機通信。DP可實現不受距離限制的對無人機進行隨時隨地控制,且可為無人機提供云計算資源的訪問權限,以減輕繁重的計算負擔。
3. 2實驗結果
3. 2. 1對無人機能耗的影響
當存在計算卸載時無人機使用ROSLink協議將數據從Raspberry Pi傳輸到云端,在GPU服務器上進行遠程處理;當使用機載系統處理無計算卸載時,無人機利用嵌入式NVIDIA Jetson TX2板作為機載GPU服務器,在無需計算卸載的情況下實時處理采集的圖像數據。表1給出了有無計算卸載情況下平均電壓下降率和瞬時功耗。
當不考慮無人機飛行電機能耗的影響,只關注通信和計算時,云計算卸載比機載GPU處理節省功耗,在計算卸載的情況下,電壓降低率和功耗幾乎是機載GPU處理的一半。
3. 2. 2對帶寬的影響
圖4和圖5分別顯示在計算卸載和無計算卸載的情況下,云端測量的不同數量無人機隨時間的接收和傳輸數據。結果顯示當無人機數量增加時,接收的數據量線性增加。數據輸出隨連接到無人機數量而增加。將云計算卸載和機載處理方法相比較,數據卸載到云端會提高云端的帶寬和資源利用率。
圖6顯示了在無人機有無計算卸載、數量增加時的平均接收帶寬,相對于無人機的數量,總帶寬線性累積。與機載處理方法相比,在云端進行計算卸載需要高達32倍的帶寬資源。上述結果表明當無人機的數量大規模增加時,需要平衡計算卸載和機載處理的比例以避免過度使用云資源。
3. 2. 3實時保障
(1)云執行時間。在云端處理圖像幀需要更長時間。云端的圖像數據有計算卸載時平均處理時間為7.25 ms,當沒有計算卸載排除圖像數據時,則會下降到2.25 ms,計算卸載將導致在云端轉發圖像幀的CPU周期增加3倍;
(2)平均延遲。計算卸載時考慮數據有無壓縮的情況,當數據進行機載處理時(即無計算卸載),平均延遲小于0.5 s,無數據壓縮時平均延遲達到3.2 s,數據壓縮時為1.7 s;
(3)深度學習計算任務的執行次數。
表2顯示了平均執行時間以及平均每秒幀數和標準差的結果。
由表2可知,基于云的GPU顯示出相近的性能(RTX 2080 Ti比基于邊緣的設備快12~15倍),然而,基于邊緣的設備上的執行時間差異更小。與現有電力設備無人機巡檢技術相比,將數據卸載至云端后電壓降低率和功耗是機載GPU處理的50%,可延長無人機續航時間、縮短圖像實時處理時間。
4結語
在最近關于將互聯網應用到無人機的研究工作中[15-16],存在爭議的問題是數據應該嵌入到邊緣層還是卸載到云端[17-19]。每種方法在成本、帶寬要求、處理速度和能耗方面都有其自身的優勢和局限性[20]。在本文中,對無人機在有無計算卸載的情況下對能耗、實時性、幀速率和帶寬等參數進行評估。根據實驗結果提出,當有足夠的網絡資源可保證視覺數據在云端進行處理時,計算卸載有效,并且可允許高達20幀/s的幀速率,然而,對于低容量設備,在壓縮前不可以高幀速率進行傳輸。壓縮會導致重要特征丟失,而這些特征對于深度學習模型提取對象并對其進行分類至關重要。在這種情況下,使用嵌入式GPU設備在邊緣處理圖像可能更合適,可適用由于資源不足而無法通過互聯網流到云端的高分辨率圖像處理。另一種策略是將一部分計算轉移到云上,另一部分通過邊緣計算處理。此外,高質量圖像的計算卸載增加的端到端延遲可忽略。然而,與基于云的計算卸載相比,邊緣計算在傳輸數據時增加時間延遲,與嵌入式設備的GPU處理相比云端更慢。根據實驗結果,云計算卸載中圖像的傳輸延遲可能比邊緣深度學習的處理時間稍高。
【參考文獻】
[1]伍鵬,林力輝,吳曉杰,等.基于“互聯網+”大數據的輸電巡檢智能管控平臺研發及應用[J].電網與清潔能源,2020,36(3):55-59.
[2]魯軒,郗來迎,趙赫男,等.基于無人機和圖像缺陷識別算法的輸電線路巡檢系統研究[J].電子設計工程,2019,27(12):147-151.
[3]招志強,陳建文.無人機遙感監測下配電線路終端故障檢測方法[J].粘接,2020,44(12):176-180.
[4]林澤鵬.電力設備巡檢的相關建議及常見檢修策略[J].通信電源技術,2018,35(9):236-237.
[5]馬聰,李德泉,汪培月,等.基于分布式無線傳感網絡的電纜隧道無人機巡檢技術[J].電子設計工程,2022,30(17):175-179
[6]于培永,張慧琳,郭志剛,等.立體化智能電力系統巡檢平臺關鍵技術研究[J].粘接,2022,49(5):122-125.
[7]楊毅,羅向源,楊帥,等.高壓電纜通道可視化定位技術研究[J].粘接,2021,46(6):157-160.
[8]柯敏.基于深度學習的無人機遙感影像水體識別[J].江西科學,2017,35(1):50-52.
[9]徐思雅,邢逸斐,郭少勇,等.基于深度強化學習的能源互聯網智能巡檢任務分配機制[J].通信學報,2021,42(5):191-204.
[10]朱程雯,黃曉明,龔慶武,等.基于ACO的無人機巡線路徑規劃研究[J].電網與清潔能源,2021,37(3):71-77.
[11]張毅,劉天立,劉越,等.深度學習在輸電線路無人機巡檢中識別防振錘缺陷的應用[J].武漢大學學報(工學版),2022,55(10):1065-1071.
[12]余雪勇,朱燁,邱禮翔,等.基于無人機輔助邊緣計算系統的節能卸載策略[J].系統工程與電子技術,2022,44(3):1022-1029.
[13]張金泉,徐壽偉,李信誠,等.基于正交自適應鯨魚優化的云計算任務調度[J].計算機應用,2022,42(5):1516-1523.
[14]鄺祝芳,陳清林,李林峰,等.基于深度強化學習的多用戶邊緣計算任務卸載調度與資源分配算法[J].計算機學報,2022,45(4):812-824.
[15]汪楊凱,曾宏宇,趙然,等.基于航線自主規劃的變電站無人機巡檢[J].粘接,2021,48(12):173-177.
[16]黃琴.基于北斗通信技術的無人機運動軌跡跟蹤控制系統設計[J].計算機測量與控制,2022,30(12):137-142.
[17]金儉,鄭倩.基于邊緣云環境的工作流調度與卸載決策算法[J].計算機工程與設計,2021,42(9):2509-2518.
[18]丁可欣,仲智,朱潔.基于邊緣云的動態和搶占式任務卸載調度算法研究[J].華南師范大學學報(自然科學版),2023,55(1):113-120.
[19]鄭忠斌,熊增薪.基于邊緣計算的5G云網絡架構計算卸載策略研究[J].粘接,2021,47(8):97-101.
[20]胡恒,金鳳林,郎思琪.移動邊緣計算環境中的計算卸載技術研究綜述[J].計算機工程與應用,2021,57(14):60-74.