傅泰鑫 潘洪強 秦志其 吳瑋
收稿日期:2023-10-31
作者簡介:傅泰鑫(1985—),男,本科,高級工程師,從事電氣自動化控制、智能交通工程及相關施工管理工作。
摘要 針對現有技術而言,高速公路機電能源數據存在管理滯后、適用性差等問題,文章研究設計了一種高速公路機電能源管理系統,依靠一種資源協調者(Yet Another Resource Negotiator,YARN)數據處理框架分析高速公路機電運行數據信息,通過資源管理器負責監視和分配CPU、內存和帶寬到從屬節點,處理與客戶端的運行程序進程,以及獲取隊列信息和集群統計信息。為跟蹤監測YARN架構的資源使用情況,該研究在YARN集群中融入了Ajax,Ajax技術包含XML、DOM、CSS等多種內容。實驗結果表明,該技術極大提高了高速公路機電能源管理能力。
關鍵詞 高速公路;機電能源數據管理;計算框架;資源管理器
中圖分類號 TP391文獻標識碼 A文章編號 2096-8949(2024)01-0032-03
0 引言
隨著信息技術的發展,互聯網規模的不斷擴大,數據本身也呈爆發性增長,在互聯網和云計算等方式的作用下,大數據技術已成為信息生產和傳播的主要手段[1]。但是高速公路機電能源管理能力欠佳,隨著能源數據的飛速增長,使得現有系統中的已有數據難以查閱,數據管理混亂[2-3]。為了解決存在的弊端,有了以下的研究。例如華鋼等人[4]采用BP神經網絡映射得到高速公路機電能源管理信息。李亢等人[5]采用交叉驗證優化貝葉斯分類法,對各類能源數據進行有效的分類處理,盡管這些算法從數據中提取了更多有用的知識,但他們并不專注于從大型數據集中提供可操作的知識。楊柳等人[6]采用基于分布式系統基礎架構Hadoop的實時數據處理模型,運用可擴展置標語言(extensible markup language,XML)標記數據。可以快速及時處理數據,但工作容量較小,安全性不足。針對上述技術不足,該文進行以下技術研究。
1 高速公路機電能源管理系統設計
該文通過建立自動檢測系統實現高速公路機電能源信息檢測,對高速公路機電設備運行流程進行把控,能夠及時準確掌握其運行狀態,使其能夠穩定在最佳運行狀態[4]。主要創新點在于:
(1)采用SX1276芯片將高速公路機電能源信息和運行參數集成在芯片中,使高速公路機電能源數據信息能夠以電信號的形態進行傳輸。
(2)利用多數據通信方式實現高速公路機電能源控制器多種形式的數據通信,提高了高速公路機電能源數據通信能力,進而提高檢定效率。
(3)設計Sobel算子模型對檢測結果進行驗證,將檢測高速公路機電能源結果轉化為算法程序運行,得到最佳運行結果。
該文設計的自動檢測系統融合了國內外技術成果,采用通用接口總線(General Purpose Interface Bus,GPIB)檢測技術對能源控制器進行全面檢測,SX1276芯片和Sobel算子模型提高檢測的準確性同時減小檢測系統體積。
該系統采用多個顯示裝置來反饋處理過程;采用SX1276處理芯片實時處理收集到的數據信息,將處理后的數據信息反饋給Sobel算子模型,以便進行下一步的檢測[5]。檢測系統中采用了多通道數據傳輸方式,可以高效、快速地互通數據,提高檢測效率。其中連接有GPIB檢測通道、Sobel算子模型通道、功能執行和指令傳達、結果驗證、信息捕捉和信號輸出以及V/H傳感和分析通道,GPIB檢測技術通過位置傳感和速率感知完成定位顯示和檢測進度的預測,每個接口適配器連接通道功能不同,但處理內容可以互通,使整個系統運行能夠整體化調度和控制。
所設計的系統采用SX1276芯片將設備信息和運行參數集成在芯片中來處理數據,而且融合智能化檢測技術,使檢測過程自動化運行,對檢測高速公路機電能源數據運用數學模型的方式進行驗證,使運行結果得到保證[6]。
2 大數據分析構架設計
針對上述技術存在的缺陷,該研究構建了高速公路機電能源大數據分析架構[7],其架構示意圖如圖1所示。
圖1中的能源采集終端從不同的數據傳感器中采集到各種不同形式的數據信息,對不同形式的數據進行樣本選擇,再進行特征提取,然后將樣本特征存儲在數據存儲器中。數據信息經過特征提取從初始的不同形式信息全部轉換為數字化信息存儲在存儲器中[8]。該研究還設計了YARN架構,采用分類、聚類、關聯等多種數據挖掘算法[9],實現對數據樣本的細分和找出數據內在關聯。將用算法處理過的數據反饋到監控器中,在監控器中診斷分析獲取的數據;通過數字顯示器能夠查閱數據信息。處理完成的數據可以通過互聯網在線上傳至云儲存中心,擴大數據存儲量,安全存儲數據。控制中心也可通過工業控制器局域網絡(controller area network,CAN)總線、傳輸控制協議/網際協議(transmission control protocol/internet protocol,TCP/IP)[8-9]和遠程通信網絡(telecommunication network,TN)將數據傳送至上層管理中心,供管理中心處理分析數據并向下層工作模塊發送指令。
3 高速公路機電能源信息管理關鍵技術設計
為了處理高速公路機電能源管理信息,該文提出了一個基于云的YARN框架,“YARN”是Hadoop 2.0推出的MapReduce的最新版本,能夠更有效地支持大尺寸集群,并提高可擴展性和靈活性,該框架支持許多其他分布式處理應用程序框架的執行,如信息傳遞界面(Message Pass Interface,MPI)和圖形用戶界面(Graphical User Interface,GUI)[10]。此外,YARN資源管理器通過公平調度通信協議來優化集群利用率,該框架的體系結構如圖2所示。
圖2顯示了系統級架構及其基本組件,其中TDF表示tost描述文件(tost description file)進程,HCC表示hadoop集群配置(Hadoop cluster configuration)進程。擬議框架主要包括啟動器、優化器和YARN集群(YARN主節點和YARN從節點)。
3.1 啟動器
該研究定義了兩種客戶端角色模式,即數據庫和可行客戶端(reliable associate,RA)。提交能源信息文檔以生成測試數據的客戶機被收入至數據庫中,其可以與其他團體(如測試人員、開發人員和研究小組)共享測試數據。RA的創建、修改和移除過程稱為MngRA,RA中的人員被授予編輯代碼上傳、下載測試數據以及生成策略,通過客戶的用戶名和密碼識別客戶,其概念模型如圖3所示。
3.2 優化器
優化器負責計算提交的應用程序的測試數據。利用K-means聚類和粒子群等算法的智能計算,實現了高速公路機電能源管理數據生成策略。通過在多個映射器之間分配任務,實現了高速公路機電能源測試數據生成過程的并行化。Map模塊并行執行與jar文件中多個類文件的測試數據生成相關的任務。優化器將調用YARN主控程序來執行MapReduce文檔,以生成所提交正在測試軟件的測試數據。
3.3 YARN集群
YARN集群由主節點和從節點組成。該文提出的框架的優化器模塊調用YARN主控程序來執行MapReduce文檔。YARN主控器的兩個主要組件是資源管理器和App(應用)主機。資源管理器負責監視和分配各種資源(CPU、內存和帶寬)到從屬節點,其還處理與客戶端的遠程過程調用接口,如應用程序提交、應用程序終止,以及獲取隊列信息和集群統計信息;App主機是特定于框架的庫的實例,它與資源管理器一起監視YARN資源消耗,協商執行特定文檔所需的資源容器。App主機跟蹤在資源管理器上執行的所有應用程序,并維護活動和非活動App主機的列表,還負責管理來自App主機的注冊/注銷請求,以及來自App主機容器請求的運行進程和拒絕運行進程,其流程如圖4所示。
除了控制應用程序,YARN控制還包括節點管理器、數據節點和容器。“容器”是一個抽象實體,對應執行應用程序所需的資源元素(CPU、磁盤、網絡等),資源請求由應用程序針對特定資源發出,并由調度器以容器的形式授予。節點管理器管理集群中的每個從屬節點,并監控容器及其生命周期,還跟蹤監測YARN客戶的健康狀況和資源使用情況。為此,該研究在YARN集群中融入了可縮放矢量圖形(scalable vector graphics,SVG)和異步JavaScript和XML(asynchronous Javascript and XML,Ajax)技術,SVG是基于可擴展置標語言并用于描述圖形的語言,SVG圖像可通過文本編輯器來創建和修改。Ajax技術是包含XML、DOM、CSS等多種技術,Ajax是指一種創建交互式網頁應用的網頁開發,客戶端請求的局部更新不會舍棄原來服務器的內容。可以提高服務器處理數據效率。
在用戶端操作請求發出后,通過Ajax層用戶端與服務器進行數據交互,由于使用Ajax服務器反饋數據不再重新加載,而是進行局部更新。由此降低了服務器需要處理的數據密度,加快了服務器處理數據的速度,提升了工作效率。
4 結束語
在目前高速公路機電能源管理技術環境下,該文根據高速公路機電能源管理信息的結構特點提出了一種新型能源信息管理系統,并利用最新的信息技術來解決現有方法存在的問題。其中YARN框架能夠更有效地支持大尺寸集群,并提高可擴展性和靈活性,把運算過程存儲起來的操作,能夠減少中間讀寫過程的時間。采用分類、聚類、關聯等算法挖掘分析采集到的數據信息。對比現有其他研究更具可行性。但面對高速公路機電能源管理數據進一步的計算依然存在處理效率不高的問題,未來將針對該方面進一步研究。
參考文獻
[1]賀雅琪. 多源異構數據融合關鍵技術研究及其應用[D]. 成都:電子科技大學, 2018.
[2]林麗丹, 李娜. 大數據技術在高校智慧校園建設中的應用研究[J]. 電腦知識與技術, 2020(18): 36-38.
[3]Zhang Y, Wang Y, Ding H, et al. Deep well construction of big data platform based on multi-source heterogeneous data fusion[J]. International Journal of Internet Manufacturing and Services, 2019(4): 371-388.
[4]華鋼, 曹青峰, 朱艾春, 等. 多流卷積神經網絡的骨架行為識別[J]. 小型微型計算機系統, 2020(6): 1286-1290.
[5]李亢, 李新明, 劉東. 多源異構裝備數據集成研究綜述[J]. 中國電子科學研究院學報, 2015(2): 162-168.
[6]楊柳, 于劍, 劉燁, 等. 面向認知的多源數據學習理論和算法研究進展[J]. 軟件學報, 2017(11): 2971-2991.
[7]金海勇, 吳其樂, 劉騰澤. 基于模糊控制和大數據算法模型的電力運維故障診斷設備方法[J]. 計算機測量與控制, 2022(11): 71-76.
[8]陶永才, 張鑫倩, 石磊, 等. 面向短文本情感分析的多特征融合方法研究[J]. 小型微型計算機系統, 2020(6): 1126-1132.
[9]馮伊平, 費萬堂, 王卓瑜, 等. 基于數據挖掘算法數據模型實現大數據分析的方法研究[J]. 電子測量技術, 2020(3): 54-58.
[10]李暉, 王立永, 吳紅林, 等. 智能電能表質量數據采集與質量監控技術研究[J]. 計算機測量與控制, 2021(5): 112-115+121.