基于Triple-Gan模型視覺平臺的建設探析

鄒帥 鐘方偉

關鍵詞：Triple-Gan；視覺；平臺

0 引言

隨著電網設備規模大幅增長，新設備處于不穩定期，老舊設備基數大、隱患多，發生設備事故的風險依然存在。人身安全事故未能杜絕，業務外包和勞務分包比例不斷擴大，作業人員素質整體偏低，安全管控能力與建設發展的強度不適應。生產任務與一線作業人員不足，生產承載力不足、業務空心化和員工技能退化等問題日益凸顯。亟須通過自動化、數字化、智能化技術手段，聚焦基層、緊盯現場，著力抓好防觸電、防感應電和防誤操作等安全管理，提升運檢質效。本文通過應用Triple-Gan 網絡模型、YOLOv5s 加速技術、視覺技術、云計算等技術，通過場景識別的逐步下沉，實現對一些較為復雜的違章行為進行精確識別，不僅減輕網絡帶寬和后端服務器計算壓力，同時也提高了現場違章識別的同步性和實時性。

1 研究意義

針對當前電網規模的日益劇增，各類技改、大修、停電、不停電、帶電作業、異常處理現場較多而復雜，一線運維人員與現場安全管控精益化管理要求不匹配等矛盾日益凸顯的現狀。基于Triple-Gan 網絡模型、深度視覺、行為識別、便攜式終端圖像采集報警、邊緣計算終端加速處理等技術應用，形成“便攜式終端-分析平臺-邊緣計算終端”的分布式信息采集、處理及可視化展示的研發及場景應用。通過“三位一體”的協同模式，實現對生產現場作業安全風險識別并有效進行管控，支撐現場作業本質安全水平的有提升，促進規范作業流程，有效形成違章預警及報警的雙重應用，杜絕違章行為的發生，強化作業過程管控，保障人身安全可控在控能控制的目標，解決現場作業實際問題。同時，實現檢修作業、運維操作、帶電作業等現場可視化全覆蓋，結合計劃任務和兩條工單，實時進行“1 對N”作業現場質量和進度督察，對作業關鍵點進行管控，通過云網融合、業務管控與視覺技術的融通共享，實現作業的全程“身臨現場”可視感知，達到“現場行為工作票”的目的。

2 技術路線

2.1 面向YOLOv5s 的DCNN 優化算法應用

基于ASIC 的可壓縮、基于小樣本學習且可移植的DCNN 模型，應用YOLOv5s計算策略，將DCNN 算法經過卷積層濾波計算和池化層采樣后，生成新的卷積層，繼續交替進行，經過若干層計算后，最終通過連接層輸出特征提取結果，進行作業現場的圖像信息的直接監控和分析，判斷作業現場人員行為風險因素；同時，通過將基礎數據進行二次挖掘，建立違章數據模型庫，判斷現場安全生產工作的潛在影響和風險。

2.2 基于視覺技術的作業計劃任務聯動應用

通過實時抽取從PMS2.0 同步工作票、操作票、巡視任務等信息到智能視覺平臺，根據不同任務的類型形成相應的工作任務單，根據工作任務受理的班組對任務進行班組下發，通過計劃任務管理服務，對日計劃和兩票工單進行統一管理，加強現場作業的安全管控。

2.3 基于云計算的圖像智能分析識別應用

融合云資源及公司系統內部專用網絡，形成“云- 管-邊-場-端”網絡架構。系統通過安全接入平臺接入生產內網，將視頻數據、物聯網卡數據與工作任務數據自動關聯，直接實現移動終端任務創建、任務下發、視頻上傳、視頻違章查糾等功能。

2.4 數字化全過程分析管控應用

通過視覺平臺應用，規范現場作業，形成現場作業標準化，形成數據采集評價流程，建成數字化監管的技術路線，實現現場作業管控制趨向成熟化。利用數據分析技術，統計違章分布的類型、班組、人員制定相應的培訓策略，糾正違章行為，完成現場作業痕跡、追溯技術支撐。

3 設計思路

利用人工智能、邊緣計算、云計算等技術，通過現場布置布控球、相關人員佩戴單兵安全帽、遠程無人機實現作業現場安全監察、違章識別，在前端移動智能終端設備實現邊緣計算-違章行為檢測，即在終端設備上加入邊緣計算模塊對作業人員違章行為進行自動、及時的識別，同時在現場安裝聲光報警等警示設備、消息推送等方式及時提醒作業人員的違章行為，從而實現智能化的作業現場違章行為檢測，對人員行為違章、安全文明作業措施未落實等進行及時報警和現場監督管控。

3.1 平臺設計

總體設計包括物理層和虛擬化層、云服務層及云組件，為提供平臺硬件資源基礎管理，基于硬件來構建池化的虛擬資源，包括服務器虛擬化、存儲虛擬化、網絡虛擬化和監控/運維系統等[1]。并向管理員/用戶提供云平臺服務，包括云主機服務、網頁交互、API接口、監控系統、彈性網絡、VPN隧道、賬戶管理、計費模塊、負載均衡和端口轉發等服務。

3.2 系統架構設計

通過“云、管、邊、端” 技術架構實現生產現場的實時監督管控及生產過程行為的歷史追溯管理。利用工作記錄儀、移動布控球等設備對作業現場的圖像、音頻、定位、業務處理等進行實時采集和回傳。通過虛擬無線專網VPN建立通信通道。基于云網融合技術建立專網和內網可視化監控云平臺，通過安全接入平臺實現數據交互。基于PMS2.0兩票和計劃任務，通過視頻專網進行遠程實時監督，實時點檢以及現場喊停等應用，通過信息內網進行歷史數據回放、違章標記、自查互查等應用。

3.3 平臺網絡設計

建設基于電網網絡信息安全要求，內外與專網的信息交互通過安全接入平臺實現，前端采用4G現場工作記錄儀，通過虛擬無線網絡，在專網視頻監察系統查看實時現場工作視頻，同時將歷史錄像數據在前置服務器加密后通過安全接入平臺傳輸至信息內外，實現錄像數據與PMS任務數據的相互關聯。

生產作業可視化監控平臺采用兩級分布式部署模式，通過虛擬無線專網接入工作記錄儀和安全接入平臺進行數據交互，形成“云-管-邊-場-端”架構，基于云網融合技術和標準化接口實現終端的多樣性接入和平臺的能力共享。

3.4 終端FPGA 設計

通過各個硬件模塊輸入輸出的相互連接，結合FPGA 所提供的流水結構，將CNN算法進行匹配，充分利用算法網絡結構內部的并行性，在提高運算速度。將現場作業可視化圖像數據是以數據流的方式進行輸入，在每個時鐘周期內傳入一個圖像的像素點，基于28×28個時鐘周期，完成對單幅圖像的運算。在CPU端，讀取輸入的訓練數據圖像集，對輸入圖像做歸一化預處理之后，通過PCIE總線傳輸給Dataflow Engine，通過CNN將參數w和參數b是在CPU中進行初始化，通過 PCIE 傳輸到 DataflowEngine 的 Fast Memory中，實現2個卷積層和1個softmax全連接層加快卷積運算取參數過程，數據通過Dataflow Engine，生成圖像分類，并將結果推送至CPU。

3.5 安全接入設計

1） 安全接入平臺應部署在信息內網和專網之間，采用類VPN技術和數據隔離技術實現數據的安全接入。工作記錄儀采用虛擬無線專網通過防火墻接入專網前置服務器，前置服務器安裝安全接入通信組件和國密PCIE加密卡連接安全接入平臺，接入信息內網（如圖4所示）。

2） 業務安全接入體系由四部分組成：工作記錄儀、前置服務器、安全接入平臺和信息內網。其中工作記錄儀采用虛擬專網技術在GPRS APN/WCDMA VPDN上建立的虛擬隧道，前置服務器是經過安全加

3） 業務安全接入總體架構分為安全接入終端層、安全傳輸通道層、安全接入平臺層和業務訪問層四層，由安全接入終端、安全傳輸通道、安全接入平臺和PKI證書服務系統組成。

4） 業務安全接入防護體系從接入終端、網絡環境、邊界和應用四個層次進行安全防護，體現層層遞進、縱深防御的設計思想。通過四層的安全防護模式，實現了對業務過程中數據交互的全面安全防護，保證了電力信息內網的安全。

4 技術架構

4.1 流程設計

平臺由PMS2.0定時同步的任務數據發起，通過安全接入平臺將任務數據下發，在視頻專網中進行視頻實時查看，工作任務結束后工作記錄儀自動通過虛擬無線專網將視頻歷史數據回傳至信息內外，并與PMS2.0中的任務自動關聯。

4.2 智能分析設計

通過執法儀拍攝的視頻進行分析，提取其中的目標信息，完成對視頻的結構化描述。本文圍繞對人的安全管理，利用智能分析算法[2]檢測五類目標，首先要檢測視頻中是否有人出現，并能檢測到每個人在視頻中的位置，在此基礎上，在單個人的特定區域內檢測其他屬性目標。通過五類屬性目標要進行檢查，分別是安全帽、袖章、絕緣手套、工作服和兩票。這五類目標并不一定同時出現在某個人身上，而是根據具體的任務，在人身上檢測某個屬性目標，以判定是否符合任務規范。

針對以上目標，實現多路視頻的實時監控，系統能保持高并發性和反應敏捷性；系統對工作任務進行靈活分解和配置，完成對執法視頻的語義分析；對于存量視頻，可以進行后期分析，濃縮視頻內容，形成視頻摘要，方便對視頻進行事件檢索。根據任務要求，選目定標要素，分析視頻中是否檢測到了目標要素，也即在返回的視頻中要先檢測到人，再在人的身上檢測是否戴有安全設備，如果視頻中以一定比例檢測到了這些目標要素，則認為這個視頻符合任務規范。

5 功能設計

系統分為專網及內網運行環境，實現實時視頻監控、語音對講、設備管理、人員管理、定位管理、視音頻預覽及通信指揮、違章識別等主要功能。

5.1 實時視頻監控

通過無線接入網絡，方便地實現視頻傳輸。采用高效的H264、H265視頻編解碼技術，支持1080P高清視頻上傳，靈活的網絡自適應調整技術、可靠的網絡傳輸糾錯，在有限帶寬下保障視頻數據的流暢傳輸。

5.2 語音對講

支持雙向的音頻功能，通過配置聲音采集和輸出設備，實現監控點與平臺之間的雙向語音，同時支持雙向語音的錄制，實現全過程的音視頻記錄。

5.3 設備管理

平臺的設備管理包括可以遠程實時查看移動現場工作記錄儀的工作狀態，包括電池電量、存儲信息、錄像狀態等，同時可以遠程控制所有安全生產人員的移動現場工作記錄儀開啟或停止錄像。

5.4 人員管理、定位管理

移動現場工作記錄儀設備定位管理，可實時接收定位數據，并在地圖上展現出來，方便調度員觀看、調度。

5.5 視音頻預覽及通信指揮

通過地圖界面或設備列表資源，可以遠程調用現場工作記錄儀拍攝的圖像畫面，能夠實時回傳現場視音頻畫面，達到對現場情況的把控。

5.6 違章識別

通過視頻實時識別違章作業，并進行截圖，將違章視頻進行統一資源管理，聯動工作票信息，記錄違章時間、人員、類型等信息。查詢歸檔的違章記錄。違章記錄的詳細內容包括：票號、任務類型、風險等級、工作班組、工作負責人、任務內容、違章時間、違章類型、發現類型、違章內容、違章圖片、播放視頻的操作。可以按照部門、票號、違章類型、任務類型、風險等級、發現類型、負責人、違章內容、開始時間、結束時間設置查詢條件進行查詢。

6 關鍵技術

6.1 面向Triple-Gan 網絡模型的視覺聚類算法

基于大量的生產現場作業圖像數據，將一定數量的訓練樣本訓練生成器，以達到學習到真實樣本的分布的目標，實現自我生成訓練樣本，使判斷器可以學習到真實樣本和生成樣本的數據特征。一是構建改進后的半監督圖像分類模型，包括生成器、判斷器和一組子判斷器，一組子判斷器包括若干個子判斷器；二是訓練改進后的半監督圖像分類模型[3]；三是將待分類的圖像輸入至訓練好的、改進后的半監督圖像分類模型，得到圖像分類結果，形成現場作業違章智能識別場景的樣本學習訓練的有效應用，提高平臺整體識別分析效率和準確率。

6.2 基于終端AI 處理的DCNN 網絡模型YOLOv5s加速策略

本成果針對目標檢測算法圖像預處理、損失函數的算法優化，并在終端處理器內部署時采取特定的量化算法來減少參數和數據帶寬，完成YOLOv5s的邊緣計算的優化和處理。利用圖像數據的余弦退火，Mo? saic數據增強、自適應錨框計算和圖片縮放[4]，平滑濾波等方法實現異構加速，實現終端有效的進行圖像處理、裁剪、量化、壓縮、加速處理，將Focus結構主干網絡實現相交尺度衡量計算，并利用邊界框中心點距離信息進行邊界框寬高比的尺度計算，縮小現場作業違章預警數據的框差，提高預警準確性。

6.3 基于對數域內快速卷積計算模型的應用

通過對生產現場作業采集的圖像的特征大小以及卷積核大小進行計算，根據對數運算性質，建立存儲圖像特征的空間平面模型。根據卷積核大小，建立卷積核空間平面模型[5]。再將卷積核與生產現場作業圖像特征中的元變換到對數域中，即從整數到對數，將對應元做相加處理，將相加結果轉換到整數域，即從對數到整數，最終將所得計算結果載入空平面模型，計算出基于卷積核的圖像特征圖，產生更加清晰、真實的現場作業目標檢測樣本，并有效降低圖像處理內存空間，加快了計算速度，節約了訓練時間，解決在復雜作業場景下的學習訓練性能匱乏而造成的圖像識別率較低的問題，提高了現場作業圖像數據智能分析效率和準確率。

7 結束語

本文針對基于Triple-Gan模型視覺平臺進行綜合闡述，通過深度視覺、便攜式終端圖像采集報警、邊緣計算終端加速處理的“三位一體”的協同模式，構建了生產作業現場安全態勢管控的“大整合、高共享、流程化”的信息采集、管理、共享平臺，解決了傳統的監控方式下電網施工質量控制與安全管理人力耗費大、質量控制容易出現偏差和遺漏等問題。同時，為現場作業標準化檢查提供了數據依據及安全責任分析的數據佐證，也為現場作業人員安全違章事件提供預警提示，有效地支撐現場違章作業的行為、設備及作業標識的智能化識別。