智能終端圖像識別模型測評裝置的研制與應用

姬艷鵬，陳 澤，劉良帥，趙百捷，馮海燕

（國網(wǎng)河北省電力有限公司電力科學研究院，河北 石家莊 050021）

0 引言

隨著人工智能技術的蓬勃發(fā)展，電力運檢、安監(jiān)、營銷等應用領域對圖像識別等技術的需求愈發(fā)強烈，亟需將智能圖像識別技術的先進研究成果應用于電力領域，達到降本增效的目標[1-2]。基于云端分析和處理的圖像識別方法，需要消耗大量的通信資源、云端算力、存儲能力等資源，其實時性較差、成本較高，因而圖像識別方法逐漸由云端集中處理模式向終端分布式處理的模式轉變。智能終端圖像識別技術一般需要圖像預處理、圖像特征提取和目標檢測等流程[36]實現(xiàn)圖像目標識別，其結果直接影響了電力的精益化運維水平，因而有必要對圖像識別模型進行質量評估，保障入網(wǎng)終端的應用效果。當前具備邊端圖像識別能力的智能終端[7]，其評估規(guī)范出臺相對滯后，測評技術和裝置兼容性差，測評壓力巨大。以智能可視化監(jiān)測終端為例，其圖像識別能力測評方式主要包括以下2種:模型提取式的能力測評，該方法將待測模型與終端解耦，可以驗證算法本身的有效性，但無法檢測出模型在終端實際應用中的效果；手動導入式的能力測評，該方式通過SD 卡或移動存儲工具手動導入測試用例，不能直接調用樣本庫，導致測試效率較低，同時該方式也無法對終端的功耗情況進行評估。因此，亟需開發(fā)一種智能終端圖像識別模型測評裝置，建立必要的測評數(shù)據(jù)集，完善和細化測試流程，對以智能可視化監(jiān)測終端為主體的智能終端圖像識別能力進行綜合評估。

結合當前業(yè)務痛點與需求，智能終端圖像識別模型測評裝置需具備以下條件:一是，能夠將算法模型與終端進行一體化測評，測評結果能夠直接反應電網(wǎng)應用場景的實際情況，有效保證終端的識別質量，減少人工智能技術應用的成本投資。二是，采用前后端分離的方式進行開發(fā)，前端可以忽略后臺的工作，并通過API直接調取后端數(shù)據(jù)（如樣本庫管理平臺），自動化開展測評工作，顯著提高工作效率。三是，依托前端APP 或微應用，通過識別被測終端上的二維碼，獲取被測終端的參數(shù)信息并對照測評標準體系進行測評，實現(xiàn)對智能終端圖像識別能力的評估與統(tǒng)一管理，助力業(yè)務應用的智能化水平更上新臺階。四是，具備可擴展性，當前圖像識別技術在運檢、安監(jiān)和營銷等專業(yè)應用廣泛，除對以上專業(yè)現(xiàn)有模型具備測評能力外，應對迭代升級模型、新場景識別模型具備測評能力。

1 智能終端圖像識別模型測評總體架構

基于對業(yè)務痛點和需求的深入分析，重點介紹智能終端圖像識別模型測評的總體架構，如圖1所示，包含數(shù)據(jù)層、接口層和業(yè)務層。

圖1 總體架構示意

1.1 數(shù)據(jù)層

數(shù)據(jù)層包括終端數(shù)據(jù)、日志數(shù)據(jù)以及樣本數(shù)據(jù)等數(shù)據(jù)庫，為智能終端的模型測評提供數(shù)據(jù)支撐，文中樣本數(shù)據(jù)庫主要指公司建成的樣本庫管理平臺。樣本庫管理平臺中的樣本管理模塊對樣本進行多級標簽篩選，形成用于模型訓練的訓練集或用于模型驗評的驗證集，兩集合內容互不重疊。樣本庫管理平臺通過接口與業(yè)務層進行交換，實現(xiàn)驗證集信息的一鍵推送。

在眾多樣本中，測評選取了具有代表性的部分樣本組成驗證集。以輸電通道中吊車、塔吊、施工機械、煙霧山火和異線異物5個場景為例，闡述了樣本集構成。5類場景中，除異線異物外，每個場景包括350張缺陷樣本、150張無缺陷樣本，異線異物場景包括280張缺陷樣本、120張無缺陷樣本。

在缺陷樣本集中，吊車、塔吊、施工機械的選取規(guī)則包含了大缺陷特征、小缺陷特征、特殊角度（俯視、側方以及邊緣）、光線暗/逆光等四方面，具體數(shù)量見表1。

表1 吊車、塔吊和施工機械缺陷樣本集構成

煙霧山火的選取規(guī)則包含了大缺陷特征、小缺陷特征、光線暗/逆光三方面，具體數(shù)量見表2。

表2 煙霧山火缺陷樣本集構成

異線異物的選取規(guī)則包括了塑料薄膜、風箏、其他等三方面，具體數(shù)量見表3。

表3 異線異物缺陷樣本集構成

1.2 接口層

接口層通過開發(fā)數(shù)據(jù)服務接口、AI能力計算及測試數(shù)據(jù)接口等實現(xiàn)數(shù)據(jù)層和業(yè)務層的數(shù)據(jù)交互，并具備用戶認證和權限管理能力，保證數(shù)據(jù)交互的安全可靠。

1.3 業(yè)務層

業(yè)務層包括智能終端圖像識別模型測評裝置的硬件系統(tǒng)和軟件系統(tǒng)，其中硬件系統(tǒng)輸出可調電壓，為待測智能可視化監(jiān)測終端正常運行提供電源，同時可以對待測智能可視化監(jiān)測終端電壓和電流進行監(jiān)測，分析終端在實際運行中的功耗情況。軟件系統(tǒng)包括待測終端管理、系統(tǒng)基礎管理以及樣本數(shù)據(jù)管理，此外可通過VPN/內網(wǎng)實現(xiàn)各種業(yè)務操作，支持結果推送和查詢。

1.3.1 硬件組成

智能終端圖像識別模型測評裝置的硬件組成包括電源模塊、工控機、可調電源、8 路電流監(jiān)測儀、交換機等，如圖2所示。

圖2 硬件組成

（1）電源模塊是智能終端圖像識別模型測評裝置的能量來源，輸入為AC 220 V 市電，經(jīng)過交直流變換后為工控機、可調電源和8路電流監(jiān)測儀供電。

（2）工控機是軟件系統(tǒng)的載體，是實現(xiàn)待測智能可視化監(jiān)測終端與數(shù)據(jù)庫/樣本庫管理平臺溝通的橋梁，也是測試人員與所研制裝置交互的紐帶。工控機控制可調電源的輸出，為待測智能可視化監(jiān)測終端提供穩(wěn)定的電源；同時實時收集8路電流監(jiān)測儀的電流值，在屏幕上實時展示終端的功率信息。

（3）可調電源可輸出6～18 V 的直流電壓，最大誤差為0.1 V，支持為多種類型的待測終端提供所需電源。

（4）8路電流監(jiān)測儀實現(xiàn)測試過程中電流的監(jiān)測，對采集到的模擬量信息進行濾波和模數(shù)轉換后實時傳輸給工控機。

（5）交換機實現(xiàn)工控機、可調電源、8路電流監(jiān)測儀和待測智能可視化監(jiān)測終端的組網(wǎng)，實現(xiàn)控制信號、數(shù)據(jù)信息的多方交互。

1.3.2 軟件系統(tǒng)

智能終端圖像識別模型測評裝置軟件系統(tǒng)主要包括待測終端管理、系統(tǒng)基礎管理以及樣本數(shù)據(jù)管理3個主要模塊。

（1）待測終端管理包括待測廠商管理、待測終端管理、測評管理和測評結果查詢4個主要功能。待測廠商管理，測試人員對被測廠商信息進行登記，支持查閱、添加、刪除、修改所有測評對象的廠商具體信息，支持按被測終端的狀態(tài)和數(shù)量等條件對廠商進行篩選。待測終端管理，測評人員將廠商提交的待測終端和相關資料存入數(shù)據(jù)庫中，在待測終端上貼上對應的二維碼并入庫，同時為廠商提供已接收待測終端的紙質版憑證。測評完成后，由廠商出示紙質版的憑證取回被測終端。測試管理，測評人員取出已入庫的終端進行測試，識別被測終端上的二維碼獲取被測終端的參數(shù)信息并對照測評標準體系進行測評，測評結果保存到數(shù)據(jù)庫中。詳細測評流程將在第2部分進行闡述。測評結果查詢，測評完成后，可將檢測結果進行自動化分類展示，同時可向廠商預留的郵箱中發(fā)送測評結果報告，廠商也可使用自助報告機掃描二維碼打印測評報告。

（2）系統(tǒng)基礎管理包括用戶管理、資源管理和日志管理3個主要功能。用戶管理主要實現(xiàn)新用戶注冊、修改密碼、密碼找回、權限設置等功能；資源管理主要實現(xiàn)裝置的軟硬件資源分配，包括算力、存儲、接口等；日志管理主要完成裝置運行日志的生成及自動審計功能，對異常日志記錄及時上報。

（3）樣本數(shù)據(jù)管理包括數(shù)據(jù)接收、數(shù)據(jù)管理和數(shù)據(jù)導出3個主要功能。數(shù)據(jù)接收主要實現(xiàn)從樣本庫管理平臺接收測試樣本，進而按照測試場景進行分類存儲，在進行測試的過程中將測試樣本逐張發(fā)送至待測智能可視化監(jiān)測終端。

2 智能終端圖像識別模型測評裝置測試

基于總體架構、硬件組成和軟件系統(tǒng)的設計思路，本文研制了智能終端圖像識別模型測評裝置樣機，如圖3所示。其中工控機具備顯示功能，支持測試人員操作和測試過程的實時展示；將可調電源和8路電流監(jiān)測儀合二為一，在輸出可調穩(wěn)定電壓的同時監(jiān)測8路待測終端的電流信號。

圖3 智能終端圖像識別模型測評裝置樣機

2.1 測試流程

圖4展示了智能可視化監(jiān)測終端的詳細測試流程，在啟動智能終端圖像識別模型測評裝置后，通過掃碼槍掃描終端上的二維碼，獲取終端廠商、型號和測試場景等信息。確定需要測試的場景，工控機通過API向樣本庫管理平臺請求測試樣本。樣本庫管理平臺響應請求，下發(fā)對應場景測試樣本。智能終端圖像識別模型測評裝置存儲測試樣本，以單張樣本為單位，下發(fā)至待測終端。待測終端識別圖像中的目標，并反饋識別結果（包括是否成功，目標的位置信息等）至智能終端圖像識別模型測評裝置。智能終端圖像識別模型測評裝置通過API向樣本庫管理平臺獲取測試樣本的標注信息，將兩者結果進行計算分析得出模型測評結果，最終生成終端測評報告。

圖4 測試流程示意

2.2 測試實例

以輸電智能監(jiān)拍裝置[89]作為待測智能可視化監(jiān)測終端，如圖5所示，考察其在吊車、塔吊、施工機械、煙霧山火和異線異物5個場景的人工智能圖像識別模型性能。

圖5 輸電智能監(jiān)拍裝置

輸電智能監(jiān)拍裝置采用人工智能圖像識別技術，以“拍照”為主、“視頻”為輔的工作方式對輸電線路通道中出現(xiàn)的可能威脅到電網(wǎng)安全穩(wěn)定運行的物體進行識別，并在線路端和統(tǒng)一視頻監(jiān)控平臺進行報警提示，驅離威脅人員或車輛，運維人員及時進行線路消缺，避免故障發(fā)生[1011]。

表4是某廠商輸電智能監(jiān)拍裝置人工智能圖像識別模型的驗評結果，交并比閾值為50%。可以看出，模型對不同場景的識別能力有一定差距，其中吊車、塔吊和施工機械的識別準確率均在90%以上；異線異物由于物體形狀不規(guī)則、種類多樣等因素，識別準確率相對較低。單張樣本的平均識別時間在2～3 s，主要花費在樣本傳輸、圖像識別和分析方面。單張樣本的平均功耗在5.5～6.5 J，是待測終端除通信外消耗能量較多的環(huán)節(jié)。

表4 輸電通道人工智能圖像識別模型性能

不同交并比條件下異線異物場景識別結果見表5。

表5 不同交并比條件下異線異物場景識別結果

從表5可以看出，隨著交并比閾值的減小，異線異物的識別準確率在不斷增高。如圖6所示，藍色為樣本庫管理平臺標注數(shù)據(jù)，紅框為待測終端的標注數(shù)據(jù)，雖然識別出異線異物，但是由于標注不規(guī)范，導致交并比閾值較高時，其準確率較低。

圖6 測試結果分析

3 結論

智能終端圖像識別模型測評裝置采用前后端分離的方式進行開發(fā)，前端業(yè)務層可以忽略數(shù)據(jù)層的工作，并通過API直接調取后端數(shù)據(jù)，能夠實現(xiàn)高效檢測和設備管理，并且能夠將檢測結果進行自動化分類展示，相較于通過手動導入測試用例的方式，工作效率提高80%。

（1）通過研制的裝置可獲得模型的多項評價指標，包括準確率、誤報率、漏報率和識別效率等，從而全面量化待測終端的人工智能圖像識別能力。

（2）具備檢測頻率為100SPS的功耗檢測模塊，能夠檢測智能可視化監(jiān)測終端在智能識別、低功耗等狀態(tài)下的功耗情況，滿足對終端功耗的測試需要。

（3）能夠實現(xiàn)批量化、自動化檢測，智能終端圖像識別模型測評裝置可同時完成8臺智能可視化監(jiān)測終端的測試任務，一鍵操作，自主完成場景切換和結果記錄，極大地提高了測試效率。

（4）可擴展性強，通過調取樣本庫管理平臺中的測試樣本集等數(shù)據(jù)，可滿足基建、安監(jiān)、運檢和營銷等多個業(yè)務部門對不同場景的測評需要；同時該裝置成本較低、功能可復制、技術可推廣，可根據(jù)測試任務的多寡增加裝置數(shù)量。