基于CNNs 和紅外熱成像的電氣檢修智能保護頭盔

劉 佳，王興媛，王 帆，趙進全

（1.中國電力科學研究院，北京 100192；2.西安交通大學電氣工程學院，陜西 西安 710049）

在電氣設備的日常維護檢修過程中，常常由于故障特征不明顯、檢修人員經驗不足、疏忽大意等原因忽視某些電氣故障[1-2]，如超負荷運行引起的設備異常、線路長時間暴露在外和接觸不良、安裝不到位等[3-4]。此外，戶外現場作業人員工作地點范圍大，位置隨機，存在作業過程安全監控不到位的問題。因此，提高電氣設備的日常維護檢修效率，增強現場作業過程中的人員監控，具有重要的意義。

電氣系統的故障通常會有一定的外部表現[5-6]，如局部異常發熱，異常放電等。如果能有效地利用這些現象，將會極大地提高設備的日常維護效率，提早預判故障，避免設備突然停運，并對故障的嚴重程度做出定量的判斷[7-8]。鑒于紅外熱成像故障檢測具有靈敏度高、檢測效率高等特點[9-10]，該文提出了一種利用紅外熱成像技術，通過掃描設備的熱分布圖像，快速檢測設備異常故障的方法。現有作業監控手段主要采用視頻監控的方式，其具有成本高、性能需求高、對風險難以及時預警等問題[11]。該文通過在頭盔內集成慣性傳感器，并部署CNNs 神經網絡算法，以識別作業人員的運動狀態。綜上，該文開發了一種電氣檢修智能保護頭盔。該頭盔能夠實現對人員作業狀態的連續監測和設備發熱故障的檢測與預警，極大地提高了現場檢測人員的安全性。

1 系統硬件設計

智能安全保護頭盔采用模塊化設計，系統由紅外熱成像模塊、LCD 顯示模塊、無線數據傳輸模塊、AD 按鍵模塊、運動檢測模塊、主控和頭盔主體構成，硬件系統框架如圖1 所示。

1.1 主控模塊

主控模塊主要收集和存儲各個傳感器的數據，控制和協調各個模塊完成預期功能。

硬件系統的主控模塊核心為STM32H743II ARM Cortex M7 處理器，其主頻高達480 MHz，具有高速SPI 總線、IIC 總線和異步串口總線，具備一定的擴展性，可鏈接多種傳感器和其他功能模塊。

1.2 紅外熱成像模塊

紅外熱成像模塊的主要作用是完成區域熱感數據采集。該系統采用的紅外熱成模組為FLIR Lepton 3.5，分辨率為160×120像素，前視水平視場角為56°。其空間分辨率的計算如下：

式中，IFOV 為瞬時視場角，FOV 為視場角，P為紅外熱成像模組的像元數，S為探測物體與熱成像模塊的距離，D為被測物體的尺寸。

由式（1）-（2）可知，Lepton 3.5 可在1 m 距離上識別0.6 cm×0.6 cm 的異常發熱點，滿足對異常發熱端子和線路的檢測需求。

紅外熱成像模塊基于普朗克黑體定律，可通過紅外線對電氣設備的實時溫度進行檢測。普朗克黑體定律如下：

式中，T為標識黑體的絕對溫度，c1和c2為輻射常量，λ為光譜的輻射波長，Mλ為輻射通量密度。由于物體溫度正比于紅外線的輻射強度，因此，可過模塊捕獲的灰度值判斷設備的發熱情況[12]。

1.3 運動檢測模塊

檢測和記錄人員的運動狀態信息，可在人員出現異常運動時及時報警，提高現場作業的安全性，并將運動檢測信息作為績效考核的有效依據，具有重要的現實意義。

運動檢測模塊內置Nordic nRF52840 處理芯片，圍繞ARM Cortex-M4 CPU 和浮點計算單元(FPU)，具有1 MB 閃存和256 kB RAM，主頻可達64 MHz，其性能可支持CNNs 神經網絡的運行。模塊內置LSM9DSI-ST 加速度計，可采集三軸加速度數據并提取特征值，以表征人員不同的運動狀態。

1.4 無線數據傳輸模塊

無線數據傳輸模塊主要將溫度、運動和預警信息上傳，實現遠端監控現場操作情況。

無線數據傳輸模塊采用HC08 藍牙模組，BLE協議與現場校驗儀實現數據交互。該頭盔以藍牙連接的方式掛載于現場校驗儀上，實現與后臺的數據交互。

1.5 LCD顯示模塊

LCD 顯示模塊可進行功能選擇、系統操作、查看熱成像圖像和預警信息等。

為保證顯示精度和屏幕觀感，設計采用SPI 接口的2.4 英寸ILI9341 串口屏幕，屏幕分辨率為320×240像素，顯示效果好。

1.6 AD按鍵模塊

AD 按鍵節約大量了I/O 口，其利用分壓電路和ADC 模塊實現控制，通過將不同阻值的電阻接入分壓電路中，利用單片機的ADC 模塊讀取不同電壓值，確定不同的按鍵。為了提高按鍵的抗干擾性，該文采用電阻串聯型AD 按鍵。

2 軟件設計

2.1 軟件系統設計

系統采用Python 和C++兩種編程語言完成開發，其中，利用Python 完成主系統構架、功能選擇和具體功能實現部分的代碼開發，利用C++完成運動識別部分的代碼開發和部署。智能安全頭盔軟件系統流程如圖2 所示。

2.2 異常溫度檢測

異常溫度檢測功能可實現對異常發熱點的檢測和鎖定。為提高溫度的測量精度，引入預警閾值自適應調節、發射率修正等優化算法。

預警閾值自適應調節功能可以自動根據發熱點的發熱溫度調節預警溫度閾值，并自動調節熱成像模塊的測溫范圍；針對不同的現場環境，實現不同發射率的高精度測溫，引入發射率修正算法。

非接觸式紅外傳感器發射率補償公式如下：

式中，E為目標物體表面發射率，TO_NEW為測得物體溫度，TA_NEW為測量時的環境溫度，TO_REAL為目標物體實際溫度，TA_REAL為實際環境溫度，溫度單位為開爾文。可變閾值的異常溫度檢測流程如圖3所示。

溫度閾值可通過按鍵在30～100 ℃之間自由選擇，當溫度高于預先設定的溫度閾值時，系統將自動報警并在屏幕上標定發熱位置，同時產生預警信息編碼，通過藍牙模塊發送。

2.3 人體運動檢測

為解決現場作業監控不到位的問題，該文開發了基于CNNs 神經網絡模型的人體連續運動狀態檢測算法。可識別的運動狀態包括靜止、走、跑、上樓、下樓五種。

該模塊通過三軸加速度傳感器采集加速度數據，通過對加速度數據進行濾波、快速傅里葉變換和特征提取，并將特征量導入CNNs 神經網絡，以實現對運動狀態的檢測。人體運動檢測軟件流程如圖4所示。

數據集的質量直接決定著神經網絡的實際應用效果，該文將三軸慣性傳感器與安全保護頭盔融合，采集人員運動過程中的加速度數據。針對五類典型運動：步行、跑步、上樓、下樓、靜止，采集四個人（兩男兩女）的數據。每人每類運動分別采集30 min 以上的樣本，構成原始數據集。由于受自身及環境等多種因素的影響，可能會采集到非相關數據，這就需要人工篩查錯誤數據，對各類運動數據進行檢查、分組與標注。

選取相關度高、分離效果較好的特征值來表征多種運動。分析頻譜和功率譜特征可知，根據均方根和第1-3 個峰值，可以識別5 種運動。但若引入峰值頻率和功率譜作為特征對網絡進行訓練，識別準確率可繼續提高2%～4%。因此，該文以均方根、第1-3 個峰值頻率和峰值、頻譜功率分布作為特征，三軸共選擇36項特征值，構成表征運動狀態的特征矩陣。

基于Tensorflow 框架，采用二維雙層卷積層結構，鏈接多層全連接層，構成CNNs 神經網絡的基本結構，并在層間引入10%概率的Dropout 層，減少過擬合。經多次優化與調參，神經網絡最終結構如圖5所示。

2.4 視頻錄制與文件管理

視頻錄制熱成像的視頻，并將圖像信息保存在本地，方便后續根據工作需求調取。

通過按鍵控制，可錄制任意長度的工作視頻。軟件工作流程如圖6 所示。

文件管理系統通過按鍵控制，可自動掃描錄制的視頻文件，并對視頻文件進行播放或刪除。文件管理系統工作流程如圖7 所示。

3 系統測試

3.1 頭盔樣機與主界面演示

通過轉接板與主控模塊連接，智能保護頭盔樣機如圖8 所示。

頭盔操作系統采用圖形化的操作界面，可以方便地進行功能選擇和操作，設備通電開機后進入菜單主界面，通過按鍵K3/K4 選擇上一項或下一項功能，通過K5/K6 進入和退出相應功能，長按K6 關機。

3.2 連續運動檢測

運動檢測有基于視覺和基于傳感器信號，并結合分類算法進行運動模式識別的兩種技術路徑。利用傳感器進行運動識別具有成本低、可移植性好、靈活的特點，應用場景廣闊[13-15]。該文依托三軸加速度傳感對人體運動狀態進行識別。

該文針對五種典型運動共采集了約3 000 份數據，有效數據總時長超過4 h，通過上百次優化與訓練可知，多運動識別準確率大于95%。神經網絡性能如表1-2 所示。

表1 五種運動模式的識別結果

表1 為五種運動模式的識別結果（混淆矩陣），表中數值代表了數據樣本的識別份數，如下樓運動下的第一個數據代表了有375 份被標定為下樓的數據樣本被正確識別為下樓。

表2 為計算所得的神經網絡的各項性能指標。準確率為分類器正確分類的樣本數與總樣本數之比，召回率為分類器正確分類的樣本數與樣本中的正例樣本數之比。F1 值(H-mean 值)代表了網絡的綜合性能，數值越接近1則性能越優，其計算公式為：

表2 網絡模型的識別性能

變換后為：

式中，F1 為所求的H-mean 值，Precision 為準確率，Recall 為召回率，TP 實際為正例，預測也為正例的樣本數，FP 為實際為負例，預測為正例的樣本數，FN 為實際為正例，預測為負例的樣本數。

Macro F1 主要針對多分類問題，其數值等于各分類的F1 值的平均值，為0.983。

3.3 異常溫度預警功能

異常溫度預警功能可自動檢測前方區域的異常發熱點，異常溫度預警效果如圖9 所示。底部由左至右分別代表當前發射率、當前預警溫度閾值、當前自適應預警閾值調節功能狀態、錄制功能狀態和運動識別結果。

為測試異常溫度的檢測距離，該文采用了1.0 cm×1.0 cm 的點狀發熱源對該功能進行測試。預警溫度閾值分別設置為40 ℃、50 ℃、60 ℃、70 ℃，并控制發熱源溫度分別為50 ℃、60 ℃、70 ℃、80 ℃、90 ℃、100 ℃、110 ℃、120 ℃。對多種工況下的異常溫度檢測距離進行測試，結果如表3 所示。

表3 異常溫度檢測距離(單位cm)

測試結果表明，當發熱源溫度高于預警閾值溫度10 ℃時，智能保護頭盔可在50 cm 距離上有效檢測到發熱點；當發熱源溫度高于預警閾值溫度30 ℃時，智能保護頭盔可在1 m 距離上有效檢測到發熱點，紅外光學分辨率達100∶1。針對固定溫度的異常發熱點，適當降低預警溫度閾值，可大大提高頭盔對發熱點的檢測距離。文獻[16]中的紅外光學分辨率為12∶1，紅外熱成像模塊光學分辨率普遍低于20∶1。可見，該設計的熱成像模塊檢測距離遠、性能好。

3.4 溫度測量功能

當異常發熱點溫度較高，遠高于預警溫度閾值時，溫度測量誤差較大，該文開發了預警閾值自適應調節功能，提高溫度測量精度。采用HT-9815 型工業測溫儀，利用四路高精度熱電偶同時測量不同位置的水溫，取其平均值作為標準溫度。智能頭盔水溫測量結果如表4 所示。

表4 溫度測量精度測試

由表4 可見，智能頭盔的測量誤差小于±1 ℃（±1.5%），作為對比，文獻[17]中采用類似方案的測溫系統，其測溫最大誤差達到±2.2%，該文方案測溫精度遠高于目前主流非接觸式紅外測溫儀的測量精度（誤差±2%）。

3.5 視頻錄制與文件管理

通過視頻錄制功能可將視頻錄制后保存到本地，方便后期查看。錄制前系統會自動掃描文件系統，讀取最新的視頻序列號，并為新視頻命名，防止視頻數據被覆蓋。

增加文件管理系統[18]，方便現場工作人員回放或刪除本地視頻文件。現場工作人員可通過按鍵選定視頻文件，并可播放或刪除視頻。

4 結論

該文針對電氣檢修過程中檢測效率低下、容易誤判電氣故障、現場作業監控不周全等諸多問題，設計了一種基于神經網絡和熱成像的多功能智能保護頭盔。該文分別從硬件系統、軟件系統和功能測試三個方面對保護頭盔進行介紹。異常溫度檢測功能可遠距離檢測異常發熱點，當發熱源溫度高于預警閾值溫度30 ℃時，智能保護頭盔可在1 m 距離上有效檢測到1 cm 直徑的異常發熱點，溫度測量誤差小于±1.5%；各運動識別準確率高于95%，其中，步行識別準確率達98.6%，跑步識別準確率達100%，Macro F1 達0.983，網絡性能能夠滿足現場檢測的需要，為提高現場檢修的效率、預防各類電氣設備故障提供了一種有效的工具。