融入電力特色的機器視覺課程教學研究

摘" 要：機器視覺是機器人決策的重要基礎，作為機器人工程專業的專業必修課程，主要培養學生視覺處理、三維構建的能力。該文結合電力學科特色，將機器視覺在發電、輸電、變電等不同電力相關環節中的科研成果融合到教學內容中，并針對課程的基礎原理和綜合應用設計典型教學案例，實現翻轉課堂。把電力特色內容融入課程中，不僅給學生直觀演示算法原理，還能深刻了解機器視覺在電力場景下的實際應用，對提升學生的感性認識、實踐能力和創新思維具有重要意義。

關鍵詞：機器視覺;機器人工程;電力特色;教學案例;翻轉課堂

中圖分類號：G642" " " 文獻標志碼：A" " " " " 文章編號：2096-000X（2025）04-0125-04

Abstract： Machine vision is an important foundation for robot decision-making. As a compulsory course for robotics engineering majors， it mainly cultivates students' abilities in visual processing and three-dimensional construction. Combining the characteristics of the electric power discipline， the scientific research achievements of machine vision in different power processes， such as electric power generation， power transmission， power transformation， are integrated into the teaching content， and the typical teaching cases based on the basic principles and comprehensive applications are designed， and the flipped classroom is implemented. For integrating the electric power characteristics into the machine vision course， it not only provides students with a visual demonstration of algorithm principles， but also deeply understands the practical application of machine vision in power scenarios. It is of great significance to enhance students' perceptual understanding， practical ability， and innovative thinking.

Keywords： machine vision; robotics engineering; electric power characteristics; teaching case; flipped classroom

人工智能是引領未來的戰略性技術，我國在2017年正式公布首個《新一代人工智能發展規劃》[1]，相關的人才需求呈明顯上升趨勢。機器人作為人工智能的重要載體，被列入了政府大力推動實現突破發展的十大重點領域[2]，但目前人才儲備嚴重不足，亟待培養高素質從業人員。機器人工程專業是教育部順應國家建設需求、符合國際發展趨勢，于2015年設立的新興本科專業，是教育部重點扶持的新專業之一，具有很強的新穎性、綜合性和實踐性。

機器視覺是機器人決策的重要基礎。機器視覺課程不僅是機器人工程專業必修課，也是一門涉及多領域的交叉學科，主要包括圖像處理、計算機圖形學、模式識別、人工智能、人工神經網絡以及認知科學等，如圖1所示，其中圖像處理是基于已有圖像生成新的圖像;機器視覺是把圖像作為輸入，輸出為另外一種形式;計算機圖形學通過幾何基元等來生成圖像，進而呈現場景，機器視覺從圖像中估計幾何基元和其他特征，可視化和虛擬現實緊密聯系了這兩個領域;模式識別的目的是進行分類，它是機器視覺識別物體的基礎;人工智能涉及智能系統設計和智能計算研究，機器視覺屬于人工智能分支;人工神經網絡是一種信息處理系統，可實現并行分布處理，可解決機器視覺中許多問題;認知科學主要研究人類視覺，而機器視覺中的方法與人類視覺非常相似。綜上所述，機器視覺具有較深的理論性和較強的實踐性。作為具有鮮明電力學科特色的電力院校，機器視覺在電力系統及設備的自動巡檢、故障診斷中發揮重要作用，因此開展融入電力特色的機器視覺課程教學研究，系統完善教學資源，融入最新科研成果，尤其是電力學科相關的研究成果，對提升學生的感性認識、實踐能力和創新思維具有重要意義。

一" 融入電力特色的教學內容

針對機器人工程專業本科生，機器視覺課程主要包括相機成像與標定、數字圖像處理、立體視覺與三維重建等。相機成像與標定是學習機器視覺中成像過程的重要基礎，學生了解圖像與真實世界之間的對應關系;數字圖像處理學習圖像空域、頻域濾波、特征點檢測與圖像匹配等機器視覺的基本方法;立體視覺與三維重建是機器視覺的關鍵技術之一，學習雙目立體視覺原理、從運動恢復形狀以及三維重建等方法。

為提高電力生產和傳輸過程中的安全性和經濟性，機器視覺技術在電力系統中得到廣泛應用，主要包括燃燒監測與控制、電力設備巡檢、燃料管理、故障診斷等各個方面。在發電廠側，大型燃煤機組的火焰圖像檢測裝置不僅用于火焰檢測，還為鍋爐燃燒優化研究提供視覺信息。針對數字圖像處理教學，結合火電機組鍋爐燃燒圖像進行講解與處理，實現對火焰圖像的濾波、灰度化、圖像分割和特征提取等處理，如圖2所示。圖1（a）為某燃煤機組單燃燒器煤粉火焰原始圖像，煤粉和一次風混合氣流從左側進入爐膛，最初煤粉溫度未到達著火點，在火焰圖像中形成類似舌形黑龍的區域，通常叫做未燃區，也稱黑龍區;隨后開始劇烈燃燒，釋放光與熱。基于火焰圖像亮度，可分為初始燃燒區和完全燃燒區。圖1（b）與圖1（c）分別是對火焰圖像進行灰度化、濾波，去除干擾;圖1（d）是基于閾值分割獲得火焰圖像中未燃燒區，為后續進一步研究爐內燃燒狀況、氮氧化物排放預測、燃燒穩定性判別等奠定基礎[3-6]。

近年來隨著電網飛速發展，機器人技術引領電網智能運維檢修未來發展的新方向。智能巡檢機器人的適用范圍覆蓋發電、輸電、變電及用電等各電力相關環節。以變電站為例，過去變電站的巡檢主要由巡檢人員到現場進行巡視，通過巡檢人員的主觀感官，如看、觸、聽、嗅等來對設備運行情況進行定性判斷。由于人員業務素質、工作狀態及環境的差異，尤其在嚴重故障設備、雷雨高溫天氣等特殊工況下，人工巡視則會伴隨一定的風險。通過搭載單目、雙目或深度相機、以及環境參數等各類檢測設備，變電站智能巡檢可代替人工完成電力日常巡檢作業。巡檢機器人以自主或遙控方式，對室外高電壓電力設備進行巡檢，可及時發現電力設備的熱缺陷、儀表讀數異常等非正常工作狀況，替代人工完成巡檢中遇到的繁、難、險和重復性的工作。

在變電站巡檢場景下，圖像語義分割對機器人準確識別現場電力設備位置和狀態進而正確決策具有重要意義。結合課題組的最新研究，針對電力場景中類別不平衡問題，提出一種能夠根據訓練效果動態調節不同類別權值的多類別Focal Loss損失函數，構建了多類別圖像語義分割模型[7]。圖3為變電站室外場景的多類別圖像語義分割效果。通過此案例，不僅讓學生了解圖像分割在電力場景中的應用，而且進一步拓展學生對多種圖像分割方法的學習，引導學生從工程實踐出發，針對實際工程問題能提出解決方案。

針對變電站、電廠等電力場景，除了日常巡檢以外，若發生電力故障往往需要搶修人員在事故現場正確且迅速處理，但電力故障現場常伴隨火焰、濃煙、漏電等危險性，因此迫切需要電力搶修機器人參與輔助現場工作。電力搶修機器人進入搶修現場后，首先必須準確感知自身所處位置與周圍環境，同時定位與建圖（Simultaneous Localization and Mapping，SLAM）技術成為關鍵，而視覺SLAM前端的特征提取與匹配決定了定位與建圖的初始值。其中特征點檢測與圖像匹配是機器視覺的關鍵技術之一，廣泛運用在運動結構、圖像檢索、目標檢測等領域。特征可能是圖像中的特定結構，例如點、邊緣或對象;特征也可能是應用于圖像的一般鄰域操作或特征檢測的結果;而特征點匹配則是圖像拼接、三維重建、相機標定等應用的關鍵步驟。目前比較成熟的算法主要有SIFT、SURF和ORB等算法[8-9]，其中SIFT算法為尺度不變特征變換，所檢測的特征與圖像大小、旋轉無關，對光照變化具有較好的魯棒性，其特征提取豐富;SURF算法是改進版，其通過構造Hessian矩陣生成變換圖進而提取特征點;ORB算法基于FAST算法、BRIEF算法檢測關鍵點并提取描述子，在提高速度的同時保持穩定性，可用于實時性需求高的應用場景。因此，結合電力搶修機器人應用案例，針對控制柜圖像進行SIFT、SURF和ORB特征提取算法的應用，如圖4（a）—圖4（c）所示。此課程內容的學習，不僅對比了不同算法的特征提取特點與區別，而且代入電力應用場景，讓學生理解特征提取算法在現場應用中所發揮的作用。

二" 典型教學案例設計

機器視覺課程不僅需要理論學習，更需要實踐，以及在實踐中發現問題、解決問題，綜合培養學生的創新能力。在有限的上課學時中，如何能讓學生掌握與理解算法原理，設計典型教學案例是關鍵。針對機器視覺的基礎理論和在電力系統中綜合應用，設計如下教學案例。

教學案例1：相機成像與標定作為機器視覺課程的重要基礎，在圖像測量與機器視覺應用中，建立相機成像的幾何模型可確定空間點的三維幾何位置與其在圖像中對應點的關系，而相機參數即為幾何模型參數，相機標定是求出相機的內、外參數及畸變參數。基于幾何基元和變換等教學內容，設計圖像放射變換案例，并分析變換函數如何工作;針對相機標定，要求學生課下查閱文獻，對目前相機標定方法進行綜述，動手測試編程完成相機標定。學生分組進行匯報交流，不僅增強了查閱總結文獻、動手實踐的能力，還鍛煉了匯報表達的能力。

教學案例2：機器視覺在電纜隧道巡檢中的應用。城市建設中電纜入地化率不斷提升，巡檢機器人可實現電力電纜及通道的智能運維。巡檢過程中通過可見光、紅外相機，實時進行電纜狀態識別和隧道內安全隱患檢測，包括電纜變形、表皮破損、脫架，電纜隧道支架傾斜、脫落，電纜隧道裂紋、滲漏水識別等。課題組針對上述問題研發了相應算法，通過機器人搭載攝像頭獲取視頻，進行圖像預處理，建立深度學習模型進行狀態識別。圖5為基于紅外圖像的隧道滲漏水識別[10]，圖6為基于YOLOV3的隧道內電纜支架識別。通過機器視覺綜合應用案例，讓學生系統、全面理解機器視覺的應用。

三" 基于翻轉課堂的教學方法

在正常教學環節中，穿插翻轉課堂，老師由知識傳授者、課堂管理者轉變為學習指導者和促進者，學生由被動接受者轉為主動研究者;教學形式由課堂講解+課后作業，變為課前學習+課堂研究，課堂內容由知識講解傳授變為問題研究。在完成基礎知識講解后，引導學生圍繞機器視覺典型應用展開研究，圍繞基于深度學習的識別、目標檢測與跟蹤等應用方面進行實踐，進一步擴展學生對機器視覺應用的認知。設計的實踐課題主要包括以下內容。

實踐課題1 基于卷積神經網絡的人臉識別：采用Residual Neural Network/殘差網絡的卷積神經網絡模型，實現人臉識別與跟蹤。開發和設計GUI界面，完成對人臉數據的采集、提取錄入的人臉特征，實時捕獲人臉并進行識別。

實踐課題2 基于機器視覺的智能車賽道識別：結合大學生創新創業項目，自行設計基于機器視覺的智能車賽道識別系統，采用圖像采集模塊獲取道路信息，通過圖像處理算法處理灰度數組，對賽道元素進行識別。

實踐課題3 目標跟蹤：目標跟蹤是機器視覺中的重要應用，應用于自動監控、車輛導航、視頻標注等。學生不僅要掌握基本的機器視覺處理方法，還需要針對實際應用進行軟件開發和創新，包括使用Meanshift、TLD和深度學習實現運動目標的跟蹤，如圖7所示。

通過翻轉課堂，充分發揮學生的主觀能動性，不僅學習機器視覺在電力場景下的應用，而且拓展到機器視覺的其他典型應用場景，學生主動結合智能車大賽、創新創業項目及視頻監控、交通等場景事例，融入機器視覺知識，真正做到學有所得、學有所獲、學以致用。同時課程從教師講解與演示到學生自己動手編程實踐，實現自主學習與研究，培養學生對機器視覺的綜合應用能力。

四" 結束語

針對機器視覺課程教學，結合課題組在發電、輸電、變電等不同電力相關環節中的科研成果，將其融合到教學內容中，不僅給學生直觀地演示，還讓學生深刻了解機器視覺在工業現場的實際應用;同時通過設計典型教學案例和翻轉課堂，系統地提升了學生對基礎原理的掌握以及電力場景綜合應用的感性認知，全面培養學生的實踐與創新能力。

參考文獻：

[1] 國務院關于印發新一代人工智能發展規劃的通知（國發〔2017〕35號）[EB/OL].https：//www.gov.cn/zhengce/zhengceku/2017-07/20/content_5211996.htm.

[2] 國務院關于印發《中國制造2025》的通知（國發〔2015〕28號）[EB/OL].http：//www.gov.cn/zhengce/content/2015-05/19/content_9784.htm.

[3] 李新利，李楠，孫愉佳，等.火焰自由基成像和極限學習機在NOx排放預測中的研究[J].系統仿真學報，2016，28（5）：1179-1185.

[4] 楊國田，何雨晨，李鑫，等.基于改進光流法的鍋爐火焰動態特征提取與分析[J].華北電力大學學報（自然科學版），2022，49（3）：104-111.

[5] 于磊，劉禾，楊國田，等.基于火焰圖像的煤粉與爐內熱流混合效果評價方法及應用[J].熱力發電，2019，48（12）：105-110.

[6] YANG G T， HE Y C， LI X， et al. Gabor-GLCM-Based Texture Feature Extraction Using Flame Image to Predict the O2 Content and NOx[J]. ACS OMEGA， 2022，7（5）：3889-3899.

[7] 毛昊，李新利，王孝偉，等.基于多類別Focal Loss損失函數的變電站場景圖像語義分割研究[J].華北電力大學學報（自然科學版），2022，49（5）：84-92.

[8] RICHARD S.計算機視覺——算法與應用[M].艾海舟，興軍亮，譯.北京：清華大學出版社，2012.

[9] 宋麗梅，朱新軍.機器視覺與機器學習算法原理、框架應用與代碼實現[M].北京：機械工業出版社，2022.

[10] 楊國田，王云龍，宋森平.基于PSO的最佳熵閾值紅外圖像隧道滲漏水提取[J].計算機仿真，2022，39（7）：233-237.

基金項目：2021年教育部產學研協同育人-教學內容和課程體系改革項目“計算機視覺課程教學改革”（202102015012）;華北電力大學2023年校級教學研究與改革項目“機器人工程專業核心課程理論與實踐開放共融遞進式教學體系研究”（JS2023014）

第一作者簡介：李新利（1973-），女，漢族，河南濟源人，工學博士，副教授。研究方向為模式識別、智能系統。