面向智能采礦工程專業的圖像理解與視覺感知課程建設研究

姚 睿，周 勇，趙佳琦，許新征

（中國礦業大學 計算機科學與技術學院，江蘇 徐州 221116）

近年來，計算機、多媒體和數據通信技術的快速發展使圖像處理與計算機視覺獲得了極大的關注和巨大發展，并已廣泛應用在工業生產、醫療衛生等領域[1]。因此，在本科教育階段，圖像理解與視覺感知也是計算機科學與技術、人工智能等專業的必修課程。圖像理解與視覺感知課程在如礦業工程、遙感測量等跨專業領域的人才培養過程中發揮了重要作用，培養學生在跨專業領域從事科學研究、教學、科技開發系統設計工作的能力。中國礦業大學智能采礦工程專業是2021 年教育部增設的新工科專業。學校于2016 年設置智能開采專業方向，2018 年設立智能采礦特色班，并設置智能采礦工程專業。依托學校礦業工程“雙一流”學科平臺基礎，堅持學科交叉融合和開放辦學，建設優質教學資源，培養具備礦業工程、人工智能、機電工程、信息工程和軟件工程等多學科交叉知識背景和國際競爭能力的復合型創新人才。圖像理解與視覺感知是智能采礦專業的主修課程，以攝像頭代替人眼，進行數字圖像處理、計算機視覺、模式識別和機器學習等技術，最終實現少人或無人的智能采礦。為進一步優化圖像理解與視覺感知課程的知識體系，避免課堂教學效率低，同時進一步著重培養學生的創新能力，課程教師對智能采礦專業的圖像理解與視覺感知課程展開建設與實踐。

一 智能采礦專業圖像理解與視覺感知課程在教學中存在的問題

圖像理解與視覺感知課程（以下簡稱“本課程”）的主要內容為處理中的灰度變換和空間濾波的各種方法的圖像變換，空間域和頻域濾波的各種方法，彩色圖像的基礎概念、模型和處理方法，形態學圖像處理技術，圖像分割的基本概念和方法，圖像壓縮方法等。另外，研究圖像形成、相機成像幾何、特征檢測和匹配、多視圖幾何（包括立體）、運動估計和跟蹤以及分類的基礎知識。我們對智能采礦專業的圖像理解與視覺感知的教學內容進行了調查和分析[2-3]，發現智能采礦工程專業在本課程的教學中存在亟需解決的問題，主要表現在以下方面。

（一）對智能采礦工程專業的教學內容相關度不夠

雖然，大部分高校都開設了圖像處理、計算機視覺等類似課程；但是，這些課程主要針對信息、電氣和計算機等相關專業的本科生開設[4]，目前設計的教學內容也是關注于這些專業的學生服務，與智能采礦工程專業課程結合的相關度不夠。這一現狀，影響了智能采礦工程專業學生對圖像理解與視覺感知課程學習目標的理解與掌握。因此，需要對智能采礦工程專業的課程內容和課程考核進行調整。

（二）課程教學的交互性較差

智能采礦工程專業的學生對計算機相關課程了解較少，圖像處理與視覺感知算法非常復雜，而一般學生第一次接觸這個領域，對課程內容的理解有很大的挑戰；另外，進入大學后，學生學習積極性不如中學階段，部分學生學習興趣低，如果對圖像和視頻處理學習的吸引力較弱，學生對本課程的學習難度會很大。因此，如何盡可能多地整合多媒體技術的使用交互式教學提升教學效果，也顯得非常重要。

（三）課程的理論與實踐有待提升

圖像理解與視覺感知課程理論與實踐都很重要，而對于智能采礦專業的學生而言，一些計算機、人工智能等方面的前導課程沒有學習（如：信號與系統、數據結構等），學生的編程能力較弱；因此，教師在教學內容設計時，通常會偏重于理論教學內容，而實踐學時較少，學生的實踐能力不足，離實際應用較遠。因此，應針對煤礦智能采礦的場景，設計圖像理解與視覺感知的實踐課程內容，解決實際應用性和創新性。

二 圖像理解與視覺感知課程建設探討

鑒于上一節討論的問題，本文對智能采礦工程專業本科學生圖像理解與視覺感知課程教學內容、交互性和課程實踐內容等幾個方面的建議進行探討。

（一）課程教學的內容建設

智能采礦專業的培養目標是具有寬厚的基礎理論知識和較強的工程實踐能力，系統掌握礦山資源開采與開發利用的基本理論和方法，具備采礦工程與軟件工程、信息工程、人工智能等“采礦+智能”融合的知識技能，能在礦井自動化、信息化、智能化等智能采礦領域從事設計與施工、生產技術管理、安全監察及科學研究等相關工作的復合型專業技術人才。針對智能采礦工程專業對象的圖像理解與視覺感知課程，以研究對象為主線，加深廣度、深度、高度，課程內容見表1。從四個方面對圖像處理與計算機視覺的應用作了總結，解決當前的煤礦企業在圖像處理應用中的問題，期待學生引發交叉學科與新技術。

表1 智能采礦工程專業的圖像理解與視覺感知課程內容

（二）課程概念教學的移動軟件建設

如上所述，圖像處理與視覺感知算法復雜，課程內容理解較難，需要讓學生有感性的認識。因而，實現學生感性認識的關鍵是盡可能多地整合技術，讓其在實際生活中使用這些算法。這不僅有助于讓學生參與教學過程，還允許學生在課堂內外都可使用這些圖像處理與視覺感知算法。因此，可以使用交互式技術來教授圖像處理與視覺感知課程。

學生可以通過手機獲取一個物體的圖像或其自由移動的視頻，然后執行圖像處理與視覺感知算法，獨立地實時調整算法的參數，而不必在臺式機或筆記本電腦上執行，提高了交互性和便攜性，促進智能采礦工程專業學生進入圖像處理與視覺感知的門檻。因此，可以在手機上設計與實現圖像處理與視覺感知應用程序運行算法，并顯示圖像與視頻的分析結果。而在移動應用程序方面，微信小程序的運行速度顯然可以很好地滿足用戶對于實時性的需求，且其無需下載安裝[5]；打開即用的特性方便了人們隨時隨地進行圖像處理，再加上小程序易于更新添加新的圖像處理功能，可以滿足各種圖像處理功能組合，更擴大了其使用對象范圍。因此，本文對微信小程序的圖像處理與視覺感知算法進行設計與實現，希望其可在教學中發揮高效、便捷作用，為智能采礦工程專業學生在對圖像處理與視覺感知領域提供盡可能多的認識與便利。

系統包括圖像處理與視覺感知教學版微信小程序的前端與后端。小程序前端部分使用微信開發者工具，注冊ID 新建小程序項目，為用戶提供了圖像處理與視覺感知界面。

本課程的第一部分為在不同層次的處理圖像。在像素級，通過應用不同類型的濾波器來增強圖像的質量，并通過均衡化來提高圖像的對比度。一旦增強，就會提取出低級特征，如顏色或邊緣。這些低級特征是分割算法的基礎，如閾值化、霍夫變換、分水嶺等，以生成更多語義顯著的區域，作為目標識別等高級任務的基礎。鑒于此，這部分的主要功能如下：空間域圖像增強（點處理、模板濾波處理及直方圖均衡），頻率域圖像增強（平滑低通濾波器和銳化高通濾波器），圖像復原（空間域復原、頻率域復原、逆濾波及維納濾波），以及圖像分割（閾值、霍夫變換、分水嶺、基于圖算法及Superpixels 算法）。

本課程的第二部分關注高層次視覺感知內容。主要是對圖像中感興趣的物體進行檢測，在圖像分析的基礎上，進一步研究圖像中各目標的性質和它們之間的相互聯系，并通過對圖像內容含義的理解得出對原來客觀場景的解釋[6]。鑒于此，這部分的主要功能如下：物體識別與檢測（詞袋特征的物體識別、部分模型的圖像物體檢測、ResNet 模型的圖像物體檢測，以及YOLO 模型的圖像物體檢測）、視頻物體跟蹤（相關濾波的視頻物體跟蹤、孿生模型的視頻物體跟蹤）。

因為這些算法有相當多的參數，從圖像處理與視覺感知入門課程的教學角度來看，這可能會適得其反。為了簡化用戶的交互，決定限制可修改的交互參數對每個算法的執行有更直接的影響。如在相應的功能界面設置濾波器核（Kernel）大小、閾值區間和類型等，若參數的更改導致庫拋出異常，則使用所有內容正常工作的最后一個有效值。

流程圖如圖1 所示，顯示從用戶選擇待處理圖像的來源（移動設備的攝像頭，樣本的、外部存儲設備或網絡的圖像）到執行所選擇的算法為止的小程序的一般操作。

圖1 圖像處理與視覺感知（教學版）小程序設計流程圖

上述系統設計可支持圖像處理與視覺感知的教學，允許具有即時性和多功能性，為學生提供了完全不同且豐富的體驗。盡管在課堂上使用移動微信小程序一開始會吸引學生，但學習課程內容是非常重要的，以免分散注意力，在講授理論內容后，10 分鐘左右的時間讓學生與其手機互動。

（三）課程實踐的內容建設

本課程原有40 個學時，其中32 個理論學時，8 個實踐學時。在講授時，安排了適量的討論與作業，但是討論與實踐的學時安排明顯不足。僅安排了通用圖像分割、人臉識別、車牌識別和物體檢測的上機編程實踐內容，與智能采礦工程專業的內容相關度不高。鑒于此，將課程的學時修改為講授40 個學時，實踐24 個學時，完善相關實踐案例[7]，解決智能采礦工程領域應用的實際問題。表2 顯示了智能采礦專業圖像理解與視覺感知課程的實踐內容。

表2 智能采礦工程專業圖像理解與視覺感知課程的實踐安排

通過上述實踐安排，圖像理解與視覺感知課程教學內容在保證理論內容的同時，補充智能采礦行業緊密相關的內容，以下通過礦井采煤工作面圖像匹配與拼接為實踐案例進行說明。

采煤工作面是煤礦生產最前沿的工作環節，也是最復雜的工作環節。通過安裝礦用視頻調度系統，可以將采煤工作面的情景傳輸到地面調度中心，便于調度員對煤壁、滾筒、支架、頂板、采煤機及運載機等設備的運行和工作環境了如指掌，并發出準確的生產調度指令。可以通過圖像拼接技術獲取寬視角信息，提高監控能力。圖像拼接就是將多幅來自同一場景的有重疊區域的小尺寸圖像合成為一幅大尺寸的高質量圖像[8]。采煤面視頻全景成像過程中具體步驟分為如下幾點。一是預處理要拼接的圖像。主要操作是挑選同一時刻視頻圖像幀作為拼接圖像，并通過降噪、處理直方圖和提取邊緣等方式進行圖像數字處理的過程、重新創建進行圖像匹配的模板或者通過小波變換算法或者傅里葉變換算法來對圖像進行操作。二是配準圖像，并進行統一坐標。第一步，兩幅以上的圖像根據指定的圖像匹配準則，首先選擇需要進行圖像拼接的模板，然后確定參考圖像內對應的特征點位置，得到兩幅圖像的轉變關系和配準；第二步，對變換模型的建立，計算數學模型里參數值時，需要通過圖像特征或模板內的對應情況，得到關于兩幅圖像進行數學變換的模型；第三步，變換統一坐標，上步中已經建立好兩幅圖像的數學轉換模型，此步中需要把要拼接的圖像變換至參考圖像的坐標系內，實現坐標的統一轉換。三是視頻序列生成。最后一步是完成待拼接圖像的重構融合操作，需要把重合的區域放入拼接重構圖像中，完成全景圖像的最終無痕融合，并生成工作面全景視頻。圖像理解與視覺感知實踐內容的礦井采煤工作面圖像匹配與拼接案例如圖2 所示。

圖2 礦井采煤工作面圖像匹配與拼接案例

三 結束語

通過對當前新工科和高等教育發展要求的分析，結合智能采礦工程專業與圖像理解與視覺感知課程的理論和實踐內容，在中國礦業大學課程教學中進行了應用。在中國礦業大學的教學實際表明專業特點、學生來源、交互性等方面可充分調動學生的學習積極性和主動性，促進了專業知識與實際應用的融合，實現了整個教學與實踐過程的具體化、形象化和可視化，指導學生實現專業案例，使得學生能夠獨立完成項目，獨立解決并完成任務，綜合運用智能采礦工程、圖像處理和計算機視覺的理論知識解決煤礦實際問題。