全礦井人工智能（AI）監(jiān)管平臺關(guān)鍵技術(shù)

孫曉東

（1.中煤科工集團沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術(shù)國家重點實驗室，遼寧 撫順 113122）

礦山安全生產(chǎn)一直是礦山行業(yè)的重要問題之一。在煤礦工業(yè)領(lǐng)域，工業(yè)視頻監(jiān)控已普遍使用，用來實時監(jiān)測煤礦井上、井下不同場景，直觀呈現(xiàn)不同地點的不同人員、設(shè)備的工作狀態(tài)。為了提高礦山安全生產(chǎn)水平，礦山視覺識別技術(shù)逐漸受到關(guān)注。礦山視覺識別是指通過圖像處理技術(shù)，對礦山環(huán)境、設(shè)備和人員進行檢測和識別，以實現(xiàn)安全預(yù)警和預(yù)防。隨著人工智能技術(shù)的不斷發(fā)展，礦山視覺識別領(lǐng)域的應(yīng)用逐漸拓展，為解決礦山安全生產(chǎn)問題提供了新的思路和方法。

目前，我國煤礦安全生產(chǎn)事故總量逐年下降，安全生產(chǎn)整體形勢總體穩(wěn)定好轉(zhuǎn)，但是安全生產(chǎn)事故仍時有發(fā)生，特別是由于各類隱患引起的事故。隨著人工智能、視覺識別技術(shù)不斷發(fā)展，以及國家相關(guān)政策及標(biāo)準(zhǔn)的相繼出臺[1-6]。2022 年10 月，國家印發(fā)《煤礦及重點非煤礦山重大災(zāi)害風(fēng)險防控建設(shè)工作總體方案》[5]，方案指出，通過建設(shè)AI 視頻智能輔助監(jiān)管監(jiān)察系統(tǒng)、應(yīng)急處置視頻智能通信系統(tǒng)和重大違法行為智能識別分析系統(tǒng)，充分發(fā)揮AI 智能識別、井下精準(zhǔn)定位、物聯(lián)網(wǎng)、大數(shù)據(jù)等新技術(shù)在礦山重大災(zāi)害風(fēng)險識別、應(yīng)急救援等工作中的優(yōu)勢作用，依托“十三五”期間已建成的國家礦山安全生產(chǎn)風(fēng)險監(jiān)測預(yù)警平臺，實現(xiàn)對煤礦及重點非煤礦山關(guān)鍵地點、重點部位重大風(fēng)險的實時監(jiān)測、及時識別和精準(zhǔn)研判，創(chuàng)新礦山安全生產(chǎn)監(jiān)管監(jiān)察方式，積極探索形成“互聯(lián)網(wǎng)+監(jiān)管監(jiān)察”等新模式，推動提升礦山重大災(zāi)害風(fēng)險防控能力，夯實礦山安全基礎(chǔ)。

人工智能技術(shù)在煤礦視覺識別領(lǐng)域的應(yīng)用還處于發(fā)展初期，尚存在一些挑戰(zhàn)和限制，如真實場景數(shù)據(jù)獲取困難、算法精度的提升、現(xiàn)有基礎(chǔ)設(shè)施與人工智能技術(shù)的融合等。然而，隨著技術(shù)的不斷進步和應(yīng)用案例的積累，人工智能技術(shù)在煤礦領(lǐng)域的應(yīng)用前景仍然是積極的。要實現(xiàn)這些趨勢并推動人工智能技術(shù)產(chǎn)品在煤礦領(lǐng)域的廣泛應(yīng)用，還需要解決數(shù)據(jù)收集和隱私保護、安全性和可靠性等挑戰(zhàn)，并與現(xiàn)有的煤礦設(shè)備和管理體系進行整合。基于此，結(jié)合煤礦的實際情況，構(gòu)建了煤礦全礦井人工智能（AI）監(jiān)管平臺[7-8]。

1 人工智能（AI）監(jiān)管平臺總體設(shè)計

1.1 設(shè)計目標(biāo)

為滿足煤炭行業(yè)智能化建設(shè)、加深煤礦智能化程度、做好煤礦及重點非煤礦山重大災(zāi)害風(fēng)險防控建設(shè)等工程需要。針對煤礦井下情況復(fù)雜多變，隱患難以及時發(fā)現(xiàn)的現(xiàn)狀，研究突破針對不同場景及應(yīng)用的視頻圖像識別技術(shù)，能自動識別環(huán)境中潛在的風(fēng)險及安全隱患、對人員的違章違規(guī)行為、設(shè)備異常狀態(tài)做出主動判斷，實現(xiàn)視頻監(jiān)管從看得見到看得懂的轉(zhuǎn)變，為保障礦山安全生產(chǎn)、智能輔助監(jiān)管監(jiān)察提供技術(shù)支持，不斷提升礦山數(shù)字化、智能化安全生產(chǎn)水平。

全礦井人工智能（AI）監(jiān)管平臺的最終設(shè)計目標(biāo)是符合國家和地方政策“互聯(lián)網(wǎng)+監(jiān)管監(jiān)察”方式，替代傳統(tǒng)的普通視頻監(jiān)控和傳統(tǒng)監(jiān)管監(jiān)察方法，覆蓋煤礦全部AI 視頻監(jiān)控場景，為煤礦企業(yè)安全生產(chǎn)賦能。該產(chǎn)品采用視頻+AI 的技術(shù)手段，并運用“Al 智能監(jiān)管監(jiān)察、智能識別、智能分析、智能安防”等前沿技術(shù)為煤炭等能源行業(yè)提供一站式智能解決方案。通過視頻感知，對煤礦全礦井的關(guān)鍵場景進行實時視頻采集，再通過邊緣計算或算力中心集中識別處理。最終實現(xiàn)對人員行為、設(shè)備狀態(tài)、環(huán)境狀態(tài)的智能監(jiān)控與分析。達到智能預(yù)警、智能管控、智能聯(lián)動的目的。

1.2 總體架構(gòu)

平臺總體架構(gòu)如圖1。

圖1 平臺總體架構(gòu)Fig.1 Overall platform architecture

平臺主要由AI 訓(xùn)練平臺、視覺識別分析平臺、多場景智能子系統(tǒng)Al 監(jiān)控平臺、智能邊端分析攝像儀、智能分析裝置組成。平臺劃分為應(yīng)用層、業(yè)務(wù)層、支撐層、感知層、基礎(chǔ)設(shè)施層。應(yīng)用層主要包含頁面展示，硬件集控的功能；業(yè)務(wù)層主主要包含核心功能模塊和主要組件模塊，用戶可以根據(jù)業(yè)務(wù)場景需求管理對應(yīng)模塊；支撐層主要是平臺運行和處理所需要的技術(shù)支持；感知層為采集畫面的前端設(shè)備，主要包含普通攝像儀和智能攝像儀；基礎(chǔ)設(shè)施層為軟件運行的硬件支持，根據(jù)處理架構(gòu)的不確定性，包含集中服務(wù)器、邊端算力服務(wù)器、礦山環(huán)網(wǎng)等基礎(chǔ)設(shè)備。

1.3 核心場景

依托人工智能(AI)，分別針對每個生產(chǎn)礦井的采煤、掘進、機電、通風(fēng)、運輸、主動安全等6 大體系的核心場景構(gòu)建AI 視頻識別算法，形成獨立算法場景，重點區(qū)域與生產(chǎn)鏈條AI 視頻識別場景全覆蓋；針對煤礦現(xiàn)場的真實素材進行模型訓(xùn)練，保證各場景模型算法的識別精準(zhǔn)度，同時模型算法可以智能優(yōu)化迭代，不斷提升識別精準(zhǔn)度。全礦井人工智能（AI）監(jiān)管平臺場景涉及人員、設(shè)備、環(huán)境等方面的智能識別監(jiān)測。主要包括5大類30 余種場景模型。

1）帶式輸送機輸送帶相關(guān)場景。輸送帶大塊煤檢測、輸送帶縱向撕裂檢測、輸送帶煤流量監(jiān)測、輸送帶異物檢測、輸送帶跑偏檢測、輸送帶驅(qū)動機過熱冒煙監(jiān)測、輸送帶人員跨越檢測、輸送帶人員乘坐檢測、輸送帶煤溫監(jiān)測、輸送帶煤矸石篩選檢測、輸送機頭堵煤檢測、輸送帶除鐵器異物檢測等。

2）人員相關(guān)場景。調(diào)度室人員離崗檢測、危險區(qū)域人員進入報警檢測、人員出入井統(tǒng)計、區(qū)域限員檢測、人數(shù)統(tǒng)計檢測、人員圍欄告警檢測、人員安全帽檢測、人員操作間玩手機檢測、人臉識別檢測、人員未佩戴毛巾檢測、未佩戴維修安全帶等。

3）設(shè)備相關(guān)場景。泵房水位儀表監(jiān)測、攝像頭挪動監(jiān)測、攝像頭遮擋監(jiān)測、U 型壓力計讀數(shù)識別等。

4）采煤、打鉆相關(guān)場景。探放水打鉆鉆桿計數(shù)、割煤機視頻隨動檢測、綜采面支護開合檢測、綜采面堆煤檢測、煤層巖層刮板機分界線提取檢測等。

5）車輛相關(guān)場景。煤礦車輛出入檢測、井下行車步行人檢測、車牌識別檢測、字符識別檢測、駕駛員違規(guī)行為分析、結(jié)合超聲波輔助識別等。

人工智能（AI）監(jiān)管平臺前端采用VUE3 進行架構(gòu)設(shè)計，其中包括監(jiān)控區(qū)域展示、監(jiān)控事件展示、在線攝像儀數(shù)量、離線攝像儀數(shù)量、報警數(shù)量、已處理報警數(shù)量、未處理報警數(shù)量、實時報警圖像等信息。通過不同的分屏顯示模式，綜合展示不同場景的實時視頻影像。達到綜合監(jiān)控、綜合預(yù)警、智能聯(lián)動。大屏綜合展示如圖2。

圖2 大屏綜合展示Fig.2 Large screen comprehensive display

2 關(guān)鍵技術(shù)

整個平臺設(shè)計包括多項關(guān)鍵技術(shù)，包括通過低樣本數(shù)據(jù)集增強技術(shù)研究來提升識別精度、模型訓(xùn)練及迭代優(yōu)化策略研究、數(shù)據(jù)推理與決策分析技術(shù)研究、微服務(wù)后臺開發(fā)技術(shù)研究等[9-19]。

2.1 低樣本數(shù)據(jù)集增強技術(shù)

由于煤礦環(huán)境特殊，可利用的樣本數(shù)據(jù)相對較少，如何在低樣本的條件下又能保證算法模型的識別精度將面臨巨大挑戰(zhàn)。雖然卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種深度學(xué)習(xí)模型，適合用來分析視覺圖像，但在處理低樣本數(shù)據(jù)時，可能由于數(shù)據(jù)量不足，導(dǎo)致模型訓(xùn)練不充分，識別準(zhǔn)確率下降。

全礦井人工智能（AI）監(jiān)管平臺針對煤礦井下環(huán)境部分場景樣本數(shù)據(jù)較少的問題，采取了數(shù)據(jù)增強的方法進行樣本數(shù)據(jù)集擴充，通過對現(xiàn)有素材圖像變換、裁剪、旋轉(zhuǎn)等處理，來增加樣本數(shù)量，提高模型訓(xùn)練的充分性；利用生成對抗網(wǎng)絡(luò)（GAN）等技術(shù)生成與真實數(shù)據(jù)類似的虛擬數(shù)據(jù)，來擴充數(shù)據(jù)集素材樣本數(shù)量，提高模型泛化能力；利用在其他煤礦大規(guī)模數(shù)據(jù)集上預(yù)訓(xùn)練的模型，遷移到低樣本數(shù)據(jù)集上，進行遷移學(xué)習(xí)，快速提高模型性能；同時為提高低樣本模型的性能，通過采用更優(yōu)的模型結(jié)構(gòu)、損失函數(shù)、正則化等方法進行模型優(yōu)化；同時高精度的模型離不開人工的持續(xù)標(biāo)注，通過人工標(biāo)注的方式對輸出的樣本數(shù)據(jù)進行人工標(biāo)注來提高數(shù)據(jù)質(zhì)量。總之，視覺識別在低樣本數(shù)據(jù)下具有一定的挑戰(zhàn)性，全礦井人工智能（AI）監(jiān)管平臺，通過綜合采用合適的方法和技術(shù)手段，有效地提高了模型在低樣本情況下的性能。解決了煤礦惡劣的井下環(huán)境下，樣本數(shù)據(jù)少的問題。低樣本數(shù)據(jù)集增強如圖3。

圖3 低樣本數(shù)據(jù)集增強Fig.3 Low sample dataset enhancement

在實際應(yīng)用中，首先深入煤礦，去相關(guān)應(yīng)用場景所在地錄制視頻、圖像等素材，或通過現(xiàn)有攝像儀截取部分視頻影像，對收集到的圖像素材按照以上方法進行加工處理；得到加工后的圖像素材，結(jié)合加工前的圖像素材，實現(xiàn)樣本的擴充。再對擴充之后樣本進行模型訓(xùn)練。數(shù)據(jù)增強實際應(yīng)用如圖4。

圖4 數(shù)據(jù)增強實際應(yīng)用Fig.4 Practical application of data enhancement

2.2 模型訓(xùn)練技術(shù)

視覺識別深度學(xué)習(xí)研究主要利用深度學(xué)習(xí)技術(shù)來提高圖像識別的準(zhǔn)確性和可靠性。深度學(xué)習(xí)是一種機器學(xué)習(xí)技術(shù)，通過構(gòu)建多層神經(jīng)網(wǎng)絡(luò)來模擬人腦的學(xué)習(xí)過程，從而實現(xiàn)對圖像的識別和理解。在視覺識別領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是最常用的深度學(xué)習(xí)模型之一。CNN 能夠通過多個卷積層和非線性激活函數(shù)來提取圖像的特征，并通過全連接層將特征映射到目標(biāo)類別上。通過訓(xùn)練大量的圖像數(shù)據(jù)集，CNN 能夠?qū)W習(xí)到從圖像中提取有用信息的內(nèi)在規(guī)律，從而實現(xiàn)對不同類型圖像的準(zhǔn)確識別。除了CNN，還有其他類型的深度學(xué)習(xí)模型也被廣泛應(yīng)用于視覺識別領(lǐng)域，例如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、長短時記憶網(wǎng)絡(luò)（LSTM）和變分自編碼器（VAE）等。這些模型各有優(yōu)缺點，可以根據(jù)具體的應(yīng)用場景選擇合適的模型進行研究和應(yīng)用。在視覺識別深度學(xué)習(xí)研究中，數(shù)據(jù)集的選擇和模型的訓(xùn)練是關(guān)鍵。為了提高模型的準(zhǔn)確性和泛化能力，通常需要收集大量的標(biāo)注數(shù)據(jù)，并通過各種技術(shù)手段來增強數(shù)據(jù)的質(zhì)量和多樣性。同時，還需要選擇合適的損失函數(shù)和優(yōu)化算法來訓(xùn)練模型，并對其進行調(diào)參和優(yōu)化，以獲得更好的性能。

針對煤礦用戶來說，通用化的人工智能技術(shù)（如人臉識別等）已無法滿足煤礦行業(yè)需求，需根據(jù)煤礦井下的真實環(huán)境進行模型的開發(fā)與訓(xùn)練，個性化應(yīng)用需求明顯。還要加快AI 技術(shù)在實際場景中的落地，快速驗證應(yīng)用效果，持續(xù)進行模型迭代優(yōu)化。為解決用戶這方面的痛點問題，全礦井人工智能（AI）監(jiān)管平臺模型基于Pytorch 開發(fā)，Python 部署，采用深度學(xué)習(xí)的端到端學(xué)習(xí)，自動學(xué)習(xí)到目標(biāo)的表征特征，不需要事先人工提取特征，學(xué)習(xí)能力強。深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)層數(shù)多、寬度廣，理論上可以映射到任意函數(shù)，可以擬合比較復(fù)雜的函數(shù)，解決復(fù)雜的現(xiàn)實問題。平臺實現(xiàn)了對樣本數(shù)據(jù)集的管理，模型本地化訓(xùn)練與部署，同時可在線對樣本數(shù)據(jù)進行標(biāo)注，訓(xùn)練過程可視化。同時對識別度低的數(shù)據(jù)回流到系統(tǒng)進行人工審核，來不斷提高模型的精準(zhǔn)度。全礦井人工智能（AI）監(jiān)管平臺模型訓(xùn)練、數(shù)據(jù)回流過程如圖5。

圖5 模型訓(xùn)練、數(shù)據(jù)回流過程Fig.5 Model training and optimization iteration process

2.3 數(shù)據(jù)推理與決策

利用訓(xùn)練后的算法模型，對視頻感知信息進行智能分析，找出視頻圖像中存在的異常點，進行圖像、視頻截取保留證據(jù)，并推送至前臺報警顯示。同時聯(lián)動語音廣播等井下設(shè)備，進行現(xiàn)場播報提醒。為用戶的風(fēng)險處置、決策提供依據(jù)。

針對煤礦井下的應(yīng)用場景，首先對感知視頻流進行實時加載，通過加載綁定的場景模型，根據(jù)條件參數(shù)，進行推理分析。找出異常圖像，進行截取、上傳等后處理。同時根據(jù)檢測的物體目標(biāo)，從背景中分離出感興趣的目標(biāo)區(qū)域，并確定這一目標(biāo)的描述（類別和位置，常用矩形檢測框的坐標(biāo)表示），實現(xiàn)被檢測物的自動框選。供終端用戶進行實時監(jiān)測。數(shù)據(jù)推理流程如圖6。

圖6 數(shù)據(jù)推理流程Fig.6 Data inference process

2.4 微服務(wù)后臺開發(fā)技術(shù)

微服務(wù)架構(gòu)是一種松耦合的、有界上下文的面向服務(wù)架構(gòu)，將1 個大型的單個應(yīng)用程序和服務(wù)拆分為數(shù)個甚至數(shù)十個的支持微服務(wù)。微服務(wù)架構(gòu)設(shè)計需要考慮到服務(wù)的粒度、松耦合和高度內(nèi)聚、獨立團隊和自治、與語言工具無關(guān)、分布式和容錯性、持續(xù)集成和持續(xù)部署以及安全性等方面的問題。這些特點使得微服務(wù)架構(gòu)能夠更好地適應(yīng)業(yè)務(wù)需求的變化和發(fā)展。

1）微服務(wù)技術(shù)體系。微服務(wù)核心技術(shù)架構(gòu)體系以Spring Cloud Alibaba 作為主流，是一套微服務(wù)解決方案，它提供了開發(fā)分布式應(yīng)用微服務(wù)的必需組件，方便開發(fā)者通過 Spring Cloud 編程模型輕松使用這些組件來開發(fā)分布式應(yīng)用服務(wù)。Spring Cloud Alibaba 利用Spring Boot 的開發(fā)便利性，結(jié)合SpringCloud 與Alibaba 開源技術(shù)，巧妙地簡化了分布式系統(tǒng)基礎(chǔ)架構(gòu)的開發(fā)，如服務(wù)注冊發(fā)現(xiàn)、配置中心、消息總線、負(fù)載均衡、斷路器、數(shù)據(jù)監(jiān)控等。同時由于Spring Cloud 所依賴的組件Eureka、Feign、Hystrix、Config等面臨停更。選擇替代方案將是最好的選擇， SpringCloudAlibaba的Nacos、Sentinel 等能更好地與Spring Cloud 融合，共同構(gòu)建微服務(wù)架構(gòu)體系。

2）微服務(wù)構(gòu)建。微服務(wù)使用SpringBoot 進行構(gòu)建，以Nacos 作為注冊中心和配置中心建立集群。通過OpenFeigh 組件實現(xiàn)微服務(wù)的調(diào)用，同時具備負(fù)載均衡能力。同時微服務(wù)的設(shè)計采用無狀態(tài)設(shè)計，這樣可以方便橫向擴展。系統(tǒng)的登錄服務(wù)、注冊服務(wù)、基礎(chǔ)信息管理服務(wù)、業(yè)務(wù)邏輯服務(wù)、智能控制服務(wù)都設(shè)計成單獨的微服務(wù)。 此外，由于平臺的業(yè)務(wù)量的增加，通過開發(fā)新的微服務(wù)注冊到Nacos 即可，實現(xiàn)了在不動其他服務(wù)的同時實現(xiàn)了系統(tǒng)擴容，滿足了用戶日益增長的業(yè)務(wù)需求。例如，隨著用戶接入場景、子系統(tǒng)的不斷增加，需不斷進行服務(wù)器擴容、功能擴容，才能滿足業(yè)務(wù)需求。通過合理的配置和部署，大大提高系統(tǒng)的性能、可靠性和可維護性。

微服務(wù)集群架構(gòu)如圖7。

圖7 微服務(wù)集群架構(gòu)Fig.7 Microservice cluster architecture

3 現(xiàn)場應(yīng)用

全礦井人工智能（AI）監(jiān)管平臺，在煤礦智能化建設(shè)的大背景下在內(nèi)蒙古地區(qū)首先現(xiàn)場落地運行。基于“視頻+AI”的技術(shù)手段，并運用“AI 智能監(jiān)控、 智能識別、 智能分析、智能安防”等前沿技術(shù)為煤礦企業(yè)提供一站式智能化解決方案，且場景可定制化。此次充分調(diào)研了內(nèi)蒙古地區(qū)各煤礦的井上井下環(huán)境，提取大量現(xiàn)場素材樣本進行模型訓(xùn)練，基于AI 平臺和不同的應(yīng)用場景建立算法模型，采用高分辨率視頻設(shè)備、人工智能技術(shù)等對各類井下設(shè)備、人員行為等信息進行智能感知，同時對感知信息進行智能分析、自學(xué)習(xí)與決策，實現(xiàn)了大塊煤檢測、未佩戴安全帽、操作工離崗、行車不行人、區(qū)域限員、電子圍欄等關(guān)鍵場景的賦能。同時根據(jù)煤礦智能識別場景，進行攝像儀布置，并利舊兼容已有滿足條件的攝像儀。實現(xiàn)不同場景AI 智能識別功能，當(dāng)出現(xiàn)異常時，并發(fā)出告警信息。部分應(yīng)用場景如圖8。

圖8 部分應(yīng)用場景Fig.8 Partial application scenarios

現(xiàn)場應(yīng)用結(jié)果表明：深度學(xué)習(xí)算法在礦山視覺識別領(lǐng)域具有較好的應(yīng)用效果和價值；其中，卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法在圖像分類和目標(biāo)檢測方面具有較好的性能表現(xiàn)；循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）算法在序列數(shù)據(jù)識別方面具有較好的應(yīng)用效果。通過對比實驗，發(fā)現(xiàn)深度學(xué)習(xí)算法在提高礦山視覺識別的準(zhǔn)確性和穩(wěn)定性方面具有較大的優(yōu)勢；具體來說，全礦井人工智能（AI）監(jiān)管平臺的深度學(xué)習(xí)算法在礦山圖像分類方面的準(zhǔn)確率達到了90%以上，目標(biāo)檢測方面的準(zhǔn)確率達到了80%以上。

4 結(jié) 語

以視頻感知為基礎(chǔ)，以網(wǎng)絡(luò)、信息技術(shù)為媒介，以人工智能、大數(shù)據(jù)為技術(shù)支撐；構(gòu)建了全礦井人工智能（AI）監(jiān)管平臺，介紹了平臺的總體架構(gòu)和核心場景；基于整個平臺的設(shè)計，論述了低樣本數(shù)據(jù)集增強技術(shù)、模型訓(xùn)練技術(shù)、數(shù)據(jù)推理與決策、微服務(wù)后臺開發(fā)技術(shù)等關(guān)鍵技術(shù)。基于人工智能技術(shù)的全礦井人工智能（AI）監(jiān)管平臺解決了煤礦視覺識別樣本數(shù)據(jù)集少、識別精度低的問題，同時利用卷積神經(jīng)網(wǎng)絡(luò)（CNN）結(jié)合人工審核機制實現(xiàn)了模型的自我學(xué)習(xí)與迭代優(yōu)化；經(jīng)過現(xiàn)場試驗驗證，效果顯著。