煤礦人工智能視頻分析系統架構體系及關鍵技術

陳 杰

（1.中煤科工集團沈陽研究院有限公司，遼寧 撫順 113122；2.煤礦安全技術國家重點實驗室，遼寧 撫順 113122）

隨著人工智能、視覺識別技術不斷發展，以及國家相關政策及標準的相繼出臺[1-7]，基于視頻感知的監控系統應用到了各個領域，其中煤礦的自動化、智能化一直是國家建設智慧礦山的需求。因此, 基于視頻識別在煤礦領域的應用研究，在煤礦智能化建設的大背景下，通過視頻+AI 的技術手段，并運用“AI 智能監控、智能識別、智能分析、智能安防”等前沿技術為煤炭等能源行業提供一站式智能解決方案，對煤礦企業的安全生產至關重要的作用。

圖像識別的發展經歷了文字信息識別、數字圖像信息識別、三維物體信息識別3 個階段:①文字信息識別的研究從1950 年開始，一般包括字母、數字和符號的信息識別，落地應用非常廣泛；②數字圖像信息識別的研究從1970 年開始，數字圖像信息與模擬圖像信息相比具有存儲快捷，傳輸方便。數據在壓縮、傳輸過程中不易失真等優勢，這些為圖像信息識別技術的發展奠定了堅實基礎；③三維物體信息的識別主要是對三維世界的物體對象、環境的感知、認識，屬于高級計算機視覺識別范疇，它以數字圖像信息識別為基礎，結合人工智能、統計學等，被廣泛應用于工業智能機器人上。

在煤礦工業領域，工業視頻監控已普遍使用，用來實時監測煤礦井上、井下不同場景，直觀呈現不同地點的不同人員、設備的工作狀態。工業視頻監控系統已成為煤礦企業必備的一套系統，同時要根據國家煤礦安全監察局的聯網數據傳輸標準實現視頻數據的聯網上傳。

煤礦工業經歷了從煤礦機械化、單系統自動化、綜合自動化到智慧礦山的發展階段。煤礦智慧化又經歷了數字化建設、單系統智慧化、綜合系統智慧化、礦區全系統智慧化的智慧礦山發展歷程。其中重要的一個智慧化驅動即基于視頻感知技術、人工智能AI 技術，來達到安全生產、減人增效的目標。基于此，結合煤礦的實際情況，構建了煤礦人工智能視頻分析系統。

1 煤礦人工智能視頻分析系統總體架構

煤礦人工智能視頻分析系統總體架構如圖1。

圖1 煤礦人工智能視頻分析系統總體架構Fig.1 Overall system architecture

煤礦人工智能視頻分析系統以實現對人員、設備、環境的智能監控與分析，達到智能報警、智能控制為主要目標。從層次上分為：①設備層：實現不同場景的智能感知；②網絡層：借助于工業視頻環網實現視頻數據的傳輸；③應用層：即平臺層，包括AI 訓練平臺、視覺識別分析平臺、AI 監控平臺等，來實現視頻的智能分析、模型的AI 訓練及視頻、報警數據的實時管控等[8-10]。

1.1 設備感知層

視頻感知層設備分為普通攝像儀和智慧攝像儀等，普通攝像儀只能對視頻進行感知，并不能對捕獲的視頻數據在感知層加以分析。智慧攝像儀則除了能對視頻進行感知外，還具備人工智能，能在感知層對捕獲的視頻進行實時分析，實現邊緣計算。

目前大多數煤礦都已具備工業視頻監控系統，可對已有的視頻設備加以利用，取現有視頻流加以分析，但視頻分辨率需滿足足夠清晰，盡量滿足400萬像素以上要求。

當然對于新投入的視頻感知設備，建議采用礦用隔爆型智慧攝像儀，支持TCP/IP、ICMP、HTTP、HTTPS、FTP、UDP、DHCP、DNS、DDNS、RTP、RTSP、RTCP、PPPoE、NTP、UPnP、SMTP、SNMP、QoS、IPv6、IGMP、Bonjour、802.1X 等標準（協議）。集成雙核RISC-V CPU 和頻率高達800 MHz 的數字信號處理器（DSP），并支持浮點單元（FPU），集成最新一代ISP，支持2D 降噪、3D 降噪、寬動態范圍、魚眼校正、鏡頭陰影校正等功能，采用KPU 進行深度學習，通過DSP 與KPU 協同運算，支持原生TensorFlow。

1.2 平臺應用層

結合煤礦生產實際需求，利用AI 技術，構建統一的訓練、分析、監控平臺，實現煤礦人員的不安全行為、設備的不安全狀態、環境的不安全因素等隱患智能分析、報警，構建業務應用平臺，實現隱患報警處理、分析、上報，形成業務閉環，輔助監管人員，提升監管效率，減少煤礦井下事故的發生。主要包括AI 訓練平臺、視覺識別分析平臺、AI 監控平臺。

1.2.1 AI 訓練平臺

AI 訓練平臺用于實現AI 場景模型的迭代訓練，訓練的素材需取自現場的真實圖片，并達到一定的數量級，方可訓練出精確度較高的AI 模型，其中包括數據集管理和模型訓練管理。

1）數據集管理。①數據版本管理：統一管理各個數據版本數據，在新建數據集基礎上可以上傳不同的數據版本，做到數據版本控制，在數據集基礎上新增數據版本[11-13]；②標注版本數據描述：導入數據類型（分為有標注和無標注），標注數據類型，導入方式提供數據集原有數據，方便數據組合利用，可上傳壓縮文件；③在線標注：對上傳完成的數據進行在線標注預覽，選擇需要標注的數據版本，在已標注欄預覽標注信息，在未標注欄對原始數據進行在線標注。

2）模型訓練管理。①訓練模型：用戶根據系統提供的模型中選擇1 個模型，并根據提示選擇數據集，手動設定模型所需要的訓練參數，如圖像增強方式、輸入圖片大小、設定訓練/驗證/測試集比例、訓練輪數、批處理數量、學習率、訓練模式、提前結束訓練條件等參數，或選擇全部或者部分自動智能設置；②模型驗證：用戶通過選擇其他數據進行測試，測試結果提供給用戶查看，根據測試結果得出模型評估指標（召回率、精確率、MAP 等）供用戶查看，用以評估AI模型的準確度。

1.2.2 視覺識別分析平臺

對于采用普通攝像頭作為感知設備，需建立后臺集中算力中心，對各場景視頻流進行集中分析、計算。根據實際情形，需選擇適配的硬件配置，包括GPU 卡、CPU、內存、SSD SATA 數據中心、企業級SATA 硬盤等，用以支撐視頻的AI 識別與計算。

智能視頻分析是智能監測預警的核心，綜合各種高效、穩定和精確的算法技術實現對煤礦安全生產視頻進行實時計算分析和實時監測，找出視頻中的違規行為，對可能帶來的災害進行預警，同時實現煤礦安全監管工作的智能化、實時化和異地化。

1）算法模型管理。如在帶式輸送機智能視頻監測方面，在算法服務器內按膠帶異物識別分析、落煤口堵塞狀況分析以及人員的違規行為算法場景建立算法模型庫，能根據業務需要迅速查找并加載對應算法模型，使算法切換和參數修改智能化、自動化，無需重啟算法服務器，也無需人工干預就能實現算法服務器內的業務邏輯調整，使系統操作更簡單，便于使用和維護[14]。

2）算法模型實時分析。若采用與系統適配的智能攝像頭，算法服務器能在應用層獲取在線攝像頭的實時視頻地址后，直接獲取攝像頭實時監控畫面，無需經過物理NVR 或其他錄像設備，減少獲取視頻的延遲，提升分析的實時性。同時能根據攝像頭配置的參數，直接將參數用于視頻的分析中，在接通攝像頭畫面的同時就加載算法模型和識別參數，實現在線實時分析攝像頭視頻內容。算法模型實時分析流程如圖2。

圖2 算法分析流程圖Fig.2 Algorithm analysis flow chart

2 關鍵技術

1）人工智能。人工智能的概念最早來自于1956年的計算機達特茅斯會議，其本質是希望機器能夠像人類的大腦一樣思考，并作出反應。由于極具難度與吸引力，人工智能從誕生至今，吸引了無數的科學家與愛好者投入研究。搭載人工智能的載體可以是近年來火熱的機器人、自動駕駛車輛，甚至是1 個部署在云端的智能大腦。根據人工智能實現的水平，可以進一步分為3 種人工智能：①弱人工智能：擅長某個特定領域的智能，如語言處理領域的百度翻譯，但讓該系統去判斷一張圖片中是狗還是貓，就無能無力了，此外還包括手機上的人臉識別等，當前的人工智能大多是弱人工智能；②強人工智能：在人工智能概念剛被提出的時候，人們期望通過打造復雜的計算機系統，實現與人一樣的復雜智能，這被定義為強人工智能，這種智能要求機器像人一樣，聽、說、讀、寫樣樣精通，目前的發展技術尚未達到通用人工智能的水平，但已經有眾多研究機構展開了研究；③超人工智能：位于強人工智能之上，定義為超人工智能，是在幾乎所有領域都比人類大腦聰明的智能，包括創新、社交、思維等，現在的弱人工智能就好比生命的早期形態，可能突然之間就會產生智慧生命，超人工智能也不會永遠停留在想象之中。

2）機器學習。機器學習是實現人工智能的重要途徑，也是最早發展起來的人工智能算法。與傳統的基于規則設計的算法不同，機器學習的關鍵在于從大量的數據中找出規律，自動地學習出算法所需的參數[15-16]。機器學習算法中最重要的就是數據，根據使用的數據形式，可以分為3 大類：監督學習（Supervised Learning）、無監督學習（Unsupervised Learning）與強化學習（Reinforcement Learning）。

3）深度學習。深度學習是機器學習的技術分支之一，主要是通過搭建深層的人工神經網絡（Artificial Neural Network）來進行知識的學習，輸入數據通常較為復雜、規模大、維度高。深度學習可以說是機器學習問世以來最大的突破之一。圖像識別多使用卷積神經網絡。理論上，可以使用傳統神經網絡對圖像進行分析，但從計算角度來看代價很高。神經網絡的廣適性是他們的優點之一，但是在處理圖像時，這個優點就變成了負擔。卷積神經網絡對此專門進行了折衷：如果1 個網絡專為處理圖像而設計，有些廣適性需要為更可行的解決方案做出讓步。換言之，卷積神經網絡（Convolutional Neural Networks）是一種深度學習模型或類似于人工神經網絡的多層感知器，非常適合用來分析視覺圖像。研究卷積神經網絡的圖像識別技術、人的身份及附加屬性識別技術，采集目標設備圖片做為標準圖像，歸納出不同種類圖像的特征數據作為基礎模板，采集大量的現場的影像資料，與基礎模板對比，找出相似特征并輸出結果，通過這種反復訓練，最終實現研制具有圖形識別、行為分析功能的智能視頻分析系統的目的[17]。

3 系統設計

結合煤礦現場的實際需求，對煤礦現場設備狀態、人員行為等場景進行需求分析、AI 識別。

在煤流監測報警方面：①針對堆煤、膠帶跑偏、膠帶出現異等情況進行識別，并及時發出報警；②煤流調速：通過視頻分析對帶式輸送機運輸過程的空載情況進行識別，當連續檢測到空重載達到一定時長時觸發報警并與帶式輸送機控制系統實現聯動，實現帶式輸送機自動調速。

在人員行為分析方面：針對人員跨越電子圍欄、人員未按安全防護規范穿戴、操作工離崗、行車行人（人走車道，或者車走人道）、唯一性檢測（人臉識別）、乘車人員異常等人員違規場景進行識別、分析并發出報警。

1）模型訓練。收集不同場景的海量原始素材圖片，并標注圖片特征數據。完成模型訓練與迭代優化訓練。抽象AI 識別數學模型，針對煤礦應用場景進行分析，并找出不同場景監測、識別特征點，再通過AI 訓練平臺對大量現場特征圖片素材展開訓練，形成初步數學模型，并不斷進行模型的應用識別，識別結果的人工驗證，模型優化迭代，最終生成最優AI識別數學分析模型。模型迭代訓練如圖3。

圖3 模型迭代訓練Fig.3 Model iterative training

2）數據分析與傳輸。設計AI 識別結果報警數據的傳輸方式、協議格式、數據形式標準接口。并設計開發集文字、圖像、視頻等多維度信息數據采集與處理模塊，根據已生成的最優AI 分析模型，進行視頻流的實時智能分析。并建立結構化數據庫，對分析結果進行分布式存儲。同時采用數據庫的負載均衡技術，建立高可用的數據服務中心。

3）智能控制。當AI 場景識別出現異常報警時，往往需要與其他控制類子系統進行智能聯動控制，如：發現帶式輸送機空載一段時間以后發出報警的同時，應向煤流控制系統發出調速控制指令；發現人員有違章行為時，應與廣播系統形成聯動，發出廣播提醒。此處應就第三方控制系統制定指令數據交互接口，通常采用WEB API 的方式來進行控制指令的驅動。數據格式采用JSON 數據包來進行指令數據的傳輸與執行反饋。

4）AI 監控平臺。人工智能AI 分析結果的可視化，確定智能AI 分析結果的可視化展示方式、提醒方式。選擇適合的可視化技術，進行整體UI 設計、前后臺交互式設計、后臺設計等。最終，搭建集成測試環境，對整套系統進行AI 智能分析測試、驗證。并進行煤礦現場工業試驗。

4 結 語

隨著煤礦智能化建設的逐步落地，AI 視覺識別作為智能化建設的一個重要組成部分，越來越被煤礦企業重視，其模擬人的神經網絡映射特征和信息傳遞特點進行AI 視覺識別，能夠完全實現人員行為、設備狀態的各種場景識別，及時發現違規行為，設備事故等，幫助煤礦企業發現問題、消除隱患，保障煤礦安全生產，是創建智慧煤礦重要的重要技術手段。