智能視頻技術應用研究

朱華新，魏 強，徐昊帆，金 振

（中國移動通信集團浙江有限公司 浙江 杭州 310016）

0 引言

目前視頻監控一直在家庭、企業和公共場所發揮監測和事后回看審查的重要作用。但傳統的視頻監控后期工作量十分龐大且需要人力手動處理，由人工進行視頻監測發現安全隱患或異常狀態，或者用于事后分析，這種應用具有其固有的缺點，難以實現實時的安全監控和檢測管理[1]。

本文通過介紹浙江移動智能視頻系統，通過安裝視頻監控設備，同時疊加先進的智能AI技術，助推千行百業智慧化轉型，加速AI普惠化進程。截至目前，浙江移動智能視頻產品已經在食品安全、數字鄉村、智慧工地等場景得到廣泛的應用，幫助用戶建立集感知、認知、預知于一體的應用體系，同時建立算法倉，攜手廣泛的生態合作伙伴，完整交付涵蓋云端、邊端、終端的AI視覺產品和解決方案。

1 智能視頻技術的概念

智能視頻技術是使用計算機圖像視覺分析技術，通過將場景中背景和目標分離，進而分析并追蹤在攝像機場景內出現的目標和行為。用戶可以根據視頻內容分析功能，通過在不同攝像機的場景中預設不同的報警規則，一旦目標在場景中出現了違反預定義規則的行為，系統會自動發出報警，監控工作站自動彈出報警信息并發出警示音,用戶可以通過查看、回看報警信息，實現報警的場景重組并采取相關措施[2]。

2 智能視頻技術應用的意義

帶有智能分析功能的監控系統可以通過區分監控對象的外形、動作等特征，做到主動收集、分析數據，并根據預設條件執行報警、記錄、分析等動作，讓監控攝像機變得更“聰明”，進而減少處理海量視頻所需的人力物力，使得打擊違法犯罪行為、安防監管等更有效率[3]。

智能視頻系統要解決的問題有兩個：一個是將安防操作人員從繁雜而枯燥的“盯屏幕”任務解脫出來，由機器來完成這部分工作；另一個是事后追溯時在海量的視頻數據中快速找到想要的事件記錄。基于上述兩點，智能視頻分析系統將在未來成為視頻監控系統的標配。

3 智能視頻的具體應用——浙江移動智能視頻系統為例

3.1 智能視頻應用場景

食品安全：通過打造“陽光廚房”，實時監控廚房的每個角落和操作過程，使就餐者能夠對食品衛生更加放心，從而吸引更多消費者。智能視頻典型應用場景主要有：（1）未戴口罩檢測；（2）未戴廚師帽檢測；（3）動物活體監測；（4）未穿廚師服檢測；（5）地面垃圾未清理；（6）人臉識別；（7）地面垃圾未清理等。

應急消防：火災的發生是現實生活中常見、突出、危害的一種災難，是直接關系到人民生命安全、財產安全的大問題。針對應急消防領域，智能視頻同樣也起到了重要作用，其典型應用場景如下：（1）消控室人員在離崗測試；（2）消防通道被占用監測；（3）電瓶車違規停放監測；（4）煙霧監測；（5）火焰識別等。

數字鄉村： 數字鄉村是伴隨網絡化、信息化和數字化在農業農村經濟社會發展中的應用，是鄉村振興的戰略方向，也是建設數字中國的重要內容。智能視頻在數字鄉村中典型應用如下：（1）防疫期間人員聚集監測；（2）車輛車牌識別及監測；（3）區域入侵監測；（4）消防占道監測；（5）水體漂浮物監測；(6）私拉橫幅監測等。

智慧工地：隨著我國新型城鎮化的大規模推進，建筑行業施工中的安全問題日益突出，一線施工現場存在很多高危場景和安全隱患，對統一管理造成了極大的困難。智能視頻在工地管理中發揮了極大的作用，有效地減少了安全隱患的發生，典型應用場景如下：（1）施工車輛監測；（2）基坑堆放監測；（3）吸煙監測；（4）煙火監測；（5）吊車在崗人員監測；（6）反光衣監測；（7）安全帽穿戴監測；（8）施工區域玩手機監測等。

3.2 浙江移動智能視頻解決方案

3.2.1 智能視頻系統架構

浙江移動智能視頻系統融合了視頻、人工智能、云計算等技術，通過對視頻和AI算法的智能管理，采用感知層、接入層、能力層、管理層和應用層五級架構（如圖1），支持視頻采集接入、存儲轉發、AI推理、運營管理、算法管理等功能，提供標準化SaaS應用和場景化SaaS應用，將平臺的視頻能力延伸到終端，滿足智能化業務需求。

采集層：通過各種類型的攝像機完成基礎視頻的快速采集。

接入層：實現專線、寬帶、4G、5G等多種方式的視頻接入。

能力層：支持存儲、轉發、實況等視頻基礎能力，口罩檢測、車輛識別、人臉識別、煙火檢測等視頻AI能力，視頻開通、視頻轉碼等運營管理能力，告警管理、質量診斷等運維管理能力，以及算法封裝、編排、調度等算法管理能力，并通過統一接口對外開放能力。

應用層：集成視頻能力和AI能力，提供標準化SaaS應用和場景化SaaS應用以及客戶第三方應用。

3.2.2 智能視頻算法倉實現

算法倉是智能視頻的核心功能，也是本系統和傳統視頻平臺的區別，其提供了智能視頻中的“智能”能力。本系統通過算法倉的智能能力，賦能前端攝像頭，滿足行業應用低成本、靈活部署、邊端輕量化定制等應用需求。

（1）算法倉的功能

算法倉（如圖2）主要功能為實現對不同廠家、不同類別的算法進行統一管理、統一訓練、評測和自服務。

統一封裝管理：通過標準化API接口，統一管理多廠家、多類型的算法，統一支撐上層應用，通過API和SDK的形式與算法能力進行對接，滿足不同業務場景下的算法靈活選擇；對處理后的數據按照不同的類型進行差異化存儲，同時，由于不同廠商算法產生的數據可能不兼容，通過數據的統一封裝處理，屏蔽對上層應用產生的影響。

統一接入管理：平臺定義標準協議，算法按照平臺定義的算法接入協議進行接入。

統一開通：對算法的生命周期提供統一管理，根據業務需要動態啟停算法。

統一開放：提供標準化檢測結果開放接口，對接各行業應用場景，支撐行業應用極速上線。

統一模型管理：支持對算法分析結果建立數據模型，以支持可擴展的算法接入支持對算法數據模型進行管理，能夠將算法識別結果按照模型動態解析成數據結構。

算法評測：基于實際運行質量與用戶感知，在線測評AI算法各項性能，對算法解析成功率、算法比對成功率、資源使用統計、圖片質量統計等算法KPI可視化呈現，可持續性優化系統實戰效果。

算法自服務：支持用戶通過可視化界面自助選擇算法及應用，滿足用戶個性化場景需求（如圖3）。

（2）智能策略調度模塊，實現算力資源最大化利用

算法倉中的智能調度模塊，通過用戶使用場景、工作時間等維度對算法和計算資源進行智能調度，使視頻檢測任務在算法和算力執行上達到最佳組合[4]，運用有限的資源，更高效地完成智能分析任務（如圖4）。

1）按使用場景調度：根據不同業務場景對檢測頻次、檢測時延進行調度。比如煙火檢測需要強算力和低延時，而橫幅識別僅需一般算力，可接受較高時延。

2）按工作時間調度：根據任務的工作時間、動態調整識別算法。

3）按用戶位置調度：根據用戶的位置調度算法到不同的計算資源。例如，地市用戶就近調度到地市附近的GPU服務器。

4）按用戶等級調度：不同的用戶等級，分配不同的計算資源。例如為金牌客戶分配更多的算力，提供更高的識別精度。

5）按外部環境調度：根據外部環境的變化調度任務到相應的算法資源。例如，同一場景霧天和晴天分別調用不同的識別算法。

6）按資源利用率調度：優先把任務調度到資源占用率低的識別資源上。

（3）一站式算法訓練模塊，助力算法快速上線

算法倉的一站式訓練模塊提供面向行業個性化場景的模型定制服務（如圖5），面向AI模型生產的全生命周期，提供包括數據處理、模型開發、模型訓練和模型管理等功能，通過友好易用的操作界面，幫助用戶輕松完成樣本準備及標注、AI模型訓練和AI模型發布[5]。

樣本準備：利用智能視頻的視頻流，從中截取目標場景下復合模型訓練要求的原始圖片，對圖片進行截取、大小調整等預處理后，通過標注工具對圖片中的目標物體進行框選和標記。

模型訓練：創建訓練任務，將標注完成的圖片導入訓練任務，進行自動化模型訓練。

模型發布：將訓練完成的模型發布為云端算法模型，生成云端推理服務。

通多對海量后廚現場圖片樣本的標注，利用九天算力平臺進行深度學習模型訓練，研發核心技術可控的食品安全視覺AI模型，經實測口罩檢出率98.3%，誤檢率0.1%，未戴廚師帽檢測檢出率99%，誤檢率0.3%，動物活體檢測檢出率97%，誤差率0.5%，檢測效果滿足客戶需求。

通過使用統一算法倉，面向食品安全、應急消防、數字鄉村、智慧工地等AI應用場景，提供多廠家、多版本、多場景AI服務，有效解決因算法碎片化導致的管理復雜度高以及建設維護成本高等問題[6]。

3.3 智能視頻技術應用效果

食品安全：浙江移動的智能視頻面向食品安全監管的業務場景，數字化賦能全省6.7萬多家外賣餐飲店鋪、3 000多家酒店/公司食堂/學校食堂、2 000多家專業/農貿市場等，共計8.1萬多路視頻的智能化監控需求。和原傳統視頻靠人工盯屏幕值班相比，智能視頻應用后，人力消耗減少到原來的20%，監控事件處理及時準確率提高了一倍，通過智能視頻的智能識別，原來很多人工盯防無法發現的問題得以被發現。

應急消防：浙江移動智能視頻面向應急消防場景，和地市消防局合作，接入小區/大樓消防相關攝像頭3萬余個。智能視頻應用后，在采用了智能視頻檢測的小區和街道，消防隱患發現率比以前提升37%，火災發生率比以前減少40%，取得了良好的社會經濟效益。

智慧工地：浙江移動智能視頻面向建設工地場景，通過反光衣檢測、安全帽檢測、煙火識別等AI能力，向溫州、臺州、金華等地住建局完成共計1 000多塊工地、7 000多路視頻監控提供安全生產數字化監管能力。其中在金華翡翠城項目中，據項目方統計，使用智能視頻后安全隱患減少70%，安全事故發生率低于同類項目45%，效果反饋良好。

數字鄉村：浙江移動智能視頻面向數字鄉村場景，通過重點人員識別、人員逗留、防溺水檢測等AI能力，支撐全省完成8 000多個村委、3.4萬路視頻監控的數字化建設。使用智能監控后，節省監控人員4 000余名，治安案件提前預警率達到60%，大大提高了治安事件的快速處理能力。

總之，智能視頻平臺上線后整體市場反應良好。目前隨著業務范圍持續擴大，預計今年智能視頻系統的數字化賦能范圍可覆蓋10萬多路。

4 總結

本文介紹了浙江移動智能視頻系統的視頻AI技術以及該技術在多種場景中的應用，通過智能盯防代替人工盯防，有效解決基層防控力量不足、監管手段缺失、監管方式自動化不足、人員疲勞戰等問題，為食品安全監管、應急消防、建筑工地安全生產、數字鄉村建設等場景提供了智能化的預警和事后回溯能力，使監控智能化，事后追查轉變為預防為主，有效解決普通視頻監控自動化不足、人員疲勞戰等問題。