計算機視覺在智慧安防中的應用

陳志宏，王明曉

（中國電信股份有限公司上海分公司，上海 200120）

1 引言

近年來，計算機視覺這個詞逐漸開始流行，1982年Marr[1]提出了視覺計算的理論和方法，認為人類的視覺主要是復原三維場景的可見幾何表面，提出可以通過計算的方式實現二維圖像到三維結構的復原，這標志著計算機視覺正式成為一門獨立學科。隨著社會經濟的不斷發展，人們生活質量逐漸提高，新興技術日新月異，城市安防的需求也開始不斷攀升，對安防程度和安防效率提出了更高的要求。計算機視覺技術的出現正好可以填充這一技術的不足，在智慧安防領域，可以用機器代替人眼對目標進行識別、跟蹤和測量，并進一步做圖像處理，使其成為更適合人眼觀察或傳送給儀器檢測的圖像[2]。

與此同時，國家政策對深度學習、計算機視覺等方面的支持，更是打造了一個比以往任何時代都有利于技術蓬勃發展的環境。計算機視覺正逐漸成為人工智能領域最重要的研究方向，因為視覺是人體獲得信息最多的感官來源，曾經有實驗證實視覺信息占人類獲得全部信息的 83%[3]。如今，各種新產品和新解決方案不斷提出，行業之間的壁壘逐漸開始淡化，隨著人工智能技術的不斷演進、5G技術的快速發展，計算機視覺行業生態在這些技術力量的驅動下，將會為城市治理和智慧安防領域注入全新活力。

2 深度學習與計算機視覺

2.1 前深度學習時代

在深度學習算法出來之前，計算機視覺算法大致可以分為5種方式，分別是特征感知、圖像預處理、特征提取、特征篩選和推理預測與識別。而在早期的學習過程中，占優勢的統計機器學習群體對特征是不大關心的[4]。

計算機視覺也因此被一部分學者認為是機器學習在視覺領域的應用，在深度學習出現之前，計算機視覺都需要人們自主設計特征感知、提取、預處理和篩選的部分，但這無疑是一個相當困難的挑戰。以往的識別方法，主要是把特征值的提取和用于分類存放特征值的容器分開設計，直到兩者需要應用時再融合。這樣的操作意味著首先需要有一個特征表達式或者特征值提取過程，再把表達收斂到的特征植入學習算法中進行分類學習。

舉例來說，在早期的經典指紋識別算法中，主要在指紋圖像上設立具有特殊幾何屬性的特征點，通過特征值匹配程度判斷兩個指紋圖像是否是同一個。這種方式既需要豐富的經驗進行特征值的人工設計和參數調優，同時還需要對領域內容非常了解。另外，上述方法不僅需要人工設計特征，還需要能夠適應設計特征值的分類容器。這意味著，只有特征與分類容器契合，才能夠達到理想的結果。

2.2 深度學習與5G的到來

上述困難一直持續到端到端學習（en2-to-en2 learning）概念在深度學習這一學科中被提出。這個概念指的是面向特定類型的特定對象，計算機能夠通過一定的方法，自主學習什么種類的特征需要被查找，它能夠描述對象最具顯著特點的特征值。換句話說，通過深度學習端到端學習理念的網絡模型，能夠支持探索圖像類別中的底層模式。特征提取和深度學習的方法差異如圖1所示。

圖1 特征提取和深度學習的方法差異

在深度學習出現之后，理論上可以不通過人工篩選特征值、定義特征值，同時也不需要人工來描述這些特征值，算法能夠代替人工完成這類工作。最具有代表性的是卷積神經網絡。卷積是一個函數與一個函數通過翻轉或平移等一系列相互關系，計算出新值，然后在連續空間進行積分運算和在離散空間進行求和運算的過程。實際上在計算機視覺學科中，卷積通常被視為一種抽象的過程，是將給定范圍內的信息通過計算抽象出來的過程。

舉例來說，對同一個對象，通過學習多個不同的卷積與函數對范圍內的圖像信息進行計算。根據需要可以使用不同的方法統計，如重點計算邊緣位置，或者重點計算中心區域，這會使得結果變得更加多樣化，從而同步實現多個函數的累積和。可以看出，采用這種方式的效率要遠遠高于之前人工設計特征提取模型識別圖片的方式。

如此看來，卷積網絡和深度學習應用在計算機視覺中也不算特別復雜，且在1998年時便已經有雛形了，但是直到最近才開始逐漸占據主流，原因如下。

其一，大數據技術的限制。如果卷積神經網絡所設計的復雜程度不夠，其真正應用所呈現的效果有可能不如傳統特征提取模型。如果設計的復雜，就需要配套海量數據訓練。人們很難看到已訓練模型的內在機制，手動調參也相當困難，因為深度學習模型有數百萬個參數——每個參數在訓練過程中都需要調整。從某種意義上來說，深度學習模型是一個黑匣子，只有不斷地向其中輸入數據，持續訓練，它才能夠得以應用，而在大數據技術不夠成熟的情況下，沒有辦法提供足夠的訓練數據，難以被廣泛應用。

其二，運算能力的限制。卷積神經網絡對機器的計算資源要求非常高，會進行海量的重復計算，在處理器不具備多核且計算能力不足的年代，是很難進行較深的卷積訓練的。如今，計算機的GPU能力大大增強，結合大數據訓練的卷積神經網絡模型也不再遙不可及。

從另外一個方面看，5G的到來打破了這些條件的制約，其高速率、低時延以及廣連接的特性，除了帶來萬物智聯，也讓過去各類難以實現的智能化場景成為可能。伴隨5G建設的發展，高速率應用場景的要求漸漸被解決，各類邊緣計算的技術更新又釋放了算力資源的制約，可以預見，物聯網最大的瓶頸將會被5G打破，5G會迅速催化物聯網行業的更新迭代；而5G帶來的物聯網突破又會引起大數據行業的變革，因為大數據行業中90%以上的數據是由物聯網中的智能感知設備所產生的；而大數據又是人工智能發展的三大要素之一，更多的數據會使人工智能更準確、更智能。

正因如此，深度學習與5G的到來，為計算機視覺技術帶來了空前的發展機遇與進步空間。

3 計算機視覺在智慧安防中的應用

隨著我國城市化進程的不斷加快，城市資源的有限性與外來人口的惡性膨脹，人、財、物的大流動與社會控制力的相對弱化等一系列矛盾日益突出，引發了一系列的社會治安問題。由于警力不足、配置不當等原因，基層民警往往一警多能、一警多職，不但民警工作壓力大，而且許多案件可能得不到及時的偵破與處理，治安管理往往處于被動局面[5]。同時，社會治安防控體系涉及一切社會治安資源，不僅包括公安，也包括其他機關企事業單位以及各種群防群治組織等。各部門協調配合的好壞對于案件處理的效率存在重要影響。

如今，以計算機視覺識別為基礎的生物體特征識別方式已逐漸開始成熟，并開始受到來自社會各界的廣泛關注。這些特征包含面部特征，以及更細微的如人眼的虹膜、掌紋、聲紋乃至步態等。盡管機器與生物體之間的交流還無法突破機械手段，各種信息和數據的錄入手段還有待突破，但是機器能夠通過視覺識別、生物特征檢測等技術檢測圖像中的人是否是活體存在的，能夠借助后臺數據的對比鑒別圖像中的人員身份信息，甚至識別圖像中人員行動的軌跡和姿勢，這無疑為城市安防治理提供了新的思路和方法。

目前，深度學習在計算機視覺中應用廣泛且比較成功的案例為人臉識別，以下為上海市某小區應用人臉識別技術作為安防監控手段的真實案例。

3.1 流程設計

基于社區對可疑人員身份的檢查需求，所設計的業務流程主要分為以下幾個部分。

當人員進入攝像機監控范圍，計算機視覺識別系統首先通過視頻流分析，甄別當前畫面中是否存在人像，并對人臉部分進行捕捉和抓拍，抓拍示意圖如圖2所示。

圖2 抓拍示意圖

系統會記錄此次抓拍的時間和攝像機信息，并對抓拍到的人像做特征提取處理。同時，系統會將該特征在提前錄入的“布控庫”中做比對檢索，如果對比結果高于設定閾值，識別系統將發出可疑人員身份提醒，并將提醒推送至網頁端或移動客戶端，便于保安及片區民警及時安排下一步動作。

3.2 算法原理

此次案例中設計的動態人像識別的算法識別過程主要包括視頻解碼、人臉檢測、圖像聚合、特征提取、檢索比對5個模塊。當攝像機將視頻源傳輸給動態人像卡口系統時，系統實時分析視頻中的人臉并進行布控報警，其算法識別原理如圖3所示。

圖3 算法識別原理

步驟1進入視頻解碼模塊。該模塊首先會將不同碼流的視頻進行格式轉化，然后以 10～25 +/s的幀率進行解碼處理，最終輸出一幀幀的靜態圖片。

步驟 2進入人臉檢測模塊。一張圖片中可能存在多張人臉，該模塊會檢測圖片中的人臉信息，從每一幀靜態圖片中一一識別人臉，并形成人臉特寫圖。

步驟 3進入圖像聚合模塊。由于人員一般不會主動配面對前端攝像機，所以人像系統如何精確識別行進人群中各種角度的人臉并進行精確報警是一件非常困難的事情。為此，在此次方案中添加圖像聚合模塊，將視頻中同一人的多幀圖片進行聚合，形成一條短暫的人臉軌跡（從進入監控畫面到離開監控畫面），把不同角度、姿態的同一人照片融合為一組圖片。其優勢在于，當小區內人流量較大時，容易出現人臉前后遮擋，導致同一人的軌跡被隔斷誤認為是不同的人的軌跡，重復計數。圖像聚合模塊能很好地處理高峰人臉遮擋情況，即使軌跡斷掉，也可實時地將同一人的軌跡合并起來，從而有效避免大量的重復抓拍。

步驟 4進入特征抽取模塊。算法將這一組圖片進行特征抽取，形成一組特征碼。該組特征碼會存于數據庫形成路人庫，同時用于與布控庫進行實時對比。

步驟 5進入檢索比對模塊。將一組特征碼與布控庫的特征值進行索引式對比，若比中則輸出比對命中的信息，并在網站或手持終端進行提醒信息的實時推送。

3.3 算法訓練

系統可根據布控庫進行實時布控，當前端攝像機的抓拍人像和庫中人像的相似度超過所設閾值時，系統會在第一時間推送消息提醒。為了保證功能穩定，還需要對系統進行性能評定，此次案例中選用業界常見的召回率與誤報率作為關鍵指標。

在評測建模前首先定義3類數據集。

· 訓練集（training set）：用來訓練學習算法。

· 開發集（2evelopment set）：用于調整參數、特征選擇等。有時也稱為保持交叉驗證集（hol2out cross vali2ation set）。

· 測試集（test set）：用于評估學習算法的性能，該部分數據集是不能用于調整算法參數或者做特征選擇的（該部分由開發集負責）。

在對上述開發與測試集定義后，系統可以通過模擬真實的人員識別場景，利用各異的算法學習參數展開練習，并快速檢驗各類算法的實驗結論。在實驗與練習的過程中，選擇精確率（precision）針對預期的實驗結論進行描述，它展示實驗預期準確的樣本中真實的正樣本數量。預測為真則存在兩種可能，一種是把真實結果預測為真實結果（true positive，TP），另一種是把錯誤結果預測為真實結果（+alse positive，FP）。而針對初始樣本，則選用召回率（recall）作為測算依據。它表示的是初始樣本中的真實樣本被預測為真實的數量。與精確率的計算過程類似，同樣會產生兩種結果，一種是將初始的真實結果預測成真實結果（true positive，TP），另一種則是將初始的真實結果預測為錯誤結果（+alse negative，FN）。

精確率計算式：

召回率計算式：

F1是precision、recall的調和平均值。

F值計算式：

從式（3）中可以看出F1得分綜合了precision與recall的結果，因此當F1較高時，則說明該算法比較有效[6]。

通過與上述模型相結合，用于安防需求的計算機視覺識別系統理論上可以根據不同區域的安防級別不同，對自身算法進行自主調整適應當前的需求。例如，對于有些安防級別較低的區域，可以采用F值評分并不高的算法實現，降低對硬件、網絡、計算資源的依賴和占用程度；反之對于安防級別較高的區域，則可以部署F值較高的算法實現。

4 實施效果

針對城市安防的使用場景，本次方案中采用基于前端高清攝像機的計算機視覺識別系統，自動在實時視頻中檢測每一位來訪人員，并截取最清晰的一幀圖像存儲。系統自動對視頻中的每一幀圖像逐幀做人像檢測，當在不同幀識別出一個人時，系統將同一人在不同幀的位置形成一個軌跡，挑選這段軌跡中最清晰的一張作為抓拍照片。

在實際的使用場景中，人流量是影響人臉識別性能的一個關鍵外部因素。此次方案中設計的計算機視覺識別系統不僅可以處理畫面中人臉逐一通過的簡單場景，也可以在人流量高峰時期確保人像的實時捕獲、不漏抓。在某小區的實際方案中，所設計的系統支持每路攝像機平均1萬人/天、峰值30人/min的過人量抓拍，保證人像信息及抓拍信息均被完整存儲。所有存儲的人像信息、抓拍信息均可以被實時查詢。

在符合識別系統架設規范的環境下，人像抓拍情況的指標見表1，分別為抓拍捕獲率及誤抓拍率。

表1 人像識別系統參數指標

以上基于人臉識別的計算機視覺識別技術的方案在社區及多類重點區域的安防布控落地時，能夠自動完成識別、抓拍、對比，無須主動配合。從來訪人員身份被識別到信息告知，8 s內即可完成提醒，保安或片區民警可迅速響應，對于實戰具有較強的指導意義。

5 結束語

計算機視覺技術被認為是城市智慧安防的“眼睛”，能夠采集、捕捉、分析各類圖像及視頻信息，無論安防程度還是安防效率，都傳統人工無法企及的。誠然，這雙“眼睛”也存在一定弊端，它不可避免地會產生大量的人臉影像數據，日積月累，除了會耗費政府本就緊張的算力、網絡資源外，還會產生影像數據的隱私保護和監管問題。目前國內對這方面的政策仍然不夠完善，但不可否認的是，現在國家對于深度學習、計算機視覺等人工智能領域方面的大力支持，打造了一個比以往任何時代都有利于技術蓬勃發展的環境。

如今，各種新產品和解決方案不斷提出，行業間壁壘逐漸開始淡化。除了在安防領域的應用，計算機視覺還能夠在教育、醫療、金融領域以及諸如身份識別、刷臉支付等日常生活場景中提供技術支持。伴隨5G帶來的低時延、高速率以及大帶寬的網絡變革，未來類似醫療影像、自動駕駛等門檻極高的專業化場景也會逐漸被計算機視覺技術所攻克，相信計算機視覺行業生態在技術力量的驅動下，將會為城市治理、智慧安防以及更多的領域注入全新 活力。