智能圖像監控前端系統技術分析及應用

毛曉東

(上海市公安局科技處，上海 200042)

責任編輯:任健男

公共安全是國家安全的重要組成部分，是人民安居樂業、是建設和諧社會的基本保證。公共安全的信息化是實現公共安全的基礎保障，是中國未來科技發展的重點領域。多年來，公安機關借助社會信息化的發展，通過實施“金盾工程”、“平安城市”等一系列安防信息化的建設，在完善社會公共安全管理、維護社會安定團結、健全社會治安防控體系、提高警務指揮等方面發揮了重要作用，特別是在視頻圖像的建設和應用方面，全國各地的監控探頭如雨后春筍般佇立起來，公安機關與社會單位監控資源紛紛聯網，初步形成了遍布全國重要場所、道路交通、重點區域、敏感地帶等視頻防控信息系統，在進行重大活動、日常警務工作、公共安全管理、社會治安管理、突發事件處置、反恐處突等方面發揮了不可替代的重要作用，治安防控體系已具備雛形。

隨著中國社會經濟的高速發展，社會安全的危險性和人民的安全意識也逐步提高。社會的公共安全形勢也變得越來越嚴峻。社會矛盾凸顯，影響社會和諧穩定的各種因素日趨復雜多樣，社會公共安全領域中人流、車流、物流、信息流和意識流速度加快，對公共安全管理充分利用視頻防控信息技術維護社會穩定、治安管理、打擊犯罪、反恐處突等工作提出了新要求、新挑戰、新思考［1］。

充分研究、應用智能化的視頻防控信息技術，為增強公共安全管理工作的預見性、前瞻性、統籌分析判斷、科學動態指揮、快速反應處置，切實提高維護國家安全的能力、駕馭社會治安局勢的能力、處置突發事件的能力、為經濟與社會發展服務的能力，提供強有力的視頻分析信息應用技術支撐，已經成為時代的要求和社會公共安全管理的實戰需要。

1 上海城市公共安全圖像監控系統建設和應用現狀

經過改革開放30年，特別是近10年圍繞重大公共活動(如奧運會、世博會、世游賽等)安全保衛的建設，上海市的政府部門、企事業單位，如金融、文化、商業、教育、醫院、化工、食品生產、居民小區以及報警服務企業等，陸續開展圖像監控系統建設。尤其為確保2010年上海世博會的安全舉行，政府各委辦局根據各自業務需要，增加建設了大量監控探頭，有效提高了公共區域和重點目標的監控覆蓋。在探頭數量與聯網規模上，上海城市圖像監控系統的整體水平處于國內領先水平。

盡管上海公共安全圖像監控系統建設已處于國內領先水平，但是與國際發達城市的水平相比、與迅速增長的平安城市安保要求相比，已有設備新技術的應用還有一定距離和主要體現在以下幾個方面:

1)被動式的人工監看與分析。目前，公安專用監控

網絡普遍采用人工重點實施觀看和突發應急綜合指揮兩種基本的運行模式。監看人員根據經驗和實際情況對重點部位的視頻進行重點觀看，如果發現異常會及時通知、調度現場周圍的民警進行干預和處置。遇到重大突發事件或者重大社會活動時，通過視頻監控室了解現場動態的重要手段。各級領導在指揮中心進行集中指揮，通過視頻監控網絡對全局事態直觀掌控。此外，公安實戰部門的視頻應用模式還比較原始，基本依靠人工分析。在這種應用模式下，無論是視頻監控網絡的運行人員還是一線的辦案民警，他們的工作量都非常大，不但視頻數據的應用效率非常低，而且案件辦理的成本非常高。

2)圖像分辨力較低，感興趣目標的信息量不足。前端攝像機和后端的顯示設備以支持標清為主，基本像素僅40萬左右(水平解析度約480線)，很難獲得感興趣區域的細節信息，例如犯罪嫌疑人面部特征、犯罪現場細節和車牌等信息。而視頻監控系統的帶寬和存儲資源有限，錄像格式的分辨力通常較低，導致監控視頻中大部分目標圖像的分辨力較低，很難達到事后取證的要求。

3)缺乏智能應用模式的探索?，F代城市呈現出的人口高度密集和流動，車輛等交通運輸系統繁忙，重大活動多且參與人員廣泛，恐怖事件、突發事件和惡性案件復雜且頻發，犯罪行為和手段高明且隱蔽，城市范圍越來越大、城鄉滲透互動發展迅速，信息傳播高度發達，科技發展速度快等特點，“異常事件”的發生和定義不斷發生變化，從而使得智能應用的模式也要不斷變化和更新。目前帶有智能視頻分析的前端系統大多針對某種特定事件進行探測，缺乏一種對異常事件的結構化的描述及快速響應的應用模式。

4)設備技術標準混亂。目前，配備監控網絡的建設，TC100標委會、公安部等部門出臺了相關的標準，例如《城市監控報警聯網系統技術標準》等十多項標準，對監控網絡的建設中的技術指標、驗收指標等做出了較為系統的規定，構成了有關視頻監控網絡建設的標準體系。但是對于視頻監控設備的相關標準只有數項，沒有構成一個完整的標準體系，使得目前監控設備的研發和市場狀態較為混亂，設備兼容性差，建設單位在視頻監控網絡建設中研發設備原型的壓力和風險都很大。另外，目前對監控設備的配備、操作和系統運行等事關監控網絡運行和數據應用效率等重要方面缺乏相應的標準。

因此，提高圖像質量與帶有檢測識別預/報警功能的視頻監控前端系統成為公安一線對圖像監控技術升級的現實需求，有望推動公安視頻信息化應用的深度變革。

2 圖像監控智能前端系統應用模式分析

監控前端作為視頻信息處理的第一個加工廠，在整個視頻監控系統中發揮了重要的作用。目前大部分基于圖像的智能化分析多集中在后端的監控中心，很少有前端系統帶有主動感知異常的功能或者只針對簡單場景，集成越線、區域入侵等簡單的分析功能，這樣不僅響應速度慢，而且不能有效緩解當非異常情況發生也要進行編碼傳輸的操作，造成了很大處理資源及網絡資源的浪費。因此采用智能前端系統具有較好的應用前景，目前其主要的應用模式主要分為4種，如圖1所示。

圖1 智能前端4種應用模式

模式1的系統是在原有的非智能的監控系統框架下增加智能視頻分析及主動感知的功能，采用串行連接的方式，在探頭和編碼器之間增加一個智能視頻分析服務設備，使得智能視頻分析與編碼系統和探頭相對獨立，信號串行處理，這不僅增加了系統的復雜性，也造成了多設備交互的處理及響應的延時。

模式2的系統從設備角度采用并行聯接的方式，攝像機探頭與智能圖像處理服務器和編碼器分開，并用某種硬件接口互聯，智能圖像處理服務器和編碼器對攝像機采集的圖像并行處理，相對獨立，大大阻礙了探頭、智能感知分析、編碼這3個部分的高效協同的工作機制。

模式3則將編碼和行為分析模塊結合在一起，減少了設備之間的交互操作，既節約系統處理時間，減低了成本，同時方便系統維護;另一方面將兩個處理模塊結合在一起有利于智能感知分析、編碼兩部分高效協同的工作。

從技術角度而言，模式3也較為成熟，具有在實際場景中使用的能力。

模式4是一體化的智能前端模式，高度集成了視頻采集、分析、編碼和傳輸的功能，是智能前端未來發展的一個方向。目前受到硬件平臺處理能力的限制，不能實現復雜的智能分析功能。

智能前端編碼和行為分析模塊目前都有多種算法可以應用，在選擇算法方案時，主要基于以下方面:

1)算法性能的評估。即編碼算法的壓縮效率和圖像質量，行為分析算法的檢測準確率。僅考慮算法性能，則編碼質量和行為分析檢測率越高越好，但一般會造成算法復雜度的上升，進而影響系統實時分析性能，從而也需對算法復雜度進行評估。

2)算法復雜度的評估。簡單來說，即是算法的耗時和存儲單元的使用情況，對于智能前端來說，算法的復雜度不能影響系統的實時性分析，一般而言算法復雜度的降低往往會帶來性能的下降。

因而在選擇算法方案時，要對性能和復雜度進行折中，既要使算法性能滿足智能前端系統的需求，同時算法復雜度不能影響系統的實時性。定義代價比為，選擇的算法能使得λ越大越好，公式為

綜上所述，實際應用中針對不同場景和目標類型應該選擇性能復雜度代價比高的方法。

3 關鍵技術分析和挑戰

面向公安行業應用的智能前端監控系統在技術和應用上面臨著許多挑戰。需要解決以下幾個難點問題:

1)高準確率、高穩健性的信息提取。面對公安行業的應用特點，大多數的探頭將安裝在室外的公共場所，監控的區域包括道路、多類重點目標等。對這些場景的視頻分析面臨著各種實際的環境適應性的挑戰，包括雨雪天氣變化、光照變化、樹木擾動以及電器設備噪聲的影響，如何克服這些環境的干擾，高準確率地提取信息是本系統要解決的一個難題［2］。

2)多種類型目標的檢測。在城市公共安全圖像監控系統中，需要關注的目標很多，類型也各不相同。例如目標包括車輛(機動車包括小型車、貨車、公交車，非機動車包括自行車、三輪車、電動車)，行人個體和群體(大尺度、中尺度、小尺度)等，如何在復雜環境中有效提取多種類型目標的信息也是本項目要面臨的挑戰［3］。

3)高效、內容自適應的視頻編碼和傳輸。視頻編碼技術的進步給高清監控帶來了新的發展，有效緩解了高清視頻監控在網絡帶寬、解碼顯示能力、存儲資源上遇到的瓶頸，成為了監控行業全面高清化最有力的助推力量。

上海公安自建的探頭以固定探頭為主，尤其是今后“十二五”期間高清建設中也將保留這種前端固定探頭為主的模式。這樣視頻場景比較固定，大部分時間的視頻信息不需要重點關注，尤其是在夜間或非忙時階段，如何利用數字視頻智能分析的結果，有效地篩選感興趣目標和區域并進行自適應調整碼率分配策略，達到高效編碼、傳輸和存儲的目的，是本項目要面臨的挑戰之一。

4)穩定的系統設備及實時的處理性能。本項目的智能前端系統設備需要安裝在被監控目標附近，通常在室外的配電設備箱中面臨著環境溫度、濕度變化、灰塵等惡劣條件。設備運行時需要7×24 h不間斷工作，需要設備具有遠程升級、自檢的功能以及工業級的環境適應性和可靠性設計。另外，面向公安實時高清應用的需求，設備需要具有高效快速的軟硬件處理能力。環境的適應性需要比較復雜的智能分析算法來補償，而復雜的算法需要強大的處理能力，如何權衡現有的軟硬件處理能力和優化算法的性能是本項目面臨的另一個挑戰。

5)符合公安實戰應用的工作模式。上海公安擔負著上海國際化大都市的城市安全管理、治安防范等工作，其相關的業務要求圖像監控系統應具有圖像清晰、響應速度快、穩定可靠、易于管理和維護等特點。智能前端設備如何與探頭數據采集、傳輸、存儲、應用等系統協同工作的機制和模式是本項目需要解決的關鍵問題。

4 應用前景分析

4.1 應用條件

智能監控在過去幾年一直未能真正實現普遍性商用，主要停留在小范圍，在特定行業的試用，分析其應用受限的原因和條件，可以從圖像清晰度、算法的高效性和穩健性、軟硬件平臺及應用模式幾個方面進行。

1)圖像高清晰度是實現智能前端應用的前提條件。視頻圖像質量低下而無法為智能分析提供基本素材，但這兩年隨著高清技術的逐漸普及，使得基于高清晰圖像實現智能分析成為可能且技術不斷成熟，大大提高了智能信息識別的精度。

2)算法的高效性和穩健性是智能前端應用的首要條件。智能前端編碼和行為分析模塊目前都有多種算法可以應用，在選擇算法方案時，主要需要權衡算法的性能(包括檢測識別的準確度和環境的適應性)和算法的效率(實時性)。即選擇的算法方案既要使算法性能滿足智能前端系統的需求，同時算法復雜度不能影響系統的實時性。

3)嵌入式軟硬件系統的性能提升是智能前端應用的必要條件。由于智能分析算法通常采用計算機視覺、模式識別、機器學習領域的知識，通常算法復雜度較高，采用高清視頻后，復雜度也將曾指數增長，所以嵌入式系統為主要設備形態的智能前端監控系統的廣泛應用也受到軟硬件平臺性能的限制。

4)行業的應用模式是智能前端應用的決定性條件。無論是何種技術，必須能在實際中面向應用才能在市場上普及應用。智能前端的商業應用需要深入研究市場業務系統的需求，以市場為導向，促進智能前端技術的不斷推廣。

4.2 應用前景

智能前端系統的研究可以對面向上海城市公共安全的智能監控應用提供必要的算法創新和技術儲備，同時為新型智能視頻監控系統的架構設計提供參考方案。隨著智能視頻監控系統及嵌入式智能前端設備的市場推廣、大規模商業化進程，可以促進新的業務鏈的形成，有著廣闊的市場前景，將產生巨大的經濟效益。

5 總結

當前，上海公安工作面臨的形勢發生了許多新變化，呈現出許多新特點。同時，科學技術日新月異，發展迅速。結合上海公安工作的發展特點和科技與信息化工作的實際情況，充分發揮世博后續效應，深入推進網絡、通信手段、圖像信息、數據共享、信息采集和安全等信息通信基礎設施建設，滿足各類實戰應用對于信息通信基礎的需求。力求“十二五”期間把上海建設成以數字化、網絡化、智能化為主要特征的“智慧城市”，并努力使上海成為最安全的大都市之一。

［1］周立.關于社會公共安全視頻圖像監控系統建設、管理及應用的幾點思考［J］. 中國安防，2009(10):18－20.

［2］曾令卉.城市視頻監控系統解決方案［J］.電視技術，2012，36(5):131－133.

［3］尹曉華.智能監控系統多目標檢測跟蹤技術研究［D］.西安:西安交通大學，2006.