解析人工智能平臺在安防行業的主要應用

□ 文/鄧曄

作者單位：天地偉業技術有限公司

人工智能技術的歷程

2017年，國務院印發了《新一代人工智能發展規劃》、《促進新一代人工智能產業發展三年行動計劃》等政策文件，提出我國新一代人工智能發展的指導思想、戰略目標、重點任務和保障措施。明確了計算是AI發展的重要推動力，人工智能是目前人類社會面臨的最重要的技術變革，也是國家發展的重大戰略機遇。規劃中多次提出要重點對人工智能的計算的理論與模型、芯片與系統、平臺與環境等進行深入研究提前布局創新突破。

如果說第一次工業革命是信息化、第二次工業革命是電氣化、第三次工業革命是信息化，那么第四次工業革命就是智能化，人工智能就是新時代的電力。

1956年特茅斯會議，計算機科學家首次提出“人工智能”的概念，希望用計算機構造與人類智慧類似的機器，并在科研實驗室中不斷探索研究。由于受到算法、算力等多方面因素的影響，人工智能技術和應用發展經歷了多次高潮和低谷。2006 年以來，以深度學習為代表的機器學習算法在機器視覺和語音識別等領域取得了顯著成功，識別準確性大幅提升，令人工智能再次受到廣泛關注。另外，云計算、大數據等技術在提升運算速度和降低計算成本的同時，也為人工智能的發展提供了豐富的數據資源，協助訓練出更加智能的算法模型。

作為新一輪產業變革的核心驅動力，人工智能在孕育新技術新產品的同時，也對傳統行業進行了巨大賦能，推動經濟結構的重大變革，實現社會生產力的整體提升。人工智能將人從枯燥的勞動中解放出來，越來越多的簡單性、 重復性、危險性任務由人工智能系統完成，減少人力投入和提高工作效率。人工智能還可以在教育、醫療、養老、環保、安保、司法等領域得到廣泛應用，提高公共服務精準化水平和人民生活品質；人工智能可對基礎設施和社會安全運行的態勢準確感知和預測，主動做出決策反應，提高社會治理能力和水平。

不同的人工智能方法幫助解決不同類型的問題，經典機器學習適于統計問題和推薦引擎。深度學習適于圖像/語音識別、自然語言處理、模式識別檢測，推理適于供應鏈、數據庫欺詐檢測、波動分析，新興方法適于生物序列對比等。簡單說，人工智能是能夠感知、推理、行動和適應的計劃；機器學習是性能隨時間推移和數據增加而逐步提升的算法；深度學習是機器學習的一個分支，通過多層神經網絡在海量數據中進行學習。

▲人工智能/機器學習/深度學習的關系

機器學習是通過各種算法從大量的數據中學習和訓練如何完成任務，然后對真實世界中的事件做出決策和預測。機器學習比較適合的應用領域是計算機視覺，需要手工開發編寫各種算法，模型仍然是人工的，存在知識獲取難、知識領域窄、推理能力弱，實用性差等問題。隨著計算處理能力和學習算法的發展，多層人工神經網絡推動人工智能進入繁榮期。人工神經網絡是從信息處理角度對人腦神經元網絡進行抽象，建立某種模型，按不同的連接方式組成不同的網絡，它是模仿大腦的神經元之間傳遞和處理信息的模式，每個神經元通過某種特定的輸出函數，計算處理來自其它相鄰神經元的加權輸入值。神經元之間的信息傳遞的強度，賦予加權值，算法不斷自我學習和調整這個加權值。神經網絡算法的核心就是計算、連接、評估、糾錯、反復訓練，主要特點是非線性、分布式、并行計算、自適應、自組織。

▲深度學習對比傳統機器學習

由于神經網絡依賴海量數據和大量運算進行調制訓練，對于計算速度、網絡速度、內存容量、數據規模等各方面提出了更苛刻的要求。而1999年nvidia推出的GPU芯片，在設計時，最底層的算術邏輯單元擅長大規模并行計算，特別適合神經網絡所需要的大量矩陣計算操作。2007年，nvidia推出了cuda并行計算開發接口，使得開發者可以更方便地使用GPU開發應用軟件。憑借GPU的爆發，人工神經網絡實現了多層多元拓展，2012年，通過“丟棄算法”和“激勵函數”優化的卷積神經網絡，贏得ImageNet冠軍，證明了機器學習能在可控的計算成本內快速輸出更加準確的結果。

2015年以來，全球數據井噴式的爆發（年均增速都在40%以上）、GPU計算能力的飛速增長和深度神經網絡算法的突破，使得并行計算變得更快速和更有效，人工智能開始全面爆發。深度學習使得機器學習拓展了人工智能的領域范圍，讓幾乎大部分機器輔助功能都變為可能，比如無人駕駛汽車、無人機、語音識別、欺詐檢測、產品推薦等方面。在圖像分類、物體檢測、圖像語義分析、人臉識別、光學字符識別等計算機視覺領域，深度學習的應用尤為廣泛，在一些場景中甚至可以比人做得更好。其中，深度學習對圖像解析的突出作用使得視頻監控系統得到了跨越式發展，視頻監控的核心需求是在圖像中準確快速地發現目標，人工智能將傳統的錄像回放轉變為實時預警布控，為大數據分析研判提供了重要技術支撐。

▲人工智能平臺架構

深度學習平臺的現狀

深度學習的應用主要來自三個方面：巨大的標記數據樣本（圖像和語音）、先進的算法/模型/軟件（神經網絡算法CNN和RNN以及深度學習框架）和高性能計算（數據樣本多/模型訓練時間長/參數更新快速同步）。

▲深度學習的三駕馬車

除了數據之外，算法和算力分別從軟件和硬件兩個維度撐起了人工智能平臺的巨大生態。

算法方面，目前CNN的深度學習框架主要包括：加州大學伯克利分校維護的Caffe、谷歌維護的Tensorflow、微軟研究院維護的CNTK、分布式機器學習社區維護的MXNet以及百度維護的PaddlePaddle等。CNN分為模型訓練和應用推理兩個環節：模型訓練是獲取推理模型，應用推理是根據訓練模型和輸入數據獲取計算結果，如圖片分類。不同環節采用不同的計算架構：模型訓練使用CPU+GPU計算架構，應用推理可以采用CPU+FPGA、計算架構等。主要因為：GPU算法實現架構成熟，適合較復雜的訓練算法，FPGA可靈活實現多任務處理且運行能效更好。

以Caffe為例，其特點是上手快（模型與相應優化都是以文本形式而非代碼形式給出）、模塊化（設計上力求模塊化，允許對新數據格式、網絡層和損失函數進行擴展）、表示和分離（模型定義寫進配置文件，根據網絡需求調度內存）、測試覆蓋（每個模塊對應一個測試）、開放性（公開的代碼和參考模型）

算力方面，當下實現深度學習的高性能計算硬件平臺主要包括GPU、ASIC、FPGA，GPU因為先發優勢占據較大市場份額，FPGA正試圖在云端服務器發力，ASIC難度更高但更適用于深度學習算法。算力需要具備并行性、多線程、高內存帶寬等特性，而且由于數據的訓練時間長，需要低功耗的硬件架構。三類平臺和傳統CPU平臺的性能對比如下：

▲算力平臺對比

GPU是目前深度學習訓練系統比較成熟和廣泛的硬件平臺，最初為處理圖形而設計具備了大規模的獨立神經元，相比CPU的串行邏輯，GPU更擅長高度并行的密集計算，有很多計算核心是為矩陣運算專門優化，并且GPU為適應復雜多層網絡，提供15TFLOPS的單精度浮點計算能力和900GB/s帶寬。通常，訓練平臺采用CPU+P4/P40/P100/V100等GPU卡組建集群和數據中心，應用程序的串行部分在CPU上運行，計算任務繁重的部分由GPU加速，CPU與GPU通過PCIE總線通信，此外，邊緣端的推理應用可以采用Jetson方案。GPU主要通過專用編程框架CUDA軟件開發，CUDA不需要借助圖形學API，采用通用計算并行架構和C語言進行開發，降低了難度。

FPGA適合的應用場景包括：計算密集型高、實時性要求高、任務可并行處理以及大量重復性計算。CPU可以實現的功能，都可以用FPGA靈活實現，且單顆功耗較GPU低。對復雜系統進行合理的軟硬件設計，由CPU和FPGA合作完成系統功能也是目前比較流行的方案。FPGA的開發方式主要包括OpenCL和VHDL，前者的開發效率會好一些。FPGA要在人工智能計算中發揮更大作用，還需要提高計算能力（浮點運算能力和改進算法）和易用性（更加通用高性能的神經網絡開發架構）

ASIC是指專為AI應用設計的專屬架構的處理器芯片，能效最高，量產后平均成本低，最具代表性的ASIC芯片是谷歌的張量處理單元TPU、英特爾的Xeon Phi KNL、高通的神經網絡處理器和華為海思，打敗圍棋世界冠軍李世石的AlphaGo采用了谷歌的TPU產品，寒武紀、地平線等國內ASIC芯片公司針對機器視覺也推出了專用芯片。相比GPU和FPGA的靈活性，定制化的ASIC一旦制造完成就不可再更改，由于AI算法迭代快速，需要設計公司具備ASIC芯片研發、底層硬件編程和算法框架等多重能力，門檻較高，且ASIC開發周期長、一次性成本高，導致開發風險比較大。

CPU主要是以intel第二代MIC架構Xeon Phi融合處理器為主的深度學習訓練系統，針對高度并行工作負載設計的向量處理單元、片上高速內存和集群模式，提供AVX-512指令集實現向量化計算，并且支持Caffe框架。

人工智能與安防行業的結合

經過十多年的平安城市建設，中國已經成為全世界最大的安防市場，視頻監控作為安防系統中不可或缺的重要組成，正日益發揮更加重要的作用，在平安城市、雪亮工程等重點建設項目的背景下，安防已成為人工智能最為重要的落地場景之一。隨著平安城市建設的推進和深化，目前新建監控項目已基本實現高清化，隨著建設規模的逐步擴大和人工智能、云計算、大數據技術的興起，平安城市應用正逐步向警務云、大數據應用等方向轉變。高清監控視頻信息作為公安最重要的數據資源之一，遍布城市大街小巷的攝像頭，每天都會產生大量視頻資料數據，不僅為社會治安穩定發揮作用，也為智慧城市和物聯感知提供信息支撐，但這些圖像資料目前還僅停留在事后查看的層面，沒有被充分利用起來，如何能夠被用戶快速消化使用，成為更有價值的情報數據呢？讓用戶從這些數據中自行尋找線索，不僅占用了大量的人力、物力和時間，同時由于個人能力的差異也會導致針對信息的認知偏差。例如針對卡口實現了主干道的車輛識別，覆蓋面有限，其他活動目標及特征無法獲取，大多依靠人工進行收集和處理，難以結合時空數據進行快速檢索和分析研判。

如何解決海量視頻監控數據與人力分析瓶頸之間的矛盾是產業技術升級的主要方向。安防行業多年前就將智能化作為主要發展趨勢，視頻分析是人工智能的重要熱點之一，人的信息獲取絕大部分是從圖像中來，從技術成熟度和應用場景看，圖像智能的發展更接近實用，進步也更快速。

今天，城市里的數據非常豐富，其中攝像頭的數據量非常大，可以挖掘出巨大的價值，可以解決城市管理中的諸多難題。我們希望把視頻圖像里面的內容和目標自動轉換成結構化數據，讓每個人都能直接理解人/車/事這幾類主要信息，車：車型、車款、車牌號碼、車輛顏色、行駛方向、行駛速度，人：步行、騎車、性別、年齡、上身、下身、背包拎包，事：擁堵、逆行、徘徊、奔跑、劇烈運動、交通行為。有了以上數據就能進行決策和優化，比如根據交通流量優化紅綠燈配時系統，比如在視頻中搜索可疑車輛（肇事）和可疑人（失蹤），比如挖掘數據之間的關系和規律，找到數據之間背后的原因，還可以進行趨勢預測，比如半小時甚至更長時間后的車流和路徑規劃。但原先的智能分析技術一直存在識別準確率低、場景適應性差、識別種類少等問題。深度學習通過大量數據訓練來建立輸入數據和輸出數據之間的映射，通過人工智能來自動處理海量監控視頻數據，解決了以往的技術瓶頸。以平安城市為例，針對道路監控等相對標準場景的視頻，可進行人臉動態識別和機非人實時結構化分析和特征信息提取，轉化為公安所需的情報線索。

目前，安防行業中基于深度學習的人工智能產品，以天地偉業為例，主要識別方向包括：車輛分析、人員分析、行為分析和圖像分析，產品形態分為前端智能和云端智能。

前端產品主要是用于邊緣節點計算的AI攝像機（人臉識別攝像機/卡口電警攝像機），在采集視頻和圖片的同時，依靠內置的算力芯片和智能算法，為云端的數據中心提供結構化的數據，可以減少云端分析處理的計算資源壓力和網絡帶寬等系統成本。缺點是前端設備空間有限、功耗成本較高，導致有限的硬件資源只能運行相對簡單、對實時性要求高的算法。

云端產品主要是智能NVR、人臉識別比對服務器、車輛結構化分析服務器和視頻結構化分析服務器，智能NVR是在集中存儲圖像的基礎上，通過集成深度學習算法實現了針對視頻內容的智能分析和信息提取，比如小型比對庫的人臉識別/車輛識別等，適合中小型項目使用。后三類智能服務器通過在X86服務器集成高性能GPU芯片和深度學習算法，專門對人臉特征、車輛特征、機動車/非機動車/行人的全目標特征進行快速提取和準確識別比對，比如1億人臉底庫的識別比對、卡口過車圖片的二次特征提取和以圖搜車、行人的衣著體貌特征識別和以圖搜人等。云端產品能根據客戶需求靈活配置硬件資源，可以運行復雜，業務響應置后的算法，且升級維護比較方便。

▲步行街人臉動態布控

▲道路監控視頻的機非人全目標特征結構化

隨著智能需求日益增多，更多數據的采集和計算未來都將在前端進行邊緣節點計算，前端初步處理分析后回傳到云端進行深度分析，前端智能和云端智能并不矛盾，可根據客戶的具體需求靈活組合，實現更智能的分布式計算，提供差異化的智能解決方案。一般來說，檢測、跟蹤、去重、摳圖等相對通用的應用以及拌線、越界、徘徊、計數等行為分析類的應用適合放在前端，而提取細節特征、識別比對等以及涉及敏感信息的復雜應用適合放在云端，要結合實際設計，實現資源利用最大化。

算力發展引領安防感知

▲邊緣節點計算的價值

深度學習的迅猛發展，依賴快速發展的 GPU芯片技術和平臺生態，隨著人們逐漸認識到專用計算芯片對人工智能的重要作用，圍繞 AI 任務進行專有加速的芯片越來越多，但無論是 AlphaGo 背后的谷歌 TPU 還是加入了全新 Tensor Core 結構的英偉達 Tesla V100，這些芯片都是為服務器端進行設計的，芯片面積較大（英偉達 Volta 的 Tensor Core 面積有 800 平方毫米，只有靠領先性能降低數據中心的集群成本），因此也面臨著來自英特爾Nervana和Arria10/Stratix10等FPGA更低功耗更低成本計算平臺的威脅。

針對前端和移動端設計的AI芯片在功耗和性能上正在不斷發力，目前的實現方式主要有兩類，即FPGA和ASIC。FPGA的代表如 Xilinx 主推的 Zynq平臺，而 ASIC的代表如華為海思的3559A和英特爾Movidius的Myriad。對于安防監控系統中負責前端感知的攝像機，通過ASIC架構的AI芯片進行圖像內容的特征提取和結構化描述，為實戰應用提供可直接查詢檢索和分析研判的線索，這無疑將盤活原先靜態存儲的海量視頻數據，為破案預警和城市管理提供巨大的廣闊的應用前景。對于華為海思，3559A芯片的推出，意味著基于視頻監控領域絕對領先的市場份額，海思龐大的開發制造生態鏈，擁有了推動產業升級變革的重磅武器，3559A集成了H.265視頻編碼，提供了高效豐富的計算資源（包括雙核A73和雙核A53、集成的GPU支持OpenCL、集成智能分析加速引擎和雙核CNN）。目前即將上市的基于3559A的AI攝像機主要以人臉識別攝像機和車輛電警卡口攝像機等行業高端應用為主，高性能的算力和成熟的算法將可以在前端實現人臉特征提取比對和車輛子品牌年款/年檢標/打電話/安全帶等功能，而這些原先只能在云端GPU服務器進行提取和運算。當然，由于信息安全風險和暫時缺乏統一標準等問題，具備AI深度學習的前端智能產品和云端智能產品各有擅長且長期共存。

▲基于海思3559A的天眼交通相機

AI感知不是終點，只是起步

安防行業的發展中，人工智能將發揮至關重要的作用。行業應用離不開人工智能，人工智能也離不開行業應用，人工智能要落地，一定要深入到行業中。

智慧城市的信息感知，目標是全面、全量、實時。一方面，通過邊緣節點計算和云端計算把非智能的設備和系統轉變成具有強大人工智能的設備和系統，讓機器替換人力。另一方面，人工智能平臺不僅需要感知，還需要數據分析挖掘，因為城市管理的問題復雜度、數據數量級以及可能產生的價值和影響力無法估量。基于人工智能的大數據平臺， 通過面向AI的大數據治理技術將海量多源異構數據治理成行業知識，再基于知識圖譜數據庫完成行業知識圖譜存儲，通過機器學習、符號推理等技術可以主動分析挖掘隱藏在人的行為背后的行業知識。目前的人工智能行業場景中，知識圖譜是技術難度較大的技術領域。以公安場景為例，案件發生后，最困難的是如何找到線索，為了把涉及案件和人的所有要素全部串聯起來找到互相關系，首先就是把系統中的基本數據概念化、符號化，按照人、事、地、物、組織五要素分類，通過知識圖譜進行邏輯推理和情報研判。

從感知智能到認知智能，人工智能將通過關鍵技術的持續突破推動行業跨越式發展。