邊緣計算在智慧城市社區級感知層的應用

楊潔亮 彭召旺 郭奕豐

（上海儀電數字技術股份有限公司 上海市 200233）

社會發展進入智能化、網聯化、數據化、信息化時代。“互聯網+”、人工智能（Artificial Intelligence，AI）、“智能+”分別于2015年、2017年、2019年首次被寫入政府工作報告。2018年開始上海連年舉辦世界人工智能大會(World Artificial Intelligence Conference，WAIC），在大的發展環境下，各行各業都在轉型升級、賦能；AI作為當前最活躍的科技創新領域，已逐漸滲透進社會的各個領域。

新世紀以來，國家實施《科技創安》工程，使企業和住宅小區《安全與安寧》是其中最重要的一項內容[1]。在“安防+AI”發展大趨勢下，AI等前沿技術與產業應用不斷融合、加深，安防產業進入智能化廣泛應用的新階段[2]。借助智能化安防技術、以科技構建智能化安全防范設施，變“人防”為“技防”，通過安防管理平臺加強社區級安防管理水平，全天候、全方位解決最后一公里問題，對住宅小區、園區、企業、學校、醫院等社會基層單元進行有效安全防范管理，具有重要現實意義[3]。

1 產品整體開發思路及架構

1.1 開發思路

產品定位是服務于智慧城市社區級安防管理，目標是配合社區級出入口、重點區域安裝的網絡攝像頭（Internet Protocol Camera，IPC）、網絡視頻錄像機（Network Video Recorder，NVR），實現出入口監控及控制，對預設人群進行跟蹤監測及安防預警[4,5]。產品化設計有別于純粹的技術開發，須以節約資源、控制成本、經濟實用、性能滿足使用需求為根本。本方案優先利用社區范圍內已部署的攝像頭，選擇高性能AI芯片設計邊緣計算終端[6]，并采用深度學習算法實現無感目標識別，通過對來自網絡攝像頭的視頻圖像進行結構化分析和預處理，與后臺管理平臺進行交互，最終將社區級結構化事件傳遞給更高一級智慧城市數據云端平臺，提高社區級的安防管理的便捷性和有效性。

1.2 產品整體架構

如圖1所示，整體架構包括系統硬件、系統軟件、應用軟件，所構建邊緣計算終端（AI網關）與管理平臺相結合，采用終端采集、終端識別，管理平臺可視化管理的運行模式。

圖1：產品整體架構

2 系統設計

社區級AI安防系統遵循“感知-計算-控制-統計”的管理邏輯，基于目標識別，從視頻/圖像捕獲、目標識別監測、到后方平臺管理，形成一個完整的閉環系統。

2.1 “端”的選擇

2.1.1 優先選用已部署的IPC

社區級安防終端產品的核心是目標識別，監測目標需借助攝像頭，在智慧城市的建設過程中，已安裝部署大量IPC，應優先選用已部署的IPC。但這些IPC通常并不具備AI算力，無法對所拍攝視頻進行結構化分析；雖然攝像頭廠商有具備AI能力的智能攝像頭，但直接替換海量的存量相機，經濟上不太現實，可通過部署AI計算設備對視頻圖像進行分析，實現對普通IPC的AI賦能。這樣，一方面能夠充分利用已有資源，降低部署成本，另一方面也符合“安防+AI”的智能化需求。根據情況，也可以增設IPC或者NVR。

2.1.2 選擇邊緣部署

在AI科技領域，深度神經網絡（Deep Neural Networks,DNN）在圖像識別分析、自然語言處理（Natural Language Processing, NLP）等方向得到了創新型應用[7]。由于參數多，深度學習模型的訓練與推理對運算能力要求較高，所以，業界普遍歡迎具備良好并行運算能力的圖形處理器（Graphics Processing Unit，GPU）芯片以及專用的AI芯片；但大算力、高功耗（200W以上）、高價格的高端GPU產品更適合于算力集中式部署，且集中式部署對于視頻圖像分析而言存在較高的傳輸成本。與集中式部署相對的邊緣部署，因靠近攝像頭視頻圖像源，可大幅度降低傳輸成本，進而降低系統的整體成本，所以，選擇邊緣計算部署。

2.1.3 選擇適配型嵌入式終端

通常的目標識別算法，特別是深度神經網絡框架，都是面向板卡GPU、部署在專用機架服務器上，其特點是并行計算能力快，適合十萬甚至百萬級大型目標庫的訓練、識別，但不足之處是價格昂貴、能耗高、體積大。對于小區級（人臉目標庫容量通常在數千人到幾萬），這類方案性價比太低，不實用。比較理想的實現關鍵技術的方案是將成熟的人臉識別算法或框架向嵌入式終端適配移植、測試優化，如使用GPU廠商專有API移植，或按標準接口OpenCL移植。

2.2 AI邊緣計算終端設計

作為一家廣電終端產品制造商，與市面主流芯片廠商建立有廣泛、深入的合作關系，在邊緣計算方面有著多種技術嘗試和積累。所設計的邊緣計算終端（AI網關）見圖2所示，產品基于ARM架構無風扇AIoT終端設備，搭載人工智能嵌入式平臺，搭載四核ARM處理器，支持4K@60fps，8路1080p@30fps，內置WiFi、4G模塊及豐富的連接接口，運行Android 8.0及Linux BSP軟件包，支持同時解碼4路H.264視頻流。所用多核處理器支持互聯計算以及用于計算機視覺、人工智能和沉浸式多媒體的強大而節能的處理，適合下一代物聯網應用，如虛擬現實、智能零售、工業物聯網、機器人等，功耗低（<6w）、體積小，非常適合小型尺寸和各種創新的智能IoT應用。

圖2：AI邊緣計算終端

該終端發揮人臉抓拍分析機的功能，集成安防監測的控制模塊，實際應用時，根據具體用處，可有不同的展現形式，比如門禁控制終端、出入口人員往來檢測終端等。

2.3 終端功能的軟件邏輯

AI邊緣計算終端發揮人臉識別終端作用，重點軟件邏輯描述如下。

2.3.1 人體距離探測及環境亮度感測

人臉識別終端產品的核心是人臉識別[8]，為保證其必要、有效及節能地工作，采用人體距離檢測技術、環境光線感測技術，如圖3所示為其工作裝置。

圖3：人體距離探測及環境亮度感測裝置

人體距離探測包括電源裝置、紅外線距離傳感器、距離感應控制器、IPC或者NVR。紅外線距離傳感器檢測是否有人接近，距離感應控制器內置感應芯片處理器，當距離感應控制器判斷有人體接近時，開啟IPC或者NVR，進而系統從IPC或者NVR獲得人臉靜、動態圖像。紅外探頭具有開關裝置，距離感應芯片被配置為能夠向開關裝置發送開關信號，以控制對應紅外探頭的開啟和關閉。距離感應控制器檢測到有人靠近才開啟攝像頭，有利于延長攝像頭壽命，特別是低成本的消費級攝像頭。

環境亮度感測包括電源裝置、環境亮度傳感器、光線感應控制器、光線補償照明燈。環境亮度傳感器若檢測到亮度不夠，光線感應控制器判斷會影響到IPC或者NVR的視頻圖像效果時，光線感應控制器打開光線補償照明燈，對環境光線進行增益。IPC或者NVR若采用紅外線原理，此時，可免用環境亮度感測。

電源裝置給系統供電，向每個紅外線距離傳感器提供0.5～2A的額定工作電流，紅外線距離傳感器的個數根據需要彼此獨立設定；項目采用 GPIO擴展電路控制執行機構的開關信號；感應的人體距離閾值、環境亮度閾值通過標定進行合理選擇，也可以采用分級閾值，不同閾值匹配不同的執行控制策略。

2.3.2 終端軟件開發

終端軟件開發包含嵌入式集成開發以及與管理平臺間交互部分的軟件設計。終端本地設置有數據庫，滿足所負責區域的人臉結構化數據存儲、所識別人臉數據計算和比對、訪問交互所產生數據的緩沖和存儲、軟件升級等的空間需求。終端的日常運行包括系統維護、固件升級、狀態監測等終端管理功能，這些功能是實現可商用、可運維的必須基礎功能。

終端人臉識別處理器基于嵌入式SoC芯片而開發，在芯片合作廠商支持下，以SoC芯片SDK（軟件開發工具Software Development Kit）包為基礎完成了嵌入式神經網絡算法（NNS）、框架的適配移植，利用嵌入式內置的并行計算硬件單元（DSP、GPU、NPU）執行神經網絡的測試訓練與推斷運算。終端軟件架構如圖4所示。

圖4：終端軟件架構

終端（網關）一方面直接訪問IPC，另一方面與管理平臺間直接對接、交互，交互部分的開發語言為：C/C++，Java，Python，Linux shell script。設備終端與管理平臺間主要開發的功能清單如圖5所示。

圖5：終端與管理平臺間交互功能清單

2.3.3 陌生人識別與處理

對于人臉識別系統而言，若檢測到的人臉未注冊、登記，則無法識別出、匹配到所對應的已注冊已登記人臉及身份信息，則視為陌生人。通常，陌生人在數據庫內缺少唯一標識信息，難以進行歷史軌跡查詢與回溯。為實現陌生人的查詢回溯，在檢測到陌生人臉時，自動生成陌生人人臉標識號、人臉特征值并注冊到陌生人數據庫。每次檢測到新的人臉時，都會使用陌生人臉庫進行識別，判斷是否已經在陌生人數據庫中注冊。若是，則寫入歷史記錄；若否，則按新的陌生人臉注冊到陌生人數據庫。考慮到陌生人的數量多，為確保系統性能，定期清理超過一定時限（如4周）的陌生人數據。

2.4 管理平臺構建（近端服務器）

安防監控管理平臺是應用端軟件平臺，作為服務端，其在AI智能化應用中擔當技術管理指揮官角色，是管理終端識別設備并展示數據的綜合管理后臺。搭建語言為Go Lang、HTML5+JavaScript(Vue、jQuery等框架)、MariaDB SQL數據庫、Redis緩存數據庫。主要有圖6所示功能模塊：登錄認證模塊、小區模塊、住戶模塊、設備人臉庫查詢、報表中心、系統設置、硬件對接服務等。

圖6：管理平臺主要功能清單

該管理平臺內主要包含如下功能：

（1）系統管理：用戶/角色權限分配及管理；

（2）人員管理：居民人員信息、人員照片、樓棟信息，網關和數字攝像頭的管理，包含添加、修改、刪除、查詢等基本功能；入庫居民的分類標簽設置；

（3）日常運行：入庫居民的運動軌跡查詢，針對歷史記錄進行一鍵回放；支持對于特殊標簽的短信推送；實時數據可視化展示；歷史數據的數據可視化分析，人臉識別結果查詢；支持報警信息的分類及查詢；

（4）設備管理：設備配置；設備運行狀態監控；設備的版本更新及遠程維護。

2.5 產品網絡拓撲

將IPC/NVR、AI邊緣計算終端（AI網關）、安防監控管理平臺、交換機、（近端/遠端）服務器接入同一個網絡環境，并進行網絡配置，即可完成一個社區級安防系統的網絡構建，圖7所示即為網絡拓撲圖。

圖7：產品網絡拓撲圖

一個終端（AI網關）可接入4路攝像頭，布局時根據實際情況靈活部署；AI安防監控管理平臺是一個后端管理平臺，與終端（AI網關）之間通過交換機進行交互，該平臺具有社區級數據處理功能；服務器是所謂的“云端”，可以是近端或者遠端服務器，近端布置在社區級、遠端例如是智慧城市數據平臺。管理平臺承擔日常運維管理功能，對終端（AI網關）進行運維管理，包括軟件升級、狀態監測，也可對攝像頭進行設備管理、狀態監測；終端（網關）能夠根據需求將數據上報給更上層的“云端”，以用于其進行大數據分析、規劃決策支持；進一步，社區級安防系統在終端的感知層與智慧城市運行平臺之間發揮承上啟下作用，將感知層上報的視頻結構化數據根據業務策略加工、過濾后轉發給智慧城市高一級數據運行平臺。

3 應用情況

截至目前，項目在某社區部署完成并開展了為期四個月的試運行。試運行期間，設備運轉正常。4臺AI網關共接入16個前端攝像頭，累計抓取1925220條數據，每個網關抓取數據條數如表1所示，整套系統運行狀態良好穩定。

表1：人臉網關抓取數據條數

同時，對單日連續24小時的實測數據進行了匯總，從識別總數、重復識別數、錯誤識別數、有效識別數、錯誤率、識別準確率維度，與其他產品的實測數據進行對比，如表2所示，本產品識別準確率達99.38%，效果顯著，性能優異。

表2：與某平臺的實測數據對比

試運行后，又在某社區進行了實際部署，作為無感電子圍欄，用于記錄、報告特定高齡老人行動軌跡。圖8為安防系統的部分運行圖，8a為管理平臺的實時數據展示界面，8b為人臉比對數據界面。

圖8：社區級安防系統運行圖

4 結束語

通過采用攝像頭、人臉識別、邊緣計算終端、管理平臺、聯網技術共同打造社區級感知體系，實現立體防控、協同處置與智能決策，賦能安防管理，具有低成本、低功耗、高性能的特點。

（1）率先服務于老舊小區，通過技術改造對原有數字攝像頭進行AI賦能，大大降低成本支出；

（2）人臉識別的結構化數據可持久存儲于服務器，一鍵即可調取視頻回放、查看人臉比對情況，不必投入大量人力查看取證，降低人員成本；

（3）可開展數據分析，展示居民管理、樓棟管理、設備管理的數據分析結果，便于制定并提供安全策略服務，提升社區整體服務質量；

（4）能夠根據用戶需求設計個性化細分方案，挖掘更多場景，解決安全防范問題，提升客戶管理化應用價值；

（5）對可疑人員、或者兒童、老人等關懷人群，可提供定向監控服務，通過信息化技術手段第一時間將數據同步給管理人員或者監護對象家屬，有助于事件即時響應；

（6）未來延伸擴展，支持并滿足上層智慧城市遠程監視管理需求。數據上報更上層的智慧城市數據平臺，助其進行大數據分析、規劃決策；或者相關數據與公安數據庫對接，為城市智能化安防提供新管道。