基于圖像識別的人群活動數據分析與服務平臺

匡涂上青 祁宏 周盛文

摘要：公共環境管理離不開對人群活動數據的采集與分析，人群數據同樣也具有豐富的應用價值。本文從人群活動數據的潛在價值入手，分析其在公共管理、建筑改良設計、消防安全等方面的應用;結合現有技術手段和部署方法，主要包括圖像識別方法和融合方法，討論如何實現人群分布的識別與分析;通過舉例分析應用場景和服務方式，例如web技術、公共環境顯示等，擬結合技術構建一個人群活動數據分析與服務平臺，探索得出具體可行的平臺構建方式。

關鍵詞：圖像識別;圖像融合;人群數據;公共管理;

一、引言

人類社會發展離不開對人類社會活動的研究。公共管理，建筑設計，消防安全等多方面的發展進步都需要此類研究作為支撐。但其重點研究對象不僅僅是個體，群體也是重點之一。對個體的研究主要采取調查和跟蹤采訪，但對于群體而言，僅能通過群體的分布信息或者活動軌跡來研究。因此，如何挖掘和分析這些有價值的人群數據并且將其應用到實際中來，成為了一種新的公共管理需求。以下通過三個章節分別論述人群數據的應用價值，技術路線以及應用場景和方式，深入討論平臺可行性。

二、人群數據分析的潛在價值

當下正是大數據技術爆炸時期，人們對于數據的分析需求越來越大，但數據的收集、處理能力也越來越強。例如，現今非常成熟的圖像識別技術，蓬勃發展的數據挖掘、融合技術，為處理海量、復雜的數據提供了多種研究方法。因此，需要一個利用現有計算機技術，收集、整理人群數據的平臺，滿足不同場景下的需求，給需要這些分析建議的用戶提供及時、可靠的服務。

因此，本文中對人群數據的深入探究，有助于發掘人群數據的潛在價值，對人類行為學、社會學、建筑學、公共管理學等有促進作用，其中有關公共環境合理性的改善、消防安全性的提升以及減少擁堵、踩踏事故的發生，更是有著直接的應用關聯。

例如，通過分析人群的分布規律，對某些較狹小的公共場所的空間布置進行合理規劃，提高空間利用率，減少擁堵情況的發生，那么在發生火災或其他事故時，也有利于人群快速、安全地疏散，在一定程度上避免踩踏事故的發生，造成不必要的損失;亦或對于商場商家來說，某些柜臺、廣告牌的擺放，不一定具有科學性。通過平臺的直觀展示，能夠及時調整這些設施的位置，帶來更好的經濟效益，這是平臺數據的商業價值。

更加具體而又貼近生活的例子就是高鐵站，而文章對于高鐵站存在的空間管理以及人群引導問題有過專門的調查研究。傳統高鐵站區空間研究對于人群活動分析與定量研究不足。國外Schutz等人對車站區域空間研究較為成熟，通過對開發案例的總結，提出的“三圈層空間模型”，如圖1所示，以距站點的距離為基準，從可達性、建設密度等方面表現圈層特征。“三圈層結構”在通常情況下被認為是一種理想的形態，能夠產生外部集聚性，有助于促進站區的發展，因此成為當前高鐵站區的模型支撐。

但是，以空間為基準的三圈層模型在人群行為活動的分析方面較為欠缺，而作為人口集散點的高鐵站區，無論是交通出行的職能還是新城發展對人群集聚的需求，都體現了人群活動對高鐵站區規劃發展的重要意義。

通過以上舉例分析，不難發現在現有公共環境管理的條件下，如果能夠充分利用人群的活動數據，將其中潛在的有價值信息挖掘出來，并且找到一個或多個合理的應用角度加以落地，就有可能解決許多現有技術條件下難以解決的問題。

下一節中將討論如何利用現有的技術手段，以及公共環境條件，對人群數據進行從識別到分析再到服務的處理，通過對技術路線和系統層次的講解，來剖析技術難點，提出解決方案。

三、圍繞圖像識別與處理的技術路線

本節主要討論實現平臺的技術手段和構建方式。平臺通過收集人群數據和在線分析，將處理后的可視化結果呈現給用戶，并且通過隱結構信息挖掘，給用戶提供空間利用率方面可能的改善建議，作為平臺的輔助決策服務。

從需求分析，到方案提出，再到問題歸納，最后改進現有方案，這是系統中每一層次的技術路線，也是系統整體的研發路線。

根據平臺功能模塊的需求，如圖2所示，橫向部分將系統分為三層，采集層、分析曾和應用層，分別負責的是識別與采集、數據處理與決策和用戶服務與反饋。

而縱向流程為每一層技術路線，均從需求分析出發，提出合理的方案、結合實際問題進行改進。并且，由于人群服務的場景大多不確定，空間結構復雜、難以形成統一結論，每一層級的研發將使用迭代的方式，在進行設計的同時挖掘新的問題和需求，不斷提出改進方案，完善系統的功能，形成積極正反饋。因此，這不僅是層級內部的技術路線，更是本文所述系統的研發路線。

（一）采集層——識別與采集

近年來國內基本普及了監控設施，室內環境基本上能夠做到多角度的圖像信息采集，這也為人群圖像識別提供硬件基礎。本文擬采用基于監控攝像頭畫面的圖像識別，因此對于監控圖像的濾波處理以及特征的選取、模型（OpenCV）的訓練和測試，是該層研究的主要內容。

本文使用模式識別來完成人群行為判斷從而達到預定目標。基本的模式識別方法有兩種：統計模式識別和結構模式識別。統計模式識別主要由四部分組成：數據獲取、預處理、特征提取和選擇、分類決策

模式識別主要分為三種：統計模式識別、句法模式識別、模糊模式識別。

圖像處理的具體技術方面，一般依托OpenCV來實現。本文也采用這個強大的開源圖形處理工具。如圖4所示，本文的圖像識別流程分為預處理和識別兩個階段。

本文中處理機制的直接輸入數據為攝像頭的畫面（圖像序列）。而項目需要獲取的是某一些時刻或時間段的人群信息，因此我們需要先將視頻文件抽取一定量的關鍵幀圖像，對這些圖像序列進行識別。

1. 獲取到圖像后，為了便于后續分析必須對圖像進行預處理來去除噪聲干擾，做幾何、彩色校正等改善圖像;

2. 對于當前圖片還需要進行增強操作，對圖像進行濾波處理，去掉不必要的高頻部分，在盡量保持圖像中紋線邊緣完好的前提下，去掉圖像中的粘連、斷點及模糊的部分，以改善圖像的質量，便于細化和特征提取，圖像的膨脹與增強如圖5所示：

3. 對圖像進行細化處理去掉不必要的信息，降低圖像數據量，為后處理提升效率和避免非預期操作;

4. 對當前得到的處理后數據，可以獲取人群確切信息，對區域進行連接操作，將人群區域連為整體，并計算人群邊緣位置信息轉化為二維正交坐標后繪制在示意圖上，便于決策人員做出決策與計算機進行分析。

（二）分析層——處理與決策

在實際情況中，一個攝像頭的監控范圍非常有限，往往需要多攝像頭協作才能作到全面覆蓋。因此，如何從多個監控畫面中，無重復地識別目標，以及如何保證在人流量很大、地理環境復雜的情況下的識別穩定性，就是本小節的首要研究內容。

在攝像頭之間的目標確認算法中，單應性約束是一種被廣泛研究和應用的算法，其確認的精確度比較高。單應性約束是利用攝像頭之間，攝像頭和目標之間的幾何位置來確定目標，避免了使用目標自身的特征作為確認目標的依據。

不過實際情況中，這種方法確認結果的好壞，嚴重依靠目標檢測的精度，尤其是目標腳部位置檢測的準確與否。為了更好的模擬真實情況中的各種不利情況，我們將3D模型以各種位置、角度擺放在場景中。其中我們發現，可能出現以下幾點問題：

· 某個目標在某個攝像頭中沒有被檢測到或是只檢測到一部分;

· 某個攝像頭檢測到了一個虛假的目標;

· 目標出現相互遮擋的情況;

· 目標顏色與背景色相近，無法識別前景;

（a）暗部細節丟失 （b）相似目標 （c）目標互相遮擋

這些問題表明，僅僅利用單應性約束很難將目標在攝像頭之間正確匹配起來。

為了解決上述三個問題，本文采用了一種基于目標相互之間距離的確認算法。通過實驗的驗證，該算法能很好提高多攝像頭之間目標確認的精度。現在我們將場景中的兩個攝像頭分別指定為攝像頭A與攝像頭B。以下為算法的主要步驟：

步驟一：攝像頭A 和攝像頭B 同時檢測到 N 個共同的目標，為了將A中的 N個目標與B中的目標準確的對應起來，首先需要計算A到B之間的單應性矩陣H：

該矩陣通過匹配多張畫面目標的特征參數（位置，距離），來計算得到。具體方法和計算公式是UV坐標和世界坐標變換的常用方法，在此省略。

步驟二：獲取目標的前景圖，對每個目標分配一個標識號，并提取目標的腳部位置（識別框底邊中心） ，并計算目標之間的距離 ，計算方法如下：

其中 分別表示攝像頭A中目標 之間底部、中部和頂部的距離。按照公式圖中，就是取最小值。

步驟三：根據單應矩陣H，將A中目標 變換投影至B中，得到在B中的位置 。

步驟四：將已經得到的投影（映射）位置，與其他目標的相對距離 。

步驟五：這一步進行目標的相互確認。繼續以 （A中目標映射到B的虛擬目標）為例，確認方法如下：

1）如果 與A中對應原始目標的位置重合，則表明這兩者為同一目標;

2）如果B中沒有一個目標的位置與 的位置重合，則確定以 為中心，r為半徑的區域內B中的所有目標（假設B目標個數為M）;對目標 ?與從A投影到B中的其他目標之間的距離 （ j =1， 2， ， NK且 j ≠i ），以及B中的這個 M 個目標分別與其他目標之間的距離 （ k =1，2， ， NK 且k ≠t ）進行從小到大的排序，得到集合 （t 表示 M 個目標中的其中一個目標）;分別計算 ?與 ?的和 ;從這 M 個目標中選擇與 值最接近的目標 ，如果集合 中每個位置對應的值之差的絕對小于某個閾值θ，即

其中 分別表示集合 中的第 q 個目標。則將A中的目標 與B中的目標 確認為同一個目標。如果集合 ?不能滿足上式，則選擇下一個與 ?第二接近的目標，并檢驗該目標是否滿足上式，若滿足則確定 與該目標為同一個目標，若不滿足則選擇與 第三接近的目標，依此類推。

（三）應用層——服務與反饋

將（二）中得到的可視化內容，結合用戶提供的其他實際數據，分析出一個合理的建議，以平臺推送或者公共場景大屏顯示的方式通知用戶，實現平臺服務;同時，提供反饋的接口給用戶，對于平臺的服務進行評價與建議，實現良性互動。（三）將在下文中以舉例的方式詳細討論。

四、應用場景和服務方式

本文所述的技術路線實際也決定了應用的大致方向——圖像及其可視化服務。那么結合近年來有關群體數據可視化以及應用案例，本文從中發現一個十分有應用價值的信息，并且能夠與本文的技術高度融合——隱結構信息。

（一）隱結構信息

隱結構信息，既在特定的公共（地理）環境中，由人群運動的動態分布圖像信息數據，通過圖像處理、比對等方法，發掘對象環境中人流量較小區域的分布特點，從而得到的虛擬的建筑（地理）結構信息。文章在前人提出的“隱結構信息”的基礎上，利用這一新興概念，將平臺可視化數據中的建筑結構，根據人群活動強弱、人流量大小，劃分出相應的“隱結構”，展示在可視化界面上，便于用戶直觀的了解空間利用方面存在的問題并進行改善。而如何處理平面數據，獲取“隱結構信息”，并且要保證科學性和有效性，這是本文在數據分析方面的研究重難點，也是平臺可視化中的創新點。

本小節采用舉例說明隱結構信息。我們還是以某高校圖書館為例。將前幾階段處理過后的圖像序列，抽取其中一定量的關鍵幀，使用Photoshop工具進行疊加，生成如下圖的人群流量熱成像圖。

其中，深色的區域為人流量少的區域，可以考慮將其框選出來作為調整空間的候選區域，也就是“隱結構信息”。

接下來，通過這張隱結構信息圖，我們將根據實際情況對用戶的場景環境進行細致分析與建議，其中包括的內容有：

· 可能出現的安全隱患，例如某處空間的出入口過于擁堵，可能導致的疏散問題;

· 可以改善的空間布置，對于1中的情況，擬通過這種建議方式能夠解決;

· 能夠利用的閑置區域，提高空間利用率;

· 關于人流量管控方面的建議，例如如果區域人流量在某一時段過大，將建議用戶控制區域時間段的人員流動。

（二）反饋方式

以上的包括隱結構信息在內的信息會以統一格式、在第一時間，以平臺推送的方式通知用戶。而具體的平臺推送方式，主要包括兩個方面：

1. 公共投放

在一般車站或商場，能夠較為容易地配置大屏顯示。這些設備往往用于廣告投放或者必要信息地顯示，對于顯示地圖像要求不高，因此本文所述的服務信息完全可以通過這種方式進行投放，讓現場的公共用戶群體最直觀地查看。

2. 私有推送

如果將用戶地范圍縮小，限定于管理員類用戶，那么公共投放方式顯然不再適用。不過由于此類用戶群體較小，本文將采取常規的web技術進行B/S架構應用的開發，將數據通過這種方式推送到用戶的設備中，更加靈活且支持用戶的定制化操作。

總結與展望

本文通過以上三個章節的內容，詳細論述了有關人群數據的價值，相關圖像識別、處理技術，應用場景和服務方式。但綜合下來，本文所述系統還存在以下幾點問題。

1、圖像識別技術已經非常成熟，但實際上對于復雜公共環境，不可能有一個普適的模型來進行識別——實際情景下的模型參數調節，還需要項目在研究過程中探索經驗，以達到一個更好的實際效果;

2、數據可視化，包括隱結構信息的挖掘的過程自動化。如果不能實現這一點，服務的環節就不能算得上完善;

3、如何根據可視化圖像進行分析、建議。這是本平臺的應用層（服務層）需要解決的問題，可能會涉及到決策樹、決策模型以及深度學習方面的方法;并且，關于問題1中的識別模型適應性問題，或許可以通過機器學習方式進行自適應調整，減少人工調參的工作量。這也是本文作者后續的重要研究方向之一。

總之，人群數據的分析服務平臺無論是在技術上，還是在實際場景中，都表現出高度的可行性，本文作者也會繼續探索新的技術和方式完善系統。

參考文獻：

[1]羅莉莎，鐘嘉桐，王樹同，陳龍，邵文澤.道路監控視頻低清人臉重建與識別方法研究[J].計算機時代，2020（01）：26-29+34.

[2]崔頌懿，孔德文，王茉.客運樞紐“人群迷路區”的快速識別與優化——以北京南站為例[J].交通運輸研究，2019，5（03）：34-41.

[3]梁茜. 基于視頻的商場人群行為識別研究[D].天津財經大學，2016.

[4]崇信毅. 基于視頻監控數據的人群行為分析[D].北京交通大學，2012.

[5]田玉敏.人群疏散心理及行為個體差異的探討[J].人類工效學，2010，16（03）：53-55+82.

[6] 顏杰. 多攝像頭目標檢測與跟蹤方法研究[D].華中科技大學，2011.

[7]楊立兵. 公共場所應急疏散系統及模擬仿真[D].中南大學，2009.

[8]單路. 基于多源數據的高鐵站區人群聚集特征研究[C]. 中國城市規劃學會、重慶市人民政府.活力城鄉 美好人居——2019中國城市規劃年會論文集（07城市設計）.中國城市規劃學會、重慶市人民政府：中國城市規劃學會，2019：544-555.

[9]鄒富，周俊，范倩藍，裴思垚.基于UP Squared的OpenCV物體圖像識別應用[J].電子測試，2019（22）：62-63.

[10]劉軍偉.基于OpenCV的圖形識別系統設計[J].電子技術與軟件工程，2019（21）：60-62.

[11]石澤瓊，毛俊強，李雙偉，徐麗蕊，董言治.基于OpenCV的運動目標識別跟蹤[J].中國集成電路，2019，28（04）：20-25.

[12]任志敏.基于Android及OpenCV平臺的形狀及顏色識別系統設計[J].山西電子技術，2019（04）：51-53+62.

[13]田玉敏.人群疏散心理及行為個體差異的探討[J].人類工效學，2010，16（03）：53-55+82.

[14] Kim K， Chalidabhongse T H， Harwood D， ct al， Real-time foreground-background segmentation using codebook model[j]Real-Time Imaging，2005 11（3）：172-185

作者簡介：

匡涂上青（2000—），男，漢族，湖南省長沙市人，本科，中南大學計算機學院