戴順勇,蔡 欣,郭 濤
(中國聯合網絡通信有限公司貴州省分公司,貴州 貴陽 550001)
(1)人群篩選設置。可以根據需要進行監測人群篩選設置,篩選條件包括:來源城市、觀測時間范圍、人群性別、人群年齡段、來源城市駐留時間(如低于3天、3天以上、一周等)等維度。(2)人口駐留分析。通過對群體用戶行為的OD分析,能夠進行區域人群的來源地和去向地分析。(3)人口分布分析。按照月、天、小時,以網格為空間粒度統計分析,以3D柱圖、蜂窩圖、3D熱力等形式,展現區域的人口數量分布情況。(4)人口屬性分析。能夠呈現人群人口年齡段、性別及年齡段性別交叉等人口結構情況。(5)人流預測分析。依據某個區域的歷史數據,預測半小時后的人口數量[1]。
(1)人流變化實時熱力分析。通過對手機信令的實時處理,可以實現對設定重點區域的人流熱力監測,功能包括:區域瞬時總人數(區域內某個時間點的總人數)、區域累積總人數(按照分鐘/小時/天統計區域內人口數)、區域瞬時游客人數(區域內某個時間點的游客人數)、區域人口熱力(可以顯示區域范圍內的人口熱力情況)。(2)重點場所人流預警。在區域人口超過既定閾值時候,能夠及時預警。(3)接觸人群分析。可以篩選與疑似病患在一定空間范圍下(如250×250 m)共處時間最長,或軌跡類似的其他人群,其中,共處時間和空間范圍可以設置[2]。
(1)短信觸達預警,可以實現對指定區域人群、重點個體的短信觸達通知預警。(2)大屏可視化展示,新型肺炎疫情防控的主要需求在于人群范圍廣、變化快、無法快速鎖定,中國聯通提供的“基于手機信令大數據的人員流動分析平臺”可以為疫情防控部門提供人群流動、特定人群軌跡分析等功能。以應急指揮中心為紐帶,建設大數據可視化系統、視頻協商系統,實現可視化指揮、應急處置功能。以應急指揮中心為手段,有效降低事件發生概率,提升事件處置效率,提供事件考核評估、人群流動分析存檔依據。以應急指揮中心為載體,實現群眾和執法人員問題上報,遠程調解等實際應用,提高工作效率,加強疫情防控。
(1)先進性。系統涉及的各類應用系統采用先進、成熟的技術,性能和質量指標應達到國際領先水平,以保證現有投資的有效性和延續性;同時,系統的安裝調試、操作使用應簡便易行,容易掌握。(2)實用性。項目建設的規劃要高起點,功能要更切合實際,重在應用,堅持以需求為主導,落腳于滿足需求,從實際需求出發,深入開展業務調研,保證系統順暢使用,易于維護。(3)安全性。由于本系統匯集了關鍵、敏感資料以及對數據分析的結果,系統安全性尤其重要。在系統中,對外來侵入的控制應由路由器配合操作系統及數據庫來完成,采用多級用戶權限管理。(4)擴展性。系統要有良好的擴展性和升級前景,充分考慮其擴展性能,包括:系統總體框架的確定、系統功能的設計、數據格式的定義和系統間的數據接口,以為將來的發展提供擴展能力[3]。
(1)數據要求:人口位置數據需要在空間上具備極強的拓展性;在時間上具有連續性,來源合法合規,需要基于人口擴樣算法擴樣后的數據。(2)技術要求:延時及刷新頻率要求(實時監測部分)要延時1 h,瞬時數據為最快10 min刷新一次,累積數據可按每10 min、每30 min、每小時、每天更新。數據處理技術要求:需要采用實時流式計算,集成Kafka,redis,RabbitMQ等分布式大數據處理組件,實現毫秒級響應,實時批量處理數據達500 000條/秒,每天可處理1 000億條數據。(3)核心算法要求:需要有自研知識產權的實時手機信令處理平臺相關算法專利,能夠進行多基站加權運算,自動降噪較準定位。能夠建立基站小區間的flicker關系,動態觀察分析信令,基于時長判斷用戶是駐留還是出行經過。(4)服務方式:支持云端服務和客戶端本地化平臺建設兩部分。云端服務包含硬件資源服務和數據處理服務,由聯通提供云端硬件資源,支撐云端數據處理服務。(5)客戶端本地化平臺建設:將建設大數據人流量監控系統,并部署在客戶本地機房。監控中心的建設結構如圖1所示。

圖1 監控中心的建設結構
數據采集層主要進行原始數據的采集,包括手機用戶的信令數據(切換信令、位置更新信令、呼叫信令、短消息信令等)。信令數據主要用來處理分析得到用戶的位置和軌跡相關的信息。
從數據采集層傳入的原始數據存在缺失、錯誤等問題,不具有可用性,而且格式不統一,因此,在建模計算之前需要進行數據預處理,主要包括:數據篩選、數據整理、數據匯聚。
數據存儲層主要負責對整個平臺的結構化數據和非結構化數據進行存儲,采用分布式文件系統HDFS對匯聚后的文件進行存儲,使用行式存儲MySQL和列式存儲Hbase對計算處理結果數據進行存儲,以滿足不同業務功能對數據查詢操作性能方面要求。中間數據緩存相關功能則由Kafka消息隊列方式提供,尤其對實時處理部分數據不經過HDFS而是直接通過消息隊列傳送到Storm計算模塊,以保證最少時延。
數據計算層包括實時數據計算和歷史數據計算兩部分,實時計算主要采用Storm流計算進行人員實時軌跡的分析,歷史計算采用Spark內存計算對人員的歷史軌跡進一步細分,得出如居住地、工作地、常去地之類的信息,還包括對歷史上網數據等信息的計算處理。
對計算處理后的結果數據進行分析挖掘,以供應用層功能使用,主要采用SQL語言對MySQL內存儲的數據進行分析,采用Hive語言提供對HDFS的文件的查詢分析,結合數據挖掘算法、實時分析等功能對數據進一步精化細分,為各種業務場景提供數據。
手機信令是人口大數據的天然采集器,通信基站能夠主動采集每個蜂窩站用戶行為變化以及記錄覆蓋區域用戶位置變化。本文以中國聯合網絡通信有限公司貴州省分公司為例,進行貴陽市開展基于手機信令數據的人群流動活動規律分析、城市特定人群監測優化的應用研究,以建立基于手機信令大數據的人流監測防控平臺。