公共信息精準發布平臺關鍵技術研究

種艷偉，高躍明

(1. 北京郵電大學 網絡與交換技術國家重點實驗室，北京 100876；2. 上海欣方智能系統有限公司北京分公司，北京 100085)

公共信息精準發布平臺關鍵技術研究

種艷偉1，高躍明2

(1. 北京郵電大學 網絡與交換技術國家重點實驗室，北京 100876；2. 上海欣方智能系統有限公司北京分公司，北京 100085)

通過深入分析公共信息發布的現狀和問題，提出了基于大數據技術的公共信息精準發布，并著重分析了其關鍵技術。解決了公共服務大數據的采集、存儲和跨域分析與綜合應用等問題，有效促進政府公共大數據的開放共享以及精準治理水平的提升。

精準發布；大數據技術；存儲；云服務平臺

本文著錄格式：種艷偉，高躍明. 公共信息精準發布平臺關鍵技術研究[J]. 軟件，2016，37（11）：101-104

0 引言

目前，政府面向社會公共的信息發布形式多樣，主要以門戶、電視、廣播等方式對全網用戶進行發送。這種粗放型的信息發布策略是面向全網用戶進行發布的，它的特點是信息發布的及時性、有效性以及面向用戶的精確度無法保證，比如暴雨、臺風等異常天氣情況下，需要及時有效進行信息發布以減少人員傷亡和社會經濟損失。同時政府數據仍比較封閉，共享程度不足，信息內容單一，信息發布不精準，社會效益不高，影響力不強。因此，公眾對于社會公共服務的及時性和準確性要求強烈。

隨著近些年大數據技術的應用，數據成為國家的重要戰略資源。政府管理邁進“循數管理”[1]，政府數據進行共享開放，公共決策趨于“社會化”，已成為必然趨勢。大數據必將重塑政府管理生態，公共服務必然面臨躍升式轉型。及時有效地調動各類資源，實現資源的整合并及時滿足各類群體的公共服務需求，是政府首當其沖必須大力解決的問題。政府急需提供通過大數據技術提升管理水平和服務水平，為公共提供精準的信息發布服務。

1 研究現狀

在大數據時代，數據成為國家的重要戰略資源，政府管理邁進“循數管理”，公共決策趨于“社會化”，已成為必然趨勢。大數據是以容量大、類型多、存取速度快、應用價值高為主要特征的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行采集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。在現今的社會，大數據的應用越來越彰顯他的優勢，運用大數據推動經濟發展、完善社會治理、

提升政府服務和監管能力正成為趨勢。企業、社會組織以及公民不斷對政府公共服務提出全新的要求，政府面臨著更加海量更為復雜的信息。對海量管理信息的快速捕捉、甄別、分類、篩選、流轉、處理、反饋，是政府在大數據時代面臨的最直接的挑戰；對公眾的快速回應是政府面臨的主要問題；及時有效地調動各類資源，實現資源的整合并及時滿足各類群體的公共服務需求，也是政府首當其沖必須大力解決的問題。

國內目前相關行業已建設公共服務平臺，如應急辦的應急通信系統、電信運營商的精準營銷系統等，但其均未正式向公眾企業或公眾用戶進行開放使用，仍為自身行業內部使用，各個系統仍為垂直建設。在公共服務領域，目前依然存在數據孤立、事件缺乏預警、緊急事件處理效率不高、公眾信息不共享、創新應用不廣、盈利模式單一、數據資源開放度不高等問題，并由此引發了一些嚴重的后果。如，2015年的上海市黃浦區外灘的擁擠踩踏事件，造成30余人死亡，近50人受傷，對于突發異常事件，需要實時了解重點區域（如運動場館、景區、展會等）的人員流動和密度情況，及時了解區域人員密度，異常預測和實時預警信息發布；去年7月份，西北太平洋上的臺風逐漸進入活躍期。西北太平洋上臺風“燦鴻”、“蓮花”和“浪卡”等以及各種臺風情況，讓預報也變得異常復雜，針對突發異常的天氣情況，需要實時精準的發布信息，對于臺風影響的局部區域的用戶群體進行精準應急信息發布；市內交通高峰時間的擁堵情況，節假日高速路的車流量密集情況，對于突發異常的交通狀況，需要及時對于交通狀況進行實時體系和信息發布，給居民出行提供交通便利的依據。以上各種場景，政府或公共組織均需要通過社會公共信息云服務平臺，面向精準用戶進行快速的信息內容發布，促進公共服務質量的提高和信息發布效率的提升。

2 關鍵技術問題

2.1 海量異構多域數據采集與存儲技術

氣象、旅游、交通等行業公共數據類型多樣，數據眾多，需要根據不同類型進行多域跨域采集，數據終端涉及手機、溫度傳感器、濕度傳感器、監測站等不同類型，根據不同終端的數據結構進行海量實時采集是需要解決的關鍵，通過融合網絡支撐技術將不同網絡的數據進行實時接入和處理。

社會公共信息數據種類多樣，數據采集根據不同數據源包括了關系數據庫數據抽取、實時數據采集、文件數據采集、數據庫實時復制等，根據不同數據源采用不同的采集方式，通過分布式方式對于海量數據進行數據采集。

氣象、旅游、交通等行業涉及關系數據庫、內存數據庫、分布式文件等多種存儲方式，根據采集的數據類型進行數據存儲介質的選擇，結構化數據采用關系型數據庫（如Informix數據庫）、實時更新數據通過內存存儲（如Redis數據庫）、日志文件數據、音頻、視頻數據，通過分布式文件系統（如HDFS文件）。

各種存儲介質（如Informix、Redis、HDFS等）的寫入和查詢接口方式類型多樣，存儲規則重多，對于分析來說，當設及到多種類型數據同時查詢和寫入時，將會使數據處理邏輯復雜，處理效率將大大降低，為便于數據存儲和查詢，將抽象和封裝各種數據庫訪問接口，提供統一的數據訪問接口，降低了數據訪問的難度。

各種存儲節點通過數據備份和集群方式滿足高可用的指標要求，滿足大量、多樣化的數據存儲和高性能實時查詢。通過不同數據間的數據調度機制滿足對外不同類型的數據訪問，完成業務數據服務的提供。

2.2 高并發數據處理技術

氣象、交通信息的實時數據量大，僅用戶信令日志數據在忙時高峰時可達到15萬TPS的并發數據量，氣象監測實時數據每天300GB的數據量，氣象各種傳感器、監測站、視頻終端等在高峰時也達幾十萬級的并發請求量，這些數據均需要實時處理，需要很好的彈性擴展技術滿足海量高并發數據請求的處理要求[2]。

圖2-1是公共信息精準發布云服務平臺架構圖，它為應用系統提供高并發數據處理服務。云服務平臺采用分布式集群架構，云計算集群內所有節點具有獨立、同化的對外服務能力，當集群內任一節點出現故障時，不會影響其他節點正常運行，因而，能夠解決系統內的單點失效問題，為系統的持續、穩定運行提供保障。此外，由于云計算集群內，任一節點都可以獨立地對外提供服務，通過擴大集群規模的方式，能夠提升整個云計算集群處理大并發請求的能力，從而滿足并發地數據處理的要求。

云服務平臺通過三級并發調度機制，一級為基于主機集群級別高并發機制，通過增加主機構建服務集群，解決單臺服務器能力不足問題；二級為基

于OS主機級別高并發機制，通過啟用單主機操作系統下多個進程并行運行提升單臺主機的高并發能力，單主機賬戶支持40個進程；三級為進行內的任務分片高并發機制，通過任務調度起實現多個并發數據處理請求消息，單進程能夠處理高達8000多個數據處理請求，由任務調度器統一調度處理，進程內獨有的數據處理管理機制提供高并發低時延的高速數據處理能力，處理任務控制可達毫秒級。云平臺能夠持續、穩定的提供大規模并發的數據接入、數據存取、數據服務調用的能力，采用云計算架構的設計理念，基于云計算技術的集群化特點，滿足平臺高并發處理與持續可靠運行的要求。

圖2-1 公共信息精準發布云服務平臺架構圖

2.3 支持多維的精準定位業務處理邏輯協同執行技術

社會公共信息精準發布的要求高實時和多種維度下精確定位，傳統平臺中定位模式單一且能力有限，無法充分發揮面向大數據的精準定位能力的優勢。社會公共信息的發布對象要求具備面向特定時間、地域和用戶的三維精確定位，提供隨時、隨地、隨身、隨需的社會公共對象定位服務。

時間維度是基于當前時間、某一歷史時間或歷史時間區間的基于時間空間維度的精準定位方式，根據信息發布的需求，通過時間維度快速精準定位到當前或歷史的數據進行處理。

地域維度是基于全省、地市、支局、街道、基站、經度、維度或者特定地理區域下的基于空間維度精準定位方式，根據信息發布的需求，通過廣域、某一特定區域、特定路線軌跡、特定地點進行地域數據的處理。

人員維度是基于號碼特征、人員通信特征、行為特征屬性、群體特征數據（如單位、組織等）[3]，通過某一人群特征的基于人員維度的精準定位方式，根據信息發布的需求，對于個體，某類相同特征的群體、某類機構組織的群體進行人員數據的處理。

平臺對于社會公共信息的多維定位處理邏輯需要具備高度靈活性，并且在特定時間、地域和用戶的檢索和查詢方式上需要由原來的集中式轉為多維分布式的處理方式，當數據量較大時，精準定位請求不會由于多維的精確定位產生較大的處理延遲。

一維定位和多維定位在同步/異步特性、調度方式、時延要求、數據請求會話維持等方面均有不同數據處理特點，通過實現多維度下的數據生成技術的精準定位體系，靈活支持多種維度組合的并行精準定位業務處理方法，對社會公共信息發布的高效運行提供了必要的技術支撐。

2.4 支持多種智能業務處理邏輯的信息發布技術

社會公共信息精準發布的場景不一，使用部門級別不同，要求對于社會公共信息的發布處理方式需要有智能業務管理策略進行發布支撐，研制基于大數據的信息發布可視化編輯、發布優先級、流控策略、SLA（Service-Level Agreement）服務策略的智能發布技術[4]，可以快速滿足各種公共信息精準發布要求。

通過公共信息發布內容編輯可視化技術，公共信息通過WEB方式實現信息發布，信息發布內容定制化編輯，實現可定制化的信息發布模版，進行信息發布模版的統一管理，降低社會公共信息發布部門對于發布時的開發難度，便于根據公共信息發布需求，快速選擇發布信息，零門檻化進行信息發布。

在信息發布時，如多個應用在同一時刻都在進行信息發布，信息發送資源帶寬不變的情況下，某一應用根據信息發布的重要性需要優先發送，此時先將應用設置不同的優先級（優先級高、低），當監測到優先級高的應用進行信息發布時，則平臺將優先級高的應用進行優先發送。

針對各應用的信息發布的發送流控策略，根據發送空間區域的不同設定不同的發送速率，根據信息發布的數量，按照區域的速率進行均勻分配發布消息，避免對于傳輸網絡產生信息風暴，并可根據信息發布的反饋情況，及時修正發送速率，對于信息發布失敗的情況，選擇重發或緩存處理。

針對應用的SLA服務策略，根據不同應用分配不同的SLA服務等級，根據應用的SLA等級，每

天信息發布的條數、發布的時間段、發布內容的核查、發送方式等SLA策略[5]，社會公共信息在發送時根據場景可選擇立即發送和預約發送處理方式，智能定制發送時間。根據不同的發布場景，對于社會公共信息發布提供必要的智能處理邏輯支持。

3 應用前景

通過全方位掌握服務對象信息，及時捕捉、科學辨識、快速整合公共服務需求，解決信息不對稱問題，實現公共服務供給的時間精準化、空間精準化和人群精準化，是目前各政府急需解決的主要問題。通過公共數據共享開放，政府資源整合有效、信息交互順暢并及時更新、資源共享與跨部門合作，充分利用可得資源，及時精準地滿足公共服務需求[6]。目前政府部門如應急辦、公安、交通、氣象、旅游、區管委會等各部門均有精準發布公共信息的強烈需求，通過通信數據與行業數據的快速結合，可以為突發事件、反恐應用、交通管制及擁堵、異常災害天氣、旅游等行業提供基于時間、空間、用戶的三維精準定位和信息發布。

目前，精準發布云服務平臺在氣象局、應急辦、交通廳等政府部門已進行了試點上線：

1）氣象局針對如臺風、暴雨、寒流等異常天氣情況下進行精準發布使用。之前氣象局只能全省用戶發布預警信息，每次發送均會產生網絡堵塞，很多情況下異常天氣情況發生長達十幾個小時之后用戶才收到預警信息，尤其當臺風影響局部地區時，需要對局部地區下的當前用戶（包含本地和外地用戶）進行準確定位和預警時無法滿足；通過云服務平臺，根據不同維度快速實現發布對象精準定位，并根據不同融合網絡環境進行智能發布邏輯處理，快速及時的發布預警信息，為居民提供及時的氣象信息提醒預警。

2）應急辦針對重點區域（如火車站、重要場館、重大活動等）下進行重點區域人流密度的實時監控和預警信息精準發布。之前應急辦只能通過人為預先分析判斷重點區域的人流趨勢，不能精確區分人員分布情況及實時位置，預警信息也是發生在事后進行發布；通過大數據的公共信息發布，提供實時分析區域下的實時人員流量數據，根據不同區域網格下分析流動人員的實時密度。

3）交通廳針對省內高速公路（杭甬高速、滬杭高速、長深高速等）下進行高速路區域車流量密度的實時監測和預警信息發布[7]。之前交通廳通過重點高速路卡口進行車流量的分析或通過高速路設置的上車流量監測設備進行車流量的監測，對于交通擁堵時，通過廣播電臺或公路警示牌進行全網信息發布，不能根據高速路內的情況實時精準進行信息發布；通過大數據的公共信息發布，提供實時分析高速路的實時車流量數據，根據高速路的實時交通密度，提供特定擁堵高速路下的實時人員的精準定位，提供交通擁堵預警信息發布。

通過試點建設，各政府部門對于精準信息發布需求非常強烈，對于大數據下的各政府部門的精細化運營需求，急需通過大數據擴展公共信息資源，實現更廣更精準的公共信息發布服務。同時，通過在經濟、環境、教育、就業、安全、文化、衛生、市場監管等行業進行普及擴展，將具備很好的市場發展前景。

基于以上市場分析，通過社會公共信息精準發布云服務平臺，政府對于社會公共信息需要匯聚各行業的信息進行整合、互聯互通，進行信息共享，將通過各行業社會公共信息進行數據交換和數據關聯集成[8]，可以快速為各行業的精準治理、多方協作的個性化的信息發布需求進行精準化的信息發布云服務，通過數據開放提供多種增值類應用，提高數據價值及數據資源產品產業化。

4 結論

通過對公共信息發布現狀和問題的分析，提出了基于大數據技術的公共信息精準發布，重點分析了所需要使用的關鍵技術，最后詳細介紹了公共信息精準發布廣闊的應用前景，對未來構建公共信息精準發布平臺具有重要的指導意義。

[1] 趙敏. 我國政府公共服務供給精細化路徑研究[J]. 理論觀察, 2015(04): 51-53.

[2] 張建, 孫銘, 段娟. 基于大數據平臺的精準廣告系統研究與設計[J]. 電腦與信息技術, 2015(04): 47-50.

[3] 陳治國, 史明昌, 劉東蘭. 基于WebGIS的公眾信息發布系統的研建[J]. 中國水土保持, 2005(4): 46-48.

[4] 邢紅剛. 基于大數據的社會化媒體精準營銷研究[J]. 科研2015(63): 108-108.

[5] 閆海艷, 吳文智. 大數據在地方旅游公共信息服務中的應用探究[J]. 中國商貿, 2015(32): 109-111.

[6] 李軍. 大數據——從海量到精準[M]. 清華大學出版社, 2014.

[7] 劉平, 費文曉. 計算機公眾信息發布系統的開發[J]. 兵工自動化, 2004, 23(3): 87-88.

[8] 周運偉. 對公共應急信息發布系統的若干思考[J]. 中國人民公安大學學報: 自然科學版2012, 18(3):85-89.

Research on the Key Technology of Public Information Precision Publishing Platform

CHONG Yan-wei1, GAO Yue-ming2
(1. State Key Laboratory of Networking and Switching Technology, Beijing university of posts and telecommunications, Beijing 100876, China；2. Shanghai CINTel Intelligent Telecom System Co., Ltd Beijing, Beijing 100085, China)

By deeply analyzing the current situation and problems of public information publishing, this paper puts forward the accurate publication of public information based on large data technology, and analyzes its key technology. It solves the problems of large data collection, storage, cross-domain analysis and integrated application of public services, and effectively promotes the sharing of government's public large data and the improvement of precise management level.

Accurate release; Large data technology; Storage; Cloud service platform

TP311

A

10.3969/j.issn.1003-6970.2016.11.022

種艷偉(1991-)，男，碩士研究生，主要研究方向：網絡技術與大數據應用技術；高躍明(1985-)，男，上海欣方智能系統有限公司北京分公司(北京郵電大學產學研基地)數據業務部副經理，主要研究方向：電信增值業務及通信軟件。