一體化政務信息傳播平臺建設實踐①

陳 雄,杜義華,王閏強

(中國科學院 計算機網絡信息中心,北京 100190)

1 引言

隨著Web 3.0 時代到來,基于移動互聯網的微博、微信已大規模應用,政府機構紛紛開通官方微博和微信,同時抖音、快手等短視頻應用也迅猛發展,部分官方機構已陸續入駐開通賬號.新時代政務信息門戶發布已不局限于傳統網站,還包括微博、微信及短視頻等各類第三方自媒體渠道.

2017年,《政府網站發展指引》[1]發布,國家對于政務網站集約化要求更加清晰.按照統一標準體系、統一技術平臺、統一安全防護、統一運維監管原則,集中管理信息數據,集中提供內容服務,實現政府網站資源優化融合、平臺整合安全、數據互認共享、管理統籌規范、服務便捷高效,以此實現集約化是解決政府網站“信息孤島”等問題的有效途徑.

對于包含多級組織機構、需運行多個網站和新媒體賬號的政務機構,按照集約化原則建設信息傳播平臺,既是機遇也是挑戰:一方面,可以優化重組各類信息系統,進一步梳理優化政務信息傳播環境;另一方面,面臨信息數據規模增大、多組織信息快速共享及網絡安全防護等壓力.

2 現狀分析及問題

按照集約化建設原則,部分機構已建設新媒體集成發布平臺[2],實現系統的統一認證及各媒體間內容關聯和分享,初步解決多渠道信息發布和統一集成管理的問題.對于存在多層級隸屬關系的組織機構體系,各機構按要求建設網站,結合自身需求已開設中英文網站、移動APP、微博、微信公眾號、手機報、電子雜志等.但隨著組織機構發展,網站及新媒體各類賬號規模不斷增大,各業務系統間接口調用頻繁、耦合度高,在實際應用中存在各種問題.

(1)業務系統間接口耦合

各業務系統間數據推送等交互功能為系統間接口直接調用,不能控制系統間接口調用權限,監測各系統接口狀態.當業務系統調整接口參數或進行業務升級時,其他相關業務系統需要相應調整調用方式,系統間耦合度高,需提供相對獨立的接口網關服務,統一管理接口調用、狀態及權限等.

(2)各業務系統中組織機構關系體現

由于網站、微博、微信公眾號等內容管理系統相對獨立運行,機構在同時開設中英文網站、新浪微博官方賬號、微信訂閱號的情況下,各業務系統間對同一機構網站或新媒體無法關聯體現屬于同一組織機構,無法方便快捷統計機構下站點、新媒體賬號等運行情況;多級組織機構下各機構網站或新媒體,在業務系統中無法體現隸屬層級關系.因此,需在平臺中提供統一的組織機構管理和開放接口,供各業務系統關聯調用.

(3)發布信息多渠道流轉查詢

信息經過二次編輯以不同形式在各渠道發布后,在各業務系統中只能查看信息最終處理結果,無法查看信息在各業務系統的具體流轉情況,包括信息的相關操作用戶、所屬業務系統以及相關處理過程等.因此,需在各業務系統中提供稿件統一跟蹤查詢功能,查詢展示稿件在平臺中詳細流轉過程.

(4)多渠道傳播效果綜合統計

傳播效果統計包括信息瀏覽量、訪客數、點贊數、評論數等常用數據,以及機構信息更新量和機構間信息推送相關統計數據.各渠道傳播數據經過匯總后只能分開獨立查看,不能查詢信息在各渠道傳播效果的綜合結果,也不能基于機構整合所有渠道的傳播效果進行綜合排名.因此,需在系統中提供按信息、機構等維度統計的各個渠道綜合傳播效果統計功能.

(5)傳播信息類別統一標識

數據在各業務系統中有不同信息類別標識,每個業務系統根據自身功能需求有不同分類標準,網站通過欄目類別標識,微信、微博等數據通過信息分類標識,通過信息資源池匯聚后,不能對匯總數據按照統一標準進行類別標識,不利于進一步數據分類統計和分析.因此,需在系統中提供統一規范的資源標識功能,供各業務系統按標準對信息資源標記分類.

3 目標與整體設計

3.1 工作目標

針對現有平臺運行中的各類問題,需基于現有平臺調整平臺運行業務流程,以統一組織機構、共享稿件、資源標識、系統接口為平臺公共基礎服務,以數據資源全集為平臺公共數據服務,實現信息從生產到傳播、發布再到分析的全流程管理,形成一體化的政務信息傳播管理平臺.

平臺建設中引入松耦合的微服務架構,構建平臺公共基礎服務,建設統一組織機構庫,實現平臺組織機構信息統一管理和接口開放;建設共享稿件庫,為業務系統間數據推送提供統一消息隊列服務;建設資源標識庫,為業務系統提供一致數據分類標準;建設平臺公共接口網關,作為業務系統接口調用的統一入口和分發路由,實現接口統一監控、權限校驗和審計;建設數據資源全集,匯聚包括文檔、圖片、視頻、文件、站點、欄目、用戶、新媒體賬號、日志等各類業務數據,實現海量數據統一查詢分析.在不改變業務系統已有功能前提下,進行系統功能接口改造,統一與接口網關進行對接,實現系統間的松耦合和高可用.

3.2 整體架構

在業務系統上層構建接口網關,統一提供接口調用的路由服務、訪問控制服務和狀態監控服務,各業務系統接口調用統一由接口網關進行封裝整合、解析調度和路由分發,確保可實時監控各接口運行狀態;組織機構庫、共享稿件庫、資源標識庫作為平臺公共基礎服務,為各項業務系統開放接口,提供包括機構查詢檢索、稿件推送和跟蹤、資源標識查詢等遠程調用服務;數據資源全集作為平臺公共數據服務,定時抽取各業務系統及公共基礎服務的運行數據.

如圖1,用戶統一認證、各類業務系統和公共基礎服務,由原來系統間相互直接調用方式,調整為通過公共接口網關進行相互調用.對于接口調用方來說,公共接口網關隱藏各個接口具體細節,聚合成粗粒度業務接口;對于接口被調用方來說,公共接口網關集成接口調用的負載均衡、權限驗證、參數過濾及安全防護等通用功能,使接口實現專注于業務本身,并為業務功能升級或接口改造時不停止服務提供可能.通過引入公共接口網關,對于系統間的相互調用,形成了統一調度方式、統一安全策略、統一監控和日志記錄,進一步降低系統間耦合度.

圖1 系統架構圖

4 功能設計實現

通過新建公共接口網關、組織機構庫、共享稿件庫、資源標識庫、數據資源全集等公共服務系統,并對已有業務系統進行局部功能調整,建設實現一體化政務信息傳播平臺.

4.1 公共接口網關

系統采用Spring Cloud[3]開源項目實現公共接口網關對接口的統一管理調用,各系統間功能調用均通過接口網關進行調度.主要包括請求聚合、權限校驗、智能路由、接口監控、日志記錄等功能.

請求聚合指在各業務系統接口服務基礎上,按照各項業務功能對業務系統最細顆粒度接口進行功能聚合,確保一次接口調用完成一次業務功能,提升網關的響應能力和速度;權限校驗指在通過網關調用接口時,會統一過濾驗證調用方的權限和參數合法性,并在向被調用方驗證通過后放行;智能路由指在調用各業務接口時,隱藏接口詳細信息,統一由網關將接收到的請求按照注冊中心配置進行轉發;接口監控指網關會對所有接口進行實時監控,包括接口的狀態、實時流量、調用情況等,對于惡意調用可及時進行接口限流或臨時熔斷;日志記錄會詳細記錄每次接口調用詳細情況,包括調用方的詳細請求信息、調用結果等,用于異常監控和優化分析.

結合新媒體集成發布平臺運行情況,以不改變業務系統功能架構為前提,僅對各業務系統開放接口部分進行功能改造,如圖2所示,將各業務系統開放接口作為獨立微服務,所有接口注冊后統一由接口網關進行代理和路由,既提升了平臺擴展性和穩定性,也減少了運維過程中的復雜度和工作量.

4.2 組織機構庫

組織機構庫是平臺中統一管理機構下所有組織信息的公共基礎系統,提供對組織機構的管理維護、查詢檢索、查詢接口等功能,平臺中網站、微博賬號、微信公眾號、手機報等業務系統均以組織機構為單位進行關聯管理,是平臺的核心功能系統.

組織機構庫管理維護機構信息主要包括機構ID、機構名稱、機構全稱、機構代碼、機構類別、狀態、父機構代碼、機構圖標、所屬區域、機構地址、聯系人相關信息、備注說明等字段;系統本身提供組織機構樹形結構的相關管理功能,包括數據增刪改查、圖片上傳、順序調整等常用功能;系統同時提供對組織機構查詢的開放接口,接受組織機構ID、關鍵字、區域等參數進行遠程調用查詢,所有業務系統都和組織機構庫的組織機構進行關聯,每個網站、新浪微博、微信公眾號、手機報及其它業務均以組織機構為基本管理單元.

圖2 微服務架構示意圖

4.3 共享稿件庫

共享稿件庫是業務系統間進行數據推送的消息隊列系統,采用點對點通信模式實現,主要為各業務系統提供數據相互推送的中轉、權限控制和共享稿件查詢等服務,包括稿件推送、推送權限配置、稿件跟蹤、推送稿件查詢、開放接口管理等功能.

稿件推送指業務系統間數據共享,實現各系統間雙向信息推送.例如信息在內容管理系統中發布到網站后,可將信息推送到本機構或上級機構的微信管理系統中,微信可對稿件進行二次編輯后進行發布.推送權限配置指不同層級機構間的推送關系配置,平臺中數據缺省可在同一機構下不同業務系統間相互推送,對于不同機構間數據推送,需要配置機構到機構的推送權限;稿件跟蹤指對于已推送稿件可通過共享稿件庫查詢稿件的詳細流轉情況,包括來源系統、推送用戶及時間、目的系統、稿件處理情況等;推送稿件查詢指共享稿件庫本身提供按機構查詢展示所有推送稿件,并提供基本的統計分析;共享稿件庫提供稿件推送、附件上傳、稿件跟蹤、稿件查詢等開放接口.

如圖3所示,網站、新浪微博、微信公眾號都以組織機構為基本管理單元.共享稿件庫中各組織機構下的稿件庫邏輯上相互獨立,通過共享稿件庫進行機構到機構的推送權限配置,推送稿件前先進行權限過濾驗證,通過后將稿件推送到對應的消息推送隊列,業務系統中的接收機構從消息推送隊列中獲取稿件信息,并在共享稿件庫中存儲稿件進行記錄和查詢.

圖3 推送邏輯示意圖

4.4 資源標識庫

資源標識庫是對平臺所有業務信息進行統一標識分類的公共基礎服務,主要提供資源標識分類管理和開放接口功能.平臺中包含各種結構的業務信息,通過統一數據分類標準進行規范,便于數據匯總后綜合查詢分析.

資源標識管理指可對平臺各類資源目錄進行標識管理,制定統一標準的資源目錄,包括站點、欄目、文檔、圖片、視頻等各類信息,均制定平臺公共資源分類,實現常用的增刪改查等管理功能;同時提供標識查詢開放接口,接受標識ID、關鍵字等參數進行遠程調用查詢.

4.5 數據資源全集

數據資源全集是對平臺各類業務信息進行統一過濾匯聚的全文檢索系統,匯聚分散在各業務系統的站點、欄目、域名、公眾號、微博號、用戶、日志、發布文檔及URL 等各類數據,主要功能包括各類數據查詢、數據流轉分析、傳播效果統計等功能.數據資源全集采用開源ETL 工具Kettle[4]實現數據的抽取和匯聚,采用開源搜索分析引擎Elasticsearch[5]建設分布式的數據資源存儲和索引.

各類數據查詢指按組織機構對站點、欄目、文檔、用戶、圖片、視頻、日志等各類結構化數據的綜合查詢,包括各類數據的詳細信息;數據流轉分析指可對文檔信息在平臺中的所有流轉情況進行關聯查詢分析,通過匯聚平臺所有文檔信息,可查看文檔在各個渠道的發布情況、編輯版本、推送采納情況等,對后續的內容運維具有指導作用;傳播效果統計指按照組織機構對各個發布渠道提供包括文檔瀏覽量、訪問數、點贊數、評論數、更新量、收錄量等各類傳播效果的綜合統計分析,為各機構的信息傳播績效統計提供切實有效的數據參考.

如圖4,通過Kettle 將各業務系統已發布數據經過清洗過濾后存儲至ES 集群中,其中圖片、視頻只抽取文件相關說明信息,不抽取文件內容,由于數據資源全集對數據實時性要求不高,針對各類數據在kettle 上設置定時同步任務,每天凌晨增量更新.

圖4 數據抽取邏輯示意圖

5 實踐與分析

該平臺已在中國科學院新媒體環境下的科學傳播平臺建設課題中實際應用,初步形成以“中科院之聲”品牌為核心的科學傳播矩陣,為中科院百余個科研機構網絡宣傳工作提供技術支撐.

5.1 業務系統改造

中科院前期已建成以網站群為核心的集約化新媒體發布集成環境,在此基礎上進行系統改造,實現網站、新媒體等多渠道融合傳播管理,主要改造工作包括:(1)改造業務系統功能接口,與公共接口網關進行對接,系統調用接口在接口網關進行注冊和調用,實現各功能接口的統一管理和監控;(2)針對組織機構庫和資源標識庫,業務系統需要修改與組織機構和資源標識關聯的業務表,相應添加機構代碼和標識編碼字段,用于系統間的數據展示;(3)針對數據資源全集,各系統需要相應開放數據抽取的數據庫查詢權限,提供結合自身業務實現的各類業務視圖,供Kettle 批量抽取數據并存放到ES中.

在系統實際改造中,還需注意:(1)組織機構庫需根據機構調整及時維護完善機構信息和層級關系,平臺所有業務系統均基于組織機構為管理單元,組織機構信息的準確性直接影響各類信息的傳播監控和數據綜合統計;(2)共享稿件庫實現了信息發布至各個渠道不同版本的跟蹤查詢,實際運行過程中需結合機構自身情況考慮稿件的反復修改和多版本對照需求,可增加稿件處理備注功能和同一稿件多版本比較功能,方便用戶實際操作;(3)數據資源全集匯聚了平臺包括文檔在內的各類信息,對于已同步至資源全集又有修改或臨時撤銷的信息,這類數據需及時從資源全集中同步修改或刪除,具體實現采用數據庫增加觸發器和建臨時表存放撤銷、修改數據,再通過Kettle 定時同步更新資源全集,也可結合業務實際考慮其他實現方式.

5.2 實踐分析

平臺為中科院主站、院機關、研究單位及下級機構的門戶網站及新媒體運營等提供了運行支持.公共接口網關日均調用近萬次,組織機構庫已有數據1300 余條,共享稿件庫日均接收稿件500 余篇,數據資源全集已匯總用戶信息近3000 條,站點信息1000 余條,欄目信息20 余萬條,文檔信息500 多萬條,微信號600 余個,微博號70 余個.

平臺還將結合需求繼續改進完善:(1)平臺安全防護還需提升,包括接口調用數據加密、身份信息動態標識驗證、惡意訪問監控預警等;(2)微博、微信等第三方平臺接口持續變化的處理,第三方接口變化會直接影響平臺業務功能,需制定合理可行的技術處理流程及時調整;(3)共享稿件庫稿件版本管理,稿件實際發布到微信等渠道后通常會進行二次編輯,需考慮增加稿件版本對照功能方便用戶實際使用.

6 結語

該平臺在實際應用中進一步提升了中科院網絡宣傳工作的效率和質量,平臺建設思路對其他機構政務信息傳播工作有一定借鑒作用.下一步將基于數據資源全集進行大數據分析,并在此基礎上探索科學傳播工作的態勢分析和智能化應用.