李聰+丁璐璐
摘 要 跨區域車輛GNSS動態信息交換過程中,存在著區域跨度大,網絡結構復雜,數據具有分布、異構、高并發、浪涌等特點。為解決數據傳輸的高效性和及時性,提高海量數據處理的效率,利用異構GNSS數據高速緩存路由技術、異構集群海量GNSS數據入庫技術、異構集群海量GNSS數據入庫技術,是解決問題的關鍵所在。
關鍵詞 GNSS;高速緩存路由;海量數據入庫;令牌流控
中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708(2017)182-0100-02
為實現省際間的漫游車輛的跨區域信息交換和相關部門間的信息共享,必須通過采集各省級監控平臺的車輛GNSS(Global?Navigation? Satellite?System)動態信息,建立車輛靜態信息與動態信息數據庫,形成覆蓋跨區域漫游車輛的數據中心。實現不同省份車輛的實時跨域分析,對入境且非歸屬省份的車輛,進行有效的判斷,并將這些車輛的屬性信息,以及車輛的GNSS動態信息,交換到目的省或部門,以解決全國范圍內外省入境車輛存在的安全監管盲區問題。
在跨區域車輛GNSS動態信息的交換過程中,由于涉及的監控車輛眾多,車輛所在位置區域跨度大,GNSS數據存在以下特點:
1)不同省域之間的數據以復雜的網狀形式進行交互,其數據傳輸的高效性和及時性受到影響。
2)全國擁有30個省級平臺的GNSS數據,數據具有分布、異構、高并發的特點。在海量數據并發情況下,由于數據庫寫庫瓶頸的存在,入庫效率大大降低。
3)由于來自全國各省的GNSS數據是海量的,同時具有浪涌特點,因此,必須對大量的數據進行分流處理,針對不同的數據進行分類處理。
因此,如何利用異構GNSS數據高速緩存路由技術、異構集群海量GNSS數據入庫技術、異構集群海量GNSS數據入庫技術,是解決跨區域車輛GNSS動態信息交換的關鍵點所在。
1 異構GNSS數據高速緩存路由技術
在跨區域車輛GNSS動態信息監控系統中,由于不同省域間的數據即是數據的發送起點,同時又是數據交互的目的地,數據以網狀形式進行交互傳輸,如何降低網狀通信帶來多節點路由算法的復雜度,實現數據的高效即時傳輸,實現交互模式數據通信,是實現信息有效交換的重點技術。網狀通信結構如圖1所示。
為解決上述蜘蛛通信網的問題,系統結合組播模式的通信手段,利用一個網關節點與多個路由節點構建多服務客戶端模式,網關節點利用均衡策略將GNSS數據高效分發到所述路由節點,進行路由分析,如圖2所示。
網關節點利用均衡策略將GNSS數據分發到所述路由節點進行路由分析:判斷出當前有需要進行路由分析的GNSS數據包,則查找到在路由分析服務客戶端池中已經登錄注冊的路由服務客戶端;發送所述GNSS數據包到所述路由服務客戶端。其中,網關節點與另一網關節點間采用組播方式進行GNSS數據交換。
異構GNSS數據高速緩存路由技術充分仿照路由器的原理,對于來自不同節點的GNSS數據,進行包頭的簡單分析,即確定數據路由走向;因此,避免了常見的軟件系統中對于海量數據的深度分析,從而導致效率低下的問題。
2 異構集群海量GNSS數據入庫技術
全國目前擁有30個省級平臺的GNSS數據,數據具有分布、異構、高并發的特點。目前,大多數常見應用系統的并發數據量較少,對數據庫入庫性能要求不高,即在小數據量并發的情況下,數據庫以接收一條,分析一條,寫入一條的方式入庫,基本可以滿足系統應用要求。但在海量數據并發情況下,由于數據庫寫庫瓶頸的存在,入庫效率大大降低。
異構集群海量GNSS數據入庫技術將應用系統中的應用數據進行預處理和數據寫入數據庫的過程并行,即數據經過預處理后存入緩存,當緩存中的數據達到預設數據量時,將該數據一次性寫入數據庫,并將該數據從緩存中刪除。此方法的數據處理速度和寫入速度較快,尤其適用于海量數據并發的應用系統,這樣的技術實現,可以通過對于預設的數據量進行動態調整,從而實現入庫的高性能,滿足降低數據庫的IO需求,充分利用數據庫的緩存機制,確保數據庫的高性能運作。
異構集群海量GNSS數據入庫技術主要由TCP通訊組件、協議分析組件、寫庫管理組件、寫庫組件等模塊構成。對外主要通過入庫接口的收取應用數據,通過批量寫庫組件將數據實時入庫,技術架構如圖3所示。
3 域間信息交互式組播路由接口技術
由于來自全國各省的GNSS數據是海量的,同時具有浪涌特點,因此,必須對大量的數據進行分流處理,針對不同的數據進行分類處理。域間信息交互式組播路由接口技術的核心在于采用基于令牌流控技術的數據分流模式,對于GNSS數據進行批量整合,同時進行分布處理,以實現數據的高速有效的交互。域間信息交互式組播路由接口技術的采用,實現了海量的全國GNSS數據有效的交互,確保了系統的穩定運作。
流程描述如下:1)在GNSS數據統計節點與GNSS數據應用節點之間建立令牌流控管理服務節點;2)GNSS數據統計節點與所述GNSS數據應用節點分別向所述令牌流控管理服務節點上報各自的令牌流量信息;3)令牌流控管理服務節點根據接收的令牌流量信息,查找到空閑流出令牌流量統計節點與空閑流入令牌流量應用節點;4)令牌流控管理服務節點發出數據同步流控指令到所述空閑流出令牌流量統計節點;5)空閑流出令牌流量統計節點收到所述數據同步流控指令后,同步數據到對應的空閑流入令牌流量應用節點。通過令牌流控技術的研究應用,能夠解決GNSS數據的浪涌沖擊的問題。令牌流控序列圖,如圖4所示。
利用該項技術,使得因設備的數量或配置的不均衡而導致的浪涌式GNSS數據流在有序、合理的控制下獲得了平穩的傳輸,從而確保業務數據展示的可靠性。
參考文獻
[1]劉禎,劉斌,鄭凱.基于軟件的網絡處理器的路由高速緩存算法研究[J].軟件學報,2007,18(12):3115-3123.
[2]汪宏宇,賀芳林,等.一種浪涌GNSS數據的令牌流控方法及系統[P],2011.