基于MapReduce的城市交通大數據聚類挖掘系統

孫玉坤　韓聿彪

關鍵詞：MapReduce技術；城市交通；大數據聚類

中圖法分類號：TP391 文獻標識碼：A

1引言

城市智慧交通建設的持續推進，一定程度上也加快了社會的發展，逐步完善了各個城市的交通網，帶動了各項產業的進步，在促進產業化的同時，也拉動經濟增長。現階段，城市交通智慧系統多為單向的控制系統，雖然可能實現預期的控制效果及調整目標，但是較容易受到外部環境的影響，導致目標處理過程中形成誤差，影響日常的交通管控效果。為避免上述問題的擴大，部分城市選擇進行交通系統的升級，構建城市交通大數據聚類挖掘系統，其在應用前期獲取了較好的效果，但隨著車輛的增多以及路況的復雜化，系統對基礎數據的處理速度下降，整體的控制效率也在不斷降低。

本文提出基于MapReduce的城市交通大數據聚類挖掘系統的設計與驗證。所謂MapReduce技術，主要指的是一種面向大數據并行處理的計算模型、框架和平臺，通常與交通控制結構相關聯，在外部設備及控制結構的輔助下，逐漸構建一個更為靈活、智慧性更強的城市交通大數據聚類挖掘系統，遵循科學管控的目標，從多個方面進行系統的設計及調整，采用合理的方式對采集的數據定向匯總規劃，根據交通軌跡移動數據、人群密度變化等完成數據的駐留分析，從而進一步強化該系統的大數據聚類挖掘能力，為相關工作的執行與落實提供參考依據。

2設計交通大數據MapReduce聚類挖掘系統硬件

2.1傳感信息采集裝置設計

通常情況下，城市交通聚類挖掘系統日常工作時會形成較多的數據和信息，如果不及時做出調整和匯總，便會形成不可控的問題。因此，為提升整體的聚類挖掘速度及效率，需要在硬件結構中安裝設計傳感信息采集裝置。所謂傳感信息采集裝置，主要指的是一種多維定向的數據信息采集硬件設備，首先在該系統的控制電路中安裝多個感應器，并在內部設定一個小型的控制電路，然后根據城市交通系統控制覆蓋范圍，設置標定挖掘位置，并測算出小型電路的加載控制單元值，計算式為：

式中，D表示加載控制單元值，k表示定向控制范圍，α表示堆疊范圍，i表示單元控制次數，t表示加載距離，w表示挖掘移位差。根據上述測定，完成對加載控制單元值的測算。然后，在小型控制電路中接入PCL6114-6144-PCD4600A控制芯片，營造穩定的控制環境，并測定此時的定向挖掘分峰值，在傳感器后側方安裝射頻裝置，用來接收對應的聚類挖掘信號。但需要注意的是，在安裝射頻裝置的同時，還需增設轉化設備，將獲取的挖掘信號進行等位轉換，并傳輸至對應的位置，進而為大數據聚類挖掘處理營造穩定的硬件控制環境。

2.2復位挖掘控制電路設計

所謂復位電路，主要指的是在大數據聚類挖掘處理時，對控制方向及位置進行調整的一種硬件控制程序。在小型的控制電路中安裝掉電復位檢測節點，并將加載模糊度檢測模塊串聯接入。然后在小型電路和感應器中間接人一個PC機和路由器，明確實際的數據信息聚類挖掘范圍，由APLC21160邏輯處理器芯片進行主控處理，對采集的數據信息進行集成動態化處理，以形成循環性的硬件控制結構。

另外，需在PCL6114-6144-PCD4600A控制芯片中關聯一個聚類挖掘引擎，將這個復位電路劃分為2個控制單元電路。在電路1的位置安裝一個聚類控制電源，電路2位置接人定向的感應裝置，具體結構如圖1所示.

根據圖1，完成對復位挖掘控制電路結構的設計。然后，將PCL6114-6144-PCD4600A控制芯片和APLC21160邏輯處理器芯片同時移動至小型控制電路中，形成多層級的控制結構體系，以提升復位電路的靈敏度，從而有助于提升城市交通聚類挖掘處理的速度及效率，強化整體的硬件應用效果。

3設計交通大數據MapReduce聚類挖掘系統軟件

3.1設計交通MapReduce聚類挖掘協議棧

城市交通的大數據聚類挖掘程序一般是單向的，雖然能夠實現定向的數據信息處理，但是效率較低，針對性不強，常常出現聚類處理誤差的問題。因此，綜合MapReduce技術，進行交通聚類挖掘協議棧的設計。首先，進行定向管聚類挖掘控制模塊以及協議指令的設計。在控制程序中接人多個動態化的數據信息采集裝置，與主控結構進行搭接與關聯，增設信息融合指令和模糊度檢測指令，對節點采集的數據信息進行匯總和篩選，標定出城市交通的聚類挖掘識別位置，具體如圖2所示。

根據圖2，完成對聚類挖掘識別位置程序結構的設定與調整。然后，根據城市智慧交通選定的標定聚類識別參照物，綜合MapReduce框架，設計1個動態化的聚類挖掘協議棧，相當于1個移動指令傳輸程序，可以在排除異常因素的背景下，在預設時間范圍內，通過MapReduce框架及平臺，將指令輸送到城市交通系統的任意位置中，以提升交通MapReduce聚類挖掘協議棧的應用效率及質量。

3.2設計自適應MapReduce聚類挖掘數據庫

與傳統城市交通聚類挖掘數據庫不同的是，綜合MapReduce技術所構建的自適應數據庫更加靈活多變，對于數據、信息處理的效果更佳，實際應用價值更高。可以先通過自適應技術和MapReduce技術，建立一個聚類挖掘單元模型，利用部署節點，采集城市交通的數據以及信息。需要注意的是，數據信息包括音頻、視頻、圖片等信息，采集范圍及形式相對較大。依據特定的格式將數據轉換為數據包，利用MapReduce框架將其傳輸至初始數據庫對應的位置上，并進行系統聚類挖掘控制指標參數的設定，如表1所列。

根據表1，完成對聚類挖掘控制指標參數的設定。基于此，將上述設計的協議棧設定在數據庫內部，與指令集群建立正向的控制關系，逐步形成自適應的系統運行環境，為后續系統的日常應用以及升級奠定基礎環境。

4系統測試

系統測試主要是對基于MapReduce的城市交通大數據聚類挖掘系統的實際應用效果進行分析與驗證，考慮到最終測試結果的真實性與可靠性，采用比照的形式進行驗證。選定D城市交通系統作為測定的主要目標，標定出該城市中的4個路段作為比照驗證的對象，將4個位置的分系統與主交通系統進行關聯搭接，設置總控程序，營造穩定、真實的測定環境。結合實際的測定需求及標準，進行測試環境的搭接。

4.1測試準備

依據上述測定需求及標準，綜合MapReduce框架或者平臺，對城市交通大數據聚類挖掘系統實際應用效果進行分析驗證。首先，提取D城市交通系統4個路段的基礎測定數值以及信息，設定環境信息采集的頻譜寬度為30 dB，測定采樣的定向間隔時間為0.33s，利用自適應技術和大數據技術，營造穩定的測試及控制環境。同時，進行系統測定數值的調整，如表2所列。

根據表2，完成對系統測定數值的調整，結合MapReduce技術，營造穩定的系統測試環境，并對系統進行具體測試。

4.2測試過程及結果分析

在上述搭建的測試環境中，綜合MapReduce框架或者平臺，進行具體的測試。首先，在D城市交通選定的4個路段設定測試監測節點，構建基礎的測試環境。設定測試時間間隔為0.33 s，設定測試周期為24小時，每一個周期需要將數據及信息匯總整合，共預設3個周期進行測試。根據采樣的數據，測定出FRFT幅度，計算式為：

式中，G表示FRFT幅度，φ表示挖掘范圍，u表示聚類挖掘次數，d表示單向處理頻率，π表示定向監測區域，p表示采樣偏差。根據測試得出的結果，進行分析驗證，如圖3所示。

根據圖3，完成對測試結果的對比分析。經過4次聚類挖掘，最終得出的RFRT幅度較好地被控制在4以下，表明在對城市交通大數據聚類挖掘時，其挖掘穩定性更高，整體處理效果更佳，具有實際的應用價值。

5結束語

與傳統的大數據聚類挖掘系統相對比，此次融合MapReduce技術所構建的大數據聚類挖掘結構更加穩定、多變，在復雜的交通環境下，能夠精準定位異常區域，并采集交通移動軌跡數據以及人群分布密度，對各個位置、范圍的路況作出更為詳細的分析，充分利用智慧化平臺，進行交通指令的調整，形成更為靈活的交通大數據聚類挖掘程序，進而為該類型系統的進一步創新奠定基礎，同時推動交通行業邁入一個新的發展臺階。

作者簡介：

孫玉坤（1990—），本科，工程師，研究方向：信息系統集成、電子與建筑智能化工程。