基于大數據的綜合數據處理平臺方案設計研究

李為波

摘要：在大數據的發展時代背景下，我國的各行各業都在致力于將人、物、機等三元世界在網絡空間中進行交互、融合，以獲得互聯網上的大數據資源。在大數據資源的潮流趨勢之下，文章主要圍繞大數據的研究現狀、作用意義展開，在此基礎上探索綜合數據處理平臺，并對其平臺方案的設計進行研究，以促進我國信息化社會的建設。

關鍵詞：大數據；綜合數據處理；平臺方案設計；研究

中圖分類號：TP311.13 文獻標識碼：A 文章編號：1007-9416（2017）01-0069-02

隨著互聯網、物聯網以及云計算等IT技術的進一步發展，我國社會的各行各業都迎來了新的發展機遇和挑戰。在大數據的時代背景下，探索綜合數據處理平臺的方案設計研究，不僅能夠改變我國的經濟發展增長方式，而且還能夠讓各行各業的發展跟上時代潮流的發展步伐，提升我國產業經濟的國際競爭力，促進我國綜合國力的進一步提升。

1 大數據的概念及其作用、意義解析

大數據是一個高度抽象、凝練的概括詞，各行各業的專家、學者大多都是根據自己的理解來對大數據進行定義，因此，迄今為止，人們對大數據都沒有統一、標準的定義，大數據的概念還處于仁者見仁、智者見智的狀態。

大數據指的是所涉及的資料規模很大，無法通過目前的主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營者進行決策的資訊，這是維基百科對大數據的定義。可以看出在這概念中，維基百科對大數據的解釋主要側重點是強調大數據資源的規模量大的特點，并說明了大數據的功能作用是擷取、管理、處理以及整理相關的信息資源以供企業使用。從維基百科對大數據的定義來看，大數據所服務的對象主要是企業經營者，但就筆者看來，這一定義無可避免地帶有了維基百科本身的局限性。大數據并不僅僅是為企業經營者服務的，任何行業包括我國的基層政府、公、檢、法等部門都完全可以使用大數據資源來建立綜合數據處理平臺，以此對相關的決策、政策進行分析，為促進我國社會的全面發展貢獻力量。

在大數據的飛速發展過程中，其展現了自身的獨特作用和功能，對大數據進行精細化的研究，不僅有助于捍衛我國的網絡空間的數字主權，維護我國的社會穩定，推動社會與經濟的可持續化發展。而且大數據在發展的過程中還能夠極大的推動國民經濟核心的產業信息化升級，突破當前科學、技術的限制，帶動誕生出數據服務、數據材料、數據制藥等戰略性新興產業?？v使大數據具備了眾多的功能和作用，極大地促進了我國經濟社會的發展，但大數據給我國經濟社會的發展所帶來的挑戰也是不容忽視的。大數據由于其數據類型、數據結構以及數據內在模式都極其的復雜；數據本身、數據模型以及數據學習的不確定性；數據模式、數據行為以及智慧的涌現性等現狀使得人們在對大數據的使用中存在著諸多的挑戰?；诖髷祿倪@些功能作用以及面臨的挑戰特點，對大數據的綜合數據處理平臺方案進行設計研究具有重要的現實作用。

2 基于大數據的綜合數據處理平臺的方案設計研究

在大數據的時代背景下，建立綜合數據處理平臺的首要任務是要明確平臺建設的目標。通過運用管理學學科的相關知識對這些目標進行層次的劃分，將目標進行細化處理，使其成為一個個可供實踐操作的小目標。其次是根據這些目標的需要，結合相關的互聯網、物聯網技術以及數學分析、建模思想等，構建綜合數據處理平臺的總體架構，初步搭建綜合數據處理平臺。最后是對綜合數據處理平臺的內涵及外延進行填充處理，如對綜合數據處理平臺進行技術架構、網架架構以及安全架構等等，并采取相關的措施對其進行管理維修，以方便使用。

2.1 基于大數據的綜合數據處理平臺設計的目標分析

由于大數據本身所具備的特殊性，構建基于大數據的綜合數據處理平臺，首先需要的是明確構建這一平臺的目標。在筆者看來，構建基于大數據的綜合數據處理平臺的目標主要有以下幾方面：一是提供各種類型的數據信息，在大數據概念、內涵中都已經明確了其功能作用，大數據主要是為社會各行各業的發展需要提供多元化、便捷化、高速化的服務。構建基于大數據的綜合數據處理平臺的目標之一就是收集、分析、整理各種類型的數據資源，并將其分門別類地置于綜合數據處理平臺上，為廣大用戶群體提供充足的數據資料，方便其決策使用。二是創建新型的共享數據庫，實現綜合數據處理平臺上數據的共建共享。在當前的社會發展中，各大數據庫使用的仍然是點對點的數據共享，這一復雜的網狀結構既使得同樣的信息和功能重復出現，又使得數據庫系統中存在大量的信息和功能冗余，這極大地阻礙了數據庫功能作用的發揮。而建立的新型綜合數據處理平臺，采用的是開放式架構體系，其能夠有效地實現各系統之間的耦合，這既能夠簡化數據庫中的網狀結構，節省數據庫的空間，又能夠實時完成新型數據庫中數據資源的共建、共享，達到提供信息資源和進行數據服務的目的。

構建綜合數據處理平臺第三方面的目標是建立制定數據交換使用的標準。俗話說無規矩不成方圓，在構建基于大數據的綜合數據處理平臺時，需要在其目標制定階段就推出統一的數據交換標準，以保證后續工作的有序化開展。為了更好地滿足社會各界對于綜合數據處理平臺的各項業務開展的需要，需彌補當前數據庫中數據資源標準缺乏的不足，保證同一類型的數據不會存在多個數據源頭或者是多個數據格式，更好地實現數據的共享。在進行綜合數據處理平臺方案的設計時，要預先設置統一的數據訪問和數據交換的標準，避免數據的重復建設，實現數據適應業務需要的靈活化發展，滿足人們日益增長的數據使用、業務變化需求，促進大數據綜合數據處理平臺的建設和發展。

在明確了這些平臺目標之后，還需要基于大數據的綜合數據處理平臺，在方案設計研究中一步一步地對這些目標展開進一步的細化，使其成為可操作、實時性強的小目標。并在此基礎上構建一個綜合數據處理平臺方案設計研究的目標體系，為基于大數據的綜合數據處理平臺的建成做好必要的準備工作，為后續的平臺設計、研究、建設做好鋪墊。

2.2 基于大數據的綜合數據處理平臺方案設計的總體構架分析

在大數據的理念、技術支撐之下，可以構建基于服務總線、數據庫級共享模塊以及應用級模塊的綜合數據處理平臺。在具體的方案設計研究中，分別對這三大模塊進行分解、細化，使其成為更小的子系統，然后對各子系統中的各個要素部分進行設計和處理。最后將所有的要素部分進行糅合，以此建立數據信息交互的綜合數據處理分析平臺。其中，基于大數據的綜合數據處理平臺方案設計中的服務總線的主要功能是完成信息的路由、轉發、服務、注冊等，并且服務總線同時與其他同級平臺進行連接，以達到數據信息資源共享的目標。服務總線模塊的方案設計是整個綜合數據處理平臺的主體部分，如果將其比作生物人的話，服務總線就相當于人的大腦，對整個平臺的運轉進行指揮、調節、控制。

數據庫級共享模塊的作用是實現數據資源的存儲、交換，并達到共享的目的。在具體的方案構架中，數據庫級共享模塊主要是通過對數據庫和共享數據庫進行直接訪問的方式展開，以完成各種類型的，大批量實時數據、靜態數據、統計分析數據、結構化數據、非結構化數據以及半結構化數據等的共享。數據庫級共享模塊還可以主動地對被抽取的數據、被動接收的數據進行共享數據庫的構建，以不斷地滿足各大數據平臺的提供者和用戶對數據資源的儲存、交換，實現綜合數據處理平臺的作用。

而在應用級共享模塊的建設時主要是要將其與服務總線進行連接，并在其進行標準的服務接口時，對數據庫中的數據資源進行共享數據加工、共享數據交換、共享數據服務以及共享流程服務等工作。應用級共享模塊主要是通過這些工作來實現整個綜合數據處理平臺各系統之間的相互交流，相互協調合作，以實現各大數據平臺數據的交換和服務的共享。也可以這樣說，應用級共享模塊在整個的綜合數據處理平臺中居于信息共享平臺的中樞、核心層，是實現大數據交換、服務、共享的關鍵板塊。

2.3 基于大數據的綜合數據處理平臺設計的技術構架分析

基于大數據的綜合數據處理平臺設計的主要技術是計算機技術、互聯網技術、云計算處理技術以及信息通信、信息通訊等技術，進行綜合數據處理平臺的構建離不開這些現代化技術的支撐?；诖髷祿陌l展，綜合數據處理分析平臺中的硬件構架主要有防火墻、交換機、數據庫服務器、光纖交換機、硬盤陣列以及應用服務器等。

綜合數據處理分析平臺中的各大硬件構架在使用過程中所憑借的具體技術支撐有所不同，各硬件構架在整個綜合數據處理分析平臺中的地位也有所區別。其中，數據庫服務器主要采用的是固定分區方式，對數據庫中的數據進行存取、訪問控制、對數據進行管理、集成數據分析服務、對信息進行調度以實現共享等等。此外，數據庫服務器還能夠對硬件、軟件以及其他的受控件產生的故障進行探測，并同時將故障主機上的應用迅速切換至其他的設備上，最大限度地保證數據業務使用的連貫性。

應用服務器作為連接交換機、光纖交換機的主要載體，在整個的綜合數據處理分析平臺上處于核心設備地位，主要負責數據共享方面的業務。包括基于消息隊列的共享、基于共享數據庫方式的共享以及基于共享服務和業務流程級別的信息共享等。應用服務器能夠保證資源的靈活性使用，并根據實際情況的需要，對信息資源進行相關的實時性調整。但為了更好地發揮應用服務器在整個綜合數據處理平臺上的作用，在使用應用服務器時，最好對應用服務器進行雙機集群處理。

2.4 基于大數據的綜合數據處理平臺設計的網架架構分析

網架構架是整個數據平臺得以正常運轉的關鍵技術支撐，沒有網絡架構，綜合數據處理平臺其他模塊的構架都是紙上談兵。當前，我國計算機網絡使用得比較普遍的是廣域網和局域網，在絕大多數的行業領域，使用得最為普遍的是局域網。局域網主要是利用以太網技術作為網架架構，這在一定程度上能夠滿足平臺內部的網絡使用需求，實現內部數據資源的網絡共享。但在進行綜合數據平臺處理時，可以有意識地多加入廣域網的使用，以實現更廣范圍內的行業和平臺之間信息的橫向溝通交流。這樣也可以實現更大范圍內的數據資源共享，滿足人們對于大數據時代發展的數據需求，促進整個經濟社會的信息化發展。

2.5 基于大數據的綜合數據處理平臺設計的安全構架分析

計算機網絡安全一直以來都是社會各界人士關注的重點。近些年來，黑客入侵、用戶信息資料泄露影響了網絡環境安全，給網絡用戶的生活帶來了極大的困擾。在構建基于大數據的綜合數據處理平臺方案分析時，要充分地考慮到平臺各個方面、各個層級體系的安全性能，構建完備的安全服務與安全防護體系，保證平臺與用戶進入口之間信息交換的安全性。

筆者認為，有如下的具體做法可以用來構建綜合數據處理平臺中的安全架構體系：一是強化防火墻技術系統，對數據庫的訪問入口進行嚴密的限制、控制，并對服務器的區域邊界、區域之間的訪問進行嚴格的控制，以保證平臺數據資源使用的安全性。二是對各硬件、軟件進行防病毒系統保護。在各數據庫終端和服務器上都部署相應的安全管理區域，對各用戶的訪問端口進行病毒掃描，定期對病毒管理系統進行優化升級。借此進一步提高相關系統的監控管理能力，提高綜合數據處理平臺系統的安全性。三是對應用管系統和審計系統進行安全管理，無論是核心交換機還是終端、服務器都要對惡意用戶的不正當行為進行過濾和警告，尤其是要嚴格禁止不法用戶的非法訪問、惡意攻擊以及蠕蟲傳播等行為。要以此保障整個綜合數據處理平臺各系統之間各類型數據資源的安全性能，促進整個平臺安全構架的建設。

3 結語

在探索綜合數據處理平臺方案設計研究的過程中，筆者發現大數據的處理技術還存在著一些亟待解決的問題。當前，大數據的存儲成本比較高，資源的利用率比較低，大數據系統的吞吐率也還比較低，非線性迭代算法還需要做進一步的優化等，這些都是目前大數據平臺所存在的系列問題。在大數據時代背景下，構建綜合數據處理分析平臺既需要相關的工作技術人員采取相應的措施、方法來解決大數據自身所面臨的問題和挑戰，也需要不斷地引進、開發新的技術，解決在構建綜合數據處理平臺過程中所產生的新問題。這從一定程度上來說增加了綜合數據處理平臺的方案設計難度和數據平臺的建立難度。

參考文獻

[1]朱建平，章貴軍，劉曉葳.大數據時代下數據分析理念的辨析[J].統計研究，2014，02：10-19.

[2]程學旗，靳小龍，王元卓等.大數據系統和分析技術綜述[J].軟件學報，2014，09：1889-1908.

[3]王元卓，靳小龍，程學旗.網絡大數據：現狀與展望[J].計算機學報，2013，06：1125-1138.

[4]王淑芬.基于大數據的制造運行監測與分析平臺研究[D].廣東工業大學，2014.

[5]張銀葉.一種可適應多變需求的數據處理平臺設計與應用[D].中國科學技術大學，2015.

[6]謝蒙.基于綜合數據業務平臺的消息分發系統的設計與實現[D].北京郵電大學，2012.