大數據分析平臺建設與應用綜述

張孟華

摘要：本文針對大數據在戰略思維層面、技術創新發展層面、社會創新發展層面的核心價值展開分析，結合大數據分析平臺建設思路，包括平臺建設目標、建設內容分析、關鍵技術分析等，通過研究大數據分析平臺在制造領域、零售領域、電力運輸領域、運輸領域、銀行服務領域中的具體應用，其目的在于加快大數據分析平臺建設速度，提升大數據分析平臺的應用效果。

關鍵詞：戰略思維層面;平臺建設目標;制造領域;平臺層;功能層

1 大數據的核心應用價值

1.1 戰略思維層面

從目前發展情況來看，數據已經成為推動社會經濟穩定發展的重要影響因素，大數據的發展可以追溯到2011年，麥肯錫公司發布了《大數據：下一個競爭、創新和生產力的前沿領域》的研究報告，這也意味著“大數據”正式進入到了戰略發展階段。許多國家開始著手進行大數據發展戰略的研究，我國與2012年加入到了推動大數據發展的行列當中，大數據的重要性也在得到人們的認可。尤其是在2015年，國務院出臺了《促進大數據發展行動綱要》，明確了大數據在國家發展中的地位，同時還在《綱要》中提出了一些有關大數據發展的重要策略，這也進一步凸顯出我國對于發展大數據的重視，也使得大數據發展進入到了戰略推進階段。

1.2 技術創新發展層面

大數據相比其他類型的數據信息，在發展應用過程中，具備了發展類型多元化、總體量巨大、相互間關系復雜程度高等應用特點。為了更好的完成價值數據信息提取，需要匹配相應的科學技術，這也加快了技術創新速度，進而促進了社會經濟的快速發展。在技術創新過程中，其前提條件便是需要有足夠的數據信息進行支持，而大數據所能夠提供的信息基數數量非常大，這也便于后續將與大數據相關的理論、已有的技術成果與創新框架結構進行融合，同時還可以依托于互聯網技術，開始推動智能化體系的發展，這也會進一步加快問題的處理速度，為技術創新發展創造良好的應用環境。

1.3 社會創新發展層面

社會經濟的飛速發展，社會也開始沿著智慧城市的建設方向推進，所謂智慧城市是指可以對城市各方面發展情況進行統籌性規劃，并且將城市管轄區域的信息網并聯在一起，采用以點及面的方式來推進城市經濟的穩定發展。建立該網絡平臺的基礎便是海量數據的支持，即大數據便是實現智慧城市戰略目標的基礎內容。現階段，我國的很多城市已經著手進行智慧城市的建設，而大數據在該環節中，充分發揮著業務協同與信息整合的作用，并且所搭建的數據平臺還可以為社會發展提供可靠的基礎設施支持，同時還降低了技術應用門檻，加快了一站式服務的普及速度。這也意味著社會創新發展進入到了多元化推進階段，提高了社會經濟結構穩固性。

2 大數據分析平臺建設思路分析

2.1 平臺建設目標

進行大數據分析平臺的建設，其主要的應用目標便是構建統一的數據資源庫，同時還可以對數據進行準確篩選，提高數據內容的精準度。而且在應用過程中，還可以對數據安全管理能力進行提升，在確保數據信息應用價值的基礎上，提高結構運行過程的可靠性。在實際應用中，一般都會對數據信息的共享模式進行調整，將虛擬數據沿著實體數據信息存儲的方式進行調整，以此為基礎來搭建完善的數據管理框架，對于采集到的數據信息進行預處理、數據清洗或數據分析等，此時的數據已經開始沿著“資產”的方向進行發展，這也提升了數據信息提供的針對性，為行業經濟發展提供了可靠的數據信息支持。

2.2 建設內容分析

2.2.1 數據采集系統

這也是大數據平臺的基礎內容，在實際應用中，可以將現有業務系統中涉及到數據信息，集中匯集到大數據平臺結構中，同時對于系統提供數據的格式進行統一，這也為后續數據信息的順利提取奠定基礎。同時還會建立基礎算子，對于平臺中數據之間的關系進行梳理，而且還會對數據信息潛在價值進行研究，同時對于數據信息潛在價值進行匯總整理，以此為依據對原有數據庫進行重建，為一站式管理奠定基礎。另外，在實際應用中，數據采集系統還需要具備較強的兼容性，可以對許多數據格式進行兼容，以此來提高系統運行本身的可靠性。

2.2.2 數據處理系統

在大數據時代，數據每天都處于不斷更新的狀態，部分數據信息在經過一段時間后，會喪失原有的時效性，需要對其進行更新，從而確保數據供給的可靠性。在數據處理系統建立過程中，需要對數據信息管理規范進行確定，以此為基礎來進行元數據信息的血緣分析，對其進行精細化分類，以此來確保數據資源供給的可靠性。在數據處理環節，主要應包括數據細化分類、數據深度挖掘、數據糾錯、數據存儲等多方面應用內容，這也是提高系統應用價值的基礎環節，以此為后續指令的下達奠定基礎。

2.2.3 數據安全管理系統

對于采集、處理后的數據信息進行加密處理，同時在數據傳輸過程中也需要做好數據的加密工作，確保所有采集數據信息的可靠性。同時用戶在數據訪問環節中，也需要對訪問者的身份進行認證，根據等級劃分制度，對于訪問者的身份進行確定，而且還需要做好相關的記錄審查工作，確保數據審查的可靠性。另外，對于一些敏感性數據信息，還需要對其進行脫敏處理，確保數據信息傳遞結果的完整性。

2.3 關鍵技術分析

2.3.1 平臺層

該結構在大數據平臺建設中，屬于非常核心的系統結構，在實際建設中，該系統主要由以下幾部分內容組成：第一，數據存儲系統，大數據的信息總量龐大，在實際應用中，需要構建PB級存儲能力的系統，以此來滿足數據存儲要求。第二，數據挖掘系統，大數據在傳輸一般都會以數據包的方式進行傳遞，其中蘊含了非常多的數據信息，對此，平臺層在傳遞數據信息時，也需要做好兼容性調整，并且在傳遞過程中，應打破傳統 MapReduce 技術的框架限制，對數據潛在價值進行挖掘，從而提高系統運行的可靠性。

2.3.2 功能層

在功能層結構的建設過程中，主要由以下幾部分內容構成：（1）挖掘算法的確定，與平臺中數據挖掘系統相對應，其主要的工作內容便是對數據信息進行深入挖掘，以此來提高TB建模的穩定性。（2）隱私保護技術，所有采集到的數據信息需要進行安全保護，同時還需要一些數據信息進行脫敏處理，使其能夠和其他普通信息內容一樣，可以順利地進行傳遞，減少了其他不確定因素帶來的干擾性，從而提高信息傳遞的可靠性。（3）可視化分析技術，該技術主要用于輔助挖掘系統工作的順利開展，從而提高了數據信息交互過程的穩定性^[1]。

2.3.3 服務層

服務層作為和用戶進行直接對接的系統，在該系統建立過程中，需要注意以下幾點內容：第一，數據匹配技術，在用戶提出請求之后，可以快速將指令傳遞到指定區域，從中篩選出和請求相匹配的數據內容，數據的細化程度會根據用戶提供關鍵詞的細化程度不斷提高，以此來為用戶提供可靠的數據信息^[2]。第二，顯示技術，不同格式數據信息的顯示方式也存在著較大的不同，因此需要對數據格式進行兼容性轉化，從而提高數據顯示后的可利用性。

3 結語

大數據分析與應用平臺，是大數據時代必備的基礎設施，也是突破當前技術瓶頸的有效突破口。開發和建設大數據分析與應用平臺將帶來三個方面的價值：第一，有助于不斷匯集大數據技術創新成果，并用最先進的技術為用戶提供一站式的應用服務;第二，有助于降低用戶技術門檻，為應用開發提供共性基礎設施與服務，從而加快應用創新;第三，有助于形成大數據技術產品和行業解決方案，促進我國大數據產業加快形成。

參考文獻：

[1]陳越，侯常敏.基于大數據分析的公立醫院運營信息化平臺建設及應用[J].中國衛生經濟，2020，39（03）：80-82.

[2]葛飛飛.大數據分析平臺建設與應用綜述[J].科技風，2019（25）：54+59.