統計學中大數據驅動的云計算平臺的應用研究

楊欣 對外經濟貿易大學統計學院在職人員高級課程研修班學員

云計算平臺也可稱之為云平臺，有著一定的存儲能力。在社會息化發展過程中，會產生諸多數據，針對于大數據的生成與處理以及分析來講，其對數據研究不僅是一種挑戰，同時也是一種機遇。隨著大數據時代的到來，傳感器技術得到長足的發展，群眾在社會生活與生產中的數據時刻被收集著。對這些數據進行分析利用需要借助云計算平臺。云計算平臺屬于一種分布式計算模式，借助網絡“云”將數據計算處理劃分為多個小程序，其在應對多元化信息處理需求方面有著一定的優勢。

一、闡述大數據和云計算平臺

大數據時代悄然來臨，其發展特別迅猛，應用極為廣泛。大數據代表著對復雜結構的海量數據進行高效處理和分析的技術與應用。大數據在我國信息化發展進程中有著十分重要的作用。

此外，云計算平臺有著容納性強、運行速度較快等特征，在此基礎上大數據驅動下的云計算平臺能夠對復雜性數據進行處理，同時還能夠依照相關準則將不同數據分布到多個計算機中進行科學操作，這樣的方式可以在短時間內處理大量信息，還可以進一步提升數據的處理速度。

二、大數據與云計算平臺的優勢

大數據的基本特征是：數據量大、要求快速響應、數據多樣性、價值密度低。基于以上特點，大數據的數據挖掘是關鍵問題，而傳統計算機處理方式已經難以滿足大數據的處理要求，因此需要運用新型計算模式來實現大數據的處理和數據治理，以及保障其數據安全和運營。容量大且種類較多的大數據有著極大的利用空間，云計算平臺的出現可以為大數據利用提供安全與高效的支持。

大數據與云計算平臺的融合主要是因為云計算所具有的分布式處理、分布式數據庫、云存儲和虛擬化技術等特征。前者借助云計算平臺的以上特征可以滿足大數據對數據量的要求。例如，云計算平臺還可以借助虛擬化處理方式對計算機內部資源與網絡資源進行融合，然后通過相應的要求來進行合理調度，進一步實現信息價值的最大化。總之，大數據與云計算平臺兩者有著一定的兼容性，可以使各個系統運用做到融合。以云計算為核心的數據處理平臺可以滿足復雜且繁瑣的操作要求，云計算有著容量大、運行穩定以及安全性較高等特征，而大數據技術能夠為云計算平臺運行提供科學指導，同時還能夠對云計算資源進行合理調配。

三、云計算的大數據平臺技術和特性

（一）技術分析

Hadoop技術作為目前最成熟的大數據平臺，在諸多領域中都有著一定的應用，如淘寶網。Hadoop技術有著操作簡單、交易可靠以及市場價格較低等特征，對企業長遠健康發展有著極大的幫助。所以，該技術逐漸成為企業數據存儲與信息管理的重點，可以充分企業實際發展需要。

2.Spark技術

從Hadoop技術角度來講，Hadoop包括Yarn和HDFS以及MapReduce，MapR educe模型不適合描述復雜數據的處理過程，為達到相同的效果，它將比spark技術消耗更多的資源和時間。（例如對相同的1萬億條數據進行排序，spark只需要hadoop所用的1/10的資源，和1/3的耗時。）顯然，spark技術有著更加先進的信息挖掘能力與數據分析能力，因此其與hadoop在應用領域上呈現出較大的差異，Hadoop技術主要是在電子商務軟件中運用較多，而spark技術目前主要是在視頻軟件與通訊軟件中運用。在互聯網快速發展的時代下，人們關于通信的需求也更加多樣和廣泛，而spark框架的優勢不僅在性能上的提升，還未批處理（sparkcore）、交互式（spark SQL）、機器學習（MLib）、圖計算（GraphX）提供了統一的數據處理解決方案。因此，它能夠較好地符合時代的要求。

（二）平臺特性

1.開放性

為適應大數據的快速發展，以及滿足數據接口的靈活設置，在大數據驅動下云計算平臺性能應體現出開放性原則，這樣的方式不僅可以滿足數據及時更新的需求，還能夠進一步降低系統風險和企業成本，同時滿足企業健康的發展需要。

2.擴展性

擴展性就是大數據背景下，云計算平臺需要保護大數據原本系統，在擴展的同時，全面保障平臺之間實現資源優化配置與共享，為數據庫內部匹配與網絡結構融合提供便利。

1)空三加密對相機內方位元素具有自適應功能，可以同時求解相機內方位元素。解決了無人機航拍姿態不穩定、重疊度過大，外業像控點布設工作量過大造成的航測內業空三加密困難問題。

3.穩定性

平臺與客戶端兩者之間沒有聯系，這對于保障平臺穩定運行有著極大的幫助。所以，在多個數據庫之間還需要明確數據與存儲之間的同步，從而保障數據分析與數據傳輸的有效性。

四、大數據在統計學中的有效應用

（一）大數據下的統計運行流程

相較于傳統統計學，大數據時代下的統計學在深度、廣度方面都有著一定的變化，產生著積極的影響。例如當前統計學的分析研究對象不再局限于數量，還包含了無法用數據來度量的文本信息、圖片信息、視頻信息、動畫信息以及地理位置信息等。這種不屬于結構數據的信息，也可以進行全面統計和系統分析。大數據下的統計分析工作，也變得更為簡單連貫。

（二）應對數據進行收集

這是完全不同于以往傳統且單一的數據收集和保存工作，面對龐大的數據組和復雜的數據類型，傳統數據收集方式不可能對現有的數據進行匯總、編制和繪制統計表，但云計算平臺就能夠對大數據信息進行全面審核與儲存。即便這些數據之間并不一定存在客觀而穩定的聯系，但是仍能從中發現和分析出隱藏的關系模式，對比來講，這種大數據統計方式所得到的信息更加全面，數據也更加有價值。

（三）應全面挖掘數據的內在價值

大數據時代下所收集到的數據價值并不只存在于表面，很多時候在對一個數據進行了分析與探索之后，還能產生一些新的有價值的信息。而孤立的數據所展現的價值是極為有限的，這也就是大數據基本特性中所謂的價值密度低。為全面發現數據的價值，則需要對海量的具有關聯關系的數據進行有效整合，將整合后的數據作為一個整體來進行統計分析，以此來研究數據之間的關聯性，進而獲取到新的信息；用畫面來展示數據能夠使人們更為直觀地了解數據背后的現實情況。所以，在數據挖掘的基礎上，要實現數據的可視化，對數據所展示出來的匹配性進行分析總結，最后得出結果；而想要深入且全面地解讀數據，需要進行跨界合作。

（四）創新數據收集和分析方法

大數據下的統計工作具有一定的復雜性和難度，其在收集數據的過程中會發現諸多復雜且繁瑣的數據，這些數據來自于一些復雜事件。由于大數據基于互聯網技術，因此其需要面臨一定的網絡安全風險，數據很可能遭遇突發狀況而受到損傷。在這種情形下，為規避數據安全威脅，一方面要加強網絡安全管理，另一方面則要不斷地創新復雜數據收集和分析方法，不僅要識別數據的表面特征，還應進一步了解數據的結構特點。

大數據驅動的云計算平臺，為大數據統計工作提供了一定的支持，尤其是在大數據規模逐漸擴大，大數據信息逐漸增多的情形下，開展大數據統計分析工作，需要多臺計算機的協同操作，這就涉及到大數據統計分析成本和時間問題。對于企業來說，當然希望將大數據統計分析成本控制在最低范圍內，盡可能地縮短統計分析時間，提高統計效率。而要實現這一目標，則必須加強對大數據在統計學中的應用研究，創建一套能夠滿足企業大數據統計分析日常需求的理論體系，并且根據大數據的特征來進行統計和分析工具的開發，以促使其有效應對復雜的大數據，節約數據統計分析資源成本。

針對復雜數據統計與分析，經常會遇到多種問題，如數據類型重疊或數據類別不均衡等。為有效解決這些問題，不僅要重視對統計學相關理論的研究，還應當提出科學的統計分析算法，如舍棄法、分隔法和合并法等。可充分利用AdaBoost技術，并在此基礎上，實施局部聚類組合數據統計法，以使所收集到的復雜數據更加均衡。

(三)全方位把握統計分析工作各環節

大數據在統計學的應用過程中，要求統計人員從各方面來把握工作細節，不斷地優化每一個工作環節，可從以下方面著手：

第一要轉變傳統的統計學思想，充分掌握大數據的特征，堅持現代化統計分析工作理念，重視抽樣調查和測量工作的開展，發現和分析數據之間的關聯性。另外，還應當理清所收集的數據，并且不斷地挖掘數據的價值，從數據呈現的形態來分析出結果，得到科學而準確的數據信息反饋。

第二應進一步對大數據統計學分析和研究，構建出全新的統計分析模式。融合不同學科，如自然科學、數據科學等，并充分發揮實質性學科的主導地位。需改進當前的統計分析工作手段，實施全過程性數據分析，保障數據的時效性，對每一次統計分析工作進行反思，轉變傳統的被動統計模式，主動地開展數據統計分析工作。這樣在保障數據正確的同時可以對數據態勢進行細致分析，進而加強預判性。

第三要加強對統計人員的培訓，為相關人員提供多重教育。這是因為與傳統統計分析工作相比，大數據下的統計分析工作，對統計人員的要求更高，其不僅要掌握基礎的統計學知識，還要對大數據等現代技術有所涉獵，需要其融合應用統計技術和云技術。另外，要強化統計人員的責任意識，提升統計人員的使命感和職業道德素養。

第四為充分滿足社會對統計人才的實際需求，企業可以與學校開展合作，實現校企聯合發展，企業可以為學校相關專業學生提供實習平臺，以此來提升學生實踐能力，另外還可以借助諸多案例來教育學生。而學校則可為企業傳輸更多優秀的統計人才。

五、大數據與云計算的發展趨勢

（一）相關平臺的高速發展

Hadoop是當前運用規模相對較大且技術成熟的大數據平臺，該平臺可以吸引諸多企業或單位在其中進行數據處理，可以說Hadoop技術能夠全面促進大數據時代發展。

而spark技術也有著良好的發展前景，其在數據分析方面有著一定的優勢，特別是內存表的運用，spark技術的分析能力極強，分析速度極快。另外，spark技術在批處理、交互式以及機器學習等多個方面也有著自身的優勢。

（二）技術與具體應用需求的聯系更加密切

大數據下云計算平臺的發展應在需求的基礎之上。為適應大數據處理以及數據挖掘需求，需要運用高技術予以支撐。而這種要求Hadoop技術難以滿足。所以，就可以使用spark技術，該技術有著快速處理以及分析精準等特征，可以滿足新時代的實際需求。

（三）市場競爭環境日益嚴峻

當前，我國企業對大數據下云計算平臺的需求逐漸增加，使國外諸多實力相對較強的企業入駐我國，導致我國本土平臺的開發受到嚴重影響，因為我國對這一方面的研究較晚，所以技術能力明顯低于國外。但近年來隨著我國與國際先進企業的合作發展，推動了技術平臺的研發與相關技能開發，為使用者提供了一定的支持。另外，還需要學習國外先進的技術方式，依照我國企業實際情況進行科學調整，以此加強多個平臺的開發，使其在激烈的市場競爭中得到發展。

結束語：綜上所述，大數據和云計算平臺的應用是符合時代發展要求的。大數據的龐大信息存儲以及數據處理的特點與云計算平臺的相互依托發展一定程度上會帶動行業數字化的科學合理地發展。發展會帶來新問題，為解決新問題會有新技術的創新和突破，當前全新的發展形勢下，我們在迎接更多的發展機遇的同時，還需要做好充分的準備迎接接踵而至的關于新的技術和平臺的考驗，從而在有效治理數據信息、建立政府大數據分析中心平臺、基于云計算平臺的大數據分析提供的政府和企業的決策支持、交通部門的出行數據平臺以及公共衛生服務部門大數據平臺等方面不斷探索大數據和云計算平臺的實踐應用。