大數(shù)據(jù)技術(shù)應(yīng)用面臨的挑戰(zhàn)及對策研究

金放

摘 要：文章基于大數(shù)據(jù)技術(shù)與應(yīng)用中的挑戰(zhàn)性科學(xué)問題進行研究，從大數(shù)據(jù)獲取和應(yīng)用等多方面探討大數(shù)據(jù)技術(shù)與其應(yīng)用領(lǐng)域關(guān)注和解決的幾大科學(xué)問題，并結(jié)合我國當(dāng)前社會情況，提出開展大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)研究的策略與方式。

關(guān)鍵詞：大數(shù)據(jù)技術(shù);應(yīng)用;挑戰(zhàn)性科學(xué)問題

0 ? 引言

大數(shù)據(jù)是社會信息化發(fā)展下的產(chǎn)物，也是時代發(fā)展進步的一種標志。在大數(shù)據(jù)時代，人們通過測量、統(tǒng)計和解析，能夠有效將社會中的信息進行處理、歸類和匯總。尤其是當(dāng)前隨著科學(xué)技術(shù)的快速發(fā)展，無線通信科技、計算機網(wǎng)絡(luò)以及現(xiàn)代傳感器的應(yīng)用，能夠促使人們有效地對所獲取的信息進行分類、整理、歸納、總結(jié)，人們對數(shù)據(jù)獲取的手段和途徑日益提升，所獲得數(shù)據(jù)的種類、層次和尺度也日益多元化。本文將研究視角聚焦于我國在大數(shù)據(jù)技術(shù)與應(yīng)用領(lǐng)域急需解決的幾大科學(xué)問題。

1 大數(shù)據(jù)技術(shù)的特征和應(yīng)用研究的意義

1.1 大數(shù)據(jù)的基本特征

1.1.1 數(shù)據(jù)規(guī)模龐大

大數(shù)據(jù)本身是對數(shù)據(jù)的一種集合，現(xiàn)如今大數(shù)據(jù)的數(shù)據(jù)體量已經(jīng)由原先的 GB（10 9）、TB（10 12）再到PB（10 15）字節(jié)。

1.1.2 數(shù)據(jù)類型繁多

當(dāng)前大數(shù)據(jù)整體的數(shù)據(jù)結(jié)構(gòu)包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化，甚至融合了非完整性和錯誤數(shù)據(jù)。在現(xiàn)代的互聯(lián)網(wǎng)體系下關(guān)于半結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)，已經(jīng)相對其他的數(shù)據(jù)結(jié)構(gòu)模式占比高達95%以上。

1.1.3 產(chǎn)生和增長速率快

基于當(dāng)前美國國際數(shù)據(jù)公司（IDC）的研究報告，截至目前，全球的數(shù)據(jù)獲取能力已經(jīng)不斷地增長到了50倍，而對數(shù)據(jù)儲存的服務(wù)器將增長10倍。由此可以看出當(dāng)前世界無各國都在介入著數(shù)據(jù)采集和儲存，進行著大量的數(shù)據(jù)收集、整理和獲取。這些數(shù)據(jù)通過高密度流的方式來不斷地進行演變，在數(shù)據(jù)處理和數(shù)據(jù)運用過程中具有較強的時效性，只有借助科技軟件經(jīng)過快速處理，才能夠?qū)⑦@些龐大的數(shù)據(jù)量進行有效利用。

1.2? 大數(shù)據(jù)研究開展的意義

當(dāng)前大數(shù)據(jù)已經(jīng)能夠廣泛的創(chuàng)造新價值，并且也成了經(jīng)濟增長的助推器。從目前來看關(guān)于大數(shù)據(jù)的研究主要集中于對行業(yè)領(lǐng)域的作用、對科學(xué)研究的作用以及處理技術(shù)所形成的社會經(jīng)濟價值等多方面。

1.2.1? 大數(shù)據(jù)技術(shù)在各個行業(yè)領(lǐng)域的應(yīng)用

當(dāng)前大數(shù)據(jù)技術(shù)已經(jīng)滲透到了各個行業(yè)和各個業(yè)務(wù)職能，隨著物質(zhì)和人力資源之后形成的另一種資源。人們可以借助大數(shù)據(jù)工具對當(dāng)前社會的形式進行實時分析，同時大數(shù)據(jù)也不斷地成為如公路、水電、通信網(wǎng)絡(luò)等領(lǐng)域不可或缺的工具而存在，它已經(jīng)逐步成了現(xiàn)代社會基礎(chǔ)設(shè)施的重要組成部分。在我國的資源、經(jīng)濟、醫(yī)療衛(wèi)生和國防建設(shè)等多個行業(yè)發(fā)展過程中，借助大數(shù)據(jù)技術(shù)能夠有效地整合物質(zhì)資源、人力資源，促進整個國家的發(fā)展。同時大數(shù)據(jù)技術(shù)的研究對整個國家和社會的安全與穩(wěn)定都會造成深遠的影響，從國家層面上來說，充分體現(xiàn)出了一個國家所形成的數(shù)據(jù)規(guī)模活性和對數(shù)據(jù)的實施運用能力。

正是因為大數(shù)據(jù)所具備的這些資源價值，促使部分發(fā)達國家紛紛將大數(shù)據(jù)技術(shù)和應(yīng)用提升到了國家發(fā)展戰(zhàn)略中。從2012年開始美國《大數(shù)據(jù)研究和發(fā)展倡議》和日本《新 ICT 戰(zhàn)略研究計劃》就建立起了多方面關(guān)于大數(shù)據(jù)發(fā)展的相關(guān)策略和建議，指出當(dāng)前國家的發(fā)展中需要重點的關(guān)注復(fù)雜的數(shù)據(jù)，要搶占大數(shù)據(jù)時代的戰(zhàn)略制高點，不斷提升國家的綜合競爭力。我國國土遼闊，在數(shù)據(jù)儲存方面和整合利用方面擁有的前景日益廣闊，大數(shù)據(jù)技術(shù)的廣泛使用，能夠有效滿足當(dāng)前我國發(fā)展戰(zhàn)略的相關(guān)研究。

1.2.2 大數(shù)據(jù)技術(shù)對科學(xué)研究起到的作用

大數(shù)據(jù)技術(shù)的出現(xiàn)將部分科學(xué)研究從過去的假設(shè)驅(qū)動性轉(zhuǎn)化為數(shù)據(jù)驅(qū)動性，從而探索出新的科學(xué)研究方式和路徑。大數(shù)據(jù)技術(shù)的使用可以假設(shè)物質(zhì)各組成部分及相互關(guān)系，遵循某種關(guān)系開始相應(yīng)的實踐，借助數(shù)據(jù)邏輯的方式，對整個事件的規(guī)律和形成進行一定的假設(shè)，并對形成的某種同質(zhì)性和演化的事物進行探索。當(dāng)前大數(shù)據(jù)技術(shù)能夠充分地進行數(shù)據(jù)的處理和分析，進而得出該事物及整體上所形成的統(tǒng)計規(guī)律，而這種規(guī)律在沒有已知規(guī)律和可循物質(zhì)各組成部分之間是處于復(fù)雜的，很難建立起一定的模型[1]。

當(dāng)前各學(xué)科的發(fā)展已經(jīng)離不開數(shù)據(jù)的技術(shù)應(yīng)用，除了傳統(tǒng)的模式識別、數(shù)據(jù)挖掘和機器學(xué)習(xí)之外，借助大數(shù)據(jù)處理軟件，人們可以從相應(yīng)的數(shù)據(jù)中不斷地進行預(yù)測、反應(yīng)、決策和控制，對相應(yīng)的數(shù)據(jù)問題進行整合。大數(shù)據(jù)也在不斷地改變?nèi)藗儗π畔⑻幚淼乃季S模式，在面向復(fù)雜對象開展大數(shù)據(jù)處理方式時，需要緊跟著時代的發(fā)展來進行。

1.2.3? 大數(shù)據(jù)及相關(guān)處理技術(shù)可轉(zhuǎn)化為巨大的社會經(jīng)濟價值

當(dāng)前大數(shù)據(jù)技術(shù)被廣泛運用到社會，各大發(fā)達國家在數(shù)據(jù)處理方面已經(jīng)有了很多的成功案例，比如利用醫(yī)療衛(wèi)生數(shù)據(jù)監(jiān)控醫(yī)療體制的運行和民眾健康的變化，對當(dāng)前醫(yī)療技術(shù)加以評估，幫助政府選擇合理的醫(yī)療改革方案。或者利用能源數(shù)據(jù)，推動各相關(guān)部門實現(xiàn)能源減排方案。借助交通運輸數(shù)據(jù)，緩解交通運輸擁堵等問題。由此可以看出當(dāng)前隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，大數(shù)據(jù)的處理與應(yīng)用已經(jīng)不斷地產(chǎn)生巨大的社會經(jīng)濟價值，甚至被人譽為“未來的新石油”，推動了部分行業(yè)和領(lǐng)域的快速發(fā)展[2]。

2 大數(shù)據(jù)技術(shù)與應(yīng)用中亟待解決的挑戰(zhàn)性科學(xué)問題

大數(shù)據(jù)體量龐大，增長速度快，增長價值大，對數(shù)據(jù)能夠進行實時獲取。借助數(shù)據(jù)的傳輸整理等功能，能夠面對小的信息數(shù)據(jù)，滿足多種要求，突破傳統(tǒng)的思維定式和技術(shù)的限制，深入地對時代所獲取的相應(yīng)大數(shù)據(jù)技術(shù)進行獲取、儲存、處理。大數(shù)據(jù)技術(shù)與應(yīng)用中亟待解決的挑戰(zhàn)性科學(xué)問題如下。

2.1 高效壓縮感知與選擇性感知方法

過去人們對數(shù)據(jù)的關(guān)注點在于數(shù)據(jù)的質(zhì)量客觀性，這是小數(shù)據(jù)時代下所做到的處理模式。因為小數(shù)據(jù)在存儲處理和計算上所花費的時間小，對實際的應(yīng)用具有一定的時效性。而大數(shù)據(jù)時代，人們不僅要關(guān)注數(shù)據(jù)的質(zhì)量和速度，更重要的是要關(guān)注如何對數(shù)據(jù)進行傳輸處理和計算，并且對數(shù)據(jù)所形成的相應(yīng)成本進行適時的探討。因此面對種類繁多，靈活多樣的大數(shù)據(jù)應(yīng)用，不能只以夠用即可的模式進行數(shù)據(jù)的獲取，還應(yīng)該不斷追求數(shù)據(jù)獲取的方式和方法。

針對當(dāng)前的數(shù)據(jù)獲取，通過數(shù)據(jù)儲存、傳輸、處理等多種應(yīng)用，能夠有效提高大數(shù)據(jù)從獲取到應(yīng)用整個過程，滿足精準處理的效率，盡可能地減小數(shù)據(jù)的規(guī)模。從現(xiàn)階段來說需要不斷地改進和發(fā)展壓縮感知方式和技術(shù)，這樣能夠有效提高數(shù)據(jù)處理的無損壓縮比重。其次，還可以在信息獲取時進行選擇性的關(guān)注，建立對無關(guān)數(shù)據(jù)進行大幅度去除的模式。最后，需要不斷加強對數(shù)據(jù)處理和分析能力的研究，盡可能減少無用和有害信息的處理，大幅度提高數(shù)據(jù)處理的效率和計算的效率。

2.2? 大數(shù)據(jù)高效存儲和管理方式

按數(shù)據(jù)存儲作為數(shù)據(jù)處理和計算的關(guān)鍵所在，是為了整個大數(shù)據(jù)時代所服務(wù)的現(xiàn)有的數(shù)據(jù)量。數(shù)據(jù)存儲隨著時間的增長而不斷地增長，而現(xiàn)有的數(shù)數(shù)據(jù)儲存管理和調(diào)度已經(jīng)不能適合多元海量異構(gòu)的數(shù)據(jù)，在多種存儲設(shè)備之間的流動。因此為了應(yīng)對當(dāng)前數(shù)據(jù)存在的靈活性、便捷性和快速性，需要結(jié)合當(dāng)前數(shù)據(jù)處理的整合模式，研究如何高效地去除海量和冗余的數(shù)據(jù)，高效地壓縮數(shù)據(jù)處理方式，將重復(fù)無用的過時數(shù)據(jù)在數(shù)據(jù)儲存軟件上進行及時的清除。以有效提高數(shù)據(jù)存儲空間的利用率。同時還應(yīng)通過協(xié)同優(yōu)化和配置，對各種數(shù)據(jù)資源進行實時獲取，研發(fā)高效的數(shù)據(jù)模型。借助相應(yīng)的存取技術(shù)和交換算法，能夠盡可能地提高數(shù)據(jù)存儲的速度效率。

2.3? 多層多域網(wǎng)絡(luò)化大數(shù)據(jù)的高效傳輸方式

隨著科學(xué)技術(shù)的快速發(fā)展，對數(shù)據(jù)處理的核心不僅僅是在于時效性和完整性，還要針對不同的應(yīng)用模式進行數(shù)據(jù)的處理。有些數(shù)據(jù)處理苛求于數(shù)據(jù)的實效性，而有些則針對數(shù)據(jù)處理的完整性。所以在數(shù)據(jù)處理過程中需要綜合考慮數(shù)據(jù)的形式，并做好數(shù)據(jù)處理的預(yù)測、決策和控制等多方面的研究。

當(dāng)前在網(wǎng)絡(luò)技術(shù)快速發(fā)展和應(yīng)用需求日益增大情況下，網(wǎng)絡(luò)的規(guī)模和異構(gòu)性急劇增大，而且大數(shù)據(jù)在跨層跨域之間的數(shù)據(jù)處理和實時傳輸日益困難，所以對數(shù)據(jù)完整性的保持是一種極大地苛求。如果互聯(lián)網(wǎng)和光網(wǎng)絡(luò)都無法滿足數(shù)據(jù)傳輸?shù)膶崟r性和完整性，會存在數(shù)據(jù)亂丟、亂碼和亂序等現(xiàn)象的出現(xiàn)。因此需要研發(fā)新的網(wǎng)絡(luò)體系架構(gòu)和傳輸交換機理，有效對數(shù)據(jù)資源進行實時調(diào)度，以滿足對大數(shù)據(jù)跨層、跨域?qū)嵤┩暾膫鬏數(shù)男枨蟆?/p>

2.4 大數(shù)據(jù)高效計算系統(tǒng)結(jié)構(gòu)與方法

大數(shù)據(jù)的處理核心在于處理效率和成本是否能夠滿足實際需求，當(dāng)前大數(shù)據(jù)時代下提高數(shù)據(jù)處理的效率和減少數(shù)據(jù)處理的成本是關(guān)鍵所在。計算系統(tǒng)結(jié)構(gòu)和算法在時間和成本上不能滿足動關(guān)聯(lián)性較強的大數(shù)據(jù)計算，迫切需要研發(fā)出新的可擴展并行的數(shù)據(jù)系統(tǒng)結(jié)構(gòu)，實施高效的內(nèi)存計算技術(shù)，滿足當(dāng)前大數(shù)據(jù)計算和分析的需求。

3 結(jié)語

綜上所述，隨著當(dāng)前移動大數(shù)據(jù)技術(shù)的快速發(fā)展，加強我國大數(shù)據(jù)的處理至關(guān)重要。大數(shù)據(jù)內(nèi)部隱藏相關(guān)事物之間的聯(lián)系和模式，具有高度的復(fù)雜結(jié)構(gòu)，需要針對多元的數(shù)據(jù)處理模式，進一步加大對大數(shù)據(jù)發(fā)展的戰(zhàn)略與規(guī)劃建立[3]。應(yīng)提高對大數(shù)據(jù)技術(shù)應(yīng)用的重視，不斷地完善數(shù)據(jù)處理模式，并進一步提升數(shù)據(jù)處理的效率和可利用率，為國民經(jīng)濟的轉(zhuǎn)型和升級以及社會的快速發(fā)展做出貢獻。

[參考文獻]

[1]韓子瑩.大數(shù)據(jù)技術(shù)應(yīng)用的倫理探究[D].北京：北京郵電大學(xué)，2019.

[2]韋軍威.大數(shù)據(jù)技術(shù)應(yīng)用的社會問題及治理對策[D].武漢：華中師范大學(xué)，2019.

[3]廖建新.大數(shù)據(jù)技術(shù)的應(yīng)用現(xiàn)狀與展望[J].電信科學(xué)，2015（7）：7-18.

（編輯 王永超）