王繼霞(大慶鉆探工程公司錄井一公司 信息中心,黑龍江 大慶 163411)
?
大數據研究的發展與趨勢分析
——基于數據庫角度
王繼霞
(大慶鉆探工程公司錄井一公司 信息中心,黑龍江 大慶 163411)
[摘 要]大數據是當前熱門的IT技術,被廣泛應用于各行業信息數據管理與分析工作中,本文以大數據的概念為切入點,從數據庫角度對大數據研究的技術發展方向與應用趨勢做出相應的分析探討,期望為當前大數據研究工作提供給有益參考。
[關鍵詞]數據庫;大數據;發展趨勢
大數據是近年來由科學領域研究并逐步推廣應用于社會各行業數據應用的熱門信息技術概念。其中大數據在科學研究與IT產品領域發揮著愈發重要的數據分析作用,在我國的關注與應用程度也與日俱增。因而本文對大數據這一熱點概念,進行相應的內涵探討。同時因數據庫一直是數據管理研究領域的重要內容與手段,故從數據庫角度出發對大數據研究的應用與發展做相應的探究。
大數據概念的產生最早出現于20世紀80年代末,但真正為人們所關注并形成理論則是在2011年之后。大數據的概念可用其特征4V來表述:Volume,由TB級別向更高級別躍升的數據量;Variety,指數據的類別與來源繁多復雜;Velocity,指快速的處理響應速度;Veracity,則是指數據具備的可靠性與可用準確性。這些特征表明大數據是具有多類優勢、適應于現代網絡信息需求的新式數據,只要是為應用而將各種類別、質量的數據做相應的處理工作就可以視其為大數據。大數據原本應用于科學研究領域,隨著其發展與推廣,現在大數據已應用于各類社會生產與生活的數據范疇之中,無論是諸如軍事、天文、生物一類的科學實驗用數據,還是互聯網、社交媒介、網絡傳感器等生活交流用數據,或電子商務領域數據都屬于大數據的范圍。
大數據是數據庫應用的拓展延伸,也是數據管理技術的進步體現。其研究主要涵蓋大數據的分類、周期管理與質量管理三方面。由于其4V特性對處理速度、數量質量優異、類型來源等方面的高要求,其研究目前主要存在對大數據語義建模、管理分析性能、數據處理的存儲系統三面技術提升的難題,這也是大數據研究未來發展的三大方向與目標。語義建模是根據數據來源與結構要求而需要做多種類型、來源數據的語義抽象工作,并將各數據之間的聯系做歸納考量。而對大數據數量與處理速度的特點需求,其研究基礎就是對數據管理分析性能的優化權衡上,在這方面需要脫離傳統數據庫管理中以記賬(Billing)與訂票(Booking)為目標進行的OLTP功能,從高效實現數據分析與管理的角度出發,選用數據倉庫或OLAP系統優化大數據分析的性能。而對其數據處理存儲系統的技術要求,目前正在探索“內存計算+列存儲”模式、MPP集群計算機系統的研究與應用,但其存儲系統性能與可靠性還需做進一步的完善和改進。因此,以成熟可行的計算機系存儲系統的發展,支持當今應用形勢下大數據處理與管理需要解決技術上存在的難題。
數據分析是大數據研究的主要途徑與內容,如前文所言,基于數據庫下的大數據分析主要應用于社交媒體、互聯網、位置需求與電子商務智能等數據分析領域,其分析應用又可分為對應消費者與對應企業兩類,其中涉及到Web數據應用的主要是消費者需求,而商務智能應用則大多應企業需要。這兩類大數據應用領域,各自的分析研究思路與發展趨勢也各不相同,對應消費者的數據分析其應用基礎是信息服務,即由各類新式的信息服務吸引消費者進而予以互聯網瀏覽與應用,這其中大數據分析就是將客戶在互聯網中的流量與應用轉化為可償性數據信息并產生利潤。其應用思路是信息服務提供商為消費者提供新式的服務信息(如新產品的推薦),再引導客戶瀏覽消費的商業應用模式。大數據分析在其中起著分析計算消費者信息、產品商家信息的作用,由于其數據處理與計算的響應速度需求極大,大數據研究能很好地適應各類新型Web應用,成為未來互聯網數據應用領域最主要的數據分析手段。對應企業應用的商務智能數據分析其適用主體和數據庫應用的主體相同,均為較大型的企事業單位,其對數據分析的運行可靠性與系統的獨立性有專門的需求。而傳統的商務智能數據分析系統大多自成系統,因其平臺封閉性難以與數據庫資料相銜接,影響企業對數據分析的需求實現,此類研究背景給了大數據分析在企業商務智能系統應用的契機,利用大數據研究快速分析大量、多類型數據的特點,對數據庫予以直接的分析處理應用,是未來大數據研究在商務智能領域發展的主要趨勢之一。
大數據是以應用為基礎誕生的數據分析概念,對數據的分析應用是其存在與研究的前提。要了解并研究大數據的發展與趨勢,就要以數據庫技術為前提,從其實際在各領域的應用出發,系統探索大數據研究的發展方向與應用前景,筆者期望通過對其的探討分析,為大數據研究的進步與推廣提供助力。
主要參考文獻
[1]李戰懷,王國仁,周傲英.從數據庫視角解讀大數據的研究進展與趨勢[J].計算機工程與科學,2013(10).
[2]于兆吉,魏闖.大數據下主題數據庫的研究現狀與展望[J].沈陽工業大學學報,2014(3).
doi:10.3969/j.issn.1673-0194.2016.12.120
[中圖分類號]TP311.13
[文獻標識碼]A
[文章編號]1673-0194(2016)12-0180-01
[收稿日期]2016-05-12