AI在大數(shù)據(jù)技術中的創(chuàng)新與應用

基金項目：福州外語外貿(mào)學院2023年教育教學研究項目（JF2023016）

第一作者簡介：張宏展（1974-），男，博士，副教授。研究方向為大數(shù)據(jù)分析技術、網(wǎng)絡與分布式軟件。

DOI：10.19981/j.CN23-1581/G3.2024.21.004

摘" 要：當前我國正在經(jīng)歷著數(shù)字化轉型，大數(shù)據(jù)受到各行各業(yè)的重點關注，對大數(shù)據(jù)技術人才的需求正在不斷增長。AI技術的突破和發(fā)展使得傳統(tǒng)大數(shù)據(jù)處理技術的不足和局限性進一步被放大，探討AI在大數(shù)據(jù)技術中的創(chuàng)新與應用勢在必行。針對這一問題，該文首先在分析使用大數(shù)據(jù)技術面臨的問題時提出使用AI的解決方案，然后從大數(shù)據(jù)處理流程出發(fā)，提出增加AI數(shù)據(jù)感知階段，最后展望AI的優(yōu)勢和存在的不足之處。

關鍵詞：AI；大數(shù)據(jù)；ChatGPT；數(shù)據(jù)處理；模型

中圖分類號：TP319" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2024）21-0016-04

Abstract： Currently， China is undergoing digital transformation， and big data is receiving significant attention from various industries. The demand for big data technology talents is constantly increasing. The breakthrough and development of AI technology have further magnified the shortcomings and limitations of traditional big data processing technologies， so it is imperative to explore the innovation and application of AI in big data technology. To address this issue， this paper first proposes a solution of using AI when analyzing the problems existing in using big data technology. Then， starting with the big data processing process， it is proposed to add an AI data perception stage. Finally， the advantages and shortcomings of AI are discussed.

Keywords： AI; big data; ChatGPT; data processing; model

當前，我國正在經(jīng)歷數(shù)字化的轉型[1]，“數(shù)字化”這一名詞術語鋪天蓋地，成了經(jīng)濟與科技領域最熱門的話題。作為數(shù)字化時代的數(shù)據(jù)要素，大數(shù)據(jù)正受到各行各業(yè)的重點關注。2023年3月，中共中央、國務院明確提出組建國家數(shù)據(jù)局，并于2023年10月正式成立。數(shù)據(jù)作為一種新型的生產(chǎn)要素，由中央部委來管理，預示著在數(shù)字經(jīng)濟和社會發(fā)展中的作用越來越強，在未來很長一段時間內(nèi)，大數(shù)據(jù)技術人才需求會持續(xù)增長，發(fā)展前景十分廣闊[2]。

2023年，大模型技術取得的突破使得人工智能技術發(fā)生了深刻的變革[3]，以ChatGPT為代表的新一代生成式人工智能技術應用火遍全球。AI技術主要是通過大量訓練樣本數(shù)據(jù)的深度機器學習得出算法模型實現(xiàn)的，AI技術的突破和發(fā)展離不開高質(zhì)量大數(shù)據(jù)的支撐和基礎。另一方面，AI是處理數(shù)據(jù)產(chǎn)生的智能，能更智能地處理大數(shù)據(jù)，借助AI的輸出，大數(shù)據(jù)技術能更有效挖掘和分析數(shù)據(jù)中的價值信息。隨著AI和大數(shù)據(jù)的不斷發(fā)展，它們之間的融合和滲透將會越來越緊密。一方面，大數(shù)據(jù)技術與時俱進，尋求與AI技術的融合貫通和應用創(chuàng)新；另一方面，AI技術應用于大數(shù)據(jù)，能解決大數(shù)據(jù)技術面臨的一些痛點問題。本文主要以ChatGPT為主，探討AI與大數(shù)據(jù)技術的融合創(chuàng)新與應用。

1" 大數(shù)據(jù)技術中的痛點與機遇

1.1" 數(shù)據(jù)清洗和預處理

原始大數(shù)據(jù)中通常包含有噪音、冗余、缺失值或錯誤信息等問題，這些問題可能導致分析結果不準確甚至錯誤。因此，先進行數(shù)據(jù)清洗和預處理是非常關鍵的一步，這需要學習大數(shù)據(jù)知識和技術，編寫程序來完成。例如面對金融大數(shù)據(jù)或醫(yī)療健康大數(shù)據(jù)時，大數(shù)據(jù)處理人員除了需要掌握大數(shù)據(jù)專業(yè)知識，還必須耗費大量時間和精力學習掌握大數(shù)據(jù)處理技術，導致精力分散而不能做到術業(yè)有專攻。尤其是對從事藝術、傳媒等社科或人文工作的人員來說，知識跨度大，很難實現(xiàn)，只能定性描述而不能定量計算得到想要的結果。

AI的出現(xiàn)，使得人們已經(jīng)不滿足于僅僅使用這些傳統(tǒng)的大數(shù)據(jù)清洗和預處理方法，而是希望能借助AI技術的創(chuàng)新來改進方法提高效率。AI輸入的可能是含有異常信息的數(shù)據(jù)集，通過分析和學習正常數(shù)據(jù)的特征，可以輸出正常的處理結果。使用AI可以自動完成數(shù)據(jù)清洗和預處理，確保數(shù)據(jù)的準確性和完整性。

1.2" 分布式計算和數(shù)據(jù)安全

大數(shù)據(jù)多年來已經(jīng)存在并存儲于行業(yè)、組織、企業(yè)或高校中，且其生產(chǎn)經(jīng)營狀況或科研體系運行良好，沒有必要為了專門迎合大數(shù)據(jù)時代的到來而進行設備的全面更新和升級換代，以免造成大量資金投入和資源浪費。大數(shù)據(jù)時代要求信息共享避免產(chǎn)生信息孤島，需要對這些數(shù)據(jù)進行整合和使用，分析可能潛藏的價值。傳統(tǒng)大數(shù)據(jù)技術側重于海量數(shù)據(jù)的挖掘和分析，對這些已經(jīng)存在的分散數(shù)據(jù)的分布式計算要求，在處理上顯得力不從心。AI技術中采用了分布式計算和存儲技術可以解決這些問題[4]。

為了得到最佳數(shù)據(jù)分析處理結果，首先在大數(shù)據(jù)采集環(huán)節(jié)中，需要拓寬數(shù)據(jù)來源渠道采集各種不同數(shù)據(jù)，其中不乏很多行業(yè)或企業(yè)的隱私和關鍵數(shù)據(jù)。出于數(shù)據(jù)隱私和安全保護，數(shù)據(jù)源擁有者通常會要求必須對這些數(shù)據(jù)進行脫敏或加密后才能被使用，傳統(tǒng)的大數(shù)據(jù)采集方法由于人工處理容易引起數(shù)據(jù)泄露導致隱私權受到侵犯。AI提供實現(xiàn)隱私保護的自動數(shù)據(jù)脫敏和加密技術[5]，數(shù)據(jù)脫敏的方法有數(shù)據(jù)匿名化、數(shù)據(jù)泛化和數(shù)據(jù)擾動等。加密算法有對稱加密算法和非對稱加密算法，還可以借助差分隱私技術實現(xiàn)[6]。

1.3" 海量數(shù)據(jù)處理和增強學習

面對海量數(shù)據(jù)，尤其是大規(guī)模圖像和視頻數(shù)據(jù)時，傳統(tǒng)的大數(shù)據(jù)處理技術往往效率較低，有些需要幾個小時甚至更長時間才能完成。例如在涉及這些海量數(shù)據(jù)的實時事務處理系統(tǒng)中，通常不允許等待很長時間才能得到響應結果，而是要求系統(tǒng)能快速有效地處理，實時響應。AI的分布式存儲系統(tǒng)和并行計算能力可以將海量數(shù)據(jù)均勻地分配到各個節(jié)點并同時進行計算，最后再將結果匯總。AI技術中還引入了圖像處理方法[7]，專門針對圖像和視頻數(shù)據(jù)的快速處理。AI能幫助大數(shù)據(jù)處理人員高效使用大數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量和效率。

隨著海量數(shù)據(jù)的不斷積累壯大，尤其是隨著低空經(jīng)濟的蓬勃發(fā)展并快速邁向萬億級規(guī)模的經(jīng)濟圈[8]，不斷涌現(xiàn)的三維空間數(shù)據(jù)將呈指數(shù)級迅猛增長，數(shù)據(jù)的乘數(shù)效應愈加明顯[9]。傳統(tǒng)的大數(shù)據(jù)處理技術已經(jīng)很難從這些海量數(shù)據(jù)中發(fā)掘出有價值的信息。發(fā)展經(jīng)濟，科技先行，尋找新的大數(shù)據(jù)處理技術勢在必行。AI的出現(xiàn)為探索這種新的大數(shù)據(jù)處理技術提供了契機，AI算法可以自動發(fā)現(xiàn)、提取、識別和分類數(shù)據(jù)中的模式和關聯(lián)信息，并且將其轉化為實用的知識和洞見。利用AI的自學習能力和智能性，在與環(huán)境的交互中尋找隱藏在海量數(shù)據(jù)背后的規(guī)律和模式，可以獲取最優(yōu)策略。

1.4" 統(tǒng)計和可視化展現(xiàn)

大數(shù)據(jù)應用的目的是通過數(shù)據(jù)挖掘和分析形成統(tǒng)計結果，供分析決策使用。以圖形可視化方式展現(xiàn)統(tǒng)計結果，清晰、明了，是最容易接受的一種形式。當前很多大數(shù)據(jù)技術人員數(shù)據(jù)素養(yǎng)相對較弱，無法熟練使用Excel、SPSS（Statistical Product and Service Solutions）[10]等數(shù)據(jù)分析軟件，在進行大數(shù)據(jù)統(tǒng)計和可視化展現(xiàn)時常常會遇到各種困難，尤其是處理三維數(shù)據(jù)進行三維圖形展現(xiàn)時，更是無從下手。而且，有些技術人員的數(shù)據(jù)分析能力單一和局限，即便系統(tǒng)中存有豐富的統(tǒng)計數(shù)據(jù)，也無法通過工具將其最大限度地展現(xiàn)出來。

AI可視化分析模型采用大語言模型（Large Language Models，LLM），可以根據(jù)用戶的“文本”需求，轉化為“可視化”分析模型甚至UI界面，生成多種可視化圖形，如餅狀圖、柱狀圖、甘特圖、看板及三維態(tài)勢感知圖等，具有更出色的展現(xiàn)效果。

2" AI與大數(shù)據(jù)技術融合模型

如上所述，在大數(shù)據(jù)技術中融入AI可以有效解決當前大數(shù)據(jù)處理中面臨的一些問題。大數(shù)據(jù)傳統(tǒng)處理流程是數(shù)據(jù)收集、數(shù)據(jù)清洗和預處理、數(shù)據(jù)挖掘建模、數(shù)據(jù)分析、統(tǒng)計報告和可視化展現(xiàn)幾個階段。AI賦能大數(shù)據(jù)，利用AI技術進行大數(shù)據(jù)處理時，可以在數(shù)據(jù)挖掘建模和分析之前新增一個階段：數(shù)據(jù)感知，通過抽取特征對原始數(shù)據(jù)進行初始了解、探究和可視化，增強對原始數(shù)據(jù)的直覺和初步感知，從而對數(shù)據(jù)有更深刻的理解，為下一步的挖掘建模和分析預測提供實證假設構建的思路或靈感。

ChatGPT是當前流行且比較成熟的AIGC產(chǎn)品，在數(shù)據(jù)處理的各個階段都能展現(xiàn)出一定的智能性，可以根據(jù)需要將其融入大數(shù)據(jù)處理的各個階段，增強數(shù)據(jù)的處理能力，圖1是ChatGPT與大數(shù)據(jù)技術的融合模型。

2.1" 數(shù)據(jù)采集

在大規(guī)模的數(shù)據(jù)采集中，ChatGPT并不直接參與，可采用“ChatGPT+”軟件或工具集成的思想來操作。ChatGPT集成這些軟件或工具有幾種方式。

1）直接使用成熟的網(wǎng)絡爬蟲工具、API抓取工具或IoT設備接口程序，采集不同的數(shù)據(jù)源，然后利用ChatGPT中的數(shù)據(jù)交換格式轉化成ChatGPT能處理的格式。

2）在ChatGPT中使用Python語言編寫Web爬蟲工具。按照預設的規(guī)則，調(diào)用Python庫中的Scrapy或BeautifulSoup框架，很容易實現(xiàn)。

3）使用軟件開發(fā)工具包。部分軟件提供SDK，可以方便地將ChatGPT集成到應用程序包中，或者有些工具和平臺允許開發(fā)者創(chuàng)建自定義插件或擴展，以實現(xiàn)數(shù)據(jù)采集功能。

2.2" 數(shù)據(jù)清洗和預處理

這一階段包括去除噪音數(shù)據(jù)、糾正拼寫錯誤、去除廣告和冗余內(nèi)容等，以提高數(shù)據(jù)質(zhì)量，同時進行聚類和標簽、文本分類等。早期這一工作同樣需要編碼實現(xiàn)，是使用ChatGPT之前的準備工作。ChatGPT新增Code Interpreter功能之后，這一工作變得相對簡單，由ChatGPT Interpreter通過自然語言人機交互完成， 并能給出相應的糾正建議。ChatGPT在這個過程中主要發(fā)揮自然語言理解和生成能力。

Code Interpreter使用了Python的一個非常流行的NLP的庫NLTK（自然語言工具包），可以用來執(zhí)行廣泛的NLP任務，如標記化、部分語音標記、命名實體識別、脫敏處理、情感分析和文本分類等。利用NLTK，沒有豐富數(shù)據(jù)分析經(jīng)驗的人也可以有效地處理和分析文本數(shù)據(jù)。

2.3" 數(shù)據(jù)感知

ChatGPT的探索性數(shù)據(jù)分析（Exploratory Data Analysis，EDA）能力，包含數(shù)據(jù)摘要、單變量分析和多變量分析3部分[11]。數(shù)據(jù)摘要采用中心趨勢度量、離中趨勢度量或分布形態(tài)度量等描述性統(tǒng)計量，幫助了解數(shù)據(jù)的整體特征和分布情況，并用圖表展現(xiàn)，便于直觀地理解數(shù)據(jù)的基本屬性和規(guī)律。單變量分析通過數(shù)據(jù)類型、數(shù)據(jù)分布等信息對單一變量（數(shù)據(jù)字段）進行統(tǒng)計描述和可視化展現(xiàn)，從一個維度探究單個變量的差異性和分布特征，為多變量分析創(chuàng)造條件。多變量分析通過研究2個或多個變量之間的相互關系和作用，確定各變量之間的關系強弱，進而展現(xiàn)不同因素之間的相互作用，輔助選擇不同的預測模型，提高研究的準確性。因此，通過EDA能提高數(shù)據(jù)預處理后的可信度和準確度，使數(shù)據(jù)具有更深入、豐富的信息價值，更能發(fā)現(xiàn)先前未被發(fā)現(xiàn)的信息，為下一階段的數(shù)據(jù)挖掘和分析提供依據(jù)和契機。

2.4" 數(shù)據(jù)挖掘和分析

傳統(tǒng)的數(shù)據(jù)挖掘是從包含大量數(shù)據(jù)的學習集（或訓練集）中找出知識規(guī)則完成建模，并需要從持續(xù)新增的數(shù)據(jù)集中不斷學習并優(yōu)化模型，非常耗費時間和精力。Code Interpreter利用計算機自動學習模式和Python豐富的機器學習庫建模，比如Scikit-learn，還提供多種類似模型供選擇借鑒，包括內(nèi)容推薦、類型預測、情緒分析和趨勢預測等，方便快捷。ChatGPT也允許使用Google Colab、Jupyter Notebook、Databricks等平臺，訓練、評估和部署自定義的ChatGPT模型，不斷豐富模型庫。用好AI機器學習模型庫能提高建模的效率和準確度。

大數(shù)據(jù)分析主要是使用機器學習和統(tǒng)計分析等技術和算法，從大規(guī)模的數(shù)據(jù)集中發(fā)現(xiàn)模式、趨勢和見解，以支持業(yè)務決策和預測。ChatGPT是一種基于深度學習的生成模型，使用遞歸神經(jīng)網(wǎng)絡和自注意力機制，通過訓練模型來生成與用戶進行對話的自然語言回應，能夠模擬人類對話。所以，使用與ChatGPT對話來進行專業(yè)的數(shù)據(jù)分析，更具有智能性，結果更準確。

2.5 統(tǒng)計報告和可視化展現(xiàn)

傳統(tǒng)情況下，數(shù)據(jù)分析結果是通過編程方式生成統(tǒng)計報告，并以二維或者三維圖形的形式展現(xiàn)出來，因此需要數(shù)據(jù)分析人員具有較強的編程能力，而且工作量比較大。AI文生圖工具Dall-E的出現(xiàn)，為從文本數(shù)據(jù)轉化為可視化圖形提供了強有力的工具。Dall-E是一種基于深度學習的強大計算機視覺模型，能夠將短語或描述的要求轉換為圖片。使用Dall-E生成統(tǒng)計報告和可視化，可以讓人使用自然語言編寫圖片，通過交互式對話不斷調(diào)整模型精度來提高圖片質(zhì)量，并能在短時間內(nèi)生成復雜圖形。這種原生集成模型讓用戶無須在編程上花費過多時間和精力，同時也使得圖形更能夠精確反映用戶的想法和需求。ChatGPT的Python庫有數(shù)據(jù)可視化庫（Matplotlib、Plotly等），可以用于對數(shù)據(jù)進一步可視化，提供更為個性化的服務。

OpenAI Point-E主要用于從文本生成三維圖形，而且通常只需要一個GPU和1～2 min，而現(xiàn)有系統(tǒng)如 Google 的DreamFusion通常需要數(shù)個小時和多個GPU來生成三維圖形。Point-E是基于大量文本、圖像對語料庫，遵循多樣化和復雜提示的方式從文本創(chuàng)建三維圖形模型的。在生成3D統(tǒng)計報告和可視化展現(xiàn)時，選用Point-E是很好的選擇。

3" 結束語

AI最強的優(yōu)勢是數(shù)據(jù)分析能力，AI和大數(shù)據(jù)技術的結合可以讓數(shù)據(jù)更好地為人類服務，提高數(shù)據(jù)的價值和效益。然而，由于AI技術剛剛興起，仍然存在一些局限性和不足。如果ChatGPT缺乏實時知識，可能不了解項目，從而影響判斷的準確性；由于模型本身的隨機性，每次的分析方法可能存有差異，可能會造成分析結果不穩(wěn)定；缺乏一些中文的支持，在數(shù)據(jù)分析過程中，如果使用中文顯示可能會不正常。另外，機器學習能力不足，如果涉及復雜的機器學習建模，可能就不能勝任。因此，AI并不是靈丹妙藥，未來還有很長的研發(fā)之路要走。

參考文獻：

[1] 姚小濤，亓暉，劉琳琳，等.企業(yè)數(shù)字化轉型：再認識與再出發(fā)[J].西安交通大學學報：社會科學版，2022，42（3）：1-9.

[2] 陳云龍，翟曉磊.教育數(shù)字化轉型的構想與策略[J].中國電化教育，2022（12）：101-106.

[3] 夏潤澤，李丕績.ChatGPT大模型技術發(fā)展與應用[J].數(shù)據(jù)采集與處理，2023，38（5）：1017-1034.

[4] M.COＲＣＨＡＤＯ Ｊ，ＷＥＩＧＡＮＧ Ｌ，ＢＡＪＯ Ｊ， ｅｔ ａｌ．Ｅｄｉｔorial： Special issue on distributed computing and artificial intelligence[J].Frontiers of Information Technology amp; Electronic Engineｅｒｉｎｇ，２０１６，１７（４）：２８１－２８２．

[5] ZHANG F. Desensitization method of meteorological data based on differential privacy protection[J].Journal of cleaner production，2023：389.

[6] 梁文娟，陳紅，吳云乘，等.持續(xù)監(jiān)控下差分隱私保護[J].軟件學報，2020，31（6）：1761-1785.

[7] LIU Y Q.Design of Graphic Design Assistant System Based on Artificial Intelligence[J].International journal of information technologies and systems approach，2023，16（3）.

[8] 林典馳.訪國際歐亞科學院院士李世鵬：深圳“勇闖”低空經(jīng)濟無人區(qū)，為何“可計算空域”如此重要？[EB/OL].[2023-04-24]https：//www.163.com/dy/article/I332RJC705199NPP.html.

[9] 李璐明，蔣新華，廖律超.基于彈性分布數(shù)據(jù)集的海量空間數(shù)據(jù)密度聚類[J].湖南大學學報：自然科學版，2015，42（8）：116-124.

[10] XINTONG Ｌ，Ｐ． Ｍ Ｍ，ＷＯＬＦＧＡＮＧ Ｗ．Ｃｏｎｄｉｔｉｏｎａｌ Ｄｉｒｅｃｔｉｏｎ ｏｆ Ｄｅｐｅｎｄｅｎｃｅ Ｍｏｄｅｌｉｎｇ：Ａpplication and Implementation in SPSS[J].Socｉａｌ Ｓｃｉｅｎｃｅ Ｃｏｍｐｕｔｅｒ Ｒｅｖｉｅｗ，２０２３，４１（４）：１２５２－１２７５．

[11] FABIANA Ｃ，ＭＡＲＴＩＮＳ Ｇ Ｒ，ＡＬＥＸＡＮＤＲＥ Ｑ， ｅｔ al.Ydata-profiling：Accelerating data-centric AI with high-quality data[J].Neurｏｃｏｍｐｕｔｉｎｇ，２０２３，５５４.