基于場(chǎng)景化的大數(shù)據(jù)+AI 算法倉(cāng)平臺(tái)研究

王強(qiáng)　劉海德　牛清娜　李雪冬

摘要：為解決大數(shù)據(jù)技術(shù)及AI技術(shù)應(yīng)用發(fā)展中原子算法重復(fù)利用率高、算法缺乏統(tǒng)一的生命周期管理、運(yùn)維部署難度大等問(wèn)題，通過(guò)打造了大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)，采用基于多端點(diǎn)、多分支以及自動(dòng)機(jī)技術(shù)的數(shù)據(jù)挖掘流程模型技術(shù)、分布式架構(gòu)體系上分布式并行挖掘算法實(shí)現(xiàn)技術(shù)和自動(dòng)機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了無(wú)代碼拖拽式操作，拓展了大數(shù)據(jù)+AI技術(shù)應(yīng)用領(lǐng)域，助力企業(yè)AI時(shí)代數(shù)據(jù)化運(yùn)營(yíng)，對(duì)存量算法、行業(yè)平臺(tái)及第三方應(yīng)用廠家算法進(jìn)行統(tǒng)一管理，完成了算法能力的統(tǒng)一輸出，形成了一體化的算法智能運(yùn)營(yíng)能力體系為行業(yè)賦能。

關(guān)鍵詞：場(chǎng)景化；AI算法倉(cāng)；數(shù)據(jù)挖掘；流程

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2024）14-0073-03 開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

隨著數(shù)字時(shí)代的不斷發(fā)展，大數(shù)據(jù)和人工智能（AI） 技術(shù)正成為推動(dòng)社會(huì)、企業(yè)發(fā)展的核心引擎。為了在這個(gè)充滿機(jī)遇和挑戰(zhàn)的領(lǐng)域中取得更大的突破，文章基于場(chǎng)景化的AI算法倉(cāng)技術(shù)研究旨在通過(guò)構(gòu)建一體化的大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)，從已有大數(shù)據(jù)基礎(chǔ)算法、大數(shù)據(jù)公司、第三方以及現(xiàn)有系統(tǒng)中應(yīng)用算法納入到原子算法池，封裝成易應(yīng)用的組件，構(gòu)建可視化的標(biāo)準(zhǔn)算法資源體系，形成原子算法的能力全景視圖。基于算法資源，通過(guò)基礎(chǔ)算法的自由組裝和驗(yàn)證，形成適配場(chǎng)景化應(yīng)用的綜合算法能力，以快速支撐行業(yè)場(chǎng)景化應(yīng)用。并打造豐富的算法資源池，滿足各類用戶數(shù)據(jù)分析過(guò)程中從數(shù)據(jù)接入、數(shù)據(jù)處理、分析建模、模型評(píng)估、部署應(yīng)用到管理監(jiān)控等全流程的功能訴求；同時(shí)輔以圖形化、拖拽式的建模體驗(yàn)，讓用戶不用編寫(xiě)代碼，即可實(shí)現(xiàn)對(duì)數(shù)據(jù)的全方位深度分析和模型構(gòu)建，助力企業(yè)AI時(shí)代數(shù)據(jù)化運(yùn)營(yíng)。

最后將不同生產(chǎn)場(chǎng)景的各個(gè)環(huán)節(jié)深度融合，促進(jìn)科研成果的轉(zhuǎn)化落地，賦能各行業(yè)場(chǎng)景，實(shí)現(xiàn)更廣泛的應(yīng)用。

1 相關(guān)技術(shù)

數(shù)據(jù)挖掘是從海量數(shù)據(jù)中提取有價(jià)值信息的關(guān)鍵過(guò)程[1]。為了在各類業(yè)務(wù)場(chǎng)景下實(shí)現(xiàn)更靈活的數(shù)據(jù)挖掘，我們采用了基于多端點(diǎn)、多分支和自動(dòng)機(jī)技術(shù)的數(shù)據(jù)挖掘流程模型。通過(guò)XML標(biāo)簽的形式描述流程語(yǔ)言，構(gòu)建了一個(gè)解析器系統(tǒng)，其中主解析器負(fù)責(zé)遍歷目標(biāo)語(yǔ)言描述的流程信息，調(diào)用子解析器對(duì)子結(jié)構(gòu)進(jìn)行解析。這種模型的靈活性使得我們能夠更好地適應(yīng)不同場(chǎng)景下的數(shù)據(jù)挖掘需求。

由于傳統(tǒng)的單機(jī)算法可能面臨性能瓶頸。因此，我們首次采用了分布式架構(gòu)體系上的分布式并行挖掘算法技術(shù)。通過(guò)對(duì)傳統(tǒng)算法的分析和移植，我們將核心邏輯隨數(shù)據(jù)塊進(jìn)行分發(fā)運(yùn)算，實(shí)現(xiàn)了在分布式環(huán)境中的高效挖掘。這一技術(shù)的引入為平臺(tái)在大規(guī)模數(shù)據(jù)情況下的運(yùn)算提供了更好的性能保障。

在數(shù)據(jù)挖掘的建模過(guò)程中，選擇合適的算法及參數(shù)是一個(gè)復(fù)雜而關(guān)鍵的任務(wù)。為了降低用戶門(mén)檻，引入自動(dòng)機(jī)器學(xué)習(xí)技術(shù)，包括自動(dòng)擇參、自動(dòng)分類、自動(dòng)回歸、自動(dòng)聚類、自動(dòng)時(shí)序、一鍵式建模等自動(dòng)學(xué)習(xí)功能節(jié)點(diǎn)[2]。用戶只需定義算法和參數(shù)的范圍，平臺(tái)將在此范圍內(nèi)自動(dòng)選擇最優(yōu)的算法和參數(shù)。這使得算法的應(yīng)用更加智能化，不需要用戶深入了解底層的技術(shù)細(xì)節(jié)。圖1為技術(shù)路線圖。

2 研究方法

1） 大數(shù)據(jù)+A I算法倉(cāng)平臺(tái)核心組件研制。采用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自動(dòng)學(xué)習(xí)等多種機(jī)器學(xué)習(xí)方法，運(yùn)用低代碼、無(wú)代碼建模技術(shù)，實(shí)現(xiàn)基于拖拽式節(jié)點(diǎn)操作、連線式流程串接、指導(dǎo)式參數(shù)配置操作模式，研究人員可以通過(guò)簡(jiǎn)單拖拽、配置的方式快速完成挖掘分析流程構(gòu)建式，包括數(shù)據(jù)接入、數(shù)據(jù)處理、模型構(gòu)建、模型評(píng)估、模型管理等。如圖2所示，從而建立統(tǒng)一的算法管理能力，實(shí)現(xiàn)算法從接入、驗(yàn)證、組合、上線、監(jiān)控的統(tǒng)一流程管理。為確保項(xiàng)目的技術(shù)領(lǐng)先性，我們首先進(jìn)行了創(chuàng)新技術(shù)的深入研究。這包括基于多端點(diǎn)、多分支、自動(dòng)機(jī)技術(shù)的數(shù)據(jù)挖掘流程模型技術(shù)、場(chǎng)景化的多模態(tài)模型封裝技術(shù)、模型自動(dòng)構(gòu)建及訓(xùn)練技術(shù)、分布式并行挖掘算法實(shí)現(xiàn)技術(shù)、圖形化拖拽式建模技術(shù)、全新模式的專業(yè)數(shù)據(jù)處理及算法節(jié)點(diǎn)技術(shù)。這一階段的研究奠定了整個(gè)項(xiàng)目的技術(shù)基礎(chǔ)。

2） 基于技術(shù)研究成果，著手研制大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的核心組件。這些組件包括AI算法模型庫(kù)構(gòu)建組件、算法模型構(gòu)建及訓(xùn)練組件、算法模型應(yīng)用擴(kuò)展組件、模型部署應(yīng)用與管理組件。通過(guò)確保這些組件的有效性和協(xié)同工作性，我們?yōu)檎麄€(gè)平臺(tái)提供了功能上的全面支持[3]。

整合研發(fā)的核心組件，構(gòu)建AI流水線體系框架，形成一個(gè)完整的數(shù)據(jù)挖掘流程。同時(shí)，我們將各種AI 算法和模型集成到平臺(tái)中，確保平臺(tái)的通用性和適用性。該流水線框架將為用戶提供一站式的大數(shù)據(jù)+AI 解決方案。

3 實(shí)證分析

為了降低分析挖掘的應(yīng)用門(mén)檻，我們研發(fā)了無(wú)代碼拖拽的建模分析方式。通過(guò)如JsPlumb等技術(shù)實(shí)現(xiàn)節(jié)點(diǎn)之間的連線、拖拽和標(biāo)簽顯示，我們構(gòu)建了一個(gè)可配置的節(jié)點(diǎn)系統(tǒng)。該系統(tǒng)包括節(jié)點(diǎn)與節(jié)點(diǎn)之間的連線、數(shù)據(jù)集與數(shù)據(jù)集的連接、模型與模型的連接。通過(guò)插件化的系統(tǒng)結(jié)構(gòu)，我們確保了平臺(tái)的高性能、高穩(wěn)定性和可復(fù)用性[4-5]。

在大規(guī)模數(shù)據(jù)參與建模時(shí)，我們首次采用了分布式架構(gòu)體系上的分布式并行挖掘算法技術(shù)。通過(guò)充分利用分布式集群的算力，我們實(shí)現(xiàn)了傳統(tǒng)算法的并行化移植。這一技術(shù)確保了在大規(guī)模數(shù)據(jù)情況下的高效挖掘，使得平臺(tái)在不同場(chǎng)景下都能夠快速而靈活地運(yùn)行，圖3為分布式架構(gòu)體系上并行挖掘算法技術(shù)體系結(jié)構(gòu)圖。

為了使得分析挖掘與各個(gè)場(chǎng)景開(kāi)發(fā)業(yè)務(wù)更加匹配，我們研究了全新模式的專業(yè)數(shù)據(jù)處理及算法節(jié)點(diǎn)技術(shù)。通過(guò)基于場(chǎng)景的專業(yè)數(shù)據(jù)處理和算法節(jié)點(diǎn)的研究，我們實(shí)現(xiàn)了對(duì)不同業(yè)務(wù)場(chǎng)景數(shù)據(jù)的專業(yè)、高效和便捷分析[6]。這一技術(shù)保證了算法在不同行業(yè)場(chǎng)景中的深度應(yīng)用。

3.1 大數(shù)據(jù)+AI 算法倉(cāng)平臺(tái)核心組件研制

文章研究的核心之一是大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的核心組件研制。我們將采用多種機(jī)器學(xué)習(xí)方法，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自動(dòng)學(xué)習(xí)等，結(jié)合低代碼、無(wú)代碼建模技術(shù)。通過(guò)拖拽式節(jié)點(diǎn)操作、連線式流程串接和指導(dǎo)式參數(shù)配置，研究人員可以通過(guò)簡(jiǎn)單的拖拽和配置，快速完成挖掘分析流程的構(gòu)建，包括數(shù)據(jù)接入、數(shù)據(jù)處理、模型構(gòu)建、模型評(píng)估和模型管理等。這樣的設(shè)計(jì)旨在建立統(tǒng)一的算法管理能力，使算法能夠從接入、驗(yàn)證、組合、上線到監(jiān)控的整個(gè)流程得以統(tǒng)一管理[7]。

3.1.1 機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、自動(dòng)學(xué)習(xí)等多種機(jī)器學(xué)習(xí)方法的應(yīng)用

文章涉及多種機(jī)器學(xué)習(xí)方法的應(yīng)用，包括機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和自動(dòng)學(xué)習(xí)。這些方法將在大數(shù)據(jù)+AI 算法倉(cāng)平臺(tái)中得以實(shí)現(xiàn)，為用戶提供強(qiáng)大的算法選擇和應(yīng)用能力。通過(guò)低代碼、無(wú)代碼建模技術(shù)，我們將實(shí)現(xiàn)對(duì)這些機(jī)器學(xué)習(xí)方法的可視化支持，使用戶能夠通過(guò)拖拽式節(jié)點(diǎn)操作，輕松完成復(fù)雜的算法構(gòu)建和配置。

3.1.2 拖拽式節(jié)點(diǎn)操作、連線式流程串接、指導(dǎo)式參數(shù)配置的技術(shù)實(shí)現(xiàn)

為了提供用戶友好的建模體驗(yàn)，我們將采用拖拽式節(jié)點(diǎn)操作、連線式流程串接和指導(dǎo)式參數(shù)配置等技術(shù)[8]。這些技術(shù)的實(shí)現(xiàn)旨在使研究人員通過(guò)簡(jiǎn)單的拖拽和配置，快速完成挖掘分析流程的構(gòu)建。通過(guò)可視化的方式，用戶能夠清晰地了解整個(gè)算法構(gòu)建的流程，并根據(jù)需要進(jìn)行節(jié)點(diǎn)之間的連接和參數(shù)的配置，圖4為數(shù)據(jù)業(yè)務(wù)流程圖。

3.1.3 統(tǒng)一算法管理能力的構(gòu)建

大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的一個(gè)重要目標(biāo)是構(gòu)建統(tǒng)一的算法管理能力。這包括從算法接入、驗(yàn)證、組合、上線到監(jiān)控的整個(gè)流程的統(tǒng)一管理。通過(guò)對(duì)核心組件的研制，我們將實(shí)現(xiàn)對(duì)300多個(gè)算法的管理，并形成一體化的算法智能運(yùn)營(yíng)能力體系。這將大大提高算法的利用效率和管理效果，為用戶提供更加便捷的算法應(yīng)用體驗(yàn)。

3.2 算法組裝融合研究

在算法組裝融合研究方面，我們將進(jìn)行機(jī)器學(xué)習(xí)算法組裝融合、統(tǒng)計(jì)分析相關(guān)算法組裝融合、深度學(xué)習(xí)算法組裝融合、集成學(xué)習(xí)算法組裝融合和自動(dòng)學(xué)習(xí)算法組裝融合等工作。通過(guò)統(tǒng)一管理存量算法、行業(yè)平臺(tái)和第三方應(yīng)用廠家算法，實(shí)現(xiàn)算法能力的統(tǒng)一輸出。涉及對(duì)300多個(gè)算法的管理，構(gòu)建算法統(tǒng)一管理機(jī)制，形成一體化的算法智能運(yùn)營(yíng)能力體系。

3.2.1 機(jī)器學(xué)習(xí)算法組裝融合

文章將進(jìn)行機(jī)器學(xué)習(xí)算法的組裝融合研究，旨在將不同的機(jī)器學(xué)習(xí)算法進(jìn)行組合，以適應(yīng)不同的應(yīng)用場(chǎng)景。通過(guò)組裝融合，我們可以在不同的業(yè)務(wù)環(huán)境中充分發(fā)揮機(jī)器學(xué)習(xí)算法的優(yōu)勢(shì)，提高模型的預(yù)測(cè)性能。

3.2.2 統(tǒng)計(jì)分析相關(guān)算法組裝融合

除了機(jī)器學(xué)習(xí)算法，我們還將研究統(tǒng)計(jì)分析相關(guān)算法的組裝融合。統(tǒng)計(jì)分析在數(shù)據(jù)挖掘中有著重要的地位，通過(guò)將不同的統(tǒng)計(jì)分析算法進(jìn)行組裝融合，我們可以更全面地挖掘數(shù)據(jù)背后的規(guī)律，為決策提供更可靠的依據(jù)。

3.2.3 深度學(xué)習(xí)算法組裝融合

深度學(xué)習(xí)作為近年來(lái)取得巨大成功的算法領(lǐng)域之一，其在圖像識(shí)別、自然語(yǔ)言處理等方面表現(xiàn)出色。我們將研究深度學(xué)習(xí)算法的組裝融合，以適應(yīng)對(duì)大規(guī)模、復(fù)雜數(shù)據(jù)的處理需求。

3.2.4 集成學(xué)習(xí)算法組裝融合

集成學(xué)習(xí)是一種通過(guò)結(jié)合多個(gè)弱分類器來(lái)構(gòu)建一個(gè)強(qiáng)分類器的方法。我們將進(jìn)行集成學(xué)習(xí)算法的組裝融合研究，以提高整體模型的泛化能力和魯棒性。

3.2.5 自動(dòng)學(xué)習(xí)算法組裝融合

為了進(jìn)一步提高算法的智能化程度，文章研究自動(dòng)學(xué)習(xí)算法的組裝融合。通過(guò)引入自動(dòng)學(xué)習(xí)的元素，算法將能夠更好地適應(yīng)不斷變化的數(shù)據(jù)環(huán)境，實(shí)現(xiàn)模型的自動(dòng)調(diào)整和優(yōu)化。

3.3 算法應(yīng)用擴(kuò)展能力研究

通過(guò)SQL、R、Python、Java、Scala、Matlab腳本實(shí)現(xiàn)個(gè)性化場(chǎng)景的算法擴(kuò)展能力。研發(fā)基于大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的自定義算法功能，以支持用戶基于不同的業(yè)務(wù)場(chǎng)景需求，通過(guò)R、Python、Java、Scala、Matlab、PySpark等編程語(yǔ)言，依據(jù)大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的規(guī)范封裝自主算法并發(fā)布形成平臺(tái)節(jié)點(diǎn)算法。這樣的設(shè)計(jì)旨在方便用戶靈活擴(kuò)展平臺(tái)算法節(jié)點(diǎn)功能，增強(qiáng)平臺(tái)的業(yè)務(wù)適應(yīng)能力，充分滿足企業(yè)級(jí)用戶的個(gè)性化需求。

3.3.1 基于 SQL、R、Python、Java、Scala、Matlab 腳本的個(gè)性化場(chǎng)景算法擴(kuò)展

通過(guò)SQL、R、Python、Java、Scala、Matlab等腳本實(shí)現(xiàn)個(gè)性化場(chǎng)景的算法擴(kuò)展能力。這將使用戶能夠根據(jù)自己的需求，通過(guò)編寫(xiě)腳本來(lái)實(shí)現(xiàn)對(duì)特定場(chǎng)景的定制化算法應(yīng)用。

3.3.2 大數(shù)據(jù)+AI 算法倉(cāng)平臺(tái)自定義算法功能研發(fā)

為了支持用戶根據(jù)不同的業(yè)務(wù)場(chǎng)景需求，文章研發(fā)基于大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)的自定義算法功能。通過(guò)R、Python、Java、Scala、Matlab、PySpark等編程語(yǔ)言，用戶可以在平臺(tái)上自主封裝自己的算法并發(fā)布成平臺(tái)節(jié)點(diǎn)算法。這將極大地提高平臺(tái)的業(yè)務(wù)適應(yīng)能力，滿足企業(yè)級(jí)用戶的個(gè)性化需求。

4 結(jié)束語(yǔ)

通過(guò)創(chuàng)新技術(shù)的研究和核心組件的研發(fā)，我們成功構(gòu)建了一體化的大數(shù)據(jù)+AI算法倉(cāng)平臺(tái)，為企業(yè)提供了全方位的算法智能運(yùn)營(yíng)解決方案。在大數(shù)據(jù)和AI應(yīng)用中，我們解決了原子算法重復(fù)利用率高、算法缺乏統(tǒng)一生命周期管理、運(yùn)維部署難度大等問(wèn)題，為企業(yè)AI時(shí)代的數(shù)據(jù)化運(yùn)營(yíng)提供了有力支持。該平臺(tái)的設(shè)計(jì)不僅拓展了大數(shù)據(jù)+AI技術(shù)應(yīng)用領(lǐng)域，還建立了更完善的科研教育體系，為行業(yè)賦能，促進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型。

參考文獻(xiàn)：

[1] 劉玉林，菅利榮.基于文本情感分析的電商在線評(píng)論數(shù)據(jù)挖掘[J].統(tǒng)計(jì)與信息論壇，2018，33（12）：119-124.

[2] 朱榮，周彩蘭，高瑞.基于數(shù)據(jù)挖掘的客戶關(guān)系管理系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2018，41（1）：182-186.

[3] 蔣旭東，周立柱.數(shù)據(jù)倉(cāng)庫(kù)查詢處理中的一種多表連接算法[J].軟件學(xué)報(bào)，2001，12（2）：190-195.

[4] ARTSTEIN R，POESIO M.Inter-coder agreement for computa?tional linguistics[J].Computational Linguistics，2008，34（4）：555-596.

[5] 張衛(wèi)豐，陳紅英，王庭，等.聚類算法對(duì)代碼倉(cāng)庫(kù)中學(xué)習(xí)者行為特征的研究[J].軟件導(dǎo)刊，2021，20（11）：142-147.

[6] 馮喆，張強(qiáng).低代碼開(kāi)發(fā)平臺(tái)在企業(yè)數(shù)字化轉(zhuǎn)型中的應(yīng)用研究[J].互聯(lián)網(wǎng)周刊，2022（10）：13-15.

[7] 崔海濤，章程，丁翔，等.面向微服務(wù)架構(gòu)的開(kāi)發(fā)組織適應(yīng)性評(píng)估框架[J].軟件學(xué)報(bào)，2021，32（5）：1256-1283.

[8] WU X W，LI C，WANG X，et al.A creative approach to reducing ambiguity in scenario-based software architecture analysis[J].International Journal of Automation and Computing，2019，16（2）：248-260.

【通聯(lián)編輯：朱寶貴】

基金項(xiàng)目：山東省重點(diǎn)研發(fā)計(jì)劃（軟科學(xué)項(xiàng)目）（No.2023RKY01008）；山東省教育系統(tǒng)政府公派出國(guó)留學(xué)項(xiàng)目資助（2021） ；淄博市重點(diǎn)研發(fā)計(jì)劃：“淄水在線”智能水務(wù)物聯(lián)網(wǎng)云服務(wù)平臺(tái)項(xiàng)目（2019ZBXC246）