面向企業服務的廣西人工智能測訓平臺設計與實現

摘要：近年來，國家高度重視人工智能（AI）的技術進步與產業發展，在人工智能領域的投入不斷加大，各類AI產品不斷涌現，服務市場快速成長。文章提出一種面向企業服務的人工智能測訓平臺，采用人工智能算法模型設計平臺的整體架構，構建數據標注及特征工程、數據安全沙箱、模型訓練及調優、算法模型發布及評估、資源管理、在線開發工具等核心功能。該平臺在技術、運營及場景層面均取得了創新性突破，為縮短人工智能算法和模型的研發周期、提高人工智能核心技術的突破能力和突破速度創造了條件。

關鍵詞：人工智能；測訓平臺；企業服務；AI模型

中圖分類號：TP18" " 文獻標識碼：A" " " 文章編號：1674-0688（2024）04-0107-04

0 引言

2017年8月，國務院印發的《新一代人工智能發展規劃》中提出，到2030年我國的人工智能理論、技術與應用總體達到世界領先水平，成為世界主要人工智能創新中心。此后，全國各省市先后發布人工智能專項規劃政策，以期引領新一輪科技革命和產業變革，搶占發展先機。人工智能在各行業領域的應用取得了不少的研究成果，例如楊平等［1］研究人工智能深度學習訓練與服務平臺，提出一種5G端到端的服務賦能體系，從而實現各類應用服務的快速構建；張樹軍［2］探討人工智能技術在實訓室建設中的應用，提出建設集教學、實訓與練習于一體的開放式平臺，使師生可以通過手機、電腦或實驗設備，不受時間和地點的限制完成教學實踐任務；陳正宇［3］的研究構建了面向特定領域的人工智能訓練與服務體系，例如在醫學場景中提供人工智能在醫療領域的相關知識、代碼和數據集展示，同時提供醫療數據標注及醫療模型構建、訓練、部署等一站式模型開發功能，在面向企業服務時，該體系同樣可以作為借鑒和參考。本文研究面向企業服務的廣西人工智能測訓平臺，旨在彌補企業端平臺賦能服務的空缺，加速廣西企業快速創建和部署AI模型，推動廣西人工智能產業發展邁入快車道。

1 國內外人工智能測訓發展現狀

當前，英國、日本、德國等20多個國家和地區已在大力部署人工智能產業，力圖在新一輪國際科技競爭中掌握主導權。我國高度重視人工智能技術的發展，在人工智能測訓方面，“百度”是國內首家面向企業服務并開源人工智能訓練平臺的AI公司。人工智能訓練平臺的核心在于深度學習框架PaddlePaddle與Kubernetes技術的結合，摒棄了虛擬機底層技術的支持，采用Docker的容器化技術與Kubernetes的容器調度方案實現云計算平臺的高效性和實用性。國內多家AI獨角獸公司，例如北京市商湯科技開發有限公司、北京曠視科技有限公司、北京地平線機器人技術研發有限公司等，因種種原因而未對外提供人工智能訓練平臺服務，這些公司內部均擁有自己的人工智能訓練平臺，并且平臺都是采用Docker技術和Kubernetes方案的組合方式實現。國際上，亞馬遜公司提供的收費平臺AWS（Amazon Web Services）是著名的人工智能訓練平臺之一。在AWS上，用戶可以創建并運行自己的任務，其技術原理同樣是基于Docker技術和Kubernetes方案的組合。與此同時，國外的FloydHub平臺也正式對標AWS，其功能和技術原理與AWS相似，但收費相對較低。此外，谷歌公司內部使用的DeepMind平臺以及微軟公司內部使用的AzureML、Philly、7i等云訓練平臺，其核心思想和實現原理都是以容器化為核心，以Kubernetes的容器調度方案為輔助，滿足用戶資源的申請和使用需求。

隨著人工智能技術與各行業領域的深度融合，廣西人工智能產業的發展趨于多元化。人工智能與各產業的融合發展在拓寬人工智能應用領域的同時，也在優化企業的管理與服務，簡化服務流程，為企業帶來更大的經濟效益。廣西在人工智能賦能的各個層面都取得了一定的成果，尤其在應用層面呈現出蓬勃發展的新態勢，但在面向企業端的賦能平臺上，服務能力不足。

2 廣西人工智能測訓平臺的設計與實現

2.1 平臺整體架構

廣西人工智能測訓平臺提供一站式模型開發管理服務，涵蓋從算力資源管理、數據接入、數據標注、數據集管理、模型構建、模型訓練、模型管理、部署上線到服務監控全流程的服務能力，同時平臺提供智能服務開放窗口，實現在線功能體驗、申請試用、方案成果展示、技術研討交流等功能。平臺整體架構見圖1，其中SDK是對lib、dll、.h、示例等進行封裝后可直接調用的文件，API是提供編程時的接口，一般情況下API包含在SDK中，vGPU是虛擬桌面上渲染圖形的組件。

資源層主要實現對硬件資源的維護管理；平臺層主要提供從數據到模型服務的分步構建功能；用戶層主要是為不同類型的用戶提供差異化服務。

（1）資源管理模塊。該模塊為平臺的資源提供了統一的管理和維護功能，管理者可實時查看平臺擁有的算力資源，同時對資源進行分配，滿足入駐企業對算力資源的需求［4］。入駐企業可根據業務需求申請平臺的算力資源，審批通過后即可使用。

（2）數據處理模塊。該模塊提供在線數據預處理功能，可對接入平臺的原始數據進行加工，轉換成符合模型開發的訓練數據集；轉換后的數據可發布共享，入駐企業相互間可節省數據標注的時間。

（3）模型訓練模塊。該模塊為算法工程師、模型調優者提供低門檻、標準化、流程化的開發方式，預置和內置了各種軟件常用環境和AI引擎，讓開發者不需要過多地關注底層實現即可以完成AI模型服務的開發。

（4）模型部署與服務模塊。該模塊提供模型版本的管理功能，可以發布不同的模型版本，實現模型的共享，同時支持對模型的一鍵化服務，極大地縮短了模型工程化的時間。

此外，為了更好地擴大征集智能場景需求的范圍、宣傳和推廣入駐企業的智能服務與應用成果，系統設計了AI開放門戶，以更好地平衡、匹配AI服務的供需關系，讓社會上更多的主體參與廣西人工智能服務的建設。

2.2 平臺核心能力設計

廣西人工智能測訓平臺主要包括開放服務子系統和智能服務構建子系統兩大部分，開放服務子系統的建設主要為智能服務的需求方和提供方及社會公眾提供服務，使用者可以實時在線關注平臺的資信、資源服務、模型服務、應用案例、平臺介紹等信息。需求方可以在線提出場景需求，平臺運營方在線對接場景需求，遴選符合要求的智能場景需求并發布，有能力或感興趣的機構可以在線承接。

智能服務構建子系統的建設針對數據管理者、數據標注者、模型開發者、場景應用開發者，提供數據接入、數據標注、模型訓練、模型評估和AI模型推理等服務。各模塊分層解耦，獨立運行，滿足不同用戶的不同需求。例如，模型服務提供者可以利用算力資源，通過將模型鏡像部署至算力資源平臺的方式或通過服務接口注冊的方式提供AI模型服務。平臺的各模塊既可以獨立運行，又可以相互拼接，以滿足不同用戶的實際需求，有利于構建AI服務，快速響應AI場景需求。

根據系統的架構設計，平臺主要由數據標注及特征工程、數據安全沙箱、模型訓練及調優、算法模型發布及評估、資源管理、在線開發工具等核心功能組成。

2.2.1 數據標注及特征工程功能

數據標注及特征工程功能充分對接數據平臺，利用數據平臺實現數據標準化、特征工程和數據管理等。根據訓練數據需要形成標注數據的標簽庫，對標簽進行多層次的關聯管理，并對圖片、文本等進行自定義標注，滿足訓練數據的需求［5］。訓練任務可引入創建好的數據集作為訓練數據集，也可導出標注文本，在線下訓練數據。特征工程包括訓練數據特征信息查看、數據集版本篩選、特征指標查詢、特征任務維護、特征任務啟動、特征任務停止、特征任務進度查看、特征任務評估、數據集特征分布情況展示、歷史特征工程任務列表查詢、特征工程統計分析（如效果、使用率等）。

2.2.2 數據安全沙箱功能

數據安全沙箱是平臺構建的獨立運行環境，具備獨立的存儲資源、計算資源、網絡資源和環境資源［6］。數據沙箱通過特定的開放性網絡端口與特定的安全交換服務進行通信，通信的數據經過特定密鑰加密脫敏處理，以保證數據來源單一、可控和安全；沙箱之間通過不同網絡區域互相隔離，相互之間無法通信，保證數據的可控傳輸和安全轉移。

針對需要專門資源和對運行環境有要求的入駐機構和企業等主體，平臺可靈活提供線上和線下2種數據安全沙箱的使用方式，依托AI平臺的硬件資源，結合虛擬化技術，為入駐機構和企業按需提供開發、測試和生產發布全過程獨立、隔離的運行環境。入駐機構和企業可以在隔離的環境中完成模型開發、訓練、優化、測試和發布工作。線下模式和線上模式的數據安全沙箱流程分別見圖2和圖3。

2.2.3 模型訓練及調優功能

基于數據資源和算力資源，平臺已預置并優化常用的AI模型訓練環境，通過內置通用的AI引擎、構建容器機理、簡化模型訓練流程，降低了模型訓練的門檻，為入駐企業和機構提供充分的模型訓練和模型管理服務，使入駐企業和機構能更專注于智能應用服務的開發。機器學習或深度學習模型訓練需要大量的重復循環過程，如果運用訓練好的模型預測未知數據時發現效果不理想，則需要對模型進行優化處理。為此，平臺設計了多種優化模型的方法，如增加訓練集、調整正則化參數、減少特征數量等。

2.2.4 算法模型發布及評估功能

平臺通過在線建立評估任務，選擇統一的測試數據集，配置一致的基礎環境，設定相關算法模型的評估指標。啟動評估后，平臺自動采集相關信息并進行信息的處理和查詢。根據智能場景的需求，入駐企業和機構利用平臺的數據資源和服務資源研發的人工智能模型必須通過“公平、公正”的測評后，才可應用于實際中。平臺提供在線的算法模型評估，既可保證在相同環境、相同測試數據集下評估條件的一致性，也可保證評估過程、結果的可信度，并且能有效節省人力、物力。

2.2.5 資源管理功能

平臺的資源管理模塊主要包括數據資源管理和算力資源管理。數據資源管理是通過對接人工智能場景需求的原始數據以及由原始數據衍生的訓練數據，對數據資源進行多維度（來源、用途、類型等）管理，并且按需提供受限的共享服務，在安全共享的前提下，滿足入駐機構對數據資源的需求，實現數據資源的價值。算力資源管理是提供AI中心IDC（互聯網數據中心）機房所有算力資源的管控服務，包括x86服務器、ARM（Advanced RISC Machine）服務器，對核心算力資源進行維護，形成算力資源池，進行統一的管理和分配，實現對算力資源的最大化利用。

2.2.6 在線開發工具功能

平臺提供交互式的在線開發環境，用戶可以通過Notebook編輯文本，引入多種類型文件，以交互模式運行代碼及查看結果等。對于在線開發環境，平臺支持多種AI引擎的應用，即同一個實例可以使用所有支持的AI引擎，不同引擎之間可快速、方便地切換。

3 廣西人工智能測訓平臺的創新點

廣西人工智能測訓平臺為響應智能場景需求的技術攻關提供了簡易化、標準化、流程化的全流程服務，加速了技術的突破和融合應用。平臺各功能模塊可獨立運行，也可通過相互拼接實現全流程服務。針對人工智能模型評測難、轉化難等問題，建設算法模型的評測模塊，該模塊可以有效地評估人工智能模型的各項核心指標，提高成果質量，是投入實際生產應用的基礎。

（1）從技術層面看，平臺遵循“高內聚，低耦合”的設計思路，基于大數據、大規模分布式訓練和環境依賴等方法，突破人工智能服務的基礎軟件環境，實現了AI引擎和容器技術的融合應用，為創新構建AI研發工具、實現數據智能標注和數據安全沙箱功能、AI模型在線檢驗評測、AI算法綜合評估、自動化模型生成、AI供需對接、標準體系建立、創業咨詢、孵化培育、培訓實訓等AI全生命周期提供了技術支持。

（2）從運營層面看，平臺構建了完整的運營體系，內置離線環境依賴和AI引擎環境，支持平臺不斷擴展，增強AI平臺的安全性和強分離性。通過對算力資源細粒度進行優化管理，支持用戶最優、任務最優及系統最優的多維度資源智能化分配，實現資源的高效利用。

（3）從場景層面上看，平臺實現了核心算力資源GPU（圖形處理器）的池化及統一的資源監控與動態擴容。平臺集場景需求對接、數據集、數據標注、模型生產、模型服務、服務開放于一體，并且各模塊可相互獨立工作，互不影響，形成一批有特色、有影響力的人工智能應用場景。

4 結語

隨著科學技術的不斷進步，通過人工智能賦能企業服務成為企業發展的重點方向。本研究可以為企業提供人工智能應用的標準化產品，使企業全面、深入地了解運營過程中對人工智能技術的需求，并針對企業需求有針對性地提出解決方案，推動人工智能算法模型在各領域的應用，最終起到降本增效的作用。目前，廣西的大部分企業仍缺乏應用人工智能的意識，特別是缺乏對當前熱點大模型的了解，技術創新能力較弱，難以適應人工智能賦能企業發展的轉型需求。因此，本研究的意義在于推動廣西企業聚焦人工智能應用場景需求的落地，促進人工智能技術與廣西當地產業經濟、社會治理和民生服務的深度融合。

5 參考文獻

［1］楊平，裴霽.一種使能5G的AI深度學習訓練與服務平臺［J］.郵電設計技術，2020（12）：61-64.

［2］張樹軍.基于人工智能的開放式實訓平臺模式探討［J］.黑龍江科學，2021，12（21）：130-131.

［3］陳正宇.面向醫療領域的人工智能模型訓練平臺的設計與實現［D］.北京：北京郵電大學，2024.

［4］華程.基于云計算的人工智能訓練平臺應用策略研究［J］.電信快報，2021（1）：17-19，42.

［5］鄭琳欣，朱大智，吉承文.人工智能數據標注格式轉換方法［J］.數字技術與應用，2023，41（6）：164-166.

［6］童偉，邱楓.基于Hyperledger Fabric框架區塊鏈基礎平臺安全沙箱機制研究［J］.長江信息通信，2023，36（4）：26-29.