李寶華
人工智能研發運營體系:熱潮大模型背后的“基建工程”
隨著經濟發展和科技融合不斷深入,人工智能(AI)發展迎來新一輪紅利,科技革命和產業升級處于進行時。近年來,AI工程化的研究熱度持續提升,其目的是幫助企業在數字化轉型過程中,更高效、大規模地利用AI創造業務價值。“人工智能研發運營體系”(后文稱:MLOps)作為AI工程化重要組成部分,其核心思想是解決AI生產過程中團隊協作難、管理亂、交付周期長等問題,最終實現高質量、高效率、可持續的AI生產過程。目前,國內外“MLOps”落地應用正持續快速推進。
廈門深度賦智科技有限公司(簡稱“深度賦智”),于2019年7月成立廈門總部,后期在上海及深圳均設有分公司。吸引了來自于世界各地的頂尖人才,并且匯聚了業界頭部科技公司的資深研究員、架構師。競賽上,斬獲了人工智能頂尖賽事NeurIPS的多個世界冠軍,戰勝了Google、微軟、阿里、騰訊、清華、南大等團隊;學術影響上,在多個AI領域頂會頂刊上發表了高影響力論文,公司2021年累計發表兩篇AutoML 領域前沿論文(該期刊是AI學術界的頂級期刊,2021年全球共發表313篇IEEE T-PAMI,其中國內企業累計發表僅24篇)。
深度賦智在成立初期對市場的調研以及結合Gartner的調查數據發現,目前只有53%的項目能夠從AI原型轉化為生產。AI生產轉化率低的主要原因在于模型全鏈路生命周期管理存在問題,包括跨團隊協作難度大、過程和資產管理欠缺、生產和交付周期長等。隨著智能技術的發展,AI應用在業務研發中的占比逐漸升高,但AI模型訓練的復雜性導致其開發慢、效率低,嚴重影響了業務的靈活性。主要的凸顯問題為以下三方面:
第一,跨團隊協作難度大。機器學習項目生命周期中涉及業務、數據、算法、研發、運維等多團隊,團隊間缺乏相同的技術和業務背景知識作為協作基礎,從而帶來溝通屏障。同時每個團隊的協作工具不盡相同,從數據和算法轉化為推理服務的整個過程漫長而復雜,從而增大協作難度。
第二,過程和資產管理欠缺。模型生產過程無標準化管理,導致AI 資產的價值無法有效發揮。原因在于以下幾方面:一是生產過程冗長難管理,AI模型生產過程涉及的環境、流程復雜,各部門習慣于小作坊的生產模式,重復造輪子現象普遍;二是AI資產無集中共享機制,組織內數據、特征、模型等碎片化AI資產無法共享使用,優秀實踐經驗難以沉淀。
第三,生產和交付周期長。機器學習模型生產和交付是一個漫長、復雜又易出錯的過程,且耗費的時間成本較高。據Algorithmia 報告顯示,38%的企業花費超過50%的時間在模型部署上。這一現象的主要原因有三:一是模型文件的生產需要經過不斷重復的實驗和評估;二是模型服務需要通過編寫服務代碼和配置參數,并達到業務需求后,方可部署上線;三是業務效果的保證需通過在線模型開展服務驗證和結果對比。
MLOps在國內外得到了廣泛應用,并在多個行業取得了實質性效果。2015年至今,從業界意識到機器學習項目技術債給AI 生產上線帶來的潛在巨大影響伊始。2018年業內人士逐漸開始密集討論大規模生產中機器學習生命周期集成化管理的重要性,MLOps這一概念被提出并逐步接受。2020年以來,產業焦點集中于AI大規模快速落地,布局MLOps平臺或工具的需求日益迫切,推動組織數智化轉型成為產業界追逐的目標。2021年,Gartner將包括MLOps在內的XOps列為2021 年十大數據和分析技術趨勢之一。此外,從2019年到2022年,Gartner連續4年將MLOps納入數據科學與機器學習技術成熟度曲線。
深度賦智:通過自研,解決關鍵技術受制于人的“卡脖子”問題
作為AI基礎設施之一,MLOps促進各團隊高效協作,提升業務價值產出。一般來說,實施MLOps需要遵循的原則包括自動化、持續性、版本化、可監控、可測試、可追溯、可復現、可協作等。深度賦智通過構建全自動人工智能研發運營中臺,為機器學習模型全生命周期建設標準化、自動化、可持續改進的過程管理體系,使組織規模化、高質量、高效率、可持續地生產及迭代機器學習模型,能有效緩解AI生產過程地各種管理問題,提升公司AI生產的轉化效率。
深度賦智致力于幫助每一家企業快速落地AI應用、高效地管理公司AI資產。通過核心自研產品:深度賦智天機(ACT),為各行業的客戶提供全自動人工智能研發運營中臺(ACT)。本中臺涵蓋無代碼數據科學與機器學習系統(Full AutoML)和低代碼人工智能系統(Low-Code AI),覆蓋文本、圖像、視頻、語音、表格、時序、搜索、推薦等多模態任務訓練及管理運營。
深度賦智天機的核心技術為:MetaAI引擎。深度賦智創新性地提出了一種新型的全自動機器學習框架,首次打破了現有自動機器學習中各搜索空間的獨立設計,并使用數據集知識錨點加進化算法來加速搜索,解決了在超大空間搜索最優方案的設計難題。該框架實現了全流程自動化,極大降低了機器學習應用門檻。其中MetaAI子系統模擬了人類AI工程師的學習過程,通過觀察已有任務的數據流形與策略效果以進行全自動的探索性優化。經過觀察,MetaAI可以很好地總結不同任務知識,將原本耗時數年的AI構建過程縮短到最短數十秒。
高質量發展:著力加強能源電力智慧數字化基礎能力建設
近年來,在“雙碳”目標下,智慧能源產業的發展將會為能源行業帶來了新機遇。科技創新是各能源集團“十四五”實現高質量發展的重要驅動力。深度賦智把握戰略主動,聚焦重點領域,加速核心合作,為能源集團在綜合智慧能源領域提供MLOps的創新力量。
深度賦智在2021年與新華發電(新華發電作為中核集團非核綠色能源戰略實施主體,肩負“綠色報國 創新共享”發展使命,兼具中央企業管理優勢和水利部行業專業優勢。業務涵蓋水電、新能源、綜合智慧能源三大板塊,形成了“源網荷儲用”多元化的產業協同發展布局)完成戰略協議的簽訂。雙方將聚焦碳中和以及電力數字化轉型,將充分發揮各自優勢共同打造“AI+電力”解決方案,以此構建能源互聯網新生態,引領能源行業數字化轉型,推動綠色電力轉型,加快建設能源強國。
為更好貫徹中核集團及新華發電數字化轉型指導方針,2023年深度賦智與新華發電完成具體項目落地,整體將以新華發電數字化轉型路徑為戰略指引,全面建成全自動人工智能研發運營中臺(后續稱“智能應龍”)。“智能應龍”將為新華發電實現“四個統一”的精細化人工智能資產管理模式。
人工智能資產統一沉淀。將新華發電AI基礎任務能力、數據資源、數字化資產進行統一沉淀,合入一起運營管理,促使AI資產能夠在各種場景下復用。
人工智能資產統一管理。為所有數字化資產之間的互通、互助、并行應用提供基礎支持。所有組件實現微服務化,所有AI資產統一管理,并通過“智能應龍”實現新華發電對多種智能化資源的自主可控,提升智能化應用的安全性。
人工智能資產統一推廣。“智能應龍”可以對AI模型進行統一管理,然后針對于不同電站的實際需求進行統一推廣,在節省重復開發成本的同時,還能提升對于AI模型的監控能力,做到實時更新。
人工智能資產統一開發。“智能應龍”能滿足快速組裝個性化AI應用的能力,通過無代碼全自動AI任務開發系統可以快速生產基礎AI任務,以及低代碼AI應用開發服務系統可以進行靈活組裝、拼接,使新疆新華實現隨時、隨需及統一開發模式。
堅實的產業基礎之上才能實現產學各界萬花盛放
最后,眼下最火熱的AI應用莫過于大模型(ChatGPT等)的應用。預訓練大模型正在推動一場AI新變革。而在關注這場變革之前,深度賦智認為更應該關注根技術、基礎平臺的打造與建設。堅實的產業基礎之上,才能實現產學各界萬花盛放。AI大模型之變,應該有強壯的根。深度賦智將大模型作為算法底座之一,結合具備無代碼數據科學與機器學習系統的深度賦智天機,可進一步降低業務子場景數據標注、子任務過多、離線流程繁瑣耦合等AI落地難點。搭載可支持業務線快速采集數據、自動訓練建模、標準化評估、一鍵化部署的全自動人工智能研發運營中臺,大模型將極大減少子環節數量、提升建模效率,優化建模質量,提供更便捷的流程設計方式。
當前我國積極發展數字經濟,推動數字經濟與實體經濟深度融合,AI產業作為數字經濟發展的核心引擎,正處于快速發展期。但從客觀評價,產品和技術依舊是企業發展的硬通貨,AI市場距離成熟還有一段距離。在陪伴產業發展的過程中,深度賦智將以“AI行業的‘水電煤”的身份與大家一同共建AI產業。