基于云計算與大數據技術的算網調度管理系統建設研究

摘要：算網調度管理系統是一種高度智能化、高效化、安全化、可靠化的企業級資源調度和管理平臺，可以為企業提供全方位的資源管理和調度服務，從而實現企業的可持續發展和高質量的業務增長。隨著大帶寬、低時延、強算力的需求越來越廣，傳統的系統由于算力資源與網絡資源分布雜亂，沒有一體化統一呈現算網資源及服務，導致組網不可視。同時，因為當前資源多以固定規格、配額為主，無法面對業務需求靈活、動態地調整算網資源。因此，在信息技術高速發展的背景下，如何利用新興信息技術推進算網調度管理系統建設就成為各行各業亟須解決的重要課題。

關鍵詞：算網調度管理系統；云計算；大數據

一、前言

算力已經成為全球主要國家的戰略選擇，算力經濟已經成為全球戰略競爭新焦點。近年來，我國高度重視算力產業發展，加強統籌布局，完善頂層設計，多項與算力有關的政策和規劃落地，如《“十四五”數字經濟發展規劃》要求強化算力統籌和智能調度、《“十四五”信息通信行業發展規劃》中關于實現數據與算力設施服務能力顯著提升，以及包括《關于加快構建全國一體化大數據中心協同創新體系的指導意見》等指導政策中算力調度相關指示的重要舉措[1]?；谠朴嬎愫痛髷祿夹g的企業級資源調度和管理，能夠實現企業內部計算資源的自動化調度和管理，包括服務器、存儲、網絡等各種資源。該系統可以通過集中管理、調度和分配計算資源，實現資源的最大化利用，提高企業的工作效率和業務響應速度，同時還能夠提高數據處理效率和系統穩定性等方面的產業效益[2]。

二、功能框架設計

企業級算網調度管理系統以支撐算網融合產品設計、運營、運維為抓手，建設算力接入、感知、調度編排及運營的一體化能力， 以客戶業務全生命支撐為中心，以云網數智邊端鏈構筑算網底座，多要素融合打造算網大腦（Neural network），形成協同（Classic）、融合（Cube）、一體（Commensal）算網體系。面向運維提供算網產品管理、面向客戶提供自服務、面向行業提供一體化的解決方案。如圖1所示，整個平臺的架構主要分為底座層、原生層、感知層、調度層、編排層及運營層六層。六大模塊相互協同，使算網平臺更加高效、智能和可靠。算力原生層主要包括網絡原生管理和算力原生管理，感知層主要包括數據的采集、分析、處理、發布及算力度量等功能，調度層包括接入管理、能力調用、統一認證、策略管理、全局優化及跨域調度功能，編排層主要包括整個流程的業務設計、流程管理、智能選路、能力封裝及原子管理等功能，面向客戶側的算網運營層主要包括六大主要場景：云邊協同、智算、智能存儲、智能制造、視頻算網及算網內容安全。

整個功能機構主要包含四大特性：一是算力異構并網。超算/智算、公有云、網絡云、IT云等異構云并網CPU、GPU、DPU、FPGA等異構算力并入算力原生平臺。二是算網資源感知。感知算力網絡需要的虛擬層、容器層、基礎設施層、開放接口等內容，可進行數據處理分析，承載算網業務。三是算網跨域調度。靈活設計、組裝面向生產和業務調優的標準化場景能力，統一開放，注入AI，提升端到端業務質量；以設計、編排、調度為基礎，構建資源、服務、流程、事件的跨層、跨域、跨網調度。四是多要素編排管理。綜合考慮多種因素，對計算資源進行編排和整合，通過有效的資源配置和協調，實現算力調度的高效運作和持續發展。

三、功能模塊設計

（一）功能詳情

建立異構硬件的抽象模型，進行異構邊緣算力的統一納管，利用統一開發編譯工具，屏蔽異構多源算力的差異性，減少用戶跨架構編程的重編譯和遷移適配的代價，使得應用只需要關注業務邏輯表達，無需關注計算在不同硬件上的不同實現方式[3]。主要包括以下幾點：

1.國產化管理

支持國產化構建的云平臺，支持云原生能力，提供企業級的微服務治理能力。本項目支持國產化構建的云平臺：該平臺是基于國產技術和方案構建的，符合國家相關法律法規和安全標準，能夠滿足企業數據安全和合規性要求。

支持云原生能力：該平臺支持云原生應用的構建和部署，包括容器化、微服務架構、自動化部署等技術，能夠提高應用的可伸縮性、可移植性和可維護性。

提供企業級的微服務治理能力：該平臺提供完備的微服務治理能力，包括服務注冊與發現、服務路由與負載均衡、服務監控與告警、服務降級與容錯等，能夠保證微服務的穩定性和可靠性。

提供多樣化的云服務：該平臺提供多樣化的云服務，包括計算、存儲、網絡、安全等各種類型的云服務，能夠滿足企業不同場景下的需求。

提供靈活可擴展的云架構：該平臺提供靈活可擴展的云架構，支持公有云、私有云和混合云等多種云部署模式，能夠滿足企業不同規模和需求的云服務需求。

2.異構云管理

通過多源邊緣云異構管理，實現輸出多云混合調度、多云混合計費、多云混合管理。通過這種方式，用戶可以將不同的云服務商和邊緣計算資源作為一個整體進行管理，實現資源的共享和協同。

多云混合調度：能夠根據用戶的需求，將不同的應用程序部署在不同的云服務商和邊緣計算資源上，實現應用程序的高效調度和資源的優化利用。

多云混合計費：根據不同的云服務商和邊緣計算資源的使用情況，進行不同的計費方式，實現資源的靈活分配和成本的優化。

多云混合管理：通過多源邊緣云異構管理實現對云服務商和邊緣計算資源的統一管理，從而提高管理效率和資源利用率。

3.調度中心平臺

調度中心整合了大量的資源信息和任務需求，將不同層次的信息進行優化和整合，以提高系統的整體性能和優化任務的執行效率。主要包括以下能力：

感知能力：負責感知網絡資源，對計算資源和存儲資源的狀態和性能情況進行數據分析與處理。通過實時監測網絡帶寬、傳輸延遲、CPU利用率、存儲容量等各種資源指標的變化和使用情況進行算力度量（映射為FLOPS、IOPS等算力服務度量值），并生成算網地圖，方便用戶查看和管理算網資源的狀態和分布情況，以滿足調度和編排的需要[4]。

調度能力：負責對跨域計算任務進行統一調度，針對整個跨域任務進行性能和資源的全局優化和整合，以提高計算任務的執行效率和完成時間。通過任務調度算法、任務分配規則、資源調度策略對算網的調度策略進行管理和優化。同時，能夠通過底層數據的接入認證和數據調用保障整個調度過程的完整性和穩定性，按照實際資源狀態以及任務的特性和優先級等考慮因素，執行任務的分配和動態調度等操作[5]。

編排能力：負責綜合考慮各種調度因素，如負載均衡、資源利用率、帶寬占用、拓撲結構等，進行多要素的編排和優化?；谒憔W的資源狀態和性能信息，對業務流程進行動態調整和優化，以便選擇最優的計算路徑和節點。通過AI算法、數學優化模型等技術，實現系統的全局性能和局部性能的平衡，優化計算任務的完成時間，提高系統的整體效率和靈活性。

（二）業務流程

基于算網全域感知能力，通過端、網、云、應用端到端拉通，實現算網業務質量統一呈現。主要基于內容安全、視頻算網、智能存儲等方面的業務研發相應場景下的功能。根據不同資源池的負載情況自動調整容器數量或實例數量，實現資源池的快速部署和資源管理。這使得資源池的運行環境可以根據需要進行擴容或縮容，減少繁瑣的手動調優工作，同時提供更強的性能和自適應性。根據網絡性能及故障節點情況自動增加或減少運行線程，或者根據需求自動調整內存和文件描述符等參數，自動選擇最優網絡、最優時延、最短路徑，完成調度過程中的業務配置自動化。

四、應用場景

云邊協同：將算力調度能力下降到邊緣側，構建端到端的云邊協同架構，實現全域數據高速互聯、應用整合調度分發和算力全覆蓋。

智算并網：面向大語言模型（百億級參數）并行訓練，利用計算、網絡、存儲在內的智算集群技術，通過資源共享、彈性擴容、高可用、自動化處理、安全保障等流程，完成智算并網。

智能制造：面向全連接工廠、工業互聯網、智能供應鏈管理等場景中新一代智能制造訴求，通過對協同建模與仿真技術、自適應協同調度算法等技術，構建智能制造功能模塊，打造個性化云邊算網架構。

視頻算網：基于邊緣節點、機器視覺計算引擎技術和領先的AI能力，研發視頻算網調度功能模塊，提供一體化的視頻接入、視頻管理、視頻計算、視頻數據服務，構建智能視頻調度、云網吧調度等場景應用。同時，在處理視頻和圖像時，調度平臺能夠提供高效的處理能力，提高處理速度和精度。

算網內容安全：研發算網內容安全檢測功能模塊，輸出算網內容識別能力，規避安全風險，實現算網內容的可管可控。

五、解決問題與創新點

（一）解決問題

作為一種高效、可靠、安全的資源調度和管理平臺，算網調度管理系統具有多項優勢。首先，該系統可以實現對企業內部計算資源的自動化調度和管理，大大減輕了企業資源管理的工作量，優化了資源的利用率，提高了企業的效益和競爭力。其次，該系統可以通過實時監測和反饋資源使用情況，對資源進行精細化的調度和分配，從而提升了企業的業務響應速度和數據處理效率。此外，該系統還具備兼容性強、安全性高、易于維護等特點，可以滿足各種企業的應用需求。本項目重點在于打造場景化的算網調度平臺，針對不同的應用場景或業務需求，靈活定制算力資源的分配和調度模式，以滿足用戶的個性化需求，打造云、邊、端三級架構的社會級算網服務。通過先進的云網融合、算力資源切分復用等技術，在保障充分利用算力資源的前提下，提高算力資源的響應速度、精確匹配、靈活配置和高效利用，彌補當前市場上產品能力的缺失，具體的解決方法包括：

云網融合：通過將云和邊緣計算資源進行整合，構建統一的云邊協同架構，實現全域數據高速互聯，應用整合調度分發和算力全覆蓋。

算力資源切分復用：通過將物理機的硬件資源進行切分和虛擬化，實現多租戶的共享和復用，提高資源利用率。

精確匹配：通過對業務需求和算力資源進行精確匹配，實現資源的快速分配和調度，并減少資源浪費。

靈活配置：通過支持動態配置和調整，能夠根據業務需求和資源利用情況，靈活地調整資源配置，并提高資源利用效率。

高效利用：通過對算力資源進行智能管理和調度，能夠提高資源利用效率，避免資源浪費，并降低成本。

（二）創新點

集中納管、一點調度：企業級算網調度管理系統基于通過感知插件，實時發現異構算力資源及狀態，將計算資源進行整合，以服務的形式為用戶提供算力。建設算力資源統一接入適配能力，打破異構資源之間的架構壁壘，屏蔽異構資源的差異性。通過構建統一的標準化API接口，適配接入算力資源廠家的接口，同時提供對外集成能力，提高多縱向擴展能力。

海量模板、按需定義：針對算力網絡中算力量化的問題，對異構的 IT 算力資源進行歸一化建模，含物理資源、性能指標、資源服務等內容，從而形成通用的可識別、可調度、可靈活配置的算網場景化服務，為后續進行算力資源抽象、算力度量的建立提供技術支撐，形成算力資源的標準化管理機制。

算法調度、能力共享：提供面向客戶的一體化調度，將需求分發調度至最優算力、最優網絡路徑。通過泛在計算調度技術，一方面能夠實現“云、邊、端”底層資源的統一納管和協同；另一方面，通過面向上層 PaaS 能力的下沉，建立能力庫、計算能力庫、存儲能力庫、網絡能力庫等異構算力能力庫，從而實現異構算力服務的共享。

網云融合、多樣視圖：屏蔽無效信息，為不同角色的客戶提供不同維度、豐富多樣的一屏呈現視圖。企業級算網調度管理系統支持對資源綜合視圖、云專網組網、智慧視頻、網絡拓撲管理，可提供云主機、云硬盤、安全組、彈性公網IP、子網、VPC、監控云資源綜合視圖功能。

AI注智、可視呈現：企業級算網調度管理系統覆蓋江蘇全省的云專網和云、邊、安、端算力資源，聚合視頻行業的生態，打造“連接+算力+能力”的新型智能視頻產品門戶，方便企業級用戶快速接入視頻終端，為客戶提供一站式智能視頻 “線上可視化”支撐流程，方便查看到每一個步驟運行的信息，實現算力調度的急停急用。

六、效益與價值

（一）產業效益

企業級算網調度管理系統可以為企業和用戶帶來多方面的產業效益，促進企業數字化轉型和創新發展。主要體現在以下幾個方面：

提高資源利用率：可以根據業務需求和資源狀況，動態地分配和調度計算資源，從而提高資源利用率，能夠幫助企業節省資源成本，提高資源效益。

提高數據處理效率：企業級算網調度管理系統可以優化數據處理流程和算法，從而提高數據處理效率，能夠讓企業更快地獲得數據分析結果和業務洞察，提高業務決策效率。

提高系統穩定性：企業級算網調度管理系統可以監控和管理計算資源的狀態和運行狀況，形成端到端的業務保障，從而提高系統穩定性。

（二）社會效益

企業級算網調度系統以客戶為中心，將網絡能力和業務流程進行智能化編排，實現自動化部署和智能化運維，打造面向CFN的算力網絡一體化運維體系，滿足政企用戶所見即所得，可視、可管、可控的一站式、一致性產品服務體驗，精細化和增值化服務的訴求，實現資源價值、客戶服務滿意度的雙提升。

（三）經濟效益

1.簡化人工運維

算網調度管理系統與云平臺及網絡工作臺對接，實現自動化部署配置，支持業務快速上線和靈活拓展，業務開通時長從天縮短到分鐘。承載了算網業務大量的實時流量調度功能，縮短了90%的設備配置與業務開通時間。大幅降低網絡擴容成本，提升客戶體驗，簡化運維操作。

2.助力市場創收

允許企業在幾個不同的云服務提供商之間輕松遷移應用及服務，從而提供給企業更好的業務應用體驗。通過算網調度系統進行一站式自助組合開通，整體開通時長縮短至5天內，減少了項目交付團隊的工作量和協調難度等，實現人工、時間成本降低92%以上。

七、結語

本項目提出的基于云計算與大數據技術的算網調度管理系統，通過無侵入式監測、數據融合和分析、跨平臺和廠商的兼容性等技術手段，該系統可以實現對企業內部各種數據的全面感知和分析，從而為企業提供更加精準和高效的資源調度和管理服務。為了實現全域數據高速互聯、應用整合調度分發和算力全覆蓋的目標，算網調度管理系統還可以將算力調度能力下降到邊緣側，構建端到端的云邊協同架構，實現資源及業務端到端數據感知。通過無侵入式監測、數據融合和分析、跨平臺和廠商的兼容性等技術手段，該系統可以實現對企業內部各種數據的全面感知和分析，從而為企業提供更加精準和高效的資源調度和管理服務。

參考文獻

[1]陳磊.知識密集型企業知識管理系統的構建[J].上海電氣技術，2023，16（02）：65-67+103.

[2]許曉亮，李軍.基于大數據技術的企業運營管理系統設計[J].數字通信世界，2023（06）：20-22.

[3]張天峰.探究大數據視域下的企業信息化管理系統建設[J].中國新通信，2023，25（07）：68-70.

[4]朱坤福.大型企業信息化集成管理系統的應用與優化[J].現代工業經濟和信息化，2023，13（03）：193-195.

[5]張漢舟.大數據時代企業管理模式創新分析——基于企業價值生態系統視角[J].全國流通經濟，2023（06）：80-83.

作者單位：江蘇移動信息系統集成有限公司

■ 責任編輯：張津平