國產芯片分布式存儲設備的測試及其在4K制播中的應用

李希堯

（作者單位：中央廣播電視總臺）

2013年棱鏡門事件爆發并持續發酵，各國意識到自身在信息系統安全上存在極大短板[1]，許多重要的數據未能得到妥善保護。而這些信息系統的漏洞和重要資料的泄露給經濟甚至國家安全造成了極壞的影響，堅持獨立發展是擺脫受制于人、提高安全水平的必由之路。傳媒行業是國家重要的意識形態宣傳陣地，承擔著傳播主流價值觀，引導社會輿論，促進社會穩定等重要使命。提高節目制播系統的國產化比率，保障制播系統安全穩定運行是媒體技術人員的一項重要工作。多年來，筆者在不斷地進行摸索和研究，也對一些設備和系統進行了測試、試用與使用。本文主要根據國產芯片分布式存儲設備的發展情況以及超高清視頻制作的特點，對國產芯片分布式存儲設備進行實測真用，探討國產芯片分布式存儲支撐中大型超高清制播系統的技術可行性。

1 基于國產芯片的分布式存儲發展現狀

在以數據為中心的信息時代，存儲成為互聯網技術（Internet Technology, IT）基礎設施的核心，其提供底層動力，驅動了千行百業數字化轉型。近幾年5G技術、超高清視頻、人工智能、云計算、區塊鏈、產業互聯網、泛在感知等新技術、新模式、新應用迅速發展，激發海量非結構化數據快速增長，帶動存儲產業轉型升級，技術、設備不斷推陳出新。根據國際數據公司（International Data Corporation, IDC）2021中國區存儲市場報告，國內廠商已占據中國存儲市場70%以上的份額，取得了不錯的成績。但是國產分布式存儲產品中，基于intel處理器和紅帽（Redhat）公司的分布式文件系統（Ceph）軟件代碼的產品仍占大部分份額，依舊面臨著一些不可控的產業鏈風險。

存儲行業生態具有相對封閉和與上游應用相對松耦合的特點，各個國內廠商在基于國產芯片的存儲產品研發上發展也比較迅速，陸續推出了基于國產芯片的分布式存儲產品。這類產品普遍具備以下關鍵技術：

（1）國產芯片。中央處理器（Central Processing Unit, CPU）采用國產自研產品，保證全產業鏈的安全可控。當前有華為、飛騰、海思、龍芯、申威等控制器CPU產品[2]。其他如固態硬盤（Solid State Disk, SSD）主控芯片、網卡芯片、管理芯片等也有國產自研產品。

（2）關鍵部件自研自產。存儲控制器、接口卡、SSD顆粒、SSD硬盤等均可自研自產，同時通過在硬盤介質上硅進磁退，可以全面提升存儲的綠色節能水平，降低了設備的總體擁有成本（Total Cost of Ownership, TCO），在降低單盤能耗、整機能耗，減少單位容量所占盤空間，提高單位空間密度容量上均有很大進步，同時相較于機械硬盤（Hard Disk Drive, HDD），其每秒進行讀寫操作的次數（Input/Output Operations Per Second, IOPS）性能顯著提升，時延顯著降低，可極大地提高存儲整機性能。

（3）整機硬件自研自產。整機硬件包括底板管理控制器（Baseboard Management Controller, BMC）管理芯片、主板、內存、電源、硬盤框等，這些均可自主設計，獨立完成生產。

（4）存儲軟件自開發。存儲的操作系統（Operating System）軟件、系統內核驅動、磁盤管理軟件、任務調度軟件、緩存管理軟件、訪問協議軟件等均可基于國產芯片獨立研發；同時，絕大部分國內廠商的國產芯片分布式存儲產品管理界面和功能設計可與自身基于intel架構的產品統一，方便用戶日常運維管理和使用。

具有以上特點的國產芯片分布式存儲設備做到了端到端自研、軟硬協同，安全可信，同時功能齊全，性能上也能做到又快又穩，成為國產化IT基礎架構下的基石。

2 超高清節目制播系統的發展推動存儲升級

在電視節目制播系統中，國內大部分網絡制播系統都采用了基于IP化的系統結構，使用千兆、萬兆或25G混合組網，以滿足不同設備的網絡接入需求。該系統具有結構簡單、易于擴展、運行穩定性高等特點。視音頻文件均為非結構化數據，在基于IP化的網絡制播系統中，這部分文件數據主要采用文件存儲設備進行儲存，供制播業務訪問使用。客戶端通過使用通用網絡文件系統（Common Internet File System, CIFS）、網絡文件系統（Network File System, NFS）、簡單存儲服務（Simple Storage Service, S3）等協議訪問存儲，進行素材上下載、視音頻編輯、節目轉碼合成等操作。基于IP化的分布式文件存儲系統是目前應用最廣泛的網絡制播系統建設方案。

中央廣播電視總臺4K超高清頻道于2018年10月1日開播，成為我國首個覆蓋全國的4K超高清電視頻道。4K超高清視頻制播系統在性能、功能、穩定性上對存儲設備提出了更高的要求。4K超高清視頻的編輯碼率為500～1 500 Mbps[3]，在非線性編輯制作、包裝、節目合成轉碼過程中，往往需要多臺設備的多軌4K穩定流疊加訪問存儲，4K制作系統對存儲設備的性能、穩定性都是極大的考驗，分布式文件存儲設備具有高容量、高帶寬、低延時等特點才能支撐4K超高清制播業務。原有采用HDD硬盤作為介質的分布式文件存儲在單節點性能上很難適應大規模IP化超高清制播系統業務的發展，超高清節目制播實踐引領了存儲設備的更新換代。

3 網絡制播系統選擇基于IP的分布式存儲的原因

隨著萬兆以太網絡技術的發展，制播系統在過渡到高清節目網絡制播系統后，采用了基于IP的分布式存儲作為核心存儲[4]，基于IP的分布式存儲具有高可靠性、高擴展性、高性能、高數據一致性等特點。分布式存儲基于全對稱架構，3節點即可起配，隨著節點數的增加，容量、帶寬可準線性增加（在一定節點數量范圍內，品牌存在差異），支持在線增減節點擴縮容，無單獨元數據節點，每個節點均可以對外提供服務，采用彈性糾刪碼（EC模式）對數據進行保護，可提供99.999 9%的數據可靠性和最高90%以上的磁盤空間利用率，單文件系統的容量可達幾百PB甚至EB級以上。基于IP的分布式存儲的各項特點特別符合廣電行業網絡制播系統，所以采用HDD磁盤作為介質的基于IP的分布式存儲成為市場主流延續至今。

4 4K超高清網絡制播系統對分布式存儲的選擇

近幾年，國內外超高清視頻產業正在快速發展，原有采用HDD硬盤作為介質的分布式文件存儲由于單節點帶寬吞吐量小和HDD磁盤IOPS性能差等問題，很難適應大規模網絡化4K超高清制播業務的發展。國內主流4K超高清視頻的編輯碼率為500～1 500 Mbps，為滿足4K超高清視頻編輯對存儲高容量、高帶寬、低延時的性能要求，各大存儲廠商也陸續推出了基于SSD硬盤并配有25 G或以上網絡端口的分布式文件存儲產品。此類產品發揮了SSD硬盤高IOPS、低能耗、帶寬吞吐量大的特性，與以HDD硬盤為介質的分布式存儲相比，單節點性能有極大提升，所以采用SSD硬盤作為介質的基于IP的分布式存儲設備是4K超高清網絡制播系統核心存儲的最優選擇。

5 根據4K超高清視頻制作特點對國產芯片分布式存儲進行測試

為了測試基于國產芯片的分布式存儲設備的性能、功能是否能夠滿足4K超高清視音頻制播系統的要求，本文采用了《面向超高清節目制播的IP分布式存儲測試方法》的測試內容和測試方法[5]，對某型國產芯片分布式存儲設備進行了全面的測試，被測分布式存儲設備信息如表1所示：

表1 分布式存儲設備信息

測試客戶端設備基本信息：

使用5臺X86架構服務器，安裝Windows Server 2019操作系統，具有2顆AMD726CPU、128 G內存、1塊1.92 TB SSD硬盤、10 Gbps網卡。

使用5臺X86架構工作站，安裝Windows 10 Pro操作系統，具有1顆Intel Core i5 8500CPU、8 G內存、1 TB SSD硬盤、10 Gbps網卡。

筆者通過構建測試系統（見圖1），從該型號國產芯片分布式存儲設備的功能方面、可維護性方面、性能方面、可靠性方面出發，進行了系統的、全面的模擬測試，得出以下測試結果（見表2—5）：

圖1 測試系統組網圖

表2 國產芯片分布式存儲功能測試結果

表3 國產芯片分布式存儲可維護性測試結果

表4 國產芯片分布式存儲性能測試結果

表5 國產芯片分布式存儲可靠性測試結果

通過以上測試結果可以得出以下結論，本次測試的國產芯片分布式存儲由5個存儲節點構成，在性能上該存儲設備寫吞吐速度可達9.1 GB/s，讀吞吐速度可達8.9 GB/s，可支持140路4K視頻穩定流并發讀取。每個節點的平均讀速度可達1.78 GB/s，寫速度可達1.8 GB/s，每個節點可支持28路4K視頻穩定流并發讀取，在功能、可維護性、性能及可靠性方面均滿足中大型4K超高清視頻制播系統對分布式存儲設備的各項要求。

6 國產芯片分布式存儲設備在4K超高清節目制作中的實際使用

通過模擬測試，該型號的國產芯片分布式存儲設備各方面指標有了全面可靠的數據支撐，理論上該型號分布式存儲設備可以支撐4K超高清視頻制播系統的存儲需求。但只有在實際業務場景中進行使用，完成4K超高清視頻制作，才能驗證基于國產芯片的分布式存儲設備是否能夠做到真替真用，滿足業務需求。

筆者將此型號國產芯片分布式存儲設備通過萬兆網絡接入一個大型周播現場音樂類節目的超高清視頻后期制作系統中。該超高清制作系統包含了多臺萬兆網絡4K精編工作站、包裝工作站、合成工作站等，該節目素材收錄、制作、包裝、打包合成均為500 Mbps碼率的4K文件，每次集中錄制兩期節目并制作，產生的4K超高清素材量在200 TB左右。節目錄制完成后，需由多名編輯人員在限定時間內同時在多臺精編工作站編輯該節目素材，再完成調色、渲染、節目包裝等工作，并生成最終播出的節目，以滿足節目播出周期的時效性要求。在為期8個月的試用中，該型號國產芯片分布式存儲設備共完成了約630 h的素材和成品節目的存儲與制作工作。

使用期間，該存儲設備充分滿足了4K制作系統對存儲高帶寬、高容量、低延時的需求，很好地支撐了該節目4K原碼多臺精編工作站并發、多軌并發、復雜包裝和特效制作工作，未出現由于存儲性能和功能問題導致的影響節目制作的問題，進一步在實踐中證明了國產芯片分布式存儲設備可以充分滿足中大型4K超高清視頻制播系統的存儲需求。

7 結語

本文通過分析信息系統獨立發展的必要性，對當前基于國產芯片的分布式存儲發展情況進行研究，并結合傳媒行業特點，分析了4K超高清視頻制播系統對存儲的需求，建立了測試系統，采用《面向超高清節目制播的IP分布式存儲測試方法》，對某型號基于國產芯片的分布式存儲設備進行了較為全面的測試。測試數據充分證明了國產芯片分布式存儲設備功能、性能等方面均可滿足支撐4K超高清視頻制播系統的要求。

同時，通過將該型號國產芯片分布式存儲設備接入正式的4K超高清制作系統中，支撐某大型周播現場音樂類4K超高清節目的后期制作，證實了其可用性，為相關人員在建設4K超高清制播系統過程中選擇和使用基于國產芯片的分布式存儲設備提供參考。