自適應(yīng)計(jì)算加速提升核心基礎(chǔ)設(shè)施性能

常莽

AI無處不在、隨時(shí)在線和以數(shù)據(jù)為中心的時(shí)代，正催升對更高帶寬的需求，而這已經(jīng)超出了當(dāng)今技術(shù)和產(chǎn)品的能力范疇，世界需要一種當(dāng)前CPU和GPU技術(shù)所無法企及的更高效的、更普適的計(jì)算，自適應(yīng)計(jì)算應(yīng)運(yùn)而生。

AI無處不在、隨時(shí)在線和以數(shù)據(jù)為中心

金錢不算什么，數(shù)據(jù)才是推動當(dāng)今世界運(yùn)轉(zhuǎn)的王者。從遠(yuǎn)程物聯(lián)網(wǎng)終端為城市規(guī)劃、健康跟蹤、環(huán)境保護(hù)和業(yè)務(wù)改進(jìn)等多樣化用途采集數(shù)據(jù)，到我們熱衷的視頻流內(nèi)容和在線分享生活，以及數(shù)據(jù)的遷移、管理和分析，正處于所有功能的核心，也促使消費(fèi)者更廣泛地使用隨時(shí)在線的個(gè)人物聯(lián)網(wǎng)設(shè)備，并讓企業(yè)和科研越來越依賴以AI為中心的應(yīng)用。

數(shù)字化的生活方式和新興的物聯(lián)網(wǎng)與云端計(jì)算及數(shù)據(jù)服務(wù)的快速增長密不可分。云是全新的生活與工作方式的中心，它存儲著海量的內(nèi)容，供人們隨時(shí)隨地進(jìn)行訪問；它托管點(diǎn)播音樂和視頻流服務(wù)；它采集和分析工業(yè)數(shù)據(jù)或企業(yè)數(shù)據(jù)；它將功能強(qiáng)大的軟件應(yīng)用以按次計(jì)費(fèi)的方式，低成本地提供給金融分析、數(shù)據(jù)庫搜索或基因組測序等工作使用。

此外，5G New Radio（NR）引入了對海量機(jī)器通信（MMTC）和超低時(shí)延通信（ULLC）的支持，能實(shí)現(xiàn)全新的實(shí)時(shí)蜂窩通信服務(wù)。而這將給回傳網(wǎng)、城域網(wǎng)以及核心網(wǎng)的容量和性能帶來巨大壓力。

核心基礎(chǔ)設(shè)施面臨越來越大的壓力

如今，提高數(shù)據(jù)帶寬和計(jì)算吞吐量是所有的云數(shù)據(jù)中心、電信網(wǎng)絡(luò)和蜂窩通信回程網(wǎng)共同面臨的強(qiáng)勁需求。涉及的主要基礎(chǔ)設(shè)施組成部分包括進(jìn)出數(shù)據(jù)中心的鏈路、連接地域分散型數(shù)據(jù)中心站點(diǎn)的數(shù)據(jù)中心互聯(lián)（DCI）、基礎(chǔ)設(shè)施接口卡和加速器卡。事實(shí)上，核心基礎(chǔ)設(shè)施對數(shù)據(jù)帶寬的需求名義上是以51 %的年均復(fù)合增長率增長，然而，單是5G的推出便可推動區(qū)域流量容量需求增長100倍。

利用協(xié)議處理芯片和接口芯片等分立組件打造新的、更高性能的設(shè)備來滿足這些需求，不僅復(fù)雜費(fèi)時(shí)，而且越來越難以按照性能需求進(jìn)行擴(kuò)展。此外，采用這種方式設(shè)計(jì)出的系統(tǒng)體積龐大、功耗驚人，無法滿足數(shù)據(jù)中心和基礎(chǔ)設(shè)施對空間占用、功耗和熱管理的限制性要求。新一代設(shè)備必須在現(xiàn)有的物理、電氣和熱約束條件范圍內(nèi)大幅提升性能。

此外，設(shè)計(jì)工作需要在最終規(guī)格商定之前采用最先進(jìn)的協(xié)議和標(biāo)準(zhǔn)，才能率先投放市場，盡早抓住機(jī)遇。對于想要率先將產(chǎn)品投放市場的設(shè)備提供商而言，等待標(biāo)準(zhǔn)成熟之后再部署肯定無法實(shí)現(xiàn)領(lǐng)先的預(yù)期，只有擁有隨著項(xiàng)目的進(jìn)展在硬件層面靈活地適應(yīng)變化的能力，才能與時(shí)俱進(jìn)領(lǐng)先同行。

具有突破性意義的可編程加速器

對于一些使用傳統(tǒng)CPU或GPU的架構(gòu)無法快速執(zhí)行或功耗約束得不到滿足的工作負(fù)載，高密度FPGA和異構(gòu)的可編程片上系統(tǒng)IC（MPSoC）等可編程邏輯器件已成為理所當(dāng)然的加速器選擇。這些器件不僅可以通過高度并行的處理模式以極為高效的方式解決特定計(jì)算難題（例如信號處理和近期的神經(jīng)網(wǎng)絡(luò)），還提供了可編程器件固有的靈活應(yīng)變能力。

現(xiàn)在，為了滿足日益嚴(yán)苛的性能、帶寬、功耗和集成目標(biāo)，被稱為自適應(yīng)計(jì)算加速平臺（ACAP）的新型可編程器件已經(jīng)問世。賽靈思Versal ACAP內(nèi)置一系列智能AI和DSP計(jì)算引擎、等效于FPGA邏輯架構(gòu)的自適應(yīng)引擎，以及應(yīng)用處理和實(shí)時(shí)標(biāo)量引擎，并通過片上可編程網(wǎng)絡(luò)（NoC）互聯(lián)緊密耦合。它還集成了軟件控制平臺管理功能和眾多先進(jìn)的接口，包括DDR4、100G以太網(wǎng)、PCIe Gen 5和數(shù)千兆位光通信接口。

Versal DSP引擎采用經(jīng)過改進(jìn)的DSP塊，為INT8、32位浮點(diǎn)等操作數(shù)提供本機(jī)支持，從而提升了多種應(yīng)用的速度和效率，不僅包括數(shù)字信號處理，而且也包括寬動態(tài)總線移位器、存儲器地址生成器、寬總線多路復(fù)用器以及存儲器映射I/O寄存器。標(biāo)量引擎由一個(gè)雙核Arm Cortex-A72應(yīng)用處理器和一個(gè)雙核Arm Cortex-R5F實(shí)時(shí)處理單元構(gòu)成。ACAP的異構(gòu)引擎能夠?qū)崿F(xiàn)重新編程，以適應(yīng)隨時(shí)間推移而變化的工作負(fù)載，或是隨著算法實(shí)現(xiàn)或神經(jīng)網(wǎng)絡(luò)模型演進(jìn)而變化的工作負(fù)載。

優(yōu)化ACAP連接性

依托于這種新型可編程器件助力實(shí)現(xiàn)的創(chuàng)新，Versal Premium系列現(xiàn)已能夠應(yīng)對當(dāng)今核心基礎(chǔ)設(shè)施面臨的壓力。這些高帶寬器件將高計(jì)算密度與附加的專用高速加密（HSC）引擎以及先進(jìn)的網(wǎng)絡(luò)接口相結(jié)合。

高密度網(wǎng)絡(luò)連接功能包括：提供總雙向帶寬高達(dá)9 Tb/s的可擴(kuò)展光纖收發(fā)器（支持最新的以太網(wǎng)和Interlaken速率與協(xié)議）、112 GB/s PAM4收發(fā)器、加密處理能力高達(dá)400 Gb/s的高速加密引擎，以及靈活應(yīng)變的硬件。

與現(xiàn)有的58 GB/s PAM4技術(shù)相比，在核心網(wǎng)、城域網(wǎng)和DCI基礎(chǔ)設(shè)施中采用112G PAM4收發(fā)器能夠使每端口帶寬密度翻倍，從而緩解前面板機(jī)柜空間的壓力，并為電信和數(shù)據(jù)中心應(yīng)用加倍提供單位體積帶寬。與此同時(shí)，給定的數(shù)據(jù)有效載荷的傳輸時(shí)延降低50 %，提高了應(yīng)用的響應(yīng)能力，有助于降低時(shí)延對地域分散型數(shù)據(jù)中心互聯(lián)的影響。

較之賽靈思16 nm Virtex UltraScale+ FPGA，片上集成資源提供了高達(dá)3倍的帶寬和2倍的計(jì)算密度。另一方面，與專用的特定應(yīng)用光傳輸網(wǎng)絡(luò)（OTN）處理器相比，應(yīng)用吞吐量提高了3～5倍。

提升計(jì)算密度

為了滿足超大規(guī)模云服務(wù)提供商的當(dāng)前及未來需求，Versal ACAP架構(gòu)將極高的片上存儲器帶寬與高性能異構(gòu)計(jì)算引擎緊密耦合，并通過動態(tài)功能交換（DFX）實(shí)現(xiàn)靈活的工作負(fù)載配置。與之前的16 nm FPGA相比，DFX交換內(nèi)核的速度加快了8倍，支持加速器的動態(tài)配置，從而最高效地將器件資源用于隨時(shí)間推移而變化的計(jì)算工作負(fù)載，如數(shù)據(jù)分析、機(jī)器學(xué)習(xí)視覺處理、基因組學(xué)、視頻轉(zhuǎn)碼和加密處理等。

憑借多種類型的分布式片上RAM，高達(dá)1 GB的緊密耦合存儲器可供使用，進(jìn)而提供了最高123 TByte/s的等效片上存儲器帶寬。該帶寬能實(shí)現(xiàn)各種處理引擎與存儲器之間的高速交互，其速度比如今最優(yōu)秀的GPU快9倍。此外，可編程N(yùn)oC互聯(lián)支持與片外DDR4存儲器進(jìn)行高速交互。

Versal Premium ACAP能夠滿足DCI設(shè)備的需求，兼容服務(wù)器側(cè)和傳輸側(cè)的多種光通信接口與協(xié)議，同時(shí)以安全、低成本的平臺靈活適應(yīng)新興的、且不斷演進(jìn)的標(biāo)準(zhǔn)。1RU系統(tǒng)或單卡就能提供3.2 TB/s的容量，支持多種多樣的標(biāo)準(zhǔn)化和新興協(xié)議以及光通信接口。憑借其先進(jìn)的連接和加密核心，單個(gè)Versal Premium ACAP器件就能為服務(wù)器側(cè)的光通信接口提供4×25G NRZ連接的多條100 G FlexE以太網(wǎng)通道、為線路側(cè)提供4×112 G PAM4連接的400 G以太網(wǎng)通道、線路速率為1.6 TB/s的AES256加密、控制和端口管理功能。

這些器件也非常適合用于高速客戶端接口卡，具體方式是利用Versal Premium ACAP將數(shù)據(jù)流量與服務(wù)橋接并封裝到行業(yè)標(biāo)準(zhǔn)的OTN封裝程序中。Versal Premium ACAP內(nèi)部集成通道化以太網(wǎng)、Interlaken、112 G和58 G PAM4 GTM收發(fā)器與32.75 G GTYP收發(fā)器，提供每秒多太位容量。這些資源以專用硬IP的形式集成，既能獲得ASIC級的功率效率，又能釋放ACAP邏輯架構(gòu)用于映射、開銷和SAR功能。

面向未來的AI加速

通過將異構(gòu)計(jì)算引擎與高存儲器帶寬相結(jié)合，Versal Premium ACAP在處理高難度工作負(fù)載（如使用神經(jīng)網(wǎng)絡(luò)開展圖像分類或?qū)ο髾z測）時(shí)，性能顯著優(yōu)于GPU。對比Versal Premium與領(lǐng)先GPU的性能，可以看到運(yùn)行在680×680 YOLOv2模型上的對象檢測速度在ACAP Premium器件上能提速高達(dá)7.7倍。

與FPGA和MPSoC架構(gòu)相比，ACAP另一個(gè)有助于簡化加速器開發(fā)的引人矚目的特性是預(yù)先構(gòu)建的外殼程序，通過它能硬連接到片外接口，如以太網(wǎng)、PCIe Gen 5、DDR4和光通信接口。這種高效的云連接基礎(chǔ)設(shè)施提供了多重優(yōu)勢，包括允許在設(shè)備啟動時(shí)進(jìn)行CPU主機(jī)和系統(tǒng)存儲器通信、簡化內(nèi)核布局與時(shí)序收斂、簡化加速器虛擬化。外殼程序便于設(shè)計(jì)人員將器件的內(nèi)部邏輯架構(gòu)更多地用于定制功能，否則就需要實(shí)現(xiàn)必要的基礎(chǔ)設(shè)施，如存儲器和DMA控制器。

外殼程序和角色架構(gòu)可以幫助設(shè)計(jì)人員快速高效地在Versal Premium ACAP中實(shí)現(xiàn)先進(jìn)的智能零售技術(shù)。ACAP器件支持?jǐn)?shù)據(jù)驅(qū)動的視頻內(nèi)容分析，有助于降低損失以及提供自動、實(shí)時(shí)、可執(zhí)行的庫存洞察，并提供可促進(jìn)銷售最大化的客戶體驗(yàn)定制能力。借助Versal Premium ACAP能夠在單個(gè)平臺上托管視頻分析解決方案，用于視頻元數(shù)據(jù)的識別、提取和分類。

外殼程序提供了現(xiàn)成的連接與加密功能，而器件的DSP引擎和軟件可編程計(jì)算內(nèi)核則可處理對象檢測、圖像分類以及視頻編碼、解碼和縮放。而且能夠在緊鄰計(jì)算內(nèi)核的地方提供最大1 GB的片上SRAM，面向AI加速提供高達(dá)123 TB/s的存儲器帶寬。通過消除GPU架構(gòu)和基于GPU的架構(gòu)所特有的存儲器瓶頸與批次大小限制，分析加速器能夠?yàn)镽esnet50提供高達(dá)每秒13 000幅圖像的處理速度。

盡管消費(fèi)者和企業(yè)界越來越重視數(shù)據(jù)的價(jià)值，客戶也越來越依賴于即時(shí)服務(wù)交付，但復(fù)雜性、計(jì)算強(qiáng)度和帶寬耗用正成為瓶頸。ACAP將高效的分布式異構(gòu)計(jì)算引擎與高速互聯(lián)融為一體，以滿足飛速增長的性能需求。通過綜合運(yùn)用硬IP、預(yù)先構(gòu)建的創(chuàng)新型連接外殼程序、可編程邏輯架構(gòu)和軟件可配置資源，ACAP器件不僅能夠助力提升性能，還能簡化設(shè)計(jì)，同時(shí)提供面向未來的靈活性。