人工智能基礎軟硬件架構的關鍵技術研究

范喜凱

摘 要：近年來，在我國科學技術快速發展的進程中，人工智能技術已經廣泛應用于各個領域，取得了一定的進步，不僅能夠增強數據信息分析的直觀性，還能形成智能化輔助決策支持、智能化認知的支持，具有一定的應用價值。基于此，文章研究分析人工智能基礎軟硬件架構，提出關鍵技術建議，旨在為人工智能技術的良好應用、長遠發展提供保障。

關鍵詞：人工智能;基礎軟硬件架構;關鍵技術

中圖分類號：TP391.7 文獻標識碼：A 文章編號：1674-1064（2021）11-0-03

DOI：10.12310/j.issn.1674-1064.2021.11.007

1 人工智能基礎軟硬件架構的設計措施

從本質層面而言，人工智能屬于交叉類型的學科技術。目前，其在研究工作中主要涉及機器學習和深度學習方面的內容。其中，深度學習屬于機器學習研究的分支部分，是2006年由領域中的專家學者提出的，以深度神經網絡為核心的實現措施。而深度神經網絡在應用過程中，需要有效地應對數據問題、算法問題和算力問題。因此，應結合實際情況合理設計相關的基礎軟硬件架構，并按照深度學習算法的計算機體系架構實現特點、原理等，完善體系架構的核心部分，確保能夠高效化應用人工智能技術。軟硬件架構的設計層次，如圖1所示，應結合人工智能技術的應用特點和實際情況完善各個層次的內容。

1.1 基礎硬件層面的設計

基礎硬件層面指架構中的人工智能芯片，從實際情況而言，深度學習需要很多重復執行類型的矩陣乘法和激活函數的計算流程。而在使用通用類型CPU進行重復計算期間，性價比很低，所以，應設置專門使用的計算芯片材料。如AI計算芯片在應用過程中，可以設置CPU的架構、FPCA的架構或者ASIC的架構，利用對AI內的常用函數、計算硬件化的處理，加快硬件計算方面的計算速度，減少功耗數量。在此期間使用的關鍵性技術，主要就是指令集技術、硬件實現技術、異構計算技術、編譯器技術等。按照我國目前的人工智能軟硬件使用的安全需求，可設計定制類型的ASIC系統，設計安全性的專用計算機硬件電路，保證所有系統安全運行。

1.2 中間表示層面的設計

一般情況下，中間表示層面主要是利用深度神經網絡模型編譯器的技術設計，可以借鑒LLVM的設計模式，創建底層的硬件框架和軟件框架，設置各類軟件框架相互的橋梁部分。框架中設計的中間表示層部分，能夠有效應對模型推理一側的問題，使其可以在各類硬件平臺中都能合理描述，完善NNVM/TVM和TensorFlowXLA兩種陣營，其中的模型交換格式屬于中間層次實現表示目的的定義部分。考慮到部分系統具有封閉性特點，因此在框架設計過程中，可以使用開源類型的ONNX設置解決方案和計劃內容。

1.3 合理設計軟件框架的層次

軟件框架層次設計的優化性直接決定深度學習算法封裝的效果，是非常關鍵的部分。同時，其還能為應用開發提供集成性的軟件工具包，主要涉及到訓練部分和推理部分。一般情況下，對軟件框架的可用性和操作便利性產生影響的就是分布式訓練因素和生態因素。目前，在技術應用過程中，生態較為良好的云端訓練框架是TensorFlow和PyTorch兩種框架，在應用過程中也可以提供分布式訓練的支持。目前，我國部分人工智能系統已經具有豐富的生態功能，可以在設計深度學習軟件的過程中借鑒和使用。

1.4 重點設計基礎應用技術層次

目前，我國人工智能技術開始向著商業化方向發展，可以將計算機視覺技術、智能語言處理技術和自然語言處理技術等作為基礎性部分。在軟硬件框架設計期間，需結合相應的技術應用特點和具體狀況，有效應對智能信息感知問題、融合問題和決策問題，積極運用相應的關鍵性技術，完善技術模式和機制，確保各項工作的高質量實施[1]。

2 人工智能基礎軟硬件架構的關鍵技術

2.1 一站式開發技術

由于在當前人工智能軟硬件框架應用領域，經常會出現數據信息收集困難的現象、訓練標記門檻過高的問題、開發時間過長等現象，因此，需結合具體狀況使用一站式開發技術，相關開發技術基本框架如圖2所示。

在采用一站式開發技術的過程中，其一，底層部分需要支持異構計算平臺，能夠達到規模很大的分布式訓練目標，并且具備較為完善的、性能良好的分布式通信系統，可以增加吞吐量。基于分布式數據一定的支持，可以同步處置模型和數據，同時還需容器化地完成部署工作、運維工作，加快移植的速度。其二，在開發設計深度學習框架的過程中，還需給予主流訓練框架一定的支持，設置預留的框架接口，自定義訓練的部分。訓練期間，主要涉及數據信息的預處理、算法開發和模型訓練等方面，要確保系統的良好應用。其三，在算法開發的具體工作中，需要完善AI算法的框架部分，和傳統類型的機器學習算法之間相互兼容，可以提供在線交互算法開發的良好環境。

2.2 采用深度學習模型壓縮技術

一般情況下，在嵌入式與移動終端設備的算法處理工作中，由于計算和存儲資源受到一定的限制，要想確保算法的有效處理，就應針對模型進行壓縮和加速。其中，模型壓縮指的就是，通過數據及實踐已經訓練完成的模型精簡處理目的，獲得輕量性與精確性的網絡模型。壓縮處置后的模型結構很小、參數信息很少，能夠減少計算成本和存儲成本。在此期間，就可以使用深度學習模型壓縮技術，通過精細化的模型設計方式與模型剪裁方式、量化方式等進行處置，將其劃分成前端類型和后段類型壓縮技術。

對于前端類型的壓縮技術，在不對網絡結構造成破壞的情況下，以原本的模型為基礎降低filter數量，或者減小網絡深度。而后端類型的壓縮技術，目的是在最大程度上減小模型的規格，對原本的網絡結構會產生一定的破壞。從訓練模型壓縮和優化的層面講，可以使用自動化的流程工具設計方式，將其分成模型壓縮與加速算法組件和超參數優化組件這兩個結構，借鑒成功的案例，有效進行權重的稀疏化處理、量化處理、網絡蒸餾處理等。將各類算法組件相互有機整合，減小精度方面的損失，不斷提升深度學習模型壓縮的自動化水平。

2.3 深度學習編譯器技術

對于TensorFlow、PyTorch而言，此類前端類型的學習框架模型，需要先將其轉變成計算圖IR，通過NNVM組件處理。對于原本的計算圖IR部分，則在設計過程中優化計算圖，保證操作融合方面、內存分配方面的優化性，最終獲得最為優化的計算圖。在計算圖方面，各個OP的獲取都應使用張量表達語言描述計算表達方式，對需要擁有的硬件平臺，使用最小計算語言生成相關的schedule，這個步驟主要使用TVM組件處理。另外，在訓練模型方面需要結合IR層面規定的標準要求表達和存儲，利用可以將源碼表達的數據結構或者代碼進行編譯器的處理。對于具備擴充特點的中間表示層面，則需要將深度學習計算在內的各類前端訓練軟件框架打通，設置各類后端表達橋梁，有效應對目前框架相互之間的移植問題[2]。

傳統編譯器在實際應用的過程中缺乏深度學習算法基礎算子優化，缺少在人工智能多種異構計算芯片方面的適配性，只有合理擴展傳統編譯器架構，有效應對人工智能底層計算芯片和上層部分軟件框架相互之間的適配性問題和優化問題。例如，采用先進的CUDA編譯器技術、NNVM/TVM編譯器技術，主要是將LLVM框架作為基礎進行設計，可以直接在多種深度學習端的框架之內，對工作負載進行編譯，使其成為具有一定優化性的機器代碼，可以在高層圖中間表示中進行深度學習工作負載的表示、優化，還可以在各種類型硬件后端區域進行計算圖的轉換處理、最高程度上減少內存占用量、實現數據分布的優化性處理、將各類計算模式相互融合。

NNVM在應用期間可以進行計算圖的生成，而TVM又能夠進行張量運算的映射，主要的應用流程是：其一，通過組件實現TensorFlow、PyTorch等各類前端類型的學習框架模型轉變成為計算圖IR的目的，之后利用操作融合的方式、內存分配優化的方式等使得原計算圖IR更為優化，獲得優化以后的計算圖;其二，對優化以后的計算圖內部各個OP的獲取，主要通過張量表達語言的方式進行Tensor計算表達式的描述，按照具體的硬件平臺需求，使用很小的計算原語生成schedule，明確如何針對底層部分的硬件進行調度，這個步驟是利用TVM組件實現;其三，將機器學習的Automated Optimizer作為基礎，生成優化的部分，最終就能夠生成硬件設備方面的二進制程序，生成能夠進行部署的module。如果主流方案中設置了GraphIR+TensorIR的雙層次優化結構，那么就能夠有效應對軟件框架抑制問題、硬件優化的核心問題，因此需要按照具體情況科學設置雙層次優化結構。

除此之外，目前在工程領域中使用訓練模型，都是結合IR層次提出的規定存儲與表達，而IR又屬于翻譯器用作源碼表達的數據結構亦或者是代碼，因此必須要按照具體的情況進行IR處理，滿足技術的應用要求。

2.4 深度學習樣本的增強技術措施

一般情況下，數據增強主要分成有監督類型、無監督類型兩種形式。前者主要是對單個樣本或是多個樣本數據信息進行增強，后者可以分為生成新數據、學習增強兩種形式。由于有監督類型的數據增強技術，主要通過以往的工作經驗制定完善的設計規則，經常會出現各個任務存在過大差異性的問題、質量不足的問題。所以，目前在系統設計工作中，主要使用無監督類型的數據增強技術，如借助模型學習數據信息的分布處理，隨機性生成和訓練數據集分布狀態相同的圖片，生成對抗網絡CAN。

通常情況下有監督的數據增強主要是通過研究者經驗規劃設計，很容易因為個人的主觀因素不能結合各種任務的差異性進行設計，也可能會導致最終數據增強的多元化和質量不足，在此情況下應使用無監督數據增強的方式。例如，利用模型學習數據的分布處理，隨機性生成和訓練數據信息集合分布相同的圖片，可以采用最具有代表性的生成對抗網絡CAN措施操作。再如，利用模型學習出與目前任務相互適應的數據增強措施，借鑒谷歌的數據增強成功經驗，通過增強學習從數據自身之內提取良好的圖像變換措施，對各類任務學習不同的數據增強方法。

2.5 創建嵌入式的邊緣智能化開發平臺

雖然開發一站式的開發平臺能夠有效完成數據中心訓練的相關任務，但是要想合理使用嵌入式端開展模型部署工作，還需開發面向邊緣的智能化計算平臺，可以將其劃分成為輕量級別、模型推理部署兩個部分，首先需要給予一站式開發平臺已經完成訓練模型的部署支持，有效應對硬件框架方面的問題，創建模型中間表示的層次。

例如，FPGA在應用的過程中具有一定靈活性，主要通過DNN加速設計的方式進行硬件架構神經網絡的快速、高效化計算，按照自動化模型壓縮流程，合理設計軟件工具集，將模型深度壓縮工具作為整體平臺的核心部分，主要設計大模型剪枝工具、優化工具、量化工具等，提升剪枝的效果、定點運算的水平。

另外，重點使用神經網絡編譯器技術，使得神經網絡算法能夠被編譯成為可以運行、可以使用的指令流，在工具應用的過程中營造良好支持環境，完成神經網絡加載處理、資源管控、調度處理的操作。通過此類嵌入式平臺的開發設計，可以繼承到一站式的平臺內部，算法框架層次將輕量級別的推理框架作為主要部分，可以將其當作訓練框架的精簡模式，通常只能完成推理，無需進行訓練操作。

3 結語

綜上所述，在人工智能技術基礎軟硬件開發和設計的過程中，為有效解決目前存在的問題，應制定完善的軟件系統和硬件系統開發方案，按照目前存在的關鍵性技術問題針對性處理。同時，還需重點使用一站式開發技術、深度學習模型壓縮技術和深度學習編譯器技術等，增強軟硬件架構的完善性。

參考文獻

[1] 陳小平.人工智能倫理體系：基礎架構與關鍵問題[J].智能系統學報，2019，8（4）：5-10.

[2] 于漢超，汪峰，蔣樹強.中國人工智能發展的若干緊要問題[J].科技導報，2018，11（17）：40-44.