一種星載在軌神經網絡的容錯設計方法

陳子洋 張 萌 張吉良

①(東南大學國家ASIC工程中心 南京 210096)

②(南京電子技術研究所 南京 210034)

③(湖南大學信息科學與工程學院 長沙 410012)

1 引言

星載在軌處理技術是未來航天智能化載荷的關鍵技術之一，隨著商業航天時代的到來，對星載在軌處理的指標與性能提出了越來越高的要求。合成孔徑雷達(Synthetic Aperture Radar, SAR)是一種主動式電磁對地觀測系統，具備全天時全天候的對地觀測能力，在災害應急、遙感測繪、海洋觀測以及國防軍事領域具備獨特的優勢，通過對SAR成像結果進行分析，可以獲得目標區域的詳細信息[1]。

受到載荷平臺的計算性能限制，在傳統的SAR數據處理流程中，原始天線回波或者SAR成像處理結果數據在壓縮編碼后通過數傳系統傳輸至地面接收站，在地面進行進一步的成像、檢測等處理。為滿足遙感SAR成像高精度和高覆蓋度需要，圖像的分辨率和大小在逐步增加，這帶來了星上數據處理、存儲、下傳數據成倍增長的問題，使得傳統的星上數據處理術難以滿足上述需求，并且關鍵信息獲取時效性受到嚴重影響[2–6]。星載在軌SAR實時成像及檢測技術能夠有效地解決這一問題，通過在軌完成SAR成像并對結果直接進行目標檢測，例如艦船、車輛等機動目標，近年來已經成為遙感領域的研究熱點[7]。

在SAR的實時處理性能方面，文獻[8]利用現場可編程門陣列設計了一種視頻SAR高分辨率地面回放系統，該系統可以在1 s內完成一幀16k×2k原始數據處理，并輸出4k×2k圖像。文獻[9]完成了一種視頻SAR實時成像系統基礎設計結構，FPGA仿真結果表明當成像點數為2048×8 192時，成像處理時間為42 ms。文獻[10]對SAR艦船目標檢測進行了研究，通過改進的YoloV5網絡實現含噪聲目標的檢測，文獻[11,12]基于FPGA和MPSOC實現了SAR成像處理和檢測，在傳統基于特征的檢測方法上進行優化，適合硬件實現。但是，上述研究對處理平臺在實際星載環境中的高可靠使用未進一步研究。

相對于傳統檢測方法，基于深度學習的目標檢測算法具有魯棒性強、目標檢測精度率高等優點，是當前研究的熱點，但深度學習網絡存在計算需求大、參數存儲多等劣勢。綜合考慮到當前星載硬件的算力水平和復雜空間環境對硬件平臺的影響，本文提出了一種星載在軌神經網絡的容錯設計方法，既充分發揮高性能SRAM型FPGA的并行計算能力實現SAR圖像艦船目標實時檢測，又基于空間單粒子翻轉對SRAM的影響特點，分析了神經網絡的單粒子翻轉錯誤模型，在不損失處理幀率的情況下完成容錯設計，滿足未來星載應用中的可靠性要求。

2 輕量化網絡實時處理架構

2.1 MobilenetV2架構

2019年Sandler等提出的MobilenetV2則是一款輕量型的模型[13]，其模型框架如圖1所示，由53層卷積運算層組成，主干網絡包含了16個Block塊串行拼接，根據輸入輸出尺寸特點分為Block1塊和Block2塊，每個Block塊由前后兩個1×1卷積和中間的3×3卷積組成，卷積運算的結果經過BN層和激活函數處理后輸出。MobilenetV2沿用了V1中提出的深度可分離卷積以減少卷積核參數量，加快模型推理速度。針對傳統瓶頸層先降維后升維的設計，創新性地提出了倒置殘差模塊，保證了網絡的訓練結果。本文實現的MobilenetV2網絡以SAR 成像后切片圖像作為輸入，每張均為800×800尺寸的灰度圖像，檢測輸入切片圖像中的艦船目標。

圖1 MobilenetV2網絡框架

如圖2(a)所示MobilenetV2中Block1為倒置殘差模塊，圖2(b)中Block2由于輸入輸出圖像尺寸不一致無殘差連接，按輸入800×800分析得到本文中MobilenetV2的乘法計算量每秒鐘操作數約為6.6×109次，參數大小為4.2 M。

圖2 Block結構

2.2 單粒子翻轉影響分析

2.2.1 單粒子翻轉

由于SRAM型FPGA(后文簡稱FPGA)的工藝特點，在空間環境中工作時易受單粒子翻轉影響引起SRAM單元的邏輯值發生比特翻轉，這是一種空間輻射環境中常見的電離輻射效應。在FPGA中存儲電路主要由配置CRAM和存儲BRAM組成，以XilinxXC7VX690T為例，配置CRAM 大小約為230 Mbit，存儲BRAM約為54 Mbit。當翻轉發生于配置CRAM時，FPGA內部的Slice, IOB及布線等均有可能受到影響，當翻轉發生于存儲BRAM時，FPGA內部緩存中的數據、參數等可能受到影響。

SAR成像衛星一般工作于中低軌道[14]，當位于典型的中低軌道上時，SRAM型FPGA的單比特翻轉概率大約為每秒1.33×10-24，對于總參數量為N的神經網絡，當比特間的翻轉是互相獨立時，其單比特翻轉的概率為

其中N表示網絡總的參數個數，W表示參數的量化位寬，T表示在軌運行時間，t表示計算的時間精度，Psingle表示在t時間內的翻轉概率。對于MobilenetV2網絡模型參數量為4.2 M，根據公式計算在軌運行1個月內其參數翻轉概率可達到20%以上。

2.2.2 網絡單粒子翻轉模型

本文所述的輕量級艦船目標檢測網絡在FPGA中的電路實現架構如圖3所示。

圖3 RTL級檢測網絡架構

典型的卷積神經網絡計算框架由PE 計算單元陣列、輸入輸出數據緩存組成，各層間通過片外大容量存儲進行隔離，本層的輸入特征圖首先進入一級數據排列緩存中進行格式排列，排列后的數據進入PE計算陣列中進行卷積核運算，隨后進行通道間累加、BN、激活，將結果送入到二級數據緩存中進行數據重排產生最終的運算結果，并將結果按照特定格式送入到下一層存儲中，以此不斷循環直到完成最后一層操作。

如圖4所示為基于FPGA實現的卷積神經網絡單粒子翻轉示意圖，網絡的特征圖和權值參數均存放于片上BRAM中，當BRAM中發生單粒子翻轉時會導致特征圖和權值產生異常值。特征圖中某個像素點發生翻轉后，基于該特征圖卷積得到的輸出特征圖對應的區域同樣會產生異常值，即特征圖的翻轉會影響所有通道的輸出特征圖對應區域。當1×1或者3×3權值參數中產生翻轉后，由于權值參與了本通道所有像素點的運算，即影響輸出單通道的特征圖結果。

圖4 CNN中單粒子翻轉

卷積網絡的運算主要是乘加計算，在FPGA中加法主要由Slice中的LUT查找表實現，乘法主要由片上的DSP硬核實現。由于LUT, DSP受配置位CRAM的上電配置才能按設定的功能工作，當單粒子翻轉發生于CRAM中時可能導致乘加運算產生錯誤結果，并將錯誤傳播至后續處理中。

(1)數據翻轉

緩存中特征圖的像素點受單粒子影響發生比特翻轉，常用的數據格式為單精度浮點數、半精度浮點數、定點數等[15]，圖5所示為FPGA中常用數據格式的存儲方式。當翻轉發生于符號位時，所有的數據格式均會變為相反數。單精度浮點數表示為(-1)s×(1.M)×2E-127，當翻轉發生于浮點數的指數位E時，數值會存在2的 ?E次冪的縮放。當翻轉發生于整數位時，由定點數公式(-1)s×，數 值 會 存 在2?(K-F-1)差異。為了減少翻轉給特征圖帶來的影響，文中數據使用量化后的定點數表示。

圖5 數據格式

根據卷積運算的特點，輸入特征圖的某個像素點發生翻轉后，只會影響到輸出特征圖的對應區塊的K×K個像素點，其中K為卷積核的尺寸。

(2)權重參數翻轉

權重參數的格式與特征圖一致，采用定點量化方式。當K×K的權重塊中出現翻轉時，會導致當前計算通道的特征圖全部發生變化，可以看到數據翻轉是特征圖維度的變化，而權重翻轉是通道維度的變化。

(3)計算翻轉

計算翻轉分為乘法翻轉、加法翻轉，由對應LUT, DSP的配置位翻轉產生，對于定點數的乘加運算，翻轉導致結果部分比特位產生0→1或1→0的變化，或者結果部分比特位固定為0, 1。

3 星載在軌網絡的FPGA實現

3.1 整體架構設計

文中MobilenetV2的實現架構如圖6所示，在圖6(a)中，整個系統由SAR圖像切片輸入緩存、Block計算單元以及Crossbar-DDR組成。SAR圖像切片數據經過通道重排后，經過Crossbar寫入外部存儲DDR中，當Block計算單元檢測到數據輸入后，啟動讀數據操作。在圖6(b)中，計算單元1首先將當前層的權值參數由DDR中讀出，分配給3個不同的卷積計算單元，當完成數據讀取后，開始進行第1層數據計算，在文中MobilenetV2的前3層不同于普通的Block模塊，需要定制化處理。當完成前3層計算后，將中間結果寫入DDR中，計算單元1再次從DDR中讀取下一個Block的權值參數及網絡結構參數，進行下一個Block的計算，依次循環反復，直到完成最后一層Block計算。對于最后2層1×1卷積同樣利用Block計算單元中的1×1卷積核進行處理，將3×3卷積置于直通狀態，完成最終結果的輸出。同樣對于計算單元2，當DDR緩存中存有待處理的SAR圖像切片時，其按時前文所述計算單元1的處理流程完成圖像的處理，在資源和DDR讀寫帶寬允許的情況下，可例化多個計算單元同時進行處理。

圖6 RTL級系統架構設計

3.2 并行卷積計算設計

本文架構在實現多幅圖像并行計算的基礎上，對單張圖像內部的卷積計算也進行了并行優化。

3.2.1 1×1卷積

Pointwise卷積(后文簡稱PW卷積)主要通過1×1卷積核完成對通道的升維和降維，如圖7(a)所示卷積核內部采用多個計算顆粒并行處理，每個計算顆粒采用多個乘加樹實現，考慮到網絡結構中通道數均為8的倍數，計算顆粒同時完成8個通道乘權計算，并完成通道間并行加。計算得到結果轉成串行格式后輸出給BN和激活函數進行處理，其中BN層通過公式Y=γ×x+β完 成歸一化操作，γ與β值為參數，激活函數通過比較器實現，通過公式Y=min(6,max(0,X))將小于零的輸入置零，大于6的輸入置為6。

圖7 并行卷積設計

3.2.2 3×3卷積

Depthwise卷積(后文簡稱DW卷積)通過3×3的卷積核完成對輸入圖像的特征提取，如圖7(b)所示首先完成單通道卷積核內部的9個乘權運算，并將得到的結果進行累加，在完成BN層和激活處理后得到單通道的輸出特征圖值，以每8個通道為一組計算單元，可以根據參數配置同時例化多個計算單元進行計算，N個計算單元可以得到N行的特征圖值，從而實現并行加速處理。

4 容錯設計

針對星載環境中的抗單粒子翻轉需求，在第3節FPGA架構設計基礎上進行容錯設計。

4.1 整體容錯設計

系統級容錯架構設計如圖8所示。

本文將實時處理的并行加速架構與高可靠設計的三模冗余架構進行統一，根據是否進行動態重配置將片上資源劃分為靜態區與動態重構區，其中靜態區為FPGA運行過程中配置信息不會更新的區域，動態重構區為運行過程中可根據需要更新配置信息的區域，即當單粒子翻轉發生于動態重構區后，可通過重新加載更新配置信息進行容錯。為了滿足在軌實時處理的需求，在動態重構區中例化了3個獨立的Block計算單元，每個計算單元可根據控制指令進行在線重加載。

如圖9(a)所示進行單粒子翻轉自檢步驟，FPGA在上電初始化后開始進行圖像切片計算并對已處理圖像切片進行計數，當完成一幅全尺寸圖像檢測后，為了檢測計算單元內是否發生單粒子翻轉，由校驗控制模塊控制FPGA進入自檢狀態，3個Block計算單元同時從外部存儲中讀取同樣的自檢圖像切片并進行處理。自檢判斷由圖9(b)所示，每個1×1卷積、3×3卷積、1×1卷積均將計算結果送入三取二校驗中進行故障判斷，為了提高故障檢出率，將激活前的結果送出。若當前某個Block計算單元產生錯誤，由動態重配置控制器將對應動態區內的Block計算單元進行重加載，糾正配置區內的比特翻轉錯誤。

圖9 自檢操作

4.2 模塊容錯設計

(1)三模冗余設計

由圖8所示在靜態區內Block參數配置模塊和自檢校驗控制模塊負責對3個Block計算單元進行參數配置和重加載，作為關鍵模塊對上述兩模塊進行三模冗余(TMR)設計，防止受單粒子翻轉影響產生錯誤配置導致計算結果出錯。

(2)ECC校驗

由圖6(b)所示Block計算單元內存在著大量用于數據重排與緩存的片上BRAM，為了防止數據在存儲的過程中產生翻轉，對RAM進行ECC校驗。

(3)狀態機Hamming編碼

校驗控制、參數配置模塊里，存在著較多狀態機控制電路，為了保證狀態機里的狀態寄存器發生翻轉后能及時恢復，對狀態機通過增加校驗位實現檢測并糾正單比特翻轉，原來狀態插入k個比特作為校驗位 2k-1≥m，把原來的n比特狀態表示變為m(m=n+k) bit。

5 測試結果

文中基于Xilinx公司的XC7V690T SRAM型FPGA對MobilenetV2網絡進行了RTL級實現，例化了兩組DDR控制器，每組外掛4 GB容量的DDR3存儲，并且支持8 bit ECC校驗。例化了3組Block計算單元，可支持同時對3幅圖像切片進行處理，數據與權值均按8 bit整型進行量化，在未進行網絡壓縮的情況下，其資源消耗如表1所示，相對未加固資源只增加了不到20%，相較于傳統三模冗余加固設計其資源消耗大大降低。

表1 加固設計前后資源對比

由表1可以看到，采用直接TMR方式將會導致Slice LUTs和BRAM資源使用超過了單片FPGA的容量，工程上很難實現。相較于傳統的直接TMR方式，本文中基于靜態區、動態重構區劃分的容錯加固方法在資源使用上只占直接TMR方式的約50%。表2給出了本文相較于其他MobilenetV2的實現結果對比，文中的FPGA實現的能耗比為每秒每瓦特操作數為1.188×1010次，優于其他實現，適合星載這種對資源、功耗有著極其嚴格要求的工作場景。

表2 不同FPGA實現性能對比

5.1 檢測性能

圖10顯示了FPGA處理得到的檢測框結果，將測試數據集中的SAR圖像切片存放于回放板卡中，在測試數據集上進行回放驗證，經過實際測試本文的SAR圖像切片處理的吞吐率達到每秒42 幀。

圖10 SAR艦船檢測結果

由表3可以看到，文獻[17]中基于特征提取的傳統SAR圖像艦船目標檢測方法對實際艦船目標的檢測精度未超過78%，文中所述基于MobilenetV2的檢測方法可到79.80%以上，具備精度更高的檢測性能。

表3 SAR艦船目標檢測精度(%)

5.2 抗單粒子翻轉性能

圖11所示為單粒子翻轉注入平臺，由上位機控制軟件和單粒子翻轉故障注入板組成。主控FPGA完成對上位機指令的接收與數據交互，通過DUT配置模塊對待測試網絡進行配置，激勵模塊由高速記錄回放板卡組成，將SAR圖像切片通過高速接口發送給容錯FPGA和未進行容錯設計的原型FPGA，測試結果通過對比模塊收集并進行處理后發送給上位機軟件。

圖11 單粒子翻轉注入平臺

(1)特征圖翻轉

SAR圖像切片像素點以及網絡中間層特征圖像素點均按8 bit定點數量化表示，輸入圖像切片由DDR控制器從外部存儲中讀取進入片上緩存，緩存由具備ECC校驗的FIFO/RAM組成，支持對單比特翻轉進行檢測與糾正。根據Block計算參數配置，各個Block計算單元完成對圖像的讀取與處理，直至得到檢測結果。本文對輸入輸出緩存以及計算單元內部的特征圖緩存以及寄存器進行翻轉注入測試，從圖12(a)中結果可以看到，原始未進行容錯設計網絡的特征圖發生比特翻轉時，精度有2%左右的下降，特別當翻轉發生于符號位時，精度降低達到7%以上，而容錯設計后的網絡僅下降1%左右。

圖12 特征圖與權重翻轉測試結果

(2)權重翻轉

Block計算單元根據配置通過外部存儲的特定地址得到權重參數，由前文分析可得當權重參數發生翻轉時，對當前層用到該權重的所有輸出通道均產生影響。由圖12(b)可以看到，隨著對權重翻轉注入個數的增加，原始未加固網絡與加固后網絡的精度均有所下降，相較于未加固網絡，加固后的設計在權重緩存采用ECC校驗，并對暫存在寄存器中的權重參數進行TMR三模冗余加固，在注入翻轉數量達500處時，其抗單粒子翻轉性能有了近8%的提升。

(3)計算單元翻轉

Block計算單元基于可動態重配置的比特流實現，采用配置位比特翻轉的方式進行測試，直接對比特流進行修改后對檢測結果進行統計分析。在自檢周期中，一旦檢測到3個計算單元輸出不一致時便對出錯單元進行重配置，表4顯示了2次重配置間，統計激活操作前卷積計算得到的特征圖錯誤次數。3個卷積運算為串行結構，當前層計算出錯時錯誤值會向后一層進行傳播，進入下一個卷積運算中。從表中可以看到PW卷積1的翻轉次數大于DW卷積，且DW卷積翻轉次數大于PW卷積2，即觸發1次最終結果錯誤時，網絡中靠后的部分錯誤次數更低，說明網絡結構中后層計算結果對最終結果影響更大。分析激活函數設置為ReLU6時，將所有小于零以及大于6的值均設為固定數，僅允許[0,6]范圍內的特征圖值按原值向后輸出，能夠減小前級出錯后向后傳播的概率。即當配置區翻轉導致PW卷積1中計算結果出錯后，并不一定會直接使DW卷積的輸入出錯，所以前一層卷積檢測到的錯誤計數要大于后一層卷積與運算。

表4 Block單元各層結果出錯統計

6 結束語

本文完成了一種面向星載在軌實時處理的輕量級MobilenetV2神經網絡容錯設計方法，一方面通過并行計算實現了對SAR艦船目標的實時檢測，另一方面通過三模冗余與動態重配置的結合有效減小了空間單粒子翻轉對系統檢測性能的影響。通過在SRAM型FPGA中的加速實現，實時處理能力達到每秒42幀并通過單粒子翻轉注入試驗對容錯加固后的神經網絡進行測試，在資源消耗只增加不到20%的情況下，精度增加了8%，性能提升效果較明顯，相比于傳統加固方式更適合星載場景應用。