基于冷備份多模冗余結構的BRAM自修復方法

張砦，劉燕，黃莉莉

南京航空航天大學 自動化學院，南京 211106

SRAM型FPGA(Field Programmable Gate Array)應用過程涉及大量數據處理和存儲操作，其中BRAM(Block RAM)是以陣列結構方式布局的主要存儲器電路，在整個系統工作過程中具有重要地位[1-4]。

BRAM極易受到空天強輻射環境下高能粒子影響而發生單粒子效應，出現位翻轉的瞬時故障甚至永久故障[5-6]。雖然BRAM發生瞬時故障的比例遠高于永久故障，但出現永久故障的可能性依舊存在，需要采取措施解決永久故障問題，否則會影響FPGA正常工作[7]。因此，BRAM永久故障是嚴重威脅系統可靠性的因素，在考慮BRAM瞬時故障容錯的同時，更需要考慮解決BRAM永久故障問題，但永久故障修復難度更大。

提高BRAM可靠性的方法主要是容錯設計，具體手段是故障單元屏蔽和修復。目前BRAM容錯方法和技術主要采用糾錯碼ECC(Error Correction Code)、三模冗余TMR(Triple Mode Redundancy)和存儲器刷新(Memory-Scrubbing)，其中ECC和TMR是基于屏蔽手段的容錯方法，而Memory-Scrubbing支持存儲單元瞬時故障自修復。ECC容錯[8-11]通過增加校驗碼并解碼的方式實現對數據的檢錯糾正，但只是輸出過程屏蔽了錯誤的數據位，并沒有修復導致數據錯誤的存儲單元。TMR容錯方法[12-15]采用存儲器數據硬件熱備份方式，通過數據輸出時的多模表決實現故障單元信息屏蔽，也沒有改變故障單元的狀態，要修復故障單元需要進一步開展故障模塊定位和修復設計。Memory-Scrubbing技術[12]的原理是對存儲單元進行數據刷新，其側重故障發生后的處理手段，用正確的數據對全體存儲單元進行刷新可修復瞬時故障存儲單元，正確的刷新數據可以來自ECC或者TMR的輸出，故可形成ECC-Scrubbing方法和TMR-Scrubbing方法，實現BRAM故障單元修復，從而提高系統可靠性，若BRAM故障診斷、定位與修復過程由系統自主控制，則可稱為BRAM自修復方法，自修復方法對于提高惡劣環境下FPGA硬件可靠性有重要意義。

BRAM因存儲容量大、數據位數多、發生多位翻轉故障概率高，采用ECC-Scrubbing方法的算法電路，因檢糾錯位數多而復雜度很高，控制難度大，與其相比，TMR-Scrubbing方法中表決電路的復雜度不會隨著比對位數增加而顯著提高，且表決控制難度不大，更適合用于解決BRAM中位翻轉的瞬時故障問題。但基于刷新的方法無法修復存儲單元永久故障，要修復存儲單元永久故障，需要能夠定位故障存儲單元，并控制存儲器中的冗余單元替代故障單元，這是本文研究的基本思路。

本文針對TMR-Scrubbing方法不能修復BRAM存儲單元永久故障問題，提出一種冷備份多模冗余自修復結構，在三模冗余結構基礎上，增加了一個冷備份冗余模塊，用于替代故障模塊以實現永久故障修復，圍繞上述思路，設計了故障檢測、定位和控制電路，實現了BRAM中存儲單元的瞬時、永久故障修復，且整個修復過程可由芯片自主控制。

1 自修復方法

1.1 冷備份多模冗余結構

圖1所示為本文提出的冷備份多模冗余BRAM結構，主要包括冗余BRAM模塊、地址分配模塊和診斷修復模塊。

冗余BRAM模塊是系統的數據存儲模塊，存儲區域被劃分為3個熱備份BRAM和一個冷備份BRAM的多模結構。熱備份BRAM保存了3份數據，在系統無故障或瞬時故障時，3個熱備份BRAM構成TMR結構，可保持故障后數據正確，此時冷備份BRAM并不進行數據讀寫，處于冷狀態，只有當熱備份BRAM中有發生永久故障，且被冷備份BRAM替代后，系統才對冷備份BRAM進行讀寫，冗余BRAM模塊依然保持TMR結構。

地址分配模塊(Address Allocation, AA)主要將輸入的讀寫地址分配為4個BRAM子模塊的讀寫地址，對應冗余BRAM模塊地址空間劃分出的4個連續地址片段。

診斷修復模塊實現故障BRAM的定位及類型判斷、故障修復控制和修復信息處理。包括故障類型診斷(Fault Style Diagnosis，FSD)、有限狀態機(Finite State Machine，FSM)和4個故障修復接口(Fault Repairing Interface，FRI)。其中FSD可檢測、定位故障BRAM，并判斷其故障類型，由于采用TMR結構，因此故障狀態(單個BRAM故障)下輸出結果依然正確；FSM完成故障時的自修復過程控制，針對故障類型的診斷結果輸出相應的修復控制信號；FRI根據BRAM子模塊工作狀態處理并傳輸修復數據和信號，對瞬時故障BRAM選擇傳輸刷新地址和數據，對永久故障BRAM和冷備份BRAM傳輸相反的讀寫使能信號。本文自修復方法通過故障計數方式區分故障類型，故障計數為1認為發生瞬時故障，FSM采取TMR-Scrubbing修復措施，通過FRI對故障BRAM輸出刷新地址和數據，實現故障BRAM數據重寫完成瞬時故障自修復；若FSD檢測出故障并經過重寫后，依然檢測出故障，此時故障計數為2(若沒有檢測出故障，故障計數被清0)，則認為發生永久故障，FSM采取冷備份替換CBR修復措施(Cold-Backup-Replacing，冷備份BRAM替換故障BRAM)，通過FRI使能冷備份BRAM讀寫，同時停止故障BRAM讀寫，原本讀寫故障BRAM的操作將轉為讀寫冷備份BRAM，從而實現永久故障替換修復。

1.2 基于TMR-Scrubbing和CBR故障自修復

圖2所示為基于TMR-Scrubbing和CBR的BRAM自修復過程中狀態變換情況。BRAM子模塊有冷備份、熱備份、瞬時故障和永久故障4種狀態。冷備份狀態下BRAM不進行數據讀寫；熱備份狀態是可讀寫訪問的正常工作狀態；瞬時故障狀態下BRAM仍可以讀寫，讀取結果用于表決，寫入過程實現了刷新修復；永久故障狀態下BRAM將被冷備份BRAM替代，無法再讀寫。

圖2(a)和圖2(c)中有基于TMR-Scrubbing的BRAM瞬時故障自修復過程。BRAM瞬時故障的判斷方法是：表決器和比較器進行BRAM輸出數據的故障判斷，某份數據的初次故障被判斷為瞬時故障，并將該數據來源確定為瞬時故障BRAM。瞬時故障的修復方法是：用TMR容錯輸出數據來刷新瞬時故障BRAM，刷新過程系統正常工作。圖2(a)中以BRAM1、BRAM2和BRAM3構成TMR，若BRAM3中存儲數據data3發生瞬時故障，用FSD輸出的正確數據通過FSM和FRI對BRAM3進行刷新修復，瞬時故障BRAM3可重回正常工作的熱備份狀態。圖2(c)中BRAM3因發生永久故障被BRAM4替代，則BRAM1、BRAM2和BRAM4構成TMR，此時在BRAM4中檢測出瞬時故障，其修復原理與圖2(a)相同。

圖2(b)所示為基于CBR的BRAM永久故障自修復過程，永久故障的判斷方法是，通過計數器進行故障連續檢測計數，若某BRAM子模塊中數據被連續兩次檢測出故障則被判斷為永久故障。永久故障的修復方法是：通過冷備份BRAM來替換永久故障BRAM，替換過程系統正常工作。圖中所示為BRAM3存儲數據data3發生永久故障(data3數據被FSD連續兩次檢測發生故障，則視為發生永久故障)，BRAM3通過替換修復，對BRAM3的讀寫訪問通過FSM和FRI轉到讀寫BRAM4，BRAM4轉為熱備份狀態，BRAM3處于永久故障狀態，被移除。

圖2 基于TMR-Scrubbing和CBR的BRAM自修復過程

2 模塊電路設計

2.1 地址分配模塊設計

圖3所示為地址分配模塊AA的電路結構，通過加法器Add可分配出4個BRAM子模塊讀寫地址；通過延時電路Delay實現同步分配，即并行寫入和并行讀取(讀寫地址獨立)。本文地址總線位數12位。

圖3的AA模塊各信號定義如下：

圖3 地址分配電路結構

1)wr_addr、rd_addr分別為該模塊輸入的寫地址信號和讀地址信號。

2)wr_addr1～wr_addr4將用于選擇對應的BRAM子模塊寫入數據，其中offset為子模塊容量。

3)rd_addr1～rd_addr4將用于選擇對應的BRAM子模塊讀取數據。

2.2 故障類型診斷電路設計

圖4為故障類型診斷FSD電路結構，表決器V用于對處于熱備份狀態的3個BRAM子模塊數據進行表決。比較器Comp可定位參與表決的3份數據來源中的故障BRAM，計數器Counter對連續兩次檢測過程進行故障次數計數，用于判定故障類型。任意時刻僅有一個表決器工作，多個表決器輸出通過或門Or傳輸輸出數據和故障信號。本文實例選擇的讀寫數據位數為32位。

圖4的FSD模塊各信號定義如下：

圖4 故障類型診斷電路結構

1)dout1～dout4分別是BRAM1～BRAM4的輸出。

2)內部信號flag1～flag3分別為表決后的故障標志信號，由低電平轉為高電平時可分別表示數據出錯，代表相應BRAM發生故障，并觸發Counter計數，分別統計相應BRAM的故障次數。

3)故障次數信號 cnt_flag1～cnt_flag3輸出到FSM，作為故障類型判斷依據，如其中某一個值為1，表示對應BRAM發生瞬時故障，FSM將控制進行刷新自修復，若值為2則表示發生永久故障，FSM將控制進行冷備份替換自修復。

4)fault1～fault4分別是相應BRAM的故障狀態信號，為1時表示有發生故障。

5)rd_dout為表決后的正確輸出數據，一方面作為系統輸出，另一方面也是修復瞬時故障時寫入的刷新數據。

2.3 FSM設計

FSM以狀態轉換的形式來控制系統的修復過程。狀態轉換圖如圖5所示，共有5種狀態。

圖5 FSM的狀態轉換圖

FSM模塊輸入輸出信號定義如下：

1)rd_en為FSM的讀使能信號，當rd_en=1時，FSM會根據FSD輸出的故障次數和故障狀態轉入不同的工作狀態。

2)cnt_flag1～cnt_flag3、fault1～fault4為FSD的輸出，FSM會根據這些輸出確定轉入不同類型故障修復狀態，并輸出相應的刷新使能和替換使能信號。

3)sr_en1～sr_en4、rp_en1～rp_en4為FSM輸出的BRAM子模塊刷新使能和替換使能信號。

FSM模塊各狀態定義為：

初始狀態S0：表示系統初始無故障狀態，其他狀態在讀使能信號rd_en=0時，回到狀態S0。

工作狀態S1：當rd_en=1時，系統在無故障下首先進入狀態S1，以BRAM1～BRAM3構成TMR系統結構。當BRAM1～BRAM3無故障，或只出現瞬時故障時，采取刷新瞬時故障BRAM，繼續保持狀態S1。由于TMR結構中BRAM子模塊永久故障有3種情況，故永久故障修復后的工作狀態會存在著3種情況。

工作狀態S2：修復BRAM1永久故障后的工作狀態。當故障次數cnt_flag1=2，將由冷備份BRAM4替換永久故障BRAM1，此時由狀態S1轉為狀態S2。

工作狀態S3：修復BRAM2永久故障后的工作狀態。當故障次數cnt_flag2=2，將由冷備份BRAM4替換永久故障BRAM2，此時由狀態S1轉為狀態S3。

工作狀態S4：修復BRAM3永久故障后的工作狀態。當故障次數cnt_flag3=2，將由冷備份BRAM4替換永久故障BRAM3，此時由狀態S1轉為狀態S4。

2.4 故障修復接口電路設計

圖6所示為故障修復接口電路結構，根據BRAM工作狀態處理并傳輸修復數據和信號。通過刷新使能信號sr_en選擇發生瞬時故障的BRAM子模塊，并向其傳輸數據進行修復；通過替換使能信號rp_en控制將永久故障BRAM和冷備份BRAM的讀寫使能信號互換，即停止讀寫永久故障BRAM，允許讀寫冷備份BRAM。圖6中各信號定義如下：

圖6 故障修復接口電路結構

1)wr_din、wr_en、wr_addr：分別為寫入數據、使能和地址信號。

2)rd_en、rd_addr、rd_dout、sr_en、rp_en分別為讀使能、讀地址、FSD數據輸出和來自FSM的刷新使能輸出及替換使能輸出。瞬時故障修復過程，sr_en=1，則rd_addr和rd_dout被選通為刷新地址和刷新數據。永久故障修復過程，永久故障BRAM的rp_en=0，停止讀寫，同時冷備份BRAM的rp_en=1，允許讀寫。

3)din、addr、we、en分別為寫入數據、地址、寫使能和讀使能。無故障情況，這些信號的來源是地址分配模塊輸出;修復過程中，這些信號的來源是診斷修復模塊輸出。

3 實驗驗證

驗證本文基于冷備份多模冗余結構BRAM自修復方法，結合設計平臺提供的微處理器核、總線接口和BRAM核，設計并實現自修復模塊中各模塊電路，BRAM核為冗余BRAM模塊，容量設置為16 KB，尋址位數為12，讀寫位數為32，地址空間均分為4份，搭建出如圖7所示的BRAM自修復驗證系統地址，并在Xilinx ZYNQ系列SoC開發板中進行實驗驗證。圖中主要硬件包括實現BRAM自修復驗證系統的ZYNQ SoC芯片，觀察BRAM子模塊工作狀態的LED顯示燈，顯示ILA觀測信號的JTAG接口和用于加載位流的UART接口。物理實驗中，通過微處理器直接寫入故障數據方式進行故障注入，ILA實時捕獲FPGA內部信號變化并顯示，4個LED用于表示4個BRAM子模塊的工作狀態。

圖7 BRAM自修復驗證系統框圖

3.1 基于TMR-Scrubbing的瞬時故障自修復驗證

圖8所示為BRAM3瞬時故障的TMR-Scrubbing修復觀測圖，圖中主要觀察BRAM3瞬時故障修復完成時的結果。通過微處理器對BRAM3注入故障數據50000000H，觀測點從260～276，具體記錄FSD故障診斷和FSM修復控制過程BRAM3的故障標志信號flag3、故障次數信號cnt_flag3 和刷新使能sr_en3的變化。

圖8 BRAM3瞬時故障的TMR-Scrubbing修復觀測圖

1)在觀測點272時flag3=1表示BRAM3出現初次故障，并有rd_dout=40000000H的正確數據，同時刷新使能sr_en3=1，ena3有效，從而刷新BRAM3故障數據單元。

2)在觀測點276時重新輸出正確數據。使得BRAM3寫使能對初次BRAM3初次故障進行TMR-Scrubbing修復。

3)當再次允許讀使能時，檢測結果無故障，表示完成BRAM3的瞬時故障修復。

3.2 基于CBR的永久故障自修復驗證

圖9所示為BRAM3永久故障的CBR修復觀測圖，圖9(a)為BRAM3永久故障修復的整個過程，經過初次刷新后，記錄微處理器第二次寫入操作和兩次讀取操作，在觀測點516時，再次對BRAM3允許寫使能來注入故障數據50000000H，在觀測點788后，判斷為永久故障，并在觀測點1 028時，會經過FSD的故障診斷和FSM的修復控制，對BRAM3的二次故障進行CBR修復，實現BRAM4替換BRAM3。

1)圖9(b)為BRAM3永久故障修復完成時的觀測結果，從觀測點1 028～1 044，具體記錄FSM修復控制過程BRAM3替換使能rp_en3和BRAM4替換使能rp_en4的變化。

圖9 BRAM3永久故障的CBR修復觀測圖

2)在觀測點1 028時，替換使能rp_en3=0和rp_en4=1，使得BRAM3的讀使能enb3=0和BRAM4的讀使能enb4=1。

3)在觀測點1 032時，通過實現BRAM4替換BRAM3后輸出40000000H的正確數據，并在觀測點1 044后為微處理器提供最終的數據結果。

圖10所示為BRAM3永久故障修復后的板級顯示結果。LED3滅、LED4亮，表示BRAM3子模塊由熱備份轉換成永久故障狀態，BRAM4子模塊由冷備份狀態轉換成熱備份狀態。永久故障修復后系統恢復正常工作狀態。

圖10 BRAM3永久故障修復后的板級顯示結果

3.3 新結構系統的瞬時故障自修復驗證

圖11所示為BRAM4瞬時故障的TMR-Scrubbing修復觀測圖，圖中主要觀察BRAM4瞬時故障修復完成時的結果。通過微處理器對BRAM4注入故障數據60000000H，從觀測點1 054～1 556，記錄FSD故障診斷和FSM修復控制過程BRAM4的故障信號fault和刷新使能信號sr_en4的變化。

圖11 BRAM4瞬時故障的TMR-Scrubbing修復觀測圖

在觀測點1 552時fault4=1，同時刷新使能sr_en4=1，使得BRAM4寫使能ena4有效，同樣對BRAM4故障進行TMR-Scrubbing修復，從而刷新BRAM4故障數據單元，在觀測點1 556時重新輸出正確數據。

4 自修復方法性能分析

從可靠性、硬件資源和讀寫時間消耗3個方面進行BRAM永久故障自修復方法性能分析。

4.1 不同修復方法的BRAM可靠性分析

可靠性是系統在規定時間和條件下完成規定功能的能力。可靠度是系統在規定的時間和條件下完成規定功能的概率，記為R(t)。平均無故障時間也稱平均首次失效時間，記為MTTF。常用可靠度R(t)和平均無故障時間MTTF來衡量系統的可靠性[16-17]。

根據馬爾科夫模型[18]，分別推導出TMR、QMR、CBR修復方法的冗余BRAM模塊可靠性模型，并根據故障率對RBRAM(t)和MTTFBRAM的影響[19]，引入永久故障率p∈[0,1]，本文分別得到3種修復方法在永久故障率p下的RBRAM(t)和MTTFBRAM公式。表1所示為永久故障率p影響下的RBRAM(t)和MTTFBRAM,讀寫位數b=32，位失效率λ1=1×10-6/h，運行時間tmax=8×104h，可靠性的對比情況。

表1 永久故障率影響下的RBRAM(t)和MTTFBRAM

圖12為永久故障率p影響下的RBRAM(t)和MTTFBRAM。由圖可知，隨著永久故障率p的增大，3種修復方法的RBRAM(t)都在逐漸減小，但依次有RCBR_BRAM(t)>RQMR_BRAM(t)>RTMR_BRAM(t)的曲面高度。由圖12(b)可知，隨著永久故障率p的增大，3種修復方法的MTTFBRAM都在逐漸減小，但有MTTFCBR_BRAM>MTTFQMR_BRAM>MTTFTMR_BRAM的曲線高度，圖12表明CBR對BRAM可靠性的提升更具有優勢。其原因為TMR只容錯一次永久故障，QMR可以容錯兩次，而CBR同樣能容錯兩次永久故障，但由于采用冷備份多模冗余結構，冷備份模塊在替代熱備份模塊前，是不影響整個冗余BRAM模塊故障率的，因此，CBR的可靠性會更高一些。

圖12 永久故障率p影響下的RBRAM(t)和MTTFBRAM曲線圖

4.2 自修復模塊對系統可靠性的影響分析

基于FPGA內部配置資源實現的自修復模塊(Self-Repairing Module，SRM，包括地址分配模塊和診斷修復模塊)，其可靠性對整個BRAM自修復系統可靠性具有較大影響[20]。若結合重配置方法[21]，選取SRM可靠性參數[22]，失效率λ2和重配置速率μ，推算出整個BRAM自修復系統可靠性公式和SRM可靠性參數限制條件。

然后需滿足MTTFCBR_SYS>MTTFNONE_SYS，得到可靠性參數λ2和μ的限制條件為

(1)

故只有λ2和μ滿足式(1)情況，整個自修復系統可靠性才會提高，否則，與未采用修復方法相比，系統可靠性反而更低。

將表2中公式RNONE_SYS(t)變化曲線作為參考曲線，選定λ2或μ中一個可靠性參數值，然后由限制條件式(1)得到另一個可靠性參數μ或λ2的臨界值，并在臨界值附近選取3組不同值，代入表2中公式RCBR_SYS(t)，得到3組不同參數值的RCBR_SYS(t)變化曲線。圖13分別為參數μ和λ2仿真驗證。仿真結果顯示，在滿足限制條件情況下，自修復系統可靠度會提高，不滿足限制條件時自修復系統可靠度降低。

表2 可靠性參數λ2和μ影響下的RSYS(t)和MTTFSYS

圖13 參數μ和λ2仿真驗證

4.3 硬件資源消耗分析

圖14所示為隨BRAM讀寫位數b變化的資源消耗Q對比。由圖可知，讀寫位數b為8或16時存在QCBR>QQBR>QTMR，由于永久故障判斷與處理電路的資源消耗大于表決電路的復雜度；但隨著b的增加，QMR方法需進行4份數據的多位比較表決，相比于CBR的3份數據的多位比較表決，讀寫位數b越多，資源消耗Q越多，從而出現QQBR>QCBR>QTMR。

圖14 隨BRAM讀寫位數b變化的資源消耗Q對比

從可靠性分析和硬件資源消耗分析結果看，3種方法均通過增加冗余資源消耗以換取高可靠性，因此，進一步對各方法中增加硬件資源消耗換取的可靠性提高率進行分析，用可靠性提高與資源消耗提高之比I來表示，其中，可靠性提高是對應修復方法的可靠性與不可修復情況下可靠性之差，資源消耗提高是對應修復方法的資源消耗量與不可修復情況下資源消耗量之差。I值越大，說明可靠性的提升性能越好。圖15所示為隨BRAM讀寫位數變化的可靠性提高率對比。由圖15可知有ICBR>ITMR>IQMR，表明本文方法的可靠性提高率最高。

圖15 隨BRAM讀寫位數b變化的可靠性提高率I對比

4.4 時間消耗分析

系統工作時鐘為33.333 MHz，修復時鐘頻率為100 MHz，在修復階段完成數據的輸出，以修復時鐘計算時間消耗，將時間消耗分為故障修復時間和數據輸出時間，其中數據輸出時間是包含在故障修復時間內。瞬時故障修復過程數據輸出和故障修復在3個時鐘內共同完成，由于CBR相比于TMR、QMR添加了永久故障的判斷和修復，連續兩次讀取檢測同一故障單元，并進行冷備份替換操作，故障修復在6個時鐘內完成，但數據輸出仍在3個時鐘內完成。表3所示為不同自修復方法的時間消耗對比。由上述的可靠性分析結果可知，雖然增加了一定的時間成本但卻換來了系統更高的可靠性。

表3 不同自修復方法的時間消耗對比

5 結 論

1)提出了一種基于冷備份多模冗余思想的BRAM電路結構，可實現BRAM中存儲單元瞬時故障和永久故障自修復，包含基于三模冗余刷新的瞬時故障自修復方法和基于冷備份替換的永久故障自修復方法。

2)詳細說明了各模塊電路的具體設計思路和實現方法，實驗驗證了所提出自修復方法的可行性和正確性。

3)從可靠性、資源消耗、時間消耗3個方面，對本文提出方法的性能進行分析。本文方法的可靠性最高，并且分析了自修復模塊對可靠性的影響，給出了臨界條件；雖然本文方法比TMR方法絕對硬件資源消耗更多，但增加硬件資源消耗換取的可靠性提高率最高；此外，本文方法在修復永久故障時，由于要進行冷備份模塊替換操作，增加了少量修復時間，但冷備份相對熱備份優點還是比較突出的。