基于雙端口RNI的3D NoC通信架構設計

胡春雷，畢佳佳，方 杰

(1.合肥工業大學 計算機與信息學院,安徽 合肥 230009;2.安徽職業技術學院 信息工程學院,安徽 合肥 230011)

隨著芯片制造工藝進入深亞米時代，芯片上晶體管的集成度急劇增加，單個芯片上可集成幾十個甚至上百個知識產權(Intelligent Property，IP)核，基于傳統總線通信架構的片上系統(System-on-Chip，SoC)將面臨全局時鐘同步困難、通信效率、可擴展性等問題，從而IP核之間的通信問題成為學術界研究的熱點[1]。為了解決以上問題，片上網絡(Network-on-Chip，NoC)作為一種全新的IP核互連架構被提了出來[2]。NoC因具有更小的功耗開銷、良好的擴展性和更高的通信吞吐量，被用于解決復雜SoC的核間通信問題。

隨著單平面NoC和2D NoC中IP核數量的增加，NoC和2D NoC出現了物理連線過長和信號延遲等問題。而三維集成電路制造工藝的出現，極大地縮短了IP核間的通信鏈路長度。將二維片上網絡架構與三維集成電路工藝有效結合而產生的三維片上網絡(Three Dimension Network-on-Chip，3D NoC)，以其優良的通信性能、良好的可擴展性等優勢被認為是納米工藝下最有前途的多核SoC通信架構[3-4]。

3D NoC結構如圖1所示，由IP核、路由器、水平鏈路、垂直鏈路、資源網絡接口(Resource Network Interface，RNI)5部分組成。3D NoC是在2D NoC基礎上進行垂直方向的擴展，這種通信架構大大減小了IP核間的平均跳數，有效提高了片內通信的效率。

圖1 3D NoC結構圖Fig.1 The structure diagram of 3D NoC

在三維芯片制造工藝中，通常使用硅通孔(Through-Silicon-Via，TSV)技術進行層間互連，即將多個晶片在垂直方向堆疊，有效地縮短IP核間的連線長度，在減少通信時延的同時還可以大大降低通信功耗，很好地滿足多核SoC系統對通信效率的要求。但是隨著芯片特征尺寸的不斷縮小，集成電路密度的急劇增加以及層間互聯技術TSV的引入，芯片的可靠性受到一定的影響[5-6]。一方面，受芯片制造工藝水平的限制，芯片在生產過程中將存在更多缺陷；另一方面，芯片在使用過程中，可能受電子遷移、電路老化、電介質擊穿等的影響，導致芯片出現故障。

除了納米工藝下芯片所固有的可靠性問題，3D NoC還存在自身特有的可靠性問題：(1)受芯片制造工藝水平的限制，在TSV制造過程中產生的空隙、位移、表面氧化以及TSV綁定襯墊偏離標定位置等所引起的未對準問題都將帶來隨機開放性故障，從而導致用于芯片層間互連的TSV存在良品率不高的問題；(2)隨著芯片綁定層數以及TSV數目的不斷增加，芯片綁定的成品率將急劇下降[7-8]；(3)三維芯片所固有的散熱問題將加劇芯片出現瞬時故障和永久故障[8]。

3D NoC通信架構主要由資源網絡接口、路由器、水平鏈路、垂直鏈路4部分組成，負責芯片中眾多IP核之間的數據通信。3D NoC通信架構出現故障，將嚴重影響片內核間的通信性能，甚至導致整個系統癱瘓。3D NoC通信架構的容錯成為學術界研究的熱點。

1 國內外研究現狀

文獻[7]針對復雜3D NoC中自適應路由算法存在容錯機制不完善與性能較差的問題，提出了一種轉向均衡的容錯路由算法。該算法將XY、XZ和YZ分為奇偶平面，在行與列上設定不同的禁止轉向；設計更為均衡的轉向模型，并根據內部鏈路故障分類設計故障模型；最后設計了全平面一跳預先感知策略的容錯路由算法，提高了網絡的通信性能與容錯能力。針對3D NoC垂直鏈路故障，文獻[9]提出了垂直鏈路容錯方案。針對鏈路中部分TSV硬件故障導致整個鏈路不可用的問題，利用歐米伽網絡對故障鏈路中的無故障TSV進行重構配置，將故障鏈路數據進行分片傳輸。此方法雖然能夠在垂直鏈路出現部分TSV硬件故障情況下仍然可以進行數據傳輸，但數據傳輸效率明顯降低。文獻[10]針對3D NoC中路由器的交叉開關和輸入端口故障，提出了一種容錯型路由器。通過對傳統3D NoC路由器進行加固設計，增加旁路總線實現對交叉開關的容錯；增加冗余輸入端口實現對輸入端口的容錯。在輸入端口沒故障的情況下，還可以充分利用冗余端口解決網絡擁塞問題。文獻[11]利用3D NoC路徑多樣性的特點，提出了一種擁塞感知的容錯路由算法。該算法能夠指導數據包繞過故障節點或在故障TSV時能夠根據擁塞情況選擇合適的路徑進行數據傳輸，即容錯的同時還能保持能效較優。

綜合上述相關文獻，可知針對3D NoC通信架構容錯研究，主要分為兩個方面：一是對通信架構中的垂直鏈路、水平鏈路、路由器等重要組件采用冗余設計或者旁路設計進行加固設計，使得這些組件出現故障時，能夠利用冗余部件或者旁路機制來屏蔽故障點，從而保證數據包的正常傳輸；二是設計相應的容錯路由算法，當采用一定的容錯檢查機制檢測到3D NoC通信架構中的組件(如路由器、垂直鏈路、水平鏈路等)出現故障時，指導數據包繞過故障節點或故障鏈路，從而進行容錯。

以上容錯機制只考慮路由器出現故障時，讓原本通過該路由器傳輸的數據包靈活地改變路徑，從而繞過故障路由器進行有效傳輸，忽略了與故障路由器相連的IP核，導致這種IP核成為無法與外界通信的孤立的IP核。針對這一情況，本文提出了基于雙端口RNI的3D NoC通信架構設計，即將每一個IP核都與Y維上相鄰的兩個路由器連接，當兩個路由器都可用的情況下，可以根據源、目的節點的位置選擇較短的路徑進行數據傳輸，在IP核通信任務繁重時，可以在與之相連的兩個路由器間進行通信流量的負載均衡；當只有一個路由器可用時，仍然可以通過它保持與其他IP核的有效通信。

2 基于雙端口RNI的三維片上網絡通信架構

2.1 雙端口RNI的3D NoC通信架構介紹

為了便于路由器和IP核的定位，采用三維直角坐標系來表示。基于雙端口RNI的3D NoC三維結構如圖2所示。圖2中路由器的右上角采用三元組(x，y，z)標注它在坐標系中的地址，其中x、y、z分別代表該路由器在三維坐標系中X、Y、Z維的坐標值，如地址(1，2，3)代表該路由器在X、Y、Z維上對應的坐標值分別為1、2、3，即表示處于第3層上X坐標為1、Y坐標為2的路由器。

圖2 基于雙端口RNI的3D NoC結構圖Fig.2 The 3D NoC structure based on dual port RNI

在每一個二維Mesh結構的平面上，采用雙端口RNI來完成IP核與路由器的連接。使用傳統RNI和使用雙端口RNI進行IP核與路由器互聯的結構如圖3所示。圖3左邊為基于傳統RNI的IP核與路由器的連接，每個IP核通過RNI連接到一個路由器上；右邊為基于雙端口RNI的IP核與路由器的連接，每個IP核通過雙端口RNI分別連接至Y維上相鄰的兩個路由器上，實現了對IP核的加固。

圖3 傳統RNI與雙端口RNI IP核與路由器連接圖Fig.3 The traditional RNI and dual port RNI connection diagram between IP core and router

2.2 雙端口RNI的設計

傳統RNI接口只有一對輸入輸出接口，主要由輸入接口、輸出接口、輸入緩存、輸出緩存、編碼器、解碼器、發送控制邏輯和接收控制邏輯等模塊組成。本文設計的雙端口RNI是在傳統RNI基礎上添加了一對輸入輸出端口，增加了輸入/輸出端口仲裁控制、數據分配器、多路選擇器和相應的控制邏輯單元，如圖4所示。圖4中的數據分配器用于輸出端口的選擇；多路選擇器用于輸入端口的選擇；輸出端口仲裁控制邏輯能夠根據目的IP核的位置及所連接的2個路由器的故障狀態完成數據包輸出端口的選擇。為了提高與IP核通信的效率，還增加輸入緩存和輸出緩存的旁路機制設計。當通信網絡不擁塞時，IP核產生的數據通過輸出緩存旁路機制跳過輸出緩存直接進行輸出數據微片的編碼，加快了數據注入通信網絡的速度；當通信網絡擁塞時，借助輸出緩存對待發送的數據進行排隊暫存，指導數據微片依序注入網絡。

2.3 數據報文的格式

本文采用普遍使用的蟲孔路由機制，一個數據包被分成3種類型的微片，分別是頭微片、數據微片和尾微片。數據包格式如圖5所示，使用2位用作微片類型標志，分別以01代表頭微片、00代表數據微片、10代表尾微片。頭微片中帶有地址信息，用于數據包的路由，其目的地址、備用地址和源地址各占9位，每個地址的9位中均含有X維坐標值3位、Y維坐標值3位和Z維坐標值3位，用于定位路由器的位置。頭微片中目的地址和備用地址用于指明目標IP核所連接的2個路由器的地址，源地址用于指明數據包從哪個路由器發出。頭微片中的IP核標志位字段用于指明路由器上的哪個IP核，該字段占3位，前2位分別用于指明目的IP核在目的地址和備用目的地址路由器上的位置，最后一位用于指明源IP核在源地址路由器上的位置。假設源地址為(x，y，z)，當源地址對應的IP核標志位值為“0”時，代表IP核處于路由器(x，y，z)和路由器(x，y-1，z)之間；

圖4 雙端口RNI結構圖Fig.4 The structure diagram of dual port RNI

圖5 數據包格式Fig.5 The data packet format

如果為“1”，則代表IP核處于路由器(x，y，z)和路由器(x，y+1，z)之間。

2.4 雙端口RNI的工作過程

當采用內建自測試方法測試到路由器出現硬件故障時，路由器通過狀態信號線將故障狀態信息發送給雙端口RNI；雙端口RNI的輸出仲裁邏輯會根據故障信息和目的IP核的位置對輸出端口進行選擇，而與通信雙方IP核所處的平面(Z平面)沒有關系。

現以同一平面上2個IP核的通信過程來介紹雙端口RNI的工作過程。假設源IP核連接的2個路由器地址分別為R1(x1，y1，z1)和R2(x1，y1+1，z1)，目標IP核連接的2個路由器地址分別為R3(x2，y2，z1)和R4(x2，y2+1，z1)，如果源IP核所連接的2個路由器中有一個出現故障，則選擇無故障的路由器發送數據。當源IP核所連接的2個路由器都無故障，此時如果y1=y2，則根據R1、R2的通信繁忙程度選擇當前通信任務量小的路由器作為發送路由器，從目標IP核所連接的兩個路由器中選擇與發送路由器y坐標值相同的路由器作為接收路由器，另外一個路由器作為備用路由器；如果y2>y1時，如圖6a所示，源IP核對應的RNI會通過上端口選擇R2來發送數據包，并且選擇R3作為此次通信中目的IP核的接收路由器，R4作為備用目的路由器，同時在數據包頭微片中將IP核標志位設置為“100”，其中第一位“1”代表目標IP核處于目標地址對應路由器的上方，第二位“0”表示目標IP核處于備用目標地址對應路由器的下方，第三位“0”表示源IP核處于源地址對應路由器的下方；如果y2

3 實驗分析

為了評估本文提出的基于雙端口RNI 3D NoC(簡稱DPRNI 3D NoC)的通信架構的實施效果，分別對DPRNI 3D NoC和傳統3D Mesh NoC兩種通信架構進行可靠性分析和通信性能的模擬。系統可靠性和性能的提升必然要犧牲額外硬件開銷，為此，對DPRNI 3D NoC通信架構的硬件開銷情況進行了分析。

a IP1發送數據包至IP12 b IP9發送數據包至IP4圖6 發送數據的IP核與接收數據的IP核的2種不同的位置關系Fig.6 Two different positional relationships between the IP core transmitting data and the IP core receiving data

3.1 可靠性分析

路由器的可靠性可以定義為該路由器能夠正常工作的概率，通常由路由器的錯誤率決定，可以用R來表示。單位時間內路由器發生故障的次數稱為路由器的錯誤率，用λ表示。路由器的錯誤率與可靠性服從公式(1)所示的負指數分布[12]。

R=e-λt

(1)

式中：R為路由器的可靠性；λ為路由器的錯誤率，次/a；t代表路由器的工作時間，a。

在傳統的3D Mesh NoC通信架構中，每個路由器連接一個IP核，IP核正常通信的可靠性取決于所連接路由器的可靠性。在DPRNI 3D NoC中，每個IP核都連接至2個路由器，只有當所連接的2個路由器同時出現故障時該IP核才無法正常通信。因此這種通信架構中單個IP核的可靠性RD可以使用公式(2)計算得出。

RD=1-(1-R)2

(2)

上述兩個公式可以分別對傳統3D Mesh NoC和DPRNI 3D NoC中IP核的通信可靠性進行量化，然后再進一步地對2種架構的系統通信可靠性進行評估。

假設傳統3D Mesh NoC 與DPRNI 3D NoC中IP核的數目都為n×n×n，3D NoC系統的通信可靠性則是n3個IP核都正常通信的可能性。3D NoC系統的通信可靠性Rs可以通過公式(3)計算得出。

Rs=RDn×n×n

(3)

分別對3×3×3、4×4×3、4×4×4結構的3D Mesh NoC及具有相同IP核數目的DPRNI 3D NoC進行系統可靠性計算。參照文獻[13]，將錯誤率λ設為0.003 15次/a，2種架構在27核、48核、64核的情況下系統通信可靠性如圖7所示。

圖7 不同核數的3D Mesh與DPRNI 3D NoC的系統可靠性比較Fig.7 System reliability comparison between 3D mesh and DPRNI 3D NoC with different cores

由圖7可以看出，3×3×3、4×4×3、4×4×4的3D Mesh NoC在第1年使用時的系統可靠性分別為0.92、0.87、0.83；工作到第10年時，它們的系統通信可靠性分別降低至0.43、0.22、0.13。顯然，傳統的3D Mesh NoC系統的整體通信可靠性不僅隨著IP核數目的增加而降低，而且還會隨著芯片工作年限的不斷增加而急劇下降。與此形成鮮明對比的是，3×3×3、4×4×3、4×4×4的DPRNI 3D NoC在第1年使用時的系統可靠性分別為0.97、0.95、0.94；工作到第10年時，它們的系統通信可靠性保持不變，仍然是0.97、0.95、0.94。顯然，本文提出的DPRNI 3D NoC通信架構具有更好的通信可靠性和穩定性。

3.2 容錯性能分析

容錯性能評價指標主要有故障率、數據包時延和平均時延3個指標。其中故障率是指故障鏈路與故障路由器數目占所有路由器和鏈路總數的百分比；數據包時延是指一個數據包從它的首部進入網絡開始，到該數據包的尾部離開網絡所使用的時間；平均時延是指網絡中傳輸的所有數據包的時延平均值，是衡量網絡通信傳輸性能的重要指標。

使用Booksim 2.0模擬器對4×4×4的3D Mesh NoC和DPRNI 3D NoC的容錯性能進行模擬試驗。模擬時，這2種通信架構的通信方式均采用均勻隨機模式，路由算法都是動態自適應容錯路由算法，數據包注入率均為0.06，2種架構經模擬試驗得到數據包平均時延隨故障率的變化情況，如圖8所示。

從圖8可以發現，與傳統的3D Mesh NoC通信架構相比，本文提出的DPRNI 3D NoC通信架構在不同故障率下都具有較低的數據包通信時延；隨著故障率的不斷增加，這種優勢更加明顯。DPRNI 3D NoC架構中每個IP核都連接了2個路由器，在故障率較低的情況下，可以充分利用路徑的豐富性，有效縮短IP核間的通信路徑長度，具有較低的數據包平均時延；隨著故障率的增加，傳統3D Mesh NoC架構中故障路由器所連接的IP核會存在丟包現象，而本文提出的DPRNI 3D NoC通信架構可以有效避免這種情況的發生。因此，本文提出的DPRNI 3D NoC通信架構，其數據包的平均時延要優越于傳統的3D Mesh NoC架構。

圖8 不同故障率下數據包平均時延比較Fig.8 Comparison of average packet delay under different failure rates

3.3 硬件開銷分析

與傳統的3D Mesh NoC架構相比，本文提出的DPRNI 3D NoC架構在每一個平面增加了一行路由器，即相對于3×3×3、4×4×3、4×4×4的3D Mesh NoC，與之具有相同IP核數量和布局的DPRNI 3D NoC架構分別多用了9、12、16個冗余路由器。通過計算冗余路由器占對應的3D Mesh架構中路由器總數的比率可以衡量DPRNI 3D NoC架構的硬件開銷，如表1所示。

表1 不同規模DPRNI 3D NoC 冗余路由器的開銷比Table 1 The overhead ratio of redundant routers base DPRNI 3D NoC of different sizes

由表1可知：與傳統的3D Mesh架構相比，27核、28核、64核的DPRNI 3D NoC硬件開銷分別為33%、25%、25%；隨著n值的不斷增大(網絡規模不斷擴大)，在n×n×n的3D NoC中，冗余路由器數目占與之對應的3D Mesh NoC中路由器總數的比率不斷下降((1/n)×100%)。因此，隨著3D NoC系統規模的不斷擴大，為提高片上系統IP核通信可靠性而為之增加的硬件開銷將不斷下降。

4 總結

針對3D NoC通信架構中IP核連接單個路由器可能存在的單點故障問題，設計了一種雙端口的資源網絡接口，即在傳統的3D Mesh結構基礎上，將IP核通過雙端口RNI分別連接在Y維上相鄰的2個路由器上，從而得到一種新的3D NoC通信架構——DPRNI 3D NoC。實驗結果表明，與傳統的3D Mesh NoC通信架構相比，DPRNI 3D NoC通信架構具有更好的通信性能和較好的可靠性；而且為了提高這種可靠性和通信性能而花費的硬件開銷也在可以接受的范圍內，并且隨著DPRNI 3D NoC規模的不斷擴大，這種開銷占比越來越小。