李金鳳,施慧彬,楊定定
(南京航空航天大學 計算機科學與技術學院,南京 210016)
隨著時代的發展,單核片上可編程系統SOPC(System On a Programmable Chip)解決復雜問題的能力與處理速度已很難滿足用戶的需求,面向多處理器SOPC系統的設計成為片上系統發展的必然趨勢[1]。具有高密度、大容量邏輯的FPGA(Field Programmable Gate Array)的出現使得高性能片上多處理器的設計成為現實。目前,片上多核系統的設計已有一定發展,但在處理器間通信和中斷方面仍需進一步的研究。本文在處理器間通信和中斷控制方面進行了深入的研究。
MicroBlaze是一個被優化過的可以在Xilinx公司FPGA中運行的軟核處理器,可以和其他外設IP核一起完成可編程系統芯片的設計。它具有運行速度快、占用資源少、可配置性強等優點,廣泛應用于通信、高端消費市場等領域[2]。MicroBlaze處理器采用 RISC(Reduced Instruction Set Computer)指令集結構和哈佛存儲結構,指令、數據總線位寬均為32位。本文MicroBlaze處理器采用面積優化,流水線分為3級,即取指、譯碼和執行,減少了硬件開銷[3]。
雙MicroBlaze SOPC系統結構圖如圖1所示。從圖1中可知,整個SOPC系統可以分為兩個處理器子系統。系統采用兩個PLB(Processor Local Bus)v46總線作為系統的通信結構,所有的模塊都是直接或間接地連接到這兩個總線上[4]。兩個總線上均掛有用于處理器間通信和同步的核,即 Mailbox和Mutex,因此兩個處理器并不是完全獨立的。表1列出了SOPC系統包含的主要模塊。
表1中的BRAM有兩種用途:一是作為單個處理器的私有存儲器用來存儲指令和數據,它通過存儲器局部總線LMB與處理器相連;二是作為兩個處理器之間的共享存儲器(Shared Memory)用作通信模塊進行數據傳輸。它所傳輸的數據量比Mailbox大很多,特別是在傳輸信息量大于千字節時,共享存儲器是最常用的通信模塊[5]。

圖1 雙MicroBlaze SOPC系統結構圖

表1 SOPC系統的主要模塊
1.2.1 硬件結構
圖1所示的SOPC系統的整體結構不僅和處理器的數目有關,還和系統中模塊的配置及功能有關,外部存儲器和外圍設備的不同配置都會影響系統的結構和功能[1]。具體如下:
①SOPC系統通過各自獨立的PLBv46總線隔離兩處理器子系統,可以確保兩個處理器系統在執行各自的處理器事務時不會相互干擾。
② 共享模塊(例如MPMC),采用多端口結構,這些多端口模塊使多個處理器在訪問共享模塊時可以并行進行。
③ 兩個獨立的 MicroBlaze處理器Mb_0和 Mb_1,通過共享部件連接在一起,這些共享部件使得兩個 Micro-Blaze處理器之間以各種方式通信。
④此SOPC系統中有兩個MicroBlaze處理器軟核,其中任何一個MicroBlaze都可以靈活地被其他類型的處理器所代替,比如PowerPC,因此處理器的選擇是非常靈活的。
⑤兩個處理器可以共享互斥訪問設備,比如串口UART、串行外設接口 SPI(Serial Periphieral Interface)等,這種情況需要在沒有直接連接此外設的總線和直接連接此外設的總線之間提供一個系統總線橋[6]。
⑥ 關鍵的外圍設備是外部存儲控制器MPMC,它最多提供8個端口,可以通過XCL(Xilinx Cache Link)連接處理器局部存儲器(BRAM),通過PLBv46總線連接到系統中,因此,可以將1~4個處理器同時連接到MPMC控制器上。
⑦ 兩個處理器之間的Mailbox和Mutex有簡單通信的功能,主要體現在處理器之間的通信和同步上。
1.2.2 存儲器映像
當程序沒有被加載或者運行的時候,它以文件的形式存放在硬盤上。當它被下載到MPMC內存中的時候,系統會自動從MPMC內存中劃分出一段區域,用來將這個磁盤上的文件映射到內存相應的位置上。此時這塊內存中的數據就是磁盤文件的一個拷貝。存儲器映像就是指和被加載的磁盤文件相對應的一塊內存區域。由于MPMC存儲器和外圍設備是統一編址的,兩者的地址范圍不可能重疊,因此直接或者間接連接到處理器上的外圍設備地址的分配決定了外部存儲器的地址空間[7]。
一般而言,當多個處理器共用一條總線時,存儲器、外圍設備和共享元素是密不可分的,在本文設計的處理器系統中,每一個處理器都有自己獨立的系統總線,因此,所有的存儲器和外圍設備與共享元素都是分開的。也就是說,不同總線上的相同外圍設備可以有相同的地址范圍。在每一個處理器子系統中,為了能夠運行可執行文件,對存儲器映像有一些要求。每個處理器都必須將自己的可執行文件加載到各自私有的MPMC地址空間中,可執行文件加載地址不能重疊。在私有存儲器里必須有各自的復位和中斷存儲器映像,這種私有存儲器可以通過本地存儲器接口(XCL)或者PLBv46總線接口連接起來。一旦私有存儲器與其他總線連接完畢,XPS的地址發生器會為每一個MicroBlaze處理器子系統(包括外圍設備和存儲器)生成適當地址范圍的存儲器映像。
1.2.3 處理器之間的通信與同步
在Xilinx SOPC系統設計中,常用的處理器之間的通信模塊是Shared Memory和 Mailbox,同步控制模塊是Mutex,調試模塊是 MDM[7]。
Shared Memory共有兩個通信端口,它通過存儲器控制端口分別連接到系統的兩條PLBv46總線上。系統通過處理器對Shared Memory模塊進行讀寫操作完成通信。Shared Memory可以由片上本地存儲器或者外部存儲器構成。當信息傳輸量比較大時,Shared Memory的異步傳輸效率比較高,它支持零拷貝或者原狀信息隊列拷貝。
利用Mailbox也可以進行處理器之間的通信[8]。關于Mailbox,有如下一些特征描述:
① Mailbox可以認為是處理器之間的類似于TCP/IP的一個簡單的通信協議。
② 處理器之間通過Mailbox通信有同步和異步之分:同步主要體現在處理器之間的通信上,接收者實時地讀取Mailbox中的數據;異步主要體現在處理器之間的中斷上,發送者通過Mailbox發送中斷信息給接收者,接收者收到中斷后反饋給發送者。
③ 每一個Mailbox核都有一個FIFO和一個雙端隊列,分別用來發送和接收信息,用戶可以根據自己的需要對它們的深度進行配置,主要通過分布式的RAM或者BRAM來實現。
④ Mailbox共有兩個端口分別連接到系統的兩個總線上來實現處理器之間的通信。
⑤ Mailbox軟核比較適合傳輸信息量小于100字節的信息,發送者需要從本地或者外部存儲器拷貝整個信息到FIFO,然后,接收者同步地拷貝整個信息到自己的存儲器中,因此,Mailbox不適合傳輸信息量較大的信息,這些將會耗費掉處理器的一些時鐘周期。
⑥ 處理器間的中斷是指一個處理器去中斷另一個處理器的行為,通過Mailbox的異步通信來實現,處理器發送中斷就是往Mailbox里寫入一個信息,然后Mailbox通過中斷控制器對接收者產生一個中斷,接收者收到中斷以后會反饋給發送者,當Mailbox中沒有新的信息時,中斷為無效狀態。
本文在SOPC系統設計中,用到的同步控制模塊是Mutex[7]。此模塊主要有以下特點:
① 存儲器映像以后,Mutex寄存器的數量可配置這些寄存器中有分別存儲數據和處理器ID的區域,Mutex寄存器中的數據和ID分別通過Mutex進行測試和設置。
② 復位時,Mutex的值變為0,它表示Mutex處于開鎖狀態(UNLOCK),并且其中的處理器ID號沒有賦值,當Mutex處于鎖定狀態(LOCK)時,其中的值保持不變。
③ 處理器通過軟件賦值的方式將各自的處理器ID號寫入到相應的Mutex寄存器中,從而獲得Mutex的使用權,當兩個處理器同步訪問Mutex寄存器時,每個處理器都會讀取Mutex寄存器中的值,然后和自己的ID號進行比較,比較匹配的處理器才可訪問Mutex寄存器,修改其中的數據。
MicroBlaze核通過處理器調試口與MDM(Microprocessor Debug Module)調試模塊相連[4]。調試模塊 MDM可以調試系統中的每一個處理器。MDM的特點如下:
① MDM的調試端口數目是可配置的,最多可以達到8個。
② MDM提供一個JTAG UART接口通向系統中的某個處理器,這個UART接口是通過PLBv46總線接口連接到處理器上的。
③ MDM不會自動地調試每個處理器,用戶必須通過輸入調試命令來進行選擇性的調試。
1.3.1 存儲器映像
為了保證每個處理器在執行軟件部分時不發生沖突,必須對其存儲器進行存儲器映像[8]。圖2是存儲器映像圖。

圖2 處理器的存儲器映像圖
從圖2中可以看出,用戶可以靈活地為兩個ELF文件分配適當大小的存儲器空間作為ELF文件的映射地址范圍。由于boot(引導)存儲器不可以共享,所以ELF文件的boot部分(.vectors*)被映射到私有存儲器中,它可以實現MicroBlaze處理器隨時調用,也可以引導ELF文件加載到DDR中。Heap和stack的范圍表示ELF文件在DDR中映像的存儲器大小。boot存儲器的大小表示boot部分所能引導的DDR的范圍。ELF文件的位置和輸出鏈接腳本的位置可以根據用戶的需求選擇。每個可執行文件的存儲器映像地址都是通過編譯器來實現的,實現以后被傳到鏈接器,生成鏈接腳本[9]。
1.3.2 通信與同步
利用Shared Memory模塊通信是處理器之間最常用的通信方式。其通信接口函數如下:

利用Mailbox模塊可以實現處理器之間的信息傳遞和中斷。這在軟件設計中主要體現在以下代碼行中:

在軟件應用設計中,兩個處理器之間的同步是通過Mutex Locks實現的,它的狀態有LOCK和 UNLOCK之分。Mutex狀態的操作主要體現在以下命令行中:

軟件的調試(debug)需要手工地選擇處理器,兩個處理器不可以同時調試[10]。在XMD Console中的調試命令主要有:

本設計采用調試模塊分別對兩個處理器進行調試,通過超級終端輸出測試結果。
通過Mailbox可以實現處理器之間的中斷和通信。兩處理器首先通過交換字符串“helo BOY”的形式匯合(rendezvous),以此來證明兩個處理器的連接情況。在這里,每次發送的數據包為2 044字節,共發送了3個數據包,都能成功地發送。經驗證,每次發送的信息量最大為4 096字節,可以重復發送。
通過Mutex可以實現兩處理器的同步。當兩個MicroBlaze處理器訪問共享資源時,可以用Mutex核修改臨界區域里共享資源的值。臨界區域里的值是隨著處理器的訪問而更新的。在沒有輸出時處理器會鎖定 Mutex核,有輸出時解鎖 Mutex核。同步使得控制臺的輸出結果正確可用,不會出現混亂的狀態。
通過Shared Memory實現處理器之間的通信。處理器0首先向共享存儲器中寫入一個32位的數據并設置一個共享flag表明數據可用,等待處理器1讀取這個數據。然后,處理器1從共享存儲器中讀取處理器0寫入的數據并設置一個共享flag表明它已經讀取了這個數據。雙處理器會重復這樣的過程,直到達到所設置的最大數目12[8]。
編者注:實驗測試結果圖略。
本文以MicroBlaze軟核為基礎,利用XPS作平臺來設計雙MicroBlaze處理器片上系統,此片上系統可以很好地實現兩軟核處理器間的通信和中斷功能,該系統在Xilinx公司的XUPV5-LX110T開發板上得到實現,在超級終端中得到驗證。本設計的優點是把處理器核之間的通信、中斷、同步放在了同一系統中進行研究,深入研究了處理器之間的中斷控制。下一步要做的工作是更多核的片上系統設計和操作系統移植。
編者注:本文為期刊縮略版,全文見本刊網站www.mesnet.com.cn。
[1] Wayne Wolf.FPGA-Based System Design[M].北京:中國機械出版社,2004:5-13.
[2] Takeshi Kodaka,Keiji Kimura,Hironori Kasahara.Multigrain Parallel Processing for JPEG Encoding on a Single Chip Multiprocessor[C]//International workshop on Innovative Architecture for Future Generation High-Performance,2002:57-63.
[3] Hristo Nikolov,Todor Stefanov,Ed deprettere.Efficient External Memory interface for Multiprocessor Platforms Realized on FPGA Chips[C]//Field Programmable Logic and Applications International Conference,Amsterdam,2007:580-584.
[4] Jerraya A,A Franza,O Levy.Envisioning the Future for Multiprocessor SoC[J].Design &Test of Computers,2007,24(2):174-183.
[5] Ravindran N,Satish Y.Jin K.An FPGA-based Soft Multiprocessor System for IPv4Packet Forwarding[C]//International Conference on Field Programmable Logic and Applications(FPL),2005.8:487-492.
[6] Chris Rowen,Tensilica Inc.Fundamental Change in MPSoCs:A fifteen year outlook.MPSOC'03Workshop Proceedings[C]//International Seminar on Application-Specific Multi-Processor SoC,2003:45-46.
[7] Paulin PG,Pilkington C,Langevin M.Parallel programming models for a multiprocessor SoC platform applied to networking and multimedia[J].IEEE Transactions on Very Large Scale Integration(VLSI)Systems,2006,14(7):667-680.
[8] Ravindran K,Satish N,Yujia Jin.An FPGA-based soft multiprocessor system for IPv4packet forwarding[C]//Field Programmable Logic and Applications,New York,2005.487-492.
[9] 趙鋒,馬迪銘,孫煒,等.FPGA上的嵌入式系統設計實例[M].西安:西安電子科技大學出版社,2008.
[10] 陳渝,韓超,康爍,等.嵌入式系統實踐教程[M].北京:機械工業出版社,2008:49-71.