基于PCIe DMA 緩沖池的流量控制協議

黃雙雙，郝一太，羅偉杰

（中國航空工業集團公司西安航空計算技術研究所，陜西 西安 710068）

1 研究背景

1.1 相關技術

隨著航空電子的發展，高速串行總線憑借高吞吐量和低時延優勢，廣泛應用于嵌入式計算機通信，如PCIe、以太網及RapidIO 等[1-4]。PCIe 具備高速傳輸速率，技術門檻和設計成本較低，已成為一種主要的嵌入式設備通信方案。

PCIe 總線技術是由英特爾提出的第3 代高性能輸入/輸出（Input/Output，I/O）總線技術，一般包含根組件（Root Complex，RC）、交換器（Switch）及終端設備（EndPoint）等。RC 在總線架構中唯一，用于處理器、內存子系統與I/O 設備之間的連接。PCIe 總線使用橋擴展通信網絡，使PCIe 主設備能夠與多個從設備同時通信。PCIe 總線通信方式分為可編程輸入輸出（Programmable I/O，PIO）和直接存儲器存取（Direct Memory Access，DMA）[5]。針對大規模PCIe 數據傳輸，與PIO 相比，DMA 能夠降低對中央處理器（Central Processing Unit，CPU）資源的占用率，因此被大部分PCIe 通信策略所采用。

1.2 問題描述

在航空領域中，飛行數據記錄必不可少。機載計算機具備飛行數據記錄功能模塊，在工作狀態下通常會接收模塊外的PCIe 數據，并將接收數據存儲到電子盤中，最終在地面狀態卸載數據。PCIe 數據的接收和存儲使用PCIe DMA 方式，能夠快速傳輸數據。PCIe 數據的存儲并不是直接將數據寫入電子盤，而是借助文件系統將外部總線數據組織成結構規整且便于分析查看的結構進行存儲。這會導致存盤速率低于接收速率，在存盤還未結束的情況下，PCIe 映射空間的數據就被覆蓋，造成飛行數據存儲混亂。嵌入式領域經常出現此類設備接收速率高于處理發送的速率，造成數據丟失問題。文章提出一種基于PCIe DMA 緩沖池的流量控制協議，以解決數據丟失問題。

2 方案設計

文章設計了一種基于PCIe DMA 緩沖池的流量控制協議，以控制模塊間的通信流量，如圖1 所示。首先，利用多級緩沖技術，在節點中配置環形緩沖池，將數據轉發過程拆分為數據緩沖與發送2 個過程[6]。其次，利用節點空閑存儲空間形成環形鏈式緩沖池，可回收利用總線空間。最后，利用同步互斥技術，為高速數據轉發爭取時間，保證多節點PCIe 總線數據轉發存儲的實時性和完整性[7]。

圖1 緩沖池使用步驟

在嵌入式場景中，部署基于PCIe DMA 緩沖池的流量控制協議時，開發人員需要在中央處理器（Central Processing Unit，CPU）的設備空間中申請緩沖池，限制PCIe 節點的通信空間。然后，在緩沖池中建立若干個緩沖區，將首位相連形成環形緩沖區，簡化通信的使用與回收操作。在節點通信過程中，利用同步互斥技術使環形緩沖區完成雙階段的PCIe 數據轉發，主要涉及緩沖區的分配和釋放。緩沖區的分配用于將總線數據緩沖到指定緩沖區。緩沖區的釋放用于及時回收可利用的緩沖區。

2.1 緩沖池申請

PCIe EP 節點中的緩沖池用于存儲外部非PCIe 數據，RC 節點的緩沖池用于存儲PCIe 總線數據。基于PCIe DMA 緩沖池的流量控制協議架構如圖2 所示。

圖2 基于PCIe DMA 緩沖池的流量控制協議架構

外部非PCIe 節點與PCIe EP 節點、PCIe EP 節點與PCIe RC 節點、PCIe RC 節點與電子盤之間均有通信關系。3 個節點通信時，PCIe EP 節點接收使用外部非PCIe 協議，發送使用PCIe 協議。PCIe RC 節點接收和發送使用PCIe 協議，但在發送時，PCIe 協議之上有文件系統，造成PCIe EP 節點和PCIe RC 節點接收和發送速率不匹配。因此，基于PCIe DMA緩沖池的流量控制協議需要在PCIe EP 節點和PCIe RC 節點中使用緩沖策略，平衡PCIe EP 節點和PCIe RC 節點的收發速率，以達到數據完整且傳輸正確的目的。

在PCIe 主從設備初始化時，基于PCIe DMA 緩沖池的流量控制協議分別在PCIe 設備空間申請緩沖池。為保證數據的連續性，每個PCIe 從設備對應一個緩沖池，緩沖池初始狀態為空。要求明確PCIe 主設備節點（RC）和從設備節點（EP），并配置不同大小的緩沖池。根據圖2，主設備為Drc，從設備為Diep（0≤i≤M），分別在Drc和Diep中設置環形緩沖區，用于緩存接收的PCIe 總線數據和非PCIe 總線數據。針對接收非PCIe 數據的Diep，在存儲空間中開辟R個大小為Sep的緩沖區；針對接收PCIe 數據的Drc，在其存儲空間內開辟N個大小為Src的緩沖區，Drc緩沖池個數為M。

2.2 環形緩沖區創建

PCIe 設備完成緩沖池的申請后，根據當前設備硬件條件與產品需求在緩沖池中創建環形緩沖區，便于總線數據緩存與空間回收。緩沖區的大小限制為Src≥Sep。根據CPU 總線數據轉發的性能需求設定緩沖區的級數。環形緩沖區的大小不能超過緩沖池。環形緩沖區通過指針將若干緩沖區首尾相連，形成環形結構。緩沖區使用區滿屬性標識當前緩沖區是否被占用。使用環形緩沖區的根本原理是用CPU 物理空間換取處理時間，即使緩沖區大小和級數增多，也不會造成CPU暫緩處理任務數據丟失。由于經濟成本限制，設計人員需要考慮性能和成本之間的平衡，使用軟件手段優化當前硬件條件下的系統性能。

2.3 雙階段PCIe 流量控制

雙階段PCIe 流量控制是將PCIe 通信分為緩存和發送，主要涉及非PCIe 節點、PCIe 從設備節點及PCIe 主設備節點。PCIe 從設備節點作為中間節點，將非PCIe 節點中的數據轉發至PCIe 主設備節點。在由這3 種設備組成的網絡結構中，當非PCIe 節點需要將數據傳送給PCIe 從設備時，采用中斷方式觸發DMA 機制，傳輸數據至PCIe 從設備映射空間。在中斷處理過程中，PCIe 從設備申請緩沖區，環形緩沖區頭指針指向被分配的緩沖區，將該緩沖區分配給傳入的非PCIe 數據，并將該緩沖區的屬性標識為區滿，環形緩沖區頭指針后移至與當前緩沖區相連的下一緩沖區。PCIe 從設備節點通過掃描緩沖池中的緩沖區區滿屬性，啟用DMA 方式發送PCIe 數據，發送完成后清除區滿屬性，并將PCIe 主設備節點的映射緩沖區標識為區滿。PCIe 主設備節點通過掃描緩沖池中的緩沖區區滿屬性，啟用DMA 方式將總線數據發送并存儲至電子盤，存儲完成后清除區滿屬性。雙階段的流量控制策略是將接收數據、處理數據和發送數據3 類任務進行架構級和任務級隔離，便于開發人員對代碼解耦，使架構清晰，簡化開發流程。

2.4 緩沖區回收

在PCIe 通信網絡轉發數據過程中：當PCIe 從設備將總線數據傳輸至主設備時，釋放PCIe 從設備中的當前緩沖區，清除區滿標志；當PCIe 主設備將總線數據轉發存儲至電子盤時，釋放PCIe 主設備中的當前緩沖區，清除區滿標志。區滿標識當前緩沖區不可被申請，但當前緩沖區的數據可被發送。清除區滿標識后，當前緩沖區可被申請用于緩存，但當前緩沖區中數據為空或者已被轉發，禁止發送操作。緩沖區回收旨在及時清空閑置緩沖區，保證環形緩沖區始終有可用緩沖區來緩存當前的接收數據，實現對有限存儲空間的重復利用。

3 結 論

針對多個節點設備通信時入向流量和出向流量速率不匹配造成的飛行數據缺失問題，基于PCIe DMA 緩沖池的流量控制協議，利用多級緩沖和同步互斥技術控制通信流量，在確保數據完整性的同時，提高通信效率，優化當前硬件配置下的產品效能。此外，基于PCIe DMA 緩沖池的流量控制協議具備跨平臺、伸縮性強等特點，稍作適應性修改即可應用于其他總線通信的流量控制，以降低開發成本，提高產品的經濟效益。