減少上下文切換的虛擬密碼設備中斷路徑優(yōu)化方法

李 帥，孫 磊，郭松輝

(信息工程大學，鄭州 450001)(*通信作者電子郵箱2650536170@qq.com)

0 引言

近年來，隨著云計算的不斷發(fā)展，其重要性越來越受到科學界和工業(yè)界的關注，同時其安全性也面臨著重大的挑戰(zhàn)[1]，尤其是虛擬資源可遷移性引發(fā)的云中數(shù)據(jù)不可控問題[2]，導致云中存在數(shù)據(jù)泄露的安全風險[3]。2016年云安全聯(lián)盟(Cloud Security Alliance, CSA)公布的十二大安全威脅中就包括數(shù)據(jù)泄露和用戶身份憑證被盜等重大安全風險。目前，各云服務提供商對于云計算面臨的安全風險也提出了各種解決方案。例如：阿里云安全解決方案在數(shù)據(jù)層提供了加密服務，該服務可記錄、分析和匯報用戶訪問數(shù)據(jù)庫的行為，并對生成的數(shù)據(jù)進行加密，提高了數(shù)據(jù)安全。從云數(shù)據(jù)中心到云用戶，每一層都應該對其安全性采取有效措施來降低安全風險，提高數(shù)據(jù)的安全性[4]。密碼云[2]技術將對稱加密、數(shù)字簽名和完整性校驗等密碼技術運用到云計算中來提供密碼運算，大幅度地提高了云環(huán)境下數(shù)據(jù)的安全性。密碼云采用虛擬化技術將密碼設備虛擬成多個虛擬密碼設備提供給上層虛擬密碼機(Virtual Cipher Machine, VCM)[2]使用，滿足了云環(huán)境下的密碼運算需求。

為了使虛擬密碼機的密碼運算性能更高，密碼設備采用了單根I/O虛擬化(Single-Root I/O Virtualization, SR-IOV)技術為虛擬密碼機提供高效密碼服務。SR-IOV技術采用Passthrough I/O傳輸方式，不需要虛擬機監(jiān)控器(Virtual Machine Monitor, VMM)對虛擬機進行監(jiān)控，通過硬件直接與虛擬機進行I/O傳輸[5]，并且在傳輸過程中，通過輸入/輸出內存管理單元(Input/Output Memory Management Unit, IOMMU)減少了存儲保護和地址轉換的開銷，大幅度提高了傳輸效率[6]，實現(xiàn)了虛擬密碼機的高效密碼服務；但是，在實驗過程中發(fā)現(xiàn)，虛擬密碼機加密速度明顯低于主機加密速度，而且隨著加密字節(jié)塊的增大，虛擬密碼機加密速度和主機加密速度的差距逐漸增大，這說明，當外部中斷請求過多時會嚴重影響虛擬密碼機加密性能。而造成虛擬密碼機加密性能降低的根本原因是虛擬密碼機中斷請求需要陷入到主機內核中進行處理，該過程會導致至少兩次non-root到root模式切換即VM-exit。當云環(huán)境下大量的外部中斷請求需要調用密碼算法時就會導致VCM和VMM之間頻繁的上下文切換[7]，嚴重影響了中斷傳輸?shù)男剩^而影響虛擬密碼機加密性能。

為了解決中斷傳輸路徑中上下文切換導致系統(tǒng)開銷大的問題，文獻[8]提出了一種直接中斷傳輸?shù)姆椒ǎ宄颂摂M機控制結構(Virtual Machine Control Structure, VMCS)中的外部中斷退出位，那么外部中斷將不會觸發(fā)VM-exit；但是該方法需要判斷虛擬機是否正在運行以及運行時在哪個物理CPU核上運行，增加了復雜度。文獻[9]提出了一種更少中斷退出的方法(Exit-Less Interrupt, ELI)，采用軟件模擬的方式在客戶虛擬機內建立影子中斷描述符表(Interrupt Description Table, IDT)直接處理中斷；但是在ELI機制中，影子IDT只能接收來自對應用戶對應的中斷，其他中斷仍需要主機的參與。文獻[10]提出了一種針對I/O虛擬化的高效和相應事件系統(tǒng)(Efficient and reSponsive Event System for I/O virtualization, ES2)，該系統(tǒng)改善了虛擬機和硬件設備之間的雙向I/O傳輸。該機制可以提供高效I/O請求交付和增強I/O響應能力，并且不需要修改虛擬機操作系統(tǒng)，但是該機制并沒有在SR-IOV環(huán)境中實現(xiàn)。本文對SR-IOV環(huán)境下虛擬密碼機的中斷機制進行了優(yōu)化，提出了一種減少上下文切換(Reducing Context Switching, RCS)的中斷傳輸機制。該機制保留了第一次VM-exit，當外部中斷陷入到主機內核區(qū)時，由主機判斷外部中斷是否發(fā)送給虛擬密碼機，然后在虛擬密碼機內核建立了一個由主機到虛擬密碼機的關系映射表，通過對注入到虛擬密碼機中未被分配的中斷進行注冊，注冊完成后直接在虛擬密碼機內核對該中斷進行處理，避免了中斷再次陷入主機內核，優(yōu)化了虛擬密碼機的中斷傳輸路徑，提高了虛擬密碼機中斷傳輸?shù)男省?/p>

1 相關技術

1.1 SR-IOV技術

SR-IOV是PCI-SIG組織發(fā)布的PCIe規(guī)范的擴展，它采用Passthrough I/O技術在數(shù)據(jù)傳輸過程中繞過VMM，使用IOMMU在虛擬內存中直接尋址，即直接將虛擬地址轉換為物理地址[5]，可讓實體設備在虛擬內存環(huán)境中工作，擴展了系統(tǒng)內存容量，提升了性能。每一個PCIe設備可以配置1到8個物理功能(Physical Function, PF)，各個PF之間是相互獨立的。每個PF都具有標準的PCIe功能，可以對其進行完全的配置管理。可以通過PF配置或者控制PCIe設備，也可以通過PF對數(shù)據(jù)的輸入和輸出進行管理。同時，在PCIe設備中，具有SR-IOV功能的設備可創(chuàng)建多個虛擬功能(Virtual Function, VF)。相比PF，VF僅具有輕量級的PCIe功能，只能進行數(shù)據(jù)的傳輸；但是每個VF對應唯一的資源標識符(Resource IDentifier, RID)，每個RID可用于索引IOMMU頁表，因此，每個VF可以獨立接收和傳輸數(shù)據(jù)包。而且每個VF都擁有與性能相關的資源，比如傳輸和接收描述符，同時共享其他主要設備資源[11]。在SR-IOV中，每個PF關聯(lián)多個VF，由PF對多個VF進行配置管理。在配置SR-IOV實驗環(huán)境時，可以對每一個VCM分配一個或者多個VF，由于每個VF都對應唯一的RID，所以VCM之間是相互隔離的，這有效提高了I/O傳輸?shù)男阅堋?/p>

基于SR-IOV技術，將每個VCM對應于一個VF，VCM和VF之間通過VFIO驅動進行通信，并且不受VMM的干預[12]。其基于SR-IOV的密碼設備基本架構如圖1所示。

圖1 基于SR-IOV的密碼設備基本架構

1.2 x86虛擬環(huán)境下的中斷處理機制

x86服務器多采用消息信號中斷(Message Signaled Interrupt, MSI)和它的擴展形式MSI-X發(fā)送中斷信號。服務器一旦啟動，本地高級可編程中斷控制器(Local Advanced Programmable Interrupt Controller, LAPIC)就會對每一個I/O設備分配MSI地址，其中描述中斷的MSI地址確定了中斷的目的CPU核地址。同時，MSI數(shù)據(jù)存放了中斷向量號和中斷傳輸模式，通過執(zhí)行內存寫操作觸發(fā)消息信號中斷[8]。目前絕大部分PCIe設備也使用MSI/MSI-X機制發(fā)送中斷請求。在PCIe設備中，觸發(fā)MSI中斷的每一個內存寫操作都直接穿過PCIe層級進入root模式進行處理。每個CPU核上都配置一個LAPIC，同時在每個I/O子系統(tǒng)上也存在一個輸入輸出高級可編程中斷控制器(Input/Output Advanced Programmable Interrupt Controller, IOAPIC)。IOAPIC支持I/O重定向表，IOMMU支持中斷重映射表，兩者同時為每個PCIe設備中斷提供中斷目的地址、觸發(fā)模式和傳輸路徑。

當一個I/O設備發(fā)出一個中斷消息，該中斷消息將對一個特殊地址執(zhí)行內存寫操作來中斷CPU，這會導致一個物理中斷被發(fā)送到CPU。服務器當前執(zhí)行的代碼被中斷，執(zhí)行將跳轉到一個預定義的處理程序，該處理程序由中斷描述符表指定。x86架構CPU最多可定義256個中斷向量，每個表項都對應于一個中斷處理函數(shù)的地址，當觸發(fā)相應的中斷時，對應函數(shù)將被調用。通常，I/O設備發(fā)出一個請求，該請求通過對一個特殊地址執(zhí)行內存寫操作來中斷CPU，這會導致一個物理中斷被發(fā)送到CPU。當一個MSI中斷傳輸?shù)侥康腃PU，在IDT中將觸發(fā)相應的中斷處理器(Interrupt Handler)處理中斷。

然而，在虛擬環(huán)境下，外部中斷的處理依然需要VMM的參與。從外部中斷觸發(fā)VM-exit到整個中斷處理完成至少需要兩次VM-exit，每次VM-exit都會對應于一次VM-entry，這樣在每次的中斷處理過程中便會引起至少4次上下文切換。當同一時間存在大量的外部中斷請求時，系統(tǒng)就會因為頻繁的上下文切換產生大量的上下文開銷和cache污染[13]，使得在中斷密集的時候，虛擬密碼機的加密性能嚴重降低。虛擬環(huán)境下I/O中斷處理過程如圖2所示。

當虛擬機收到外部中斷時，IOMMU首先作出響應并執(zhí)行相應的中斷重映射，由于x86架構本身VT-x技術的限制，VMM將截獲中斷引起VM-exit事件，該事件通過主機中斷描述符初始化相應的中斷處理程序進行傳送。當中斷在主機中斷處理程序中處理完成，會生成一個結束中斷信號(End Of Interrupt, EOI)，VMM識別到EOI信號后就把主機向量映射到相應的虛擬機向量。然后，在目標處理器的虛擬本地高級可編程中斷控制器(virtual Local Advanced Programmable Interrupt Controller, vLAPIC)上更新虛擬中斷請求注冊(virtual Interrupt Request Register, vIRR)和虛擬中斷服務注冊(virtual Interrupt Service Register, vISR)，并且在虛擬機的虛擬機控制結構中建立VM-entry中斷信息域。通過一個VM-entry注入把虛擬中斷傳輸給虛擬機。虛擬機內核接收到中斷信號后，更新LAPIC，并在虛擬機IDT中運行相應的中斷處理程序。中斷請求在虛擬機內核處理完成后，也會生成一個EOI信號，該信號使中斷再次陷入VMM，重新更新vLAPIC后將生成一個虛擬EOI信號，執(zhí)行VM-entry，恢復虛擬機的正常運行[7]。在虛擬環(huán)境下的中斷處理過程中，每次I/O中斷處理過程都會導致至少兩次VM-exit，如果大量的外部中斷請求到來時，過多的上下文切換必將嚴重影響整個系統(tǒng)的性能。

圖2 虛擬環(huán)境下的中斷處理

2 RCS中斷傳輸機制的設計與實現(xiàn)

2.1 RCS中斷傳輸機制設計

在SR-IOV環(huán)境中，VMM和虛擬機操作系統(tǒng)共享硬件資源，因此底層硬件需要一個物理內存區(qū)域來自動保存或恢復彼此執(zhí)行的上下文，這個區(qū)域稱為虛擬機控制結構區(qū)。該區(qū)域包括虛擬機狀態(tài)區(qū)、主機狀態(tài)區(qū)和執(zhí)行控制區(qū)。當發(fā)生VM-exit時，硬件自動將虛擬機操作系統(tǒng)的上下文保存在虛擬機狀態(tài)區(qū)，并且從主機狀態(tài)區(qū)中加載VMM的通用事件處理函數(shù)地址，之后VMM執(zhí)行相應的操作。由圖2可知，虛擬環(huán)境下的中斷處理過程導致了至少兩次VM-exit，每次VM-exit都會有VMM的參與，這嚴重影響了中斷傳輸?shù)男省Ｔ赟R-IOV環(huán)境中，雖然VF直連虛擬密碼機，但是由于VMM具有對處理器和平臺硬件完全的控制權，在對處理器資源、物理內存、中斷處理和I/O的處理中同時也具有選擇控制的權利，也就是說，如果外部中斷的控制權在虛擬密碼機手中，那么虛擬密碼機向量就可以對應于物理設備中斷服務注冊在虛擬密碼機描述符的位置，即物理設備ISR完全由虛擬密碼機執(zhí)行；如果外部中斷的控制權掌握在VMM手中，那么當發(fā)生外部中斷時，將觸發(fā)VM-exit，VMM執(zhí)行其控制權，所以密碼設備的VF產生的某些中斷依然需要VMM處理。其處理方式是VMM觸發(fā)相應的虛擬中斷并將該中斷注入虛擬密碼機，因此，有必要對密碼設備的中斷機制進行優(yōu)化以此來進一步提高密碼設備的性能。

假設系統(tǒng)中的每一臺虛擬密碼機僅對應一個VF，在這種情況下，VF只能中斷它所對應的虛擬密碼機。為了減少在每次中斷過程中由于VMM的介入導致的上下文切換次數(shù)，本文提出了一種減少上下文切換的中斷傳輸機制——RCS中斷傳輸機制。RCS中斷傳輸機制過程如圖3所示。

該中斷傳輸機制基于KVM實現(xiàn)。由于虛擬密碼機中斷請求的處理需要進入到KVM內核進行實現(xiàn)，因此該機制保留了第一次VM-exit。這樣做的好處是：當發(fā)送給虛擬密碼機的外部中斷請求到來時，直接將該中斷交給KVM內核進行處理，從而避免不能識別的中斷類型以及大量中斷到來時可能會造成的錯誤傳輸。當該中斷在KVM內核注冊完成并找到對應的中斷類型后會觸發(fā)虛擬機所對應的vCPU，由vCPU執(zhí)行VM-entry，之后中斷開始進入虛擬機執(zhí)行。為了避免EOI寫操作導致的再次VM-exit，該機制在虛擬機內核建立了由主機到虛擬密碼機內核的關系映射表。關系映射表有兩個功能：第一是判斷該中斷類型是否已在虛擬密碼機IDT中存在，如果存在則直接交由虛擬密碼機的中斷處理器進行處理；第二是如果該中斷類型在虛擬密碼機IDT中不存在，那么該映射將對該中斷進行注冊，重新分配中斷類型號，然后交由虛擬密碼機中斷處理器進行處理。在虛擬密碼機內核直接處理中斷比中斷再次陷入主機內核進行處理效率更高，可明顯減少大量中斷請求帶來的頻繁上下文切換。

圖3 RCS中斷傳輸機制

2.2 RCS中斷傳輸機制實現(xiàn)

RCS中斷傳輸機制是在KVM環(huán)境下提出的。KVM本身是集成到Linux內核的虛擬機監(jiān)控器，是一種全虛擬化解決方案。在Linux內核中，KVM是其中一個很小的模塊，可利用Linux實現(xiàn)硬件設備交互、任務調度和內存管理等功能。其中，QEMU作為一個獨立的虛擬化解決方案，可以模擬一個完全不同的系統(tǒng)環(huán)境，但是QEMU模擬本身性能比較低，一般結合KVM提供的功能來提升性能[14]。系統(tǒng)架構如圖4所示。

在KVM環(huán)境下，當密碼設備接收到外部中斷信號時，首先加載相應的驅動程序，然后向主機CPU發(fā)送中斷請求信號，主機CPU接收到中斷信號后，判斷中斷請求類型是發(fā)給主機還是虛擬密碼機，如果是發(fā)給主機，則直接交給主機的中斷處理器進行處理；如果是發(fā)送給虛擬密碼機，中斷將陷入KVM內核，由KVM內核進行處理。在中斷注入KVM過程中，會加載驅動程序中ioctl函數(shù)，其功能是專門對設備的I/O通道進行管理，也可對設備的一些特性進行控制，并且具有傳輸中斷的作用。

圖4 系統(tǒng)架構

在KVM內核區(qū)，首先提取中斷路由表中對應的實體，觸發(fā)對應路由實體的觸發(fā)函數(shù)；然后進行中斷的注冊、中斷類型的檢查、中斷請求的發(fā)送和處理。當中斷在主機KVM內核執(zhí)行結束后，進入虛擬密碼機內核執(zhí)行。中斷進入虛擬密碼機內核后先觸發(fā)關系映射表，通過關系映射表中的IOAPIC來判斷中斷類型，如果該中斷類型在虛擬密碼機IDT中已存在，則退出中斷映射表，直接在虛擬密碼機內核中由虛擬密碼機中斷處理器處理中斷；如果該中斷類型在虛擬密碼機IDT中不存在，則在關系映射表中進行中斷注冊，注冊完成后退出關系映射表，然后更新LAPIC，再交由虛擬密碼機中斷處理器處理中斷。關系映射表的中斷處理過程偽代碼如下：

Process interruption handling of relational mapping table

1) procedure relational mapping

2)notification: //Label 1

3) waked up by an interrupt request

4)handling:

5) judge the interrupt type

6) if the interrupt type is not exist then //Label 2

7) register by relational mapping

8) handle the interrupt

9) else handle the interrupt directly

10) end if

11) ifnotify_enabledthen

12) execute thehandling

13) end if

14)workload← 0

15) While this queue is not empty do

16) polling one interrupt request from this queue

17)workload←workload+1

18) ifworkload>=quotathen

19) gotohandling//Wait for next turn

20) end if

21) end while

22)enable_notify//Return to notification mode

23) gotonotification

24) end procedure

在中斷注冊過程中，會調用與IOAPIC相關的一些函數(shù)，其主要的功能除了進行中斷的注冊和中斷類型的檢查外，IOAPIC還將通過APIC總線將中斷信息分配給每顆CPU的LAPIC，然后由LAPIC決定是否接收總線上傳送來的中斷信息。在中斷信息發(fā)送到LAPIC之前，需要通過IOAPIC設置中斷請求的目的地址、中斷請求向量和中斷傳輸模式等請求信息，然后將中斷請求發(fā)送給LAPIC。LAPIC根據(jù)傳入的irq參數(shù)獲取目標LAPIC編號目的地址，再根據(jù)目的地址找到其對應的vCPU，然后設置目標LAPIC的中斷請求寄存器，根據(jù)其傳送模式向當?shù)氐腖APIC添加一個即將到來的中斷，最后vCPU檢查這個中斷請求并將中斷注入虛擬密碼機內核，即執(zhí)行VM-entry。

中斷在虛擬密碼機內核處理完成后，恢復虛擬密碼機執(zhí)行當前的操作。該過程避免了由EOI寫操作帶來的VM-exit，減少了上下文切換，在中斷密集時可有效降低性能開銷。

3 實驗結果與分析

為了驗證RCS機制提高了虛擬密碼機密碼運算能力，本章針對對稱密碼算法AES和雜湊算法SHA256分別在主機、SR-IOV方式和RCS方式下的加密速度進行了測試，并對不同機制下的加密速度進行了對比分析，通過加密速度提升來體現(xiàn)RCS機制性能優(yōu)勢。實驗并沒有測試非對稱密碼算法的加密速度，因為對于非對稱密碼算法來說，其加密運算不是傳輸密集型的操作，只能作為計算密集型的操作，I/O中斷傳輸路徑的優(yōu)化對其體現(xiàn)并不明顯。而對于對稱密碼算法和雜湊算法，其加密運算是傳輸密集型的操作，因此實驗研究對對稱密碼算法和雜湊算法在中斷路徑上的優(yōu)化具有實際意義。

本實驗環(huán)境為：主機和虛擬密碼機操作系統(tǒng)均為CentOS7.1，內核版本為Linux 3.10.0，處理器Intel Xeon CPU E5- 2620 v3 @2.40 GHz 12核，內存128 GB，支持VT-x技術，支持SR-IOV，密碼設備為Intel Corporation DH895XCC Series QAT。測試工具為crytodev，crytodev是調用密碼設備的一個benchmark工具，可以測試密碼設備中密碼算法的運算速度，其中包含AES、SHA256等加密算法。測試過程是：通過對不同字節(jié)塊大小進行加密，選取5 s內的總加密字節(jié)數(shù)，求其平均值作為該加密字節(jié)塊大小下的加密速度。

首先，為了驗證當存在大量中斷請求時，VCM的性能會顯著降低，對VCM進行空轉測試，僅測試其中斷傳輸效率。由VCM向主機發(fā)出中斷請求，測試不同加密字節(jié)下主機和虛擬密碼機的加密速度。其測試結果如圖5所示。從圖5實驗結果中可以看到：隨著加密字節(jié)塊的增大，主機加密速度和虛擬密碼機加密速度差距越來越大。由于只是空轉測試，不存在加密運算的影響，因此造成該差距的主要因素即中斷傳輸過程中導致的頻繁上下文切換，恰恰驗證了本文要解決的問題。

圖5 加密空字節(jié)時的加密速度

然后，為了比較RCS機制相對于SR-IOV方式在加密性能上有一定的提升，本文分別對兩種加密算法在SR-IOV方式下和在RCS方式下的加密速度進行了對比分析。實驗測試結果如圖6(a)和圖6(b)所示。

對圖6(a)中數(shù)據(jù)進行分析，結果表明：采用AES算法加密時，RCS方式下虛擬密碼機加密速度比SR-IOV方式下虛擬密碼機加密速度平均提高了16.35%；對圖6(b)中數(shù)據(jù)進行分析，結果表明：采用SHA256算法加密時，RCS方式下虛擬密碼機加密速度比SR-IOV方式下虛擬密碼機加密速度平均提高了12.25%。而且，從實驗結果中可以看出，加密字節(jié)塊越大，加密速度提高越明顯。

圖6 虛擬密碼機使用SR-IOV和RCS加密時的加密速度

為了進一步驗證RCS機制下虛擬密碼機密碼運算能力能達到接近主機的密碼運算性能，實驗分別測試了主機和RCS方式下虛擬密碼機在AES和SHA256加密算法下的加密速度，其測試結果如圖7(a)和圖7(b)所示。

圖7 主機和虛擬密碼機RCS加密時的加密速度

分析圖7(a)和圖7(b)的實驗測試結果，可得出結論：在RCS機制下，虛擬密碼機使用AES加密算法加密的速度達到了主機的88.37%～98.48%，用SHA256加密算法加密的速度達到了主機的90.44%～95.63%。而且，加密字節(jié)塊越大，該機制下的加密速度越接近于主機加密速度，該結果對于云環(huán)境下高效密碼服務的要求具有良好的現(xiàn)實意義。

同時，從圖6(a)和圖7(a)中也可以看出：加密字節(jié)在32 768之前，主機加密速度和虛擬密碼機加密速度一直在增大，當加密字節(jié)為32 768時，主機加密速度和虛擬密碼機加密速度達到最大。當加密字節(jié)再繼續(xù)增大時主機加密速度和虛擬密碼機加密速度開始減小，說明此時由于中斷頻率的增加只能導致性能的下降，這正是由于大量中斷導致的VM-exit使中斷處理過程多次陷入KVM內核導致的頻繁上下文切換引起的性能降低[15]。同時，在32 768 B之前，主機加密速度和虛擬密碼機加密速度并不是線性增長，而是隨著字節(jié)塊的增大，其增長速度變化越來越平緩，這也驗證了大量中斷導致的虛擬密碼機性能降低問題。

4 結語

針對虛擬化環(huán)境下密碼設備中斷傳輸開銷過大影響密碼運算性能的問題，在SR-IOV技術的基礎上，本文提出了一種減少上下文切換的虛擬密碼設備中斷路徑優(yōu)化方法，實現(xiàn)了虛擬密碼機直接處理中斷的功能，降低了虛擬中斷處理過程中上下文切換次數(shù)，有效解決了由于主機和虛擬密碼機之間頻繁上下文切換導致的系統(tǒng)過高開銷，提高了虛擬密碼機加密性能。下一步將在現(xiàn)有硬件平臺的基礎上，研究加密字節(jié)塊、加密速度和中斷頻率之間的關系，進一步優(yōu)化虛擬密碼機加密性能。