基于MicroTCA的EPICS控制系統(tǒng)研究

雷碧峰，王春紅，劉正同，呂慧慧

（中國(guó)科學(xué)院 高能物理研究所，北京 100049）

隨著加速器系統(tǒng)的快速發(fā)展，對(duì)控制系統(tǒng)的高數(shù)據(jù)傳輸率、低延時(shí)提出了更高的要求。同時(shí)，更加智能化和數(shù)字化的控制器在加速器中的大量采用，也要求新控制系統(tǒng)具有更好 的 智 能 化 和 靈 活 性［1］。傳 統(tǒng) 的VME 和CompactPCI系統(tǒng)在傳輸速度方面均有一定限制，新型的MicroTCA 系統(tǒng)是一種全新的基于機(jī)箱式的模塊化設(shè)計(jì)，具有高可用性、高擴(kuò)展性、高數(shù)據(jù)傳輸速率、支持熱插拔等優(yōu)點(diǎn)［2］。

相比于傳統(tǒng)的控制技術(shù)，MicroTCA 技術(shù)具有智能化高、靈活性強(qiáng)、性能好、性價(jià)比高等優(yōu)勢(shì)，這些優(yōu)勢(shì)使其非常適合在有高數(shù)據(jù)傳輸率、低延時(shí)要求的控制系統(tǒng)中使用。目前，在國(guó)際加速器控制領(lǐng)域研究中，MicroTCA技術(shù)正逐漸成為一熱門(mén)研究課題。EPICS 平臺(tái)是一種集成的開(kāi)發(fā)環(huán)境，能有效提高系統(tǒng)的開(kāi)發(fā)和運(yùn)行維護(hù)效率。目前，EPICS在各種類(lèi)型的加速器中得到了廣泛使用，基于EPICS平臺(tái)的控制系統(tǒng)的研究已是國(guó)內(nèi)外加速器控制技術(shù)中非常重要的一個(gè)方面。本文使用Heytec公司的硬件建立一套基于MicroTCA 總線的EPICS控制系統(tǒng)，對(duì)MicroTCA 總線及硬件接入EPICS系統(tǒng)進(jìn)行研究。

1 系統(tǒng)開(kāi)發(fā)

1.1 系統(tǒng)硬件結(jié)構(gòu)

本工作開(kāi)發(fā)了一套完整的單寬尺寸的MicroTCA系統(tǒng)，外部通過(guò)信號(hào)調(diào)理端子形成理想的現(xiàn)場(chǎng)回路，使用基于PCI-e x16 協(xié)議的背板總線來(lái)模擬信號(hào)的控制和反饋。MicroTCA系統(tǒng)的結(jié)構(gòu)如圖1所示。該系統(tǒng)的基本組件包括：1塊CPU 模塊；1塊硬盤(pán)模塊；2塊Hytec-AMC載板卡；1塊N.A.T MCH 模塊；1塊夾層總線模數(shù)轉(zhuǎn)換板ADC-IP 卡；1 塊夾層總線數(shù)模轉(zhuǎn)換板DAC-IP卡。該系統(tǒng)的硬件實(shí)物圖如圖2所示。

圖1 MicroTCA 系統(tǒng)的結(jié)構(gòu)Fig.1 Architecture of MicroTCA system

圖2 MicroTCA 系統(tǒng)的實(shí)物圖Fig.2 Prototype of developed MicroTCA system

1.2 基于EPICS的軟件架構(gòu)及開(kāi)發(fā)

基于EPICS的應(yīng)用程序架構(gòu)如圖3所示。本文以該結(jié)構(gòu)為原型系統(tǒng)開(kāi)發(fā)了軟件系統(tǒng)，主要包括3 部分：設(shè)備驅(qū)動(dòng)及其支持程序，EPICS IOC和實(shí)時(shí)監(jiān)控系統(tǒng)（OPI）。

圖3 基于EPICS的應(yīng)用程序架構(gòu)Fig.3 Architecture of software based on EPICS

1）設(shè)備驅(qū)動(dòng)

設(shè)備驅(qū)動(dòng)開(kāi)發(fā)主要完成3 部分：PCI設(shè)備驅(qū)動(dòng)開(kāi)發(fā)、載板卡驅(qū)動(dòng)開(kāi)發(fā)和IP卡驅(qū)動(dòng)開(kāi)發(fā)。

PCI設(shè)備驅(qū)動(dòng)將操作系統(tǒng)的BSP與EPICS中的載板卡驅(qū)動(dòng)銜接起來(lái)，通過(guò)一個(gè)指向結(jié)構(gòu)體指針在初始化時(shí)調(diào)用PCI設(shè)備注冊(cè)函數(shù)以完成驅(qū)動(dòng)程序的注冊(cè)，并通過(guò)PCI層來(lái)完成載板卡設(shè)備的探測(cè)和支持熱插拔操作。同時(shí)，該載板允許IP卡接入到其硬件的I／O 寄存器和內(nèi)存空間。

本文基于IPAC 程序包開(kāi)發(fā)了AMC 載板卡驅(qū)動(dòng)程序，其用于將ADC-IP 和DAC-IP 卡與IP卡支持程序粘合在一起，通過(guò)實(shí)現(xiàn)IPAC定義的標(biāo)準(zhǔn)接口為IP 卡的訪問(wèn)提供一組標(biāo)準(zhǔn)的API。AMC載板卡驅(qū)動(dòng)程序允許IP卡的驅(qū)動(dòng)直接通過(guò)該API接入到底層設(shè)備中，從而屏蔽了載板卡和IP 卡的詳細(xì)信息。無(wú)論是模擬IP卡還是數(shù)字IP 卡，均可使用該API接入到底層設(shè)備中。

本文基于asynDriver程序包開(kāi)發(fā)了IP 卡驅(qū)動(dòng)程序，其為IP 卡接入到EPICS系統(tǒng)中提供了接口，并兼容了OSI標(biāo)準(zhǔn)模型，包括ADC和DAC 兩個(gè)IP 卡的驅(qū)動(dòng)程序。IP 卡的驅(qū)動(dòng)程序包括6部分：設(shè)備初始化程序、asynDriver接口函數(shù)實(shí)現(xiàn)、設(shè)備私有的操作程序塊、浮點(diǎn)電壓轉(zhuǎn)化程序塊、中斷程序塊和外部程序。

驅(qū)動(dòng)程序的中斷機(jī)制設(shè)計(jì)是決定系統(tǒng)響應(yīng)時(shí)間的重要因素。本文利用PCI設(shè)備驅(qū)動(dòng)和基于IPAC 的載板卡驅(qū)動(dòng)共同構(gòu)成完整的、能向載板卡和IP 卡驅(qū)動(dòng)分發(fā)快速中斷服務(wù)的中斷處理機(jī)制。該機(jī)制通過(guò)一特定的結(jié)構(gòu)體來(lái)實(shí)現(xiàn)，結(jié)構(gòu)體包含設(shè)備句柄、喚醒排隊(duì)句柄、中斷向量等基本元素。圖4 為PCI驅(qū)動(dòng)的中斷延遲示意圖。

圖4 PCI設(shè)備驅(qū)動(dòng)的中斷延遲Fig.4 Interrupt latency in PCI device driver

2）EPICS IOC及其記錄支持開(kāi)發(fā)

IOC輸入輸出控制器是EPICS 控制系統(tǒng)最重要的部分，為一常駐內(nèi)存的實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng)，用于存放來(lái)往于設(shè)備的實(shí)時(shí)數(shù)據(jù)，包括數(shù)據(jù)庫(kù)開(kāi)發(fā)和記錄支持開(kāi)發(fā)。

本文開(kāi)發(fā)了EPICS數(shù)據(jù)庫(kù)記錄支持層，定義了兩個(gè)用于數(shù)據(jù)讀入／出的記錄類(lèi)型，并為每類(lèi)設(shè)備開(kāi)發(fā)了14個(gè)記錄類(lèi)型的通道控制操作，能滿足EPICS基本應(yīng)用要求。使用EPICS標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)定義文件、asyn.dbd 和drvIpac.dbd定義文件生成IOC 應(yīng)用的數(shù)據(jù)庫(kù)定義文件utca.dbd。使用VDCT 工具對(duì)數(shù)據(jù)庫(kù)進(jìn)行了開(kāi)發(fā)，該數(shù)據(jù)庫(kù)用于支持系統(tǒng)運(yùn)行調(diào)試和性能測(cè)試。

3）實(shí)時(shí)監(jiān)控系統(tǒng)（OPI）開(kāi)發(fā)

本文使用CSS 工具包開(kāi)發(fā)了獨(dú)立的實(shí)時(shí)監(jiān)控系統(tǒng)，如圖5所示，其主要功能包括：系統(tǒng)啟動(dòng)與關(guān)閉；系統(tǒng)實(shí)時(shí)狀態(tài)監(jiān)控；系統(tǒng)運(yùn)行參數(shù)設(shè)置；ADC／DAC通道操作與監(jiān)控；PV 實(shí)時(shí)與歷史數(shù)據(jù)瀏覽等。

2 系統(tǒng)測(cè)試

2.1 操作系統(tǒng)級(jí)硬中斷響應(yīng)時(shí)間測(cè)試

主要測(cè)試MicroTCA 系統(tǒng)運(yùn)行過(guò)程中，Linux層的PCI設(shè)備驅(qū)動(dòng)對(duì)外部觸發(fā)的中斷響應(yīng)時(shí)間。該測(cè)試需在Linux 操作系統(tǒng)的PCI設(shè)備驅(qū)動(dòng)層展開(kāi)，分別利用Memory 和Register模式下的DAC-IP 觸發(fā)一個(gè)中斷，測(cè)試Linux 操作系統(tǒng)對(duì)處于Trigger 模式下的ADC-IP的中斷響應(yīng)時(shí)間。在PCI設(shè)備驅(qū)動(dòng)的中斷進(jìn)程中加入時(shí)間標(biāo)記點(diǎn)，該標(biāo)記點(diǎn)位于中斷觸發(fā)后和進(jìn)入中斷處理前，通過(guò)計(jì)算對(duì)應(yīng)的時(shí)間差得到相應(yīng)的ADC-IP在Trigger模式下的中斷響應(yīng)延時(shí)。Linux操作系統(tǒng)中斷延時(shí)如圖4所示，測(cè)試結(jié)果列于表1。從測(cè)試結(jié)果可看出，外部信號(hào)的細(xì)節(jié)并不會(huì)影響測(cè)試結(jié)果，這說(shuō)明該測(cè)試并未涉及到PCI上層的應(yīng)用系統(tǒng)。所以，該時(shí)間差能很好地反映出系統(tǒng)核級(jí)中斷響應(yīng)的實(shí)際延時(shí)。

圖5 MicroTCA 系統(tǒng)控制與運(yùn)行監(jiān)測(cè)界面Fig.5 Control and monitor OPI of MicroTCA

表1 操作系統(tǒng)級(jí)的中斷響應(yīng)時(shí)間測(cè)試結(jié)果Table 1 Test result of response time in Linux kernel level

2.2 EPICS應(yīng)用級(jí)的響應(yīng)時(shí)間測(cè)試

該測(cè)試主要用于測(cè)試該系統(tǒng)對(duì)外部中斷的響應(yīng)時(shí)間，需在IP 卡驅(qū)動(dòng)層的中斷程序中展開(kāi)。本文分別在ADC-IP和DAC-IP卡異步驅(qū)動(dòng)程序的中斷進(jìn)程中加入時(shí)間標(biāo)記點(diǎn)，該標(biāo)記點(diǎn)位于中斷響應(yīng)開(kāi)始后和進(jìn)入中斷處理前，通過(guò)計(jì)算對(duì)應(yīng)的時(shí)間差，可得到EPICS應(yīng)用系統(tǒng)的中斷響應(yīng)延時(shí)，測(cè)試結(jié)果列于表2。從表2可看出，本次測(cè)試得到的響應(yīng)時(shí)間遠(yuǎn)大于操作系統(tǒng)級(jí)中斷響應(yīng)時(shí)間。

表2 系統(tǒng)EPICS應(yīng)用級(jí)的響應(yīng)時(shí)間測(cè)試結(jié)果Table 2 Test result of response time in EPICS application level

2.3 測(cè)試結(jié)果分析

通過(guò)上述測(cè)試結(jié)果可看出，系統(tǒng)在Linux核內(nèi)的硬中斷響應(yīng)時(shí)間優(yōu)于10μs，而傳統(tǒng)的VME 系統(tǒng)在VxWorks核內(nèi)的硬中斷響應(yīng)時(shí)間約為20μs級(jí)，因此，該系統(tǒng)對(duì)10μs級(jí)高速通訊的系統(tǒng)具有非常好的應(yīng)用價(jià)值。

從測(cè)試結(jié)果可看出，本系統(tǒng)在EPICS應(yīng)用級(jí)的中斷響應(yīng)時(shí)間延遲相對(duì)較大，說(shuō)明該系統(tǒng)的應(yīng)用軟件具有較大的優(yōu)化空間，可通過(guò)進(jìn)一步的優(yōu)化使系統(tǒng)的性能得到提升，從而使其具有非常好的應(yīng)用價(jià)值。

3 結(jié)論

本文基于MicroTCA 硬件開(kāi)發(fā)了一個(gè)Linux／EPICS控制系統(tǒng)原型，完成了底層驅(qū)動(dòng)開(kāi) 發(fā)、EPICS 支 持 層 驅(qū) 動(dòng) 開(kāi) 發(fā)、EPICS IOC 和數(shù)據(jù)庫(kù)及其支持層驅(qū)動(dòng)開(kāi)發(fā)、基于CSS的客戶端開(kāi)發(fā)。通過(guò)對(duì)Linux 操作系統(tǒng)的硬中斷和EPICS應(yīng)用級(jí)的中斷響應(yīng)時(shí)間的測(cè)試，可得出系統(tǒng)在Linux 內(nèi)核中板卡級(jí)硬中斷響應(yīng)優(yōu)于10μs，即對(duì)10μs級(jí)高速通訊的系統(tǒng)有應(yīng)用價(jià)值。另外，本工作使用的Linux為非實(shí)時(shí)操作系統(tǒng)，也是影響響應(yīng)時(shí)間的一個(gè)因素。若采用RTLinux，MicroTCA 系統(tǒng)在內(nèi)核中的響應(yīng)時(shí)間將會(huì)進(jìn)一步提高。所以，MicroTCA 系統(tǒng)在低延時(shí)及靈活性和智能化要求較高的系統(tǒng)中具有較好的應(yīng)用價(jià)值。

［1］ LARSEN R S.Advances in developing next-generation electronics standards for physics［C］∥Real Time Conference.Beijing：IEEE，2009.

［2］ VERSTOV?EK I，AMAND F，PLE?KO M，et al.THXA01：Recent trends in accelerator control systems［C］∥Proceedings of IPAC.San Sebastián，Spain：IPAC，2011.