活用分散處理法控制高精度同步時刻

李依霖 馮旭

摘要 隨著網絡的高速化和虛擬服務器的發展，代表云計算的復數節點進行協調工作的分散處理型服務器和虛擬網絡正在普及。因此，出現了以微妙和毫秒為精度在節點間同步時間的IEEE1588、PTPv2。本研究提出了利用高精度同步節點分散處理控制的方法。本方法根據預先時間執行處理動作腳本和根據時間遍歷系統內節點的數據處理，在不傳輸處理情況的數據包時能確認其他節點的狀況，并有效地計算資源分配額。通過本方法掌握通信延遲和節點的性能和特征，為修正動態動作腳本建立處理時間更正的模型。我們為了確認提出方法的有效性開發出實驗用的系統原型模型，確認了處理時間變更時的正確性和有效性。

【關鍵詞】云計算 分散處理法 高精度同步節點 修正模型

1 前言

隨著網絡的高速化和虛擬服務器的發展，代表云計算的復數節點進行協調工作的分散處理型服務器和虛擬網絡正在普及。通過服務器和路由等節點多臺連接，構成具有指定性能的分散處理型服務。另外，軟件定義網絡式的控制路由群，在動態網絡下構成網絡虛擬化。在提供云服務的數據中心導入用戶化功能的LSI按鈕，能構成高速網絡。云計算式的分散處理，各節點進行獨立的處理，必須掌握節點間的處理狀況和處理內容。從而交換控制命令經由網絡。隨著網絡的高速發展，出現了以微秒和毫秒為精度同步精度節點的IEEE1588和PTPv2。主要用于以太網，電力網拓撲同步標準信息。PTPv2用于硬件以毫秒為單位，長時間穩定同步時刻。節點間的同步方法有NTP和GPS方法。前者導入軟件，IP網絡上時刻同步精度為微秒，后者以纖秒為時刻同步要限制成本和條件。

對分散節點的控制用高精度同步時刻的處理方法。在分散節點上對進行任務處理腳本，共享全部節點，節點按照時間信息和動作腳本進行處理，將適應這種方法的節點群和管理節點進行分散處理同步時刻IEEE1588、PTPv2協議。構成系統的節點群連接IP網絡和時刻同步網絡。首先，進行分散處理控制，節點間的通信產生通信延遲，處理執行開始到終了產生的延遲。另外，通過這個結果開發出時間處理修正方法，用原型系統進行評價，驗證了此方法可行。

2 系統概要

本系統處理節點通過lP網絡連接，以各種固定的處理功能作為前提。時間型分散處理控制方法是在IP網絡上實現分散處理各節點的時間同步IEEE1588TPv2的高精度。進行處理的節點更新。根據時間執行如何處理動作腳本。在特定的時間由指定節點發出數據記載其處理功能，傳輸結果給下一個節點，并在時間內順序處理。各節點按動作腳本進行同步時間處理。某節點進行的處理結果重復傳輸給下一個節點，遍歷系統內的節點進行數據處理。

本系統的5個特點：

（1）根據時間和共同動作腳本進行處理。

（2）事先掌握其他節點在任意時間上進行的處理，即使不發送任務處理中節點間處理情況確認的數據包，也能確認其他節點的情況。

（3）節點無論之后發生怎樣的情況變化，都能事先判斷并進行有效的資源計算分配。

（4）考慮到處理中的延遲，針對這些影響進行動作腳本的動態修正。

（5）任意時刻內進行分散處理，優化系統大范圍的集成電路分配功能分散動作控制。

3 研究問題

為了實現時間分散處理的控制，必須執行多個節點間通過動作腳本目標時間的任務。考慮到各節點和節點間的通信時產生的延遲問題作為研究問題。例如考慮適用分配的電路動作控制的情況，如圖1所示，進行加密的對象生成數據的模塊，加密中生成復原鍵的模塊，加密數據，數據加密模塊三部分的模塊群。動作腳本如下：

（1）數據生成模塊從時間T1到時間T2的動作傳送處理結果給還原鍵生成模塊。

（2）還原鍵生成模塊時間T3到T4傳輸數據給數據加密模塊。

（3）數據加密模塊在時間T5處開始動作，在T6處進行加密處理并輸出結果。

還原鍵生成模塊的處理結果根據延遲到時間T5數據加密模塊接收不到信息時，數據加密模塊沒有必須傳輸的數據時，不執行動作，不根據動作腳本進行處理。當只處理一個系統任務的情況下，最后的數據加密模塊必須在數據到達為止，待機狀態下進行動作。同時執行多個任務時，當任務執行時進入了另外的任務，就存在不能分配計算資源的問題。為了解決這個問題，進行各節點的延遲和節點間的通信延遲的動態動作腳本修正。因此，對系統內產生延遲的原因分類，進行動作腳本修正模塊化。

4 研究方法

4.1 延遲的種類和原因

實現時間型分散處理控制的情況下發生延遲的原因分為兩大部分，A、節點的性能和特性原因產生延遲B、網絡原因產生延遲。A考慮到時間同步精度和時間取得處理執行中時間和插隊處理的時機對各節點的定時分解的影響。具體如下：

（1）因時間分散處理控制而取得處理。

（2）根據NIC等的設備交換生成的系統插隊處理延遲。

（3）和其他節點的時間同步差進行處理。

（4）因系統負載處理延遲。

B是節點間的通信性能和hop數不同，因路由擁堵，網絡拓撲和特征原因引起。具體如下：

（5）從節點到數據包傳送延遲和節點間的傳輸延遲造成的通信延遲。

（6）路由再發送信號傳輸處理間的延遲。

4.2 網絡原因產生的延遲測量方法

本系統在各節點間進行通信延遲測量。發信節點發出數據包的時刻做時間戳。為了讓節點間時間同步，收信節點接收數據包的時間和數據包上時間戳的時間差進行通信延遲測量。測定時刻為系統啟動時，數據包發生通信時，在一定時間內節點間不進行通信。從測定的延遲時間開始，利用動作腳本修正計算平均延遲時間和標準偏差。

5 原型模型

為了提出方法的有效性，開發原型模型系統進行評價。原型系統用了三臺節點和一臺主節點，利用PTPv2保證時刻同步精度。用專門按鈕時刻同步網絡，節點間的數據通信用兩種網絡構成。執行任務的節點用于通用計算機，連接時刻同步網絡的界面，使用連接PCI Express裝載PTPv2功能的NIC（即PTPNIC）。為了在動作腳本中到指定的時刻進行待機用Usleep系統短時間待機。原型系統根據時刻和腳本進行節點間通信的軟件安裝，用C語言開發。

6 驗證

對時間處理產生的延遲進行測量，根據提出的模型進行動作腳本的修正，進行修正模型的驗證。

6.1 節點的性能和特征產生延遲的測量

6.1.1 從PTPNIC的時刻得到執行時間

構成本系統的各節點，處理任務時的動作為判斷基準取現在時刻。測試用一臺節點從PTPNIC取得時刻。測試為從PTPNIC取兩次連續的時刻，測試取得一次時刻處理的時間方差。測試執行1000次，測出平均執行時間和標準偏差。結果是平均執行時間為4微秒，標準偏差為O.1。

6.1.2 從恢復待機狀態的時間

通過測量Usleep系統短待機可能的最短時間，測出進入待機狀態到發生任務的延遲。測量中，取執行Usleep系統短時間段的前后時刻，計算兩個方差。用這個方差減在6.1.1中求得時間的平均值。試運行1000次的結果，平均執行時間55.8微秒，標準差9.8。從這個結果看出，本原型系統Usleep系統短期待機能的比最短時間更短的情況，如20微秒的待機處理腳本的情況下，產生55.8-20微秒的延遲，這種情況下，下一個動作可以提前20微秒執行，否則就需要滯后35 8微秒。

6.2 測量網絡原因產生的延遲

進行UDP通信的節點間傳輸一個hop數時，進行通信延遲的測量。數據包大小為64，128，256，512，1024bate，各300次，一共試運行1500次。結果是，64bate時平均傳輸時間143.8毫秒，標準差為4.6。1024bate時平均傳輸時間為168.1微秒，標準差為4.3。數據包大小變化時標準差基本不變，但平均傳輸時間發生變化。

6.3 根據測量結果修正動作腳本

數據通信用的網絡延遲時間產生變化時，為確認動作腳本的修正模型正常工作的三臺節點，用節點A、節點B、節點C驗證進行時間分散處理的動作結果。三個節點舉出的數據生成/恢復鍵生成/數據加密模塊，假設用三個模塊構成的系統，節點A、節點B、節點C的順序進行傳輸數據。當節點A和節點B間的網絡延遲時間從500微秒到1900微秒，每200微秒工作一次時，驗證進行了動態的修正。初期的動作腳本順序圖如圖2所示。

最終節點A和節點B間的網絡延遲時間700微秒，1300微秒，1900微秒在時刻t2，t3，t4，t5間顯示。從這個結果，節點A和節點B間的延遲時間從500微秒到900微秒時，就在腳本通過發信時刻t3=llms執行，節點B在t=11ms前，不能執行傳輸。兩節點的延遲時間超過1000微秒時，節點B的動作開始時間為到達t5=12ms而換成t3，考慮到延遲時間需要提前發信。從這個結果看，確認了處理時刻修正方法緩和了節點間產生的延遲影響。

7 總結

本論文用于控制高精度同步分散節點的時間，首先根據時間進行處理的動作腳本和隨著現在時間和數據遍歷系統中節點的處理，提出時間分散處理控制。首先，在節點間產生通信延遲，從開始處理到結束產生延遲檢驗本方法的有效性。結果證明了修正處理時間的方法，在原型系統下可以實現。其結果在數據通信用網絡中節點間的通信關系在延遲時間發生變化的情況下，時間修正模型能正常工作。

參考文獻

[1] Thomas Erl，ZaighamMahmood.云計算：概念、技術與架構[M].北京：機械工業出版社，2014.

[2] 1EEEStd1588-2008， 1EEEStandardfora Precision CIockSynchronizationProtocol for Networked Measu-rementand ControlSystem [S]. 2008.

[3]王建珍，計算機網絡時間同步技術應用研究[J].山西電子技術，2005 （04）： 7-8.

[4]求是科技.FPGA數字電子系統設計與開發實例導航[M].北京：郵電出版社，2005.

[5]宮田寬士，服務器端網絡架構[M].北京：人民郵電出版社，2015.

[6]張亞元，基于GPS和高精度實時時鐘的時間同步方法研究[D].天津大學，2014.

[7]鄧偉.基于GPS時鐘同步系統的實現與應用[D].北京郵電大學，2015.

[8]許雄，實時以太網下多軸運動控制的同步問題研究[D].上海交通大學，2013.