基于正則表達式的遙測數據預處理研究*

陳紅英 張昌明 何 晶 黃 瓊

(中國衛星海上測控部 江陰 214431)

?

基于正則表達式的遙測數據預處理研究*

陳紅英 張昌明 何 晶 黃 瓊

(中國衛星海上測控部 江陰 214431)

運載火箭遙測數據處理首次運用于海上測控任務中,針對船載設備接收原始遙測事后數據包含許多無效的亂碼且記錄數據十分龐大、需要在短時間內進行數據處理的難題,首先介紹了遙測數據預處理原理,對預處理方法進行了研究,最后提出了用正則表達式算法將原始數據從龐大的數據幀中解算出來的預處理模式,在短時間內完成了數據的預處理工作,提高了處理效率,解決了遙測數據處理的關鍵技術問題。

正則表達式; 遙測; 預處理; 測量船

Class Number TP311

1 引言

為了保護空間環境、減緩空間碎片,型號部門對長征系列火箭進行改進設計,將在星箭分離后進行高壓氣體和剩余推進劑排空等動作,測量船對火箭三級箭體遙測數據進行跟蹤、接收和記錄,至信號消失。運載火箭遙測事后數據處理主要完成海上測量任務的長征系列型號星箭分離后遙測數據的質量檢查與選優[1];運用數字信號處理方法和隨機數據分析方法,以精選的數字模型和精確的計算公式對原始數據進行加工、糾錯、誤差修正和計算,還原成各種物理量;對速變參數則還要進行各種譜分析;完成滿足精度和處理要求的數據、圖像等處理結果光盤[2]。

在每次飛行試驗任務中如何把磁帶、磁盤或光盤上的原始測量數據從記錄介質上輸入到計算機、剪輯、對接,并準確地從帶有干擾的信息中提取數據;如何判幀分路,對時間如何糾錯加工,如何去點計算是遙測數據處理中需要解決的主要問題。而遙測事后數據處理軟件首次在海上測控任務中使用,由于船載設備USB接收原始遙測數據包含許多無效的亂碼,而且記錄數據十分龐大,如何將有效的數據從近500M字節的原始數據中分離出來,并且兼顧時間性能和內存資源消耗等因素,成為原始數據預處理的難點[3]。文章將具體介紹利用正則表達式處理遙測事后數據的預處理方法。

2 遙測數據預處理

2.1 預處理主要內容

遙測數據預處理工作將完成以下任務[4]:

1) 對火箭星箭分離后遙測數據質量檢查,自動統計出信號記錄的有效起止時間,并記載、打印出錯誤原始碼。

2) 完成測量船記錄的遙測數據中絕對時轉換到相對時工作,具備形成一個與逐幀數據相對應的時間文件。

3) 完成原始信號中的幀同步判別,剔除亂散點,并進行速、緩變參數的分離及分路。

4) 根據產品的傳感器、變換器的校準數據,或在物理量換算的其它與參數有關的系數形成校準數據。

2.2 原始數據

2.2.1 遙測格式的元素

脈沖編碼調制(PCM)遙測格式是指用來按比特、字、幀和格式等四個元素的層次來生成串行PCM遙測數據流的一種數據結構[5]。

1) 比特、字和幀

比特是一個取值為“1”或“0”的二元信息符號,亦稱二進制碼位,是PCM數據流中的最小單元,占有一位的時間間隔。幀同步字:用來傳送幀同步碼的兩個到三個相繼遙測字。識別字:航天器地址字、航天器上時鐘計數字、幀計數字、格式計數字等遙測字,均稱識別字,其數據均需固定在格式中所分配的位置上。

遙測幀是相繼的一組遙測字的有序集合。在串行PCM數據流中,每一幀總是由相鄰幀同步碼的起始點確定。一幀中所包含的遙測字的數目稱為幀長。對于一定的遙測格式,幀長總是固定的。副幀:若在格式的若干相繼幀的同一字位置,又安排相應路數的較低速率采樣遙測參數,則這些按幀相繼的遙測字(稱為副幀字)的有序集合,稱為副幀。一副幀中所包含的副幀字的數目稱為副幀長。

2) 波道、路

波道指的是遙測系統某交換子(如正交、副交等)中能單獨傳送一路信息的通道。某參數的波道號也正是從全幀信號中挑選它的依據。

路指的是某一被測參數的通路,通常占用一個波道(此時路信號與波道號相同),也可占用多個波道。

3) 主幀、副幀、子幀及同步碼

主交換子(時分割裝置)每采樣一周為一主幀。副幀指將主幀的一個時隙(一路)再分割成若干時隙(若干路),這些再分割路循環一周稱為一個副幀。副幀信號全部都采樣到,需若干個主幀。子幀為兩個子幀同步碼組之間的分割路循環一周稱為一個子幀。全幀,指的是彈(箭)上采編器將子幀、副幀的信號全部都采樣一遍稱為一個全幀。

2.2.2 原始數據來源

由于測量船的工況設計主要基于對衛星在軌后的關鍵事件來考慮的,推進劑排放一般在星箭分離后間隔數百秒開始進行,在推進劑排放的弧段,末級火箭所在軌道高度越來越高,測量船通視的時間較長。原始數據(包括PCM體制的數字量方式,PAM體制的模擬量方式及PACM混合體制組成的各種數據幀結構)接收時間一般從星箭分離數百秒開始進行,一條測量船單站積累的遙測原始數據比火箭發射到星箭分離之間積累的數據還要大。數據元素為遙測數據的USB遙測監控臺合并方式存盤格式[6],具體格式如表1所示。

表1 箭上遙測存盤格式

其中時間碼格式有接口板方式和網絡方式兩種,設備擇優選用其中一種。

表2 箭上遙測傳輸設備主要技術參數

原始測量數據是以速、緩變全幀群信號記錄的,信號需進行判別、分組和分路。首先需判別的是主幀同步碼和子幀同步碼,除了判別各同步碼本身是否正確外,還應判別相鄰兩同步碼之間的路間隔是否正確,以避免當參數碼與同步碼偶然巧合時而發生誤判。必須同步碼判別正確分路,否則會因路序錯誤,造成參數編碼值錯誤,這種情況造成的參數值錯誤是很難發現的。

分組和分路是在各種同步碼判別出來后,依所需處理的參數在主幀、副幀或子幀中的路序來提取。數據對應的時間,應按所取點的幀號或記錄號,提取對應幀號或記錄號的時間值,并按不同的精度要求進行路間采樣及電波延遲修正。

3 正則表達式在遙測處理中的應用

3.1 正則表達式定義

正則表達式(Regular Expression)描述了一種字符串匹配的模式,可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。正則表達式是由普通字符(例如字符a～z)以及特殊字符(稱為元字符)組成的文字模式[7]。正則表達式作為一個模板,將某個字符模式與所搜索的字符串進行匹配。一般用于文本的識別,其描述了一種字符串匹配的模式,可以用來檢查一個串是否含有某種子串、將匹配的子串做替換或者從某個串中取出符合某個條件的子串等。確定有限狀態自動機(DFA)是由下述五個元素構成的數學模型:

其中:S是有限的,非空的狀態集;∑是輸入字母表;δ是轉移函數。∑δ(s,a)=S′意味著:當現行狀態為s輸入字符為a時,將換到下一個狀態S′。稱S′為s的后繼狀態。

S0∈S是初始狀態;F∈S是非空的終結狀態集。

3.2 符號描述

表3是元字符及其在正則表達式上下文中的行為的一個簡單列表[8]。

表3 正則表達式字符描述

構造正則表達式的方法和創建數學表達式的方法一樣。也就是用多種元字符與操作符將小的表達式結合在一起來創建更大的表達式。正則表達式的組件可以是單個的字符、字符集合、字符范圍、字符間的選擇或者所有這些組件的任意組合。

3.3 算法研究

圖1 遙測原始數據預處理主流程圖

運載火箭遙測數據處理中原始數據是二進制字符串數據,可以視為廣義的文本字符串,通過Python語言讀入二進制文件以后,利用正則表達式實現對副幀、子幀的識別,對遙測數據流文件進行副幀、子幀統計,得出遙測數據的起始時間、結束時間,統計出丟幀段落等。如圖1所示。

遙測字由相繼的8個比特構成,是組成遙測幀的基本單元,亦稱“路”或“字節”。根據原始數據的幀結構對YCConst.py函數的內容進行修改以適應具體任務需求,內容如下:

YC_SUBFRAMELENGTH =104 # include Time code and ID code

# 子幀長度,長度包含遙測設備加上的時間碼長度和子幀ID長度,默認為104

YC_MAINFRAMELENGTH = 64 # 副幀長度(包含多少子幀),默認為64

YC_SUBFRAMESYNCODE='xebx90' # 子幀同步碼,默認為'xebx90'

YC_MAINFRAMESYNCODE='x14x6f' # 副幀同步碼,默認為'x14x6f'

YC_TIMECODETYPE='Network' # default is 'Interface'

# 時間碼接收類型(包括網絡方式或接口板方式),默認為網絡方式

YC_T0 = [1,0,2,2,0,0,0,0,4,6,3,0,0]

# 任務T0的B碼方式,下面表示第102天20時00分04秒630.0毫秒

由于多種原因,設備接收原始遙測數據包含許多無效的亂碼,為了保證每一個完整的副幀計數都是有效的必須通過其特征字來驗證。根據《遙測大綱》約定在幀結構中W(波道)47、W48、W71、W72的特征字為3F、1F、55、AA(F01變幀結構后W71、W72特征字為AA、55)。副幀同步碼為146F,子幀同步碼為EB90[9]。

具體程序如下:

# read onefile another

def readData (inFile, outFile, wordList, subFrameList, timeMin=-1,

timeMax=-1):

frameP=re.compile('(.{54}\?\x1f.{22}\xaa\x55.{22}\xeb\x90){63}.{54}\?\x1f.{22}\xaa\x55.{22}\x14\x6f',re.DOTALL)

ii = frameP.finditer(open(inFile,'rb').read())

f = open(outFile,'w')

上面函數中“(.{54}\?\x1f.{22}\xaa\x55.{22}\xeb\x90){63}.{54}\?\ x1f.{22}\xaa\x55.{22}\x14\x6f'”該語句只利用正則表達式的基本元素“.”、“(”、“{”、“”、“？”等字符,就實現了讀取完整全幀數據的功能。副幀結構(F01變幀結構后)如表4所示。

表4 副幀結構表

如表4中的副幀結構所示,在打開原始數據文件后,逐字讀文件,首先讀取任意54個字符(包括時間碼和ID計數),用語句“.{54}”表示,讀取1個任意字符,用語句“?”表示,如果第56個字符也就是W48的特征碼為1F時,用語句“\x1f”,繼續讀取任意的22個字符,如果第79和80個字符的特征碼為AA和55時,再往下讀22個任意字符,如果第103和104個字符的特征碼為EB和90時(子幀同步碼),就讀取到一個完整的子幀,用同樣的語句“(.{54}\?\ x1f. {22}\xaa\x55. {22} \xeb\x90)”讀63個子幀,如果第64個子幀的W95和W96特征碼為14和6F時(副幀同步碼),這樣就讀取到一個完整的副幀,將其計入文本,如果讀到的字符不滿足上面的條件將其跳過,繼續讀原始文件直到文件結束,圖2中繪制了某任務原始數據預處理丟幀情況的統計結果,從圖中可以看出使用此函數代碼有效地去掉了原始數據中無效的亂碼,通過對特征字的驗證避免了當參數碼與同步碼偶然巧合時發生誤判的情況,確保了錄取完整有效的副幀。由于識別幀結構的工作變成了正則表達式的模式,而這種模式存儲在配置文件中即可[10]。如果二進制文件格式發生變化時,無需改變程序邏輯,只需修改配置文件的幀結構模式。利用這種設計使得程序使用和維護極為方便,大大提高了遙測數據處理的速度。

圖2 某任務遙測原始數據預處理結果統計

4 結語

總而言之,用正則表達式解析文本數據文件具有高效、縮短開發時間的優點,能夠節省大量分析文件、根據復雜的條件提取有用數據的時間。在一個迅速發展的環境中仍會有許多傳統的數據可資利用,掌握如何構造高效的數據分析例程將是一種寶貴的技能。

通過幾次海上測控實戰任務的運用,正則表達式高效、方便的字符串模式匹配技術,將遙測記錄原始二進制碼數據進行分析,較好地解決了原始數據的預處理工作,解決了運載火箭遙測事后數據處理中的關鍵問題。

[1] 沐俊山.星箭分離后箭遙數據處理的特點和方法[C]//第十一屆全國遙感遙測遙控學術研討會,2009:47-53.

[2] 簡仕龍.航天測量船海上測控技術概論[M].北京:國防工業出版社,2009:84-99.

[3] 江文達.航天測量船[M].北京:國防工業出版社,2002:13-129.

[4] 劉利生.外彈道測量數據處理[M].北京:國防工業出版社,2002,2:225-318.

[5] 陳以恩.遙測數據處理[M].北京:國防工業出版社,2002:176-243.

[6] 李輝芬.船載設備測量數據處理結果的綜合分析方法[J].飛行器測控學報,2008,27(6):65-70.

[7] Jeffrey E. F. Friedl.精通正則表達式[M].北京:電子工業出版社,2007:230-254.

[8] 丁晶.基于正則表達式的深度包檢測算法[J].計算機應用,2007,27(9):2184-2187.

[9] 李信真,車剛明,歐陽潔,等.計算方法[M].西安:西北工業大學出版社,2000:99-126.

[10] 陳紅英,李輝芬.航天測量船角度系統誤差偏大問題的分析與解決[J].電訊技術,2011,51(10):71-75.

Telemetering Data Preprocessing Based on Regular Expressions

CHEN Hongying ZHANG Changming HE Jing HUANG Qiong

(China Satellite Maritime Tracking and Controlling Department, Jiangyin 214431)

Telemetering data preprocessing of carrier rocket handle is first appied in the ship for tracking and controlling. Aiming at the shortcoming of original telemetering data including many invalid disorderly code of the record data is very huge and need to preprocessing on the equipment of measurement ship in a short time, first the telemetering data preprocessing principle is introduced, the method of preprocessing is researched, finally the preprocessing mode is put forward to use regular expressions calculate original data from the huge data frames. In a short time, the work of data preprocessing is completed, processing efficiency is improved, and the key technique problem of telemetering data processing is solved.

regular expressions, telemetering, data preprocessing, measurement ship

2015年6月4日,

2015年7月26日

陳紅英,女,工程師,研究方向:數據處理與精度分析。

TP311

10.3969/j.issn.1672-9730.2015.12.036