基于計算機視覺的火箭噴管極性自動化識別方法研究

方藝偉, 王 冠, 易 航, 張 恒

(1.上海交通大學，上海 200240；2.北京宇航系統工程研究所，北京 100076)

0 引言

計算機視覺技術的發展推動了工業體系的進步，在諸如加工制造、產品測試等環節都可以看到計算機視覺技術的廣泛應用，由此可以替代傳統的需要人眼進行觀察判斷的工作，不但能夠降低人力成本，更能提高工作效率和穩定性。

噴管是運載火箭發動機上面的重要部件，主要功能是將火箭液體燃料燃燒產生的高壓氣體轉化成動能。運載火箭在發射升空過程中，通過各級發動機上所分布的噴管不同方向的擺動，調整箭體的俯仰、偏航和滾轉等飛行姿態和運動軌跡[1]。發動機極性測試是指在地面測試過程中，按照各級發動機的運動順序進行加電，使得每級的噴管產生擺動，由此觀測噴管的擺動方向是否符合預定方向，進而對噴管加電電極的極性正確與否進行判別。發動機的極性涉及慣性敏感器件、控制指令、伺服機構、噴管擺動一整套閉環控制流程，其中任何環節的極性都直接影響任務成敗，因此要在火箭發射前進行極性測試。

傳統情況下，火箭在發射前的地面測試的極性測試項中，主要依靠測試人員采用人工目測的方法進行現場判讀。但是一方面不同級的發動機位于不同高度的塔架上，另一方面某些擺動姿態下，噴管擺幅小、擺動速度快，這些問題給現場極性判讀帶來了很大的困難，測試有效性存在一定差距。因此研究出一種用于自動監測識別火箭發動機噴管運動情況的算法，將其結合與可視化軟件平臺，提高測試效率、覆蓋率，使得測試過程可追溯，用以保證測試的可靠性是非常有必要的。

本文利用目標檢測算法、光流法等視覺技術，結合發動機噴管在極性測試流程中的運動規律，設計出用于極性自動檢測的整套算法，能夠對噴管的運動姿態進行測量,并通過搭建前端視頻采集層、網絡圖像傳輸層、后端算法運算層、軟件展示層，形成硬件設備與軟件平臺相互協作、相互傳輸的系統。

在火箭噴管檢測的運動測量方面，張靈飛等[2]利用紅外攝像機捕捉預先置于噴管指定位置的紅外反光球的特征位置，以此判斷噴管運動情況。鮑文磊等[3]設計了模板匹配和圓擬合圖像處理算法，以單目視覺方法精確完成噴管擺角的估計。2012—2013年， Chen等[4-6]先后提出了一種基于立體視覺的火箭噴管運動參數測量方法，并且通過三角剖分和標定已知特征點的所有全局坐標，另外利用2自由度基于火箭噴管旋轉軸進行多視點測量，有效地提高了噴管運動參數和擺動量的測量精度。2015年， Qu 等[7]設計了一種基于單目視覺的測量系統，以幾何方法計算高速相機拍攝下的實時圖像，該系統可以進行高速、精確的噴管擺角測量。2019年，Cui等[8]提出了一種基于離散特征點的改進型立體視覺火箭噴管運動測量方法,建立了一個具有條件約束的噴管姿態間接調解模型，通過數學模型實現噴管運動參數測量。

利用計算機視覺測量火箭噴管運動量的研究，都是以一個或者多個高速攝像頭構建出視覺測量系統，在擺動坐標系中建立復雜的數學模型來完成噴管擺動角度等運動量的計算。這種方式的缺點在于噴管計算量復雜，難以在運載火箭地面極性測試時進行噴管運動的實時監測判別。另外測量所使用的高速攝像機機器較大，且每一套視覺系統只能監測一個噴管的運動，難以適應不同級發動機噴管的監測場景，不可能真正運用到實際的火箭發動機地面測試上。因此,本文利用市面上常用的小型監控攝像頭進行發動機噴管圖像的實時采集，同時融合近些年逐漸成熟的目標檢測技術對噴管目標進行確定，進而以光流算法計算每個噴管的運動情況，做到一個攝像頭對視野內所有待檢測噴管的測量判別。

從2012年Krizhevsky等[9]首次將深層卷積神經網絡AlexNet應用在大規模的圖像分類任務開始，深度學習和神經網絡在計算機視覺領域的應用開始飛速發展。近年來發展出多種經典的目標檢測算法，包括R-CNN系列[10]、SSD系列[11]、EfficientDet[12]等。其中,Redmon等[13]提出的YOLO(You Look Only Once)系列算法經過不斷地改進更新，目前已擁有4個版本的迭代。該算法的特點在于保證目標較高識別率的同時，大大提高圖像的檢測速度。YOLOv3[14]是該系列中運用最為廣泛的版本，但是網絡復雜度與模型訓練成本都較高，因此本文采用輕量級的YOLO骨干網絡——YOLOv3-tiny進行發動機監控視頻圖像中的目標識別。

對于火箭噴管運動量的測定，本文采用了Farneback[15]基于圖像恒定假設理論提出Farneback光流法，該方法屬于稠密光流法，相較于傳統稀疏光流法[16]能夠計算圖像區域中每個點的運動速度，從而計算出具體光流值，準確率更高。本文以目標識別算法確定火箭發動機噴管的具體位置，對于噴管區域采用Farneback算法精確計算噴管的相對運動量，在保證測量精確度的同時，實現多路監控攝像頭的實時極性監測功能。

1 極性自動化檢測系統結構描述

火箭發動機極性自動檢測系統，是一個需要對軟硬件進行協同工作的整體，如圖1所示，整體結構可以分成以下幾個層級：

圖1 極性自動化檢測系統層級框架

1)前端視頻采集層：該層由多個監控攝像頭組成，在每一級發動機附近布置數量合適的攝像頭，能夠清晰采集到每個噴管的全景圖像。由于火箭發動機噴管工作位置復雜，因此采用了無線通信模式，以WiFi信息傳輸代替傳統網線布線帶來的不便。攝像頭所連接到的無線網絡是由一個主路由器產生，并由多個子路由放大，形成的局域網絡。攝像頭的實時視頻流通過Rstp協議傳輸到主路由，完成前端的視頻采集。

2)網絡傳輸層：前端的視頻采集處與后端控制廳距離較遠，為了保證數據傳輸的實時性，在網絡傳輸過程中將視頻流信號轉化成光電信號，利用光纖通路傳輸至后端控制大廳。

3)后端算法運算層：視頻流信號傳輸到后端服務器中，作為目標識別算法和光流法運動量測量的數據基礎。同時完成運算之后，通過TCP/IP通信協議將圖像數據與計算結果傳輸到界面機器中。

4)界面展示層：該層由普通PC機構成，用于顯示整體的UI界面，進行系統運算結果和視頻流進行可視化展示。

2 極性自動識別算法設計

火箭發動機極性自動檢測系統中采用了目標識別算法、運動檢測算法、攝像頭控制算法相互融合，并由系統操作界面進行控制的方法。時間流程如圖2所示。

圖2 極性自動識別實現流程

在初始化階段，操作界面通過攝像頭控制算法向目標識別算法輸入當前攝像頭圖像，由目標識別算法判斷出當前有無噴管目標，若有則進行后續操作，若無則反饋至操作界面進行人工判別。在檢測階段，由光流運動檢測算法針對所識別出的噴管區域進行檢測，并將檢測結果反饋至客戶端，便于測試者在極性判別階段進行查看。

2.1 基于YOLOv3-tiny的噴管目標自適應識別

YOLO系列的目標檢測算法屬于單階段神經網絡模型預測算法，其優勢在于能夠快速對圖像數據做出判斷，更加適用于實時場景下的發動機噴管識別。

噴管目標檢測工作在后端算法運算層中完成，在每次開啟服務器中的后端程序時便將每一級噴管模型加載到內存當中，方便調取。初始化服務器計算線程時，以當前圖片作為測試集進行模型匹配，獲得每個噴管的定位框，作為計算區域，同時也通過TCP/IP通信協議反饋到界面展示層用于圖形渲染。

由于每次調用模型所識別出的定位框是后續光流運動量計算基礎，因此定位框的大小位置直接影響到測算精度。為了最大程度消除所訓練的模型對于不同場景噴管目標的識別誤差，在界面展示層設定了識別框手動校正功能，手動校準之后系統進行了以下兩方面的修正：

1)對于服務器和客戶機中的識別框緩存區數據進行更新，使得服務器端以新的方框區域進行光流計算，客戶端以新的識別框進行視頻圖形渲染展示；

2)調用前端視頻采集層所獲取的圖像以及新的識別框區域生成數據集，利用在線學習機制，在噴管識別模型的基礎上重新訓練模型，從而更新原始數據，將今后同樣的發動機場景記入模型中。

基于目標檢測方法所設計的在線學習自適應模型如圖3所示。該模型能夠將后端識別的目標信息反饋到界面展示層，同時能利用界面展示層標注新的數據信息用于后端的自適應模型訓練。

圖3 目標檢測與在線學習自適應模型

2.2 基于光流法的噴管運動量測量方法

光流法是利用圖形序列中各個像素點在連續時間域的對應關系，計算像素點運動的瞬時速度，從而計算出相鄰幀之間圖像運動信息的方法。

經過Δt時間間隔之后，點(x,y)經過移動之后亮度為E(x+Δx,y+Δy,t+Δt)，將該式進行Taylor展開后可得

E(x+Δx,y+Δy,t+Δt)=

(1)

Exu+Eyv+Et=0

(2)

式中，表示圖像中像素點灰度沿x，y，t方向的梯度，求解方程中的u，v值便是光流法的核心思想。

Farneback光流法是一種基于梯度求解的稠密光流算法，求解主要原理在于利用多項式近似得到待計算像素點的鄰域值。以二維變量表示E(x,y)圖像中像素點在待求解時刻的灰度值，并且以該點為中心構建的局部坐標系中，以2階多項表達式來近似表示E(x,y)的值

E(x,y)≈r1+r2x+r3y+r4x2+r5y2+r6xy

=xTAx+bTx+c

(3)

式中，x是一個表示待求解位置二維列向量，A為2*2的對稱系數矩陣，b為2*1的系數向量，c則為系數標量。接下來需要確定A，b，c這3個系數，Farneback光流法是通過取像素點(x,y)的2n+1個像素邊長的矩形區域作為鄰域，以加權最小均方值的方法去逼近計算該點附近一定區域內的像素灰度值，保證距離點(x,y)越近的點在計算中占據越大的權重，從而確定式(3)中的未知系數。

假設圖像中待求解中心像素點x在相鄰兩幀圖像中運動了距離d，該點灰度值由E1(x)變化為E2(x′)

E2(x′)=E1(x-d)

(4)

(5)

在得到第t幀視頻圖像的Farneback光流計算所得的位移列向量dt之后，需要用該值來測算噴管的運動量。對于火箭發動機噴管的運用場景，每個噴管都沿著固定方向運動，表現為只需取光流計算結果dt中沿x方向或y方向的分量作為測算依據。因此根據不同位置的識別邊緣框，設定第i個識別框中噴管運動分量選取系數為Ii。取x方向分量時Ii=(1,0)；取y方向分量時，Ii=(0,1)。故每一幀圖像所取得光流計算移動量dt為

dt=Ii·dt

(6)

在火箭發動機噴管極性檢測階段，將其所計算的光流移動值可視化，形成如圖4所示的光流場。本研究中的自動檢測算法在光流法基礎上，設計可用于噴管運動檢測方法，有效地克服了光線變化、非檢測物體運動帶來的噪聲影響。圖5展示了整體算法結構。在實際檢測過程，會由多余信息帶來光流算法的誤檢測，因此根據所處實際情況設置閾值T1，消除外界因素帶來的影響。根據dt的值確定第t幀視頻圖像的運動情況Q(t)的方式如下

圖4 發動機噴管光流運動場

圖5 基于光流的噴管運動測算方法

(7)

式中，若第t幀選定方向上運動量小于閾值，則Q(t)取0；若運動為正方向，Q(t)取1；運動為負方向，Q(t)取-1。Q(t)是判斷該位置噴管是否處于運動階段的重要依據，只有算法判別處于運動階段的光流值才會被記錄疊加，作為噴管的運動量有效值進入下一步運算當中。為了進一步減少非測量元素導致的累計誤差，以前frame_size幀圖像的運動情況C，作為噴管開始或結束本輪運動的依據，記為(t-frame_size,t)時間段內Q(t)的累加數據C

(8)

根據不同級發動機噴管的運動幅度，設定開始運動判定閾值為Tbegin；結束運動判定閾值為Tend，是否處于運動期間的標志位M的計算公式如下

(9)

式中，M=1,則表示當前噴管處于運動時間段內，其光流運算結果會被利用；若M=0則判定當前處于靜止階段，忽略光流運算結果。因此第t幀圖像中代號為i的噴管運動量Di(t)為

(10)

上述所闡述的噴管運動檢測算法邏輯如表1所示。對于發動機極性地面測試實驗，僅需獲取當前噴管的運動方向，將其與所加的電壓數據進行比對，判斷電極方向是否正確，因此將Di(t)進行單一累加即可。為了方便數據對比，通過先驗測試確定每個噴管最大的光流值，進行歸一化運算，將噴管運動量統一到[-1,1]這一區間內。

表1 噴管運動檢測算法偽代碼表

2.3 攝像頭硬件控制算法

火箭發動機極性自動檢測系統作為一個軟硬件互相協同的多層級框架，硬件控制和監控算法中涉及的硬件設備包括攝像頭、服務器、客戶機、網絡傳輸通路等，其中最為重要與復雜的是視頻采集攝像頭的工作狀態監測與參數控制。整體攝像頭控制算法如圖6所示。

圖6 攝像頭控制算法結構

開啟視頻測試，先通過ICMP協議檢查每個攝像所固定的IP地址的在線情況，只有檢查在線的攝像頭會進入后續視頻流獲取。未在線攝像頭則會每隔30 s再一次檢查其入網狀況，直至檢測到其接入當前局域網之中。

從前端視頻采集層中攝像頭所采集的視頻流通過Rtsp協議傳輸到后端計算的服務器中，且視頻流傳輸借助著無線網絡和光纖通路，因此會協議生效及網絡信號波動帶來數據傳輸延時。而Rtsp協議作為TCP/IP協議體系中一個應用層協議，在OpenCV框架的調用下是以TCP的傳輸層協議進行數據流傳輸。即為了保證每一幀視頻圖像的有效接收，沒有接收到的視頻數據流會被存于緩存之中，從而導致了前端視頻流獲取延時性的疊加和內存的臃腫。

為了解決這一問題， 在系統中設計了獨立線程，不間斷地從攝像頭獲取視頻圖像，保證了網絡傳輸層緩存區的最新圖像被服務器系統接收。同時開辟用于存儲視頻圖像的隊列，將最新一幀的圖像存入隊列中。每次更新隊列時會判斷其中是否為空，若不為空則先清空隊列，這樣保證了圖像緩存區中有且只有最新的一幀視頻流圖像，即減少內存占用，又有效解決了視頻流傳輸延時問題。

同時，在光流處理線程獲取圖像緩存隊列中的圖像時，引入計時機制，如果超過5 s沒有在隊列緩存區中拿到最新一幀的圖像，則判定該攝像頭由于故障或斷電等原因已脫離當前局域網。此時，會重新使用ICMP協議，每隔30 s檢查一次攝像頭的在線情況，直至其重新連接后，再次開始該攝像頭所屬線程的工作。

3 嵌入式軟件平臺開發

3.1 軟件功能架構

在以計算機視覺技術實現發動機極性判別、噴管擺角測算等功能的基礎上，結合自動化檢測中的各種需求，集成開發協調各種硬件的嵌入式軟件平臺。整體系統具備極性自動判別對比，測試結果可記錄、可追溯、可重復，測試流程觀看多樣化，攝像頭智能控制等功能。為了保證系統的穩定運行，又針對系統的容錯性和可靠性，對軟件底層邏輯進行了重構設計。

如圖7所示，火箭發動機極性自動測試系統軟件主要由主界面、視頻管理、組態播放、攝像頭控制這4個部分組成，各個頁面的功能如下：

圖7 嵌入式軟件平臺功能架構

1)主界面：主界面播放視頻時接收來自服務器的視頻圖像和噴管運動情況數據，當極性判別發動機噴管運動則會在視頻流的每一幀圖像上繪制運動信息。具體運動信息疊加輸出，繪制動態圖像，同時將運動信息反饋到輸出欄上面。在播放網絡視頻流時，將會保存視頻以便查看。另外主頁面設置有硬件及網絡情況狀態欄，實時顯示當前硬件及網絡信息。

2)視頻管理：視頻管理主要進行本地視頻文件顯示、本地視頻播放、視頻剪切等功能。并且可根據選取的視頻文件跳轉至其他頁面播，保證了測試結果的可重復性。

3)組態模式：設置了多種組合的播放模式，同時支持用戶自動調整每個視頻大小位置的自由播放模式，用戶可根據自身需求調節所播放視頻的位置與大小。

4)攝像頭控制：攝像頭控制部分通過SDK接口實現監控攝像頭的云臺調節，預設點設置轉入。同時支持每個攝像頭的分辨率、最大碼率、幀率等參數的更改功能。

3.2 軟件可靠性設計

火箭發動機極性自動測試系統軟件最主要功能是實現發動機極性監測流程自動化，因此針對各種測試中可能發生的突發情況或未可預料的問題，系統進行了相應的可靠性設計，最大程度保證其安全正常運行。

本系統在軟件平臺設計進行了兩個方面的特殊處理以達到可靠性提升：

1)功能優先級設計：對軟件架構進行重塑，定義功能優先級，在資源受限或局部資源崩潰的情況下優先保障核心功能的運轉。優先級依次為：測試視頻記錄功能、軟件前端渲染功能、實時視頻播放功能、實時數據曲線繪制、圖像識別算法、數據輔助判讀。

2)模塊多線程處理：將不同功能按模塊劃分，并進行最低程度的交互以降低相互之間的影響，各模塊擁有至少一個屬于自己的線程，以達到單個模塊崩潰不影響整體運行的效果。

4 火箭噴管自動化識別實驗結果

4.1 噴管極性識別結果

在運載火箭發射前所進行的發動機噴管極性地面測試中，控制中心會向各級發動機的各個噴管施加激勵電壓信號，由電壓信號驅動噴管發生相應擺動。每一輪的擺動都會產生相應的極性動作，根據火箭姿態調整方式，這些動作被區分為俯仰、偏航、滾轉，并以正負表示每種動作的方向。

以長征系列某型號火箭某發次的地面極性測試視頻、數據等為實驗基礎，通過算法分析得出噴管極性自動化識別結果。以一級發動機中4個噴管為例，極性識別結果如表2所示。

表2 一級發動機測試結果

每次完整的火箭發動機極性測試過程中，通過電壓驅動，每一級噴管都會完成正負俯仰、正負偏航、正負滾轉的6次姿態動作。同時每一次的姿態動作之后都會進行一次反方向運動，以確保噴管回歸零位。因此極性自動識別算法識別出12輪的動作，并且根據當前噴管所處位置判斷出該輪的具體動作。經過測試，通過本文提出的噴管極性自動化識別算法，能夠準確識別出一二三級的噴管運動情況，極性識別準確率達到100%。

為了進一步確定噴管極性自動化判別結果的準確性，借助控制系統所施加的電壓數據進行輔助判別。由于光流算法存在一定識別誤差，在噴管每次歸零時還會產生相應的零漂誤差，這種誤差不斷積累，導致光流累加值不斷產生偏離原始零位。經過測算，零漂誤差經過累加后，誤差值最大能達到最大擺角的36.8%，這將會給后續模擬角計算帶來極大誤差。

因此，在進行噴管每次回歸零位時，算法將會對光流累加值進行修正，從而避免零漂誤差的產生。零漂誤差產生于修正結果如圖8所示。

圖8 光流累加值零漂修正

將算法所處理的光流值與電壓數據變化對比，結果如圖9所示。

圖9 光流值與電壓數據對比情況

由圖9可以得出，算法所識別的噴管運動方向變化趨勢與電壓數據的變化一致。同時由于滾轉動作的動作幅度小，因此算法在該組動作上進行了一定程度的信號放大，能夠有效輔助地面測試人員的判別。

在實際測試中，為了能夠實時觀測到光流累加值與電壓數據的對比情況，將修正后的光流累加值和電壓值進行歸一化，形成模擬角與模擬電壓數據，一級發動機的4個噴管模擬角與模擬電壓對比情況如圖10所示。

圖10 模擬角與模擬電壓數據對比

4.2 噴管自動化識別效率

在火箭發動機極性自動化識別系統中，考慮到系統的安全性與識別的高效性，至少需要有8路攝像頭參與算法實時檢測之中，同時又要求每一路視頻流每秒處理不少于12幀的視頻流。為了進一步提高算法計算效率，本研究中采用了GPU代替CPU處理器進行光流計算，使得視頻流的處理效率有效提高。CPU與GPU光流運算時間對比如表3所示。

表3 CPU與GPU光流運算時間對比

由表3可以得出，經過GPU加速運算之后，光流計算速度提升為CPU運算的21.12倍。一路攝像頭每秒的最大處理幀數也由3.49幀提高為22.29幀，是原來算法處理速度的6.4倍。

同時，噴管自動化識別系統在多個方面進行改進：

1)運用并行技術降低攝像頭視頻流傳輸延時，將視頻傳輸延時由原來大于20 s，降低至5 s以內；

2)采用視頻流壓縮技術降低網絡傳輸壓力，服務端與客戶端之間的傳輸視頻流壓縮50%的數據量，使得主交換機中的數據傳輸量由8.6 Mbit/s降低至4.8 Mbit/s，有效減輕網絡負載情況。

5 結論

本文通過計算機視覺中的目標識別技術和運動檢測技術，首次實現了火箭發動機噴管極性地面測試的自動化。整體系統在完成設備部署之后，便可代替地面測試人員進行極性測試監控，具有高穩定性、低延遲性等特點。同時集成開發了一體化系統，使得極性測試過程數據得到清晰記錄，提高檢測效率的同時便于問題追溯。整體系統能夠實現8攝像頭同時運行，并且檢測效率不低于20 幀/s，同時具備極性測試可追溯、可復現等功能。

整體系統已在長征系列某型號火箭上進行搭載測試，結果表明，該系統能夠高效準確地完成極性判別任務，極性判別有效率達到100%，并以驅動電壓數據作為輔助完成輔助判別，促進了火箭型號測試向無人值守邁進。

在后續研究過程中，一方面將重點關注系統的可移植性問題，擴展噴管目標識別神經網絡模型的增強學習能力，使其能夠輕松適應不同火箭型號的測試任務;另一方面結合人工智能技術的發展，以適應性更強、檢測效率更高的深度光流神經網絡代替原有光流運動檢測方法，提高算法識別準確性，由定性的極性檢測提升為更精細的噴管角度定量測量。