一種基于移動像機的大型結構件形變監測方法

劉煉雄，胡昌華，何川，周志杰，趙玉山

（火箭軍工程大學控制工程系，陜西 西安 710025）

一種基于移動像機的大型結構件形變監測方法

劉煉雄，胡昌華，何川，周志杰，趙玉山

（火箭軍工程大學控制工程系，陜西 西安 710025）

針對大型結構安全監測中測量設備多、分布復雜、價格昂貴等問題，提出一種基于攝像測量技術的移動式工業像機在線監測方法。通過不同視圖之間的極線約束關系推導運動平臺以及像機在不同時刻外參數的約束關系。利用簡單數據融合方法將像機運動外參數與運動軌跡解算的像機外參數進行融合，達到自動在線測量像機外參數的目的，從而解出標識點的精確位置，實現測量過程的自動化。實驗結果表明：提出的測量方法裝置簡單，精度較高，可以應用于大型復雜結構的在線形變安全監測。

全局測量；在線監測；極線約束關系；外參數

0 引言

攝像測量技術因其高精度、非接觸、實時性等特點被廣泛應用于國防武器試驗、交通運輸、航空航天、建筑施工等國防建設以及國民經濟各個領域[1]。其在大型設備安全監測領域中，根據工業像機所處的不同狀態具體可分為靜態監測與動態監測兩種技術。靜態監測即利用位置固定的像機對設備進行的實時測量[2-4]；動態監測即像機依托高精度運動平臺，在不同位置對物體表面進行圖像采集，并根據像機所處位置及所采集像點位置關系進行的全局標識點測量。

在工程應用中，考慮到不同大型結構件發生形變等安全隱患的實際情況不同，采用靜態監測方法對形變發生緩慢、尺寸大的結構件進行監測時，將會存在像機使用數目較多、系統搭建復雜、經濟性較差等不足。文獻[4]中利用組網測量技術進行監測過程中使用的像機數最多可達40個，雖能較好地對結構件實施高可靠性的安全監測，但同時也會大幅提高監測系統的復雜度和經濟代價。而基于移動像機的動態監測方法，雖然在測量過程中像機外參數會實時變化、不易求解[5]，且存在數據拼接較難、測量結果精度較低等問題[6]，但在考慮經濟性和監測效率的情況下，動態監測方法能較好地克服采用靜態監測方法存在的不足，因而在保證監測方法經濟高效的前提下，提高動態監測方法的測量精度在工程應用中將存在較大的研究價值。

針對上述提出的問題，本文通過像機移動過程中不同視圖之間的極線約束關系建立了對像機外參數進行實時求解的模型，并在考慮像機平臺移動速率和像機采樣幀頻對測量精度的影響后，提出了一種基于移動像機、可應用于大型結構件的在線形變監測方法。

1 問題描述

首先，建立世界坐標系W-XYZ、運動平臺坐標系B-XBYBZB、像機坐標系C-XCYCZC，圖像坐標系oxy，其中像機與運動平臺之間為剛性連接。如圖1所示，在測量目標表面布置適當標識點，并在標識點上進行二維編碼[7-9]，方便同名點精確匹配。單目像機在運動平臺上圍繞測量目標表面做可控運動。假設像機圖像采樣間隔周期內，目標形狀未發生任何變化，其中在ti與ti+1時刻像機所處位置變化如圖1所示（其中右圖為測量原理俯視圖），像機所采集公共目標點的世界坐標設為Pw（xw，yw，zw），其在相應時刻下的圖像坐標可分別設為pi（xi，yi）、pi+1（xi+1，yi+1），對應齊次坐標關系可表示為XW、Xi、Xi+1。

于是根據攝像測量原理，測量點Pw與圖像坐標點pi、pi+1的關系在齊次坐標系下可表示為

式中λi與λi+1為比例系數，K為像機內參數矩陣（主要包含像機圖像主點（Cx，Cy）、等效焦距（Fx，Fy），詳細可參考文獻[1]），Ri、Ri+1與Ti、Ti+1分別代表ti與ti+1世界坐標系轉換到圖像坐標系下的旋轉矩陣與平移向量，（R，T）可稱為像機外參數。相鄰時刻像機所處不同位置可以等價于雙目測量系統，根據攝像測量原理，聯立式（1）、式（2）可建立雙目交會測量方程，利用已知像機內外參數求解方程即可得到測量點的位置坐標，進而可得到測量點處發生的形變值。

圖1 測量原理示意圖

在進行全局測量之前，像機內參數可以進行離線高精度標定[10]，但像機外參數Ri與Ti會隨時間變化。如文獻[6]提出的方法雖然可以標定外參數，但是標定過程繁瑣，實時性不強，而且需要不斷移動平面靶標完成參數標定。因此為了滿足全局動態在線監測的目的，仍需解決以下問題：1）提供一定的約束關系對運動過程中的像機位置及姿態角進行高精度解算；2）對運動測量過程中的像機外參數進行實時更新，確保外參數準確穩定。

2 測量系統外參數約束關系

為實時求解整個測量系統的外參數（即測量像機在不同的采集時刻下像機坐標系與世界坐標系間的實時位姿關系），首先根據理想情況下可控平臺與世界坐標系之間的運動約束關系，初步完成任意時刻的系統外參數標定；其次利用像機不同采樣視圖間的極性約束關系，求解出像機相鄰時刻間的外參數約束，進而求解出系統外參數約束。最終將以上約束所得外參數進行簡單數據融合，即可得到高精度的系統外參數。

2.1 理想條件下測量系統外參數標定

在采集圖像相鄰時間內，不同位置的像機構成雙目系統，在全局測量過程中，存在許多等價雙目測量系統，在每個系統外參數求取過程都有一個標定過程，如果逐次進行標定則過程繁瑣。考慮根據運動平臺參數進行像機不同時刻外參數標定，從而達到自動標定任意時刻像機外參數的目的。

設世界坐標系、平臺坐標系、像機坐標系之間的齊次坐標關系分別為

聯立式（3）、式（4）可得世界坐標系與像機坐標系之間的齊次坐標關系為

由于測量平臺與像機剛性連接，所以從運動平臺坐標系到像機坐標系的旋轉矩陣RBC和平移向量TBC均視為固定值，可以采用輔助像機全視場標定法進行標定[1]。世界坐標系到運動平臺坐標系的旋轉矩陣RWB和平移向量TWB均隨時間ti變化，相應的參數可表示為RWB，i與TWB，i，因此世界坐標系到像機坐標系的旋轉矩陣RWC，i與平移向量TWC，i可表示為

在理想狀態下，根據平臺的運動軌跡參數即可求得RWB，i與TWB，i，帶入式（6）即可完成測量系統的外參數求解。

2.2 相鄰時刻間外參數約束關系

由文獻[11]可知雙目測量系統的兩像機基線距、光軸以及基線夾角誤差等都會對三維測量精度產生重要影響。本文采用運動平臺進行移動式全局測量，平臺由于安裝精度、運動摩擦等因素產生的外參數標定誤差成為影響測量精度的主要來源。

假設xi和xi+1分別為空間位置上某點相鄰時刻對應像點的齊次坐標，根據文獻[12]則有極線約束關系：

式中，F為基礎矩陣表示兩幅圖像間的極線約束關系，本文參考使用經典的8點算法[13]對基礎矩陣F進行求解。考慮到基礎矩陣F同時與本質矩陣E滿足以下關系：

式中[T]為由平移向量T定義的反對稱矩陣，對本質矩陣E進行奇異值分解可得兩次采集圖像時像機坐標系間的旋轉矩陣R和平移向量T，即：

當ti時刻時，式（5）可表示為

聯立式（9）、式（10）可得各時刻像機坐標系統一到世界坐標系下的關系式：

因此相鄰時刻間的世界坐標系到像機坐標系間的旋轉矩陣RWC，i+1，i和平移向量TWC，i+1，i可表示為

同時由式（10）、式（11）可得相鄰間隔時間內運動平臺坐標系間的旋轉矩陣R與平移向量T，其滿足以下約束關系：

于是將式（6）中所得測量系統外參數作為標定初值，然后根據式（12）中所得的相鄰時刻之間測量系統外參數約束關系對初值進行校準，從而實時得到移動測量系統的高精度外參數。

故在已知每個像點坐標以及測量系統外參數后，即可根據交會測量原理解得測量點的世界坐標，進而得到不同時刻間測量點處發生的形變值，完成對結構件的形變安全監測。

3 實驗驗證

為驗證測量方法的實用性，選取某儲油罐作為實驗對象，實驗過程中采用的設備為：HK-A5100像機（分辨率為2560pixel×2160pixel）、高精度運動平臺、棋盤格編碼標定板、計算機。

通過安裝在移動平臺的像機對被測量儲油罐的表面進行圖像采集，提取表面標識點，通過計算運動平臺的外參數（世界坐標系到平臺坐標系的旋轉角RWB，i及平移向量TWB，i），將解算得到的旋轉角RWB，i和平移向量TWB，i帶入式（6）得到測量系統的外參數RWC，i和TWC，i的同時，將其帶入式（5）即可解算出所測標識點的三維坐標。

具體實驗步驟如下：

1）標定像機內參數。將棋盤格標定板置于被測量設備的外表面，根據運動平臺軌跡，多次平行移動像機位置，以完成對標定板上標志點的圖像采集，最終解算出精度可靠的像機內參數。

2）根據測量目標規劃合適運動路徑、選擇像機視角等。由于本文在相鄰時間間隔進行圖像采集，等效于雙目測量系統。根據雙目測量系統的誤差來源，應盡量使兩次成像時的像機光軸保持平行；綜合測量目標的形狀限制，滿足標識點在像機測量景深范圍內時應使運動軌跡的弧度盡可能大，相鄰兩次拍攝時間間隔盡可能小。

3）控制平臺做規則運動。獲取像機在不同時刻的位置變化，求解相鄰兩次成像間隔之間運動平臺的外參數，并將其作為理想值。

4）相鄰時刻間像機外參數求取。根據第2節所述，由相鄰圖像間的極線約束關系可得任意時間ti至ti+1后，移動平臺坐標系先后位置間的旋轉矩陣R與平移向量T，進而可得到任意時間下像機坐標系與世界坐標系之間的轉換參數，最后根據第2節所述完成系統外參數融合。

5）測量點實際位置的求取。在獲得像機內參數（見表1）以及ti時刻像機外參數的情況下，通過線性交會法測量得到儲油罐表面標識點的三維坐標，并將所得三維坐標作為其初值，再利用光束法平差對所得初值進行優化，最終得到測量標識點的精確位置。通過求解相同標識點在不同時刻監測的數據進而間接測得物體的結構形變。

表1 像機內參數標定結果1）

考慮到運動平臺移動速率和像機圖像采樣幀頻對實際測量精度可能造成的影響，設置了一個圓柱形的實心標準件代替理想情況下的儲油罐結構（即未發生形變的儲油罐），并分別控制移動平臺在不同運動速率νi、控制像機在不同采樣幀頻fi下對標準件進行精度實驗。在使用光束法平差求解過程中，為保證同一標識點在相鄰采集圖像中出現次數盡可能多，首先保持采樣幀頻為3 frame/s，控制平臺在0.035～0.1 rad/s的速率范圍內運動，并將獲取的60個標識點位置數據與標準數據進行對比，所得測量誤差數據如圖2所示。保持平臺運動速率為0.06 rad/s，調節像機采樣幀頻在大于0.4 frame/s范圍內進行采樣，所得測量誤差數據如圖3所示。

由于在自然受載狀態下儲油罐結構形變發生緩慢，實驗以測量誤差相對較小的平臺移動速率ν= 0.065 rad/s、采樣頻率f=5.5 frame/s連續對儲油罐結構進行圖像采集，最終得到的10組數據基本保持不變，其中一組實驗數據擬合得到的被測儲油罐形狀如圖4所示。

圖2 平臺移動速率對精度的影響

圖3 像機采樣幀頻對精度的影響

圖4 測量結果擬合圖

圖中含有像機繞儲油罐一周采集到的60個標識點的位置，通過與所獲取的儲油罐標準數據對比可以發現，文章提出的移動式單目像機的三維測量方法理論正確，而且測量精度效果較好。為了定量地評估測量效果，現引入均方根誤差（RMSE）作為測量效果評估標準，具體計算方法為

式中（xi，yi，zi），（x?i，y?i，z?i）分別代表某點的實測位置與標準位置，計算得到RMSE值為0.1237，可以看出測量所得的精度較高，可以滿足大型結構的形變監測要求，可在工程實際中進行應用推廣。

4 結束語

通過不同視圖之間的極線約束關系建立運動平臺之間的運動約束關系，以重投影誤差點為目標函數，通過簡單數據融合方法將通過約束關系得到的運動參數與通過運動軌跡解算的運動參數進行有效融合，完成了移動式像機平臺的實時外參數標定與修正。實驗結果表明，該方法可以實現大型結構形變的動態全局測量，且使全局測量自動化程度明顯提高。但同時方法也存在以下不足：1）由于像機分辨率較高，受到幀率的影響，像機在移動過程中進行圖像采集時會產生一定的模糊，影響標識點匹配的精度，進而影響測量結果精度。2）本文采用固定位置標記標識點、固定時間進行圖像采集的方法，對標記點位置及相機采集圖像時間間隔要求較高，后續工作可以考慮采用圖像識別方法進行測量區域自動識別。

[1]于起峰，尚洋.攝像測量學原理與應用研究[M].北京：科學出版社，2009：53-55.

[2]于起峰，尚洋，伏思華，等.大型結構變形及形貌攝像測量技術研究進展[J].實驗力學，2011，26（5）：479-490.

[3]苑云，張小虎，朱肇昆，等.大型風力發電葉片變形的攝像測量方法研究[J].計算機應用，2012，32（增刊1）：114-117.

[4]苑云.大型結構形變的組網攝像測量方法研究[D].長沙：國防科技大學，2013.

[5]張小虎，邸慧，周劍，等.一種單像機對運動目標定位的新方法[J].國防科技大學學報，2006，28（5）：114-118.

[6]孫軍華，張廣軍，巍振忠，等.基于平面靶標的視覺測量數據拼接方法[J].機械工程學報，2006，42（7）：192-195.

[7]戴相龍.三維非接觸式測量中編碼標志的研究與應用[D].西安：電子科技大學，2014.

[8]楊根齊，湯寶平，蔣恒恒.基于圓環點的亞像素攝像機自標定方法[J].中國測試，2009，35（3）：107-109.

[9]張浩鵬，王宗義，吳攀超，等.攝像機標定的棋盤格模板的改進和自動識別[J].儀器儀表學報，2014，33(5)：1102-1109.

[10]ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis&Machine Intelligence，2000，22（11）：1330-1334.

[11]張劉，支帥.雙目測量系統目標相對位置誤差分析[J].紅外與激光工程,2014，43（增刊1）：116-122.

[12]張軍.視覺測量[M].北京：科學出版社，2008：146-152.

[13]HARTLEY R.In defense of the eight-point algorithm[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19（6）：580-593.

（編輯：李妮）

A large-scale structure deformation monitoring method based on mobile digital camera

LIU Lianxiong，HU Changhua，HE Chuan，ZHOU Zhijie，ZHAO Yushan
（Department of Control Engineering，Rocket Force University of Engineering，Xi’an 710025，China）

A online deformation monitoring method utilizing a mobile digital camera and floating plat based on video metrics is proposed to resolve problem that there exist excessive measure equipment and high cost.Firstly，the epipolar geometry inhibition among different views is used to compute the extrinsic parameter restriction of plat and digital camera at different time.Then，it is fused to the extrinsic parameters calculated based on the plat track and the camera extrinsic parameters can be measured automatic.Finally，the position of marker point is measurement under the intrinsic and extrinsic parameters during different time.Experiments show that the proposed method has the advantage of simple measurement device and high precision，and it can be applied into online deformation monitoring for large-scale structure.

globalmeasurement；on-linemonitoring；epipolar geometry inhibition；extrinsic parameter

A

1674-5124（2017）05-0011-04

10.11857/j.issn.1674-5124.2017.05.003

2016-11-15；

2017-01-09

國家自然科學基金（61573365，61370031）

劉煉雄（1993-），男，湖南婁底市人，碩士研究生，專業方向為大型結構形變的攝像測量。