基于特征光流信息的空間非合作目標相對位姿估計

程文華，姚 紅，張雅聲

（裝備學院，北京 101416）

0 引言

1 光流計算基本原理

觀察物體運動時，物體在人眼視網膜上形成一系列連續變化的圖像信息稱為光流［13］。本文定義光流為空間運動物體在觀測成像面上的像素運動的瞬時速度，反映圖像灰度在時間上的變化與景物中物體結構及其運動的關系。

假設時刻t，圖像上（x，y）點處的灰度值為I（x，y，t）。在時刻t＋Δt，這點運動到（x＋Δx，y＋Δy）處，灰度值為I（x＋Δx，y＋Δy，t＋Δt）。由灰度一致性假設，有

對式（1）右邊進行泰勒展開，得

在之前的幾個月里，S2一直在惴惴不安地奔向它距銀河系中心最近的位置。這一過程讓我們重新認識了極端環境下的引力行為，也為我們研究銀河系大本營中的這個不可見怪獸的性質提供了線索。

式（3）中未知數有2個，方程1個，為求解光流信息，還須引入新的約束條件，由此產生了光流的兩種計算方法：H-S方法和L-K方法。

H-S方法強調光流的全局平滑性，引入平滑項約束，構造了歐拉－拉格朗日方程，并用高斯－塞德爾方法求解得到光流計算的迭代公式為

L-K方法強調局部的光流約束，引入一個權重矩陣W（i，j），求解得到光流為

本文以H-S方法為基礎，研究結合特征信息的相對位姿估計算法可行性。

2 光流信息的相對位姿估計算法

本文相機透視模型如圖1所示。圖1中：OC－XCYCZC為相機坐標系；OP－XPYP為圖像物理坐標系；OS－XSYS為圖像像素坐標系；OT－XTYTZT為目標坐標系。

圖1 相機透視模型與坐標系Fig.1 Camera model and its coordinate system

設目標飛行器上一點P＝［XYZ］T經透視模型所成的像p在圖像物理坐標系中的坐標為（xp，yp）；f為相機焦距，則由投影關系得

將式（6）轉換到齊次坐標系中，有

設目標坐標系相對OC－XCYCZC系的線速度和角速度分別為

則OC－XCYCZC系相對OT－XTYTZT系的線速度和角速度分別為－V，－W。由力學可得點P在OC－XCYCZC系中的速度為

展開有

式（7）兩端求導，可得

聯立式（10）、（11），整理得

式（12）反映了圖像光流信息、相對線速度和角速度間的關系。展開式（12）可得

式中：k1＝ωxvx；k2＝ωyvy；k3＝ωzvz；k4＝ωxvy＋ωyvx；k5＝ωxvz＋ωzvx；k6＝ωyvz＋ωzvy。

稱式（13）為光流方程，ki（i＝1，2，…，6）為光流系數。可發現，式（13）中有vx，vy，vz，ωx，ωy，ωz共6個未知數。但從光流方程來看，發現方程對vx，vy，vz是線性齊次的，即用光流方程只能求出相對運動線速度方向而不能確定相對線速度大小。因此，所求未知數實際只有5個。求解5個未知數需要5個獨立方程，至少需要5個點的光流信息，就可求得相對運動的角速度和線速度方向。

若目標相對相機只有平移無旋轉，即線速度不為零，角速度為零，則式（13）變為

由上述分析，只需兩個點的光流信息就能確定相對速度的方向。

若目標相對相機只有旋轉，則式（13）可寫成

易知，1個點的光流信息對應2個方程，2個點的光流信息有4個方程，足以確定目標相對相機的角速度。

求出相對運動和相對角速度后，還可估計同樣以k9為比例因子的相對深度

結合式（1）可得比例相對位置

3 仿真驗證

3.1 圖像序列算例

用Pov-Ray軟件生成一組目標飛行器圖像，像素大小為300×300，相機焦距f＝0.012mm。取其中兩張，對其進行光流分析，如圖2所示。圖2（a）、（b）為原圖，圖2（c）為由兩張圖像得到的光流信息（圖中的黑色矢量）。由圖2可知：得到的光流信息顯然足夠。為更好地利用光流信息，本文用特征點的光流信息求解光流方程，取Harris角點作為特征點。

圖2 目標飛行器圖像序列及其光流場Fig.2 Image sequences of the target vehicle and its optical flow

對原始圖像進行Harris角點提取，如圖3所示。忽略邊界點，所求角點二維信息見表1。

圖3 飛行器角點檢測結果Fig.3 Features of vehicle

將角點光流信息代入光流方程，解得相對角速度和相對比例線速度為：ωx＝29.251像素／幀；ωy＝33.505像素／幀；ωz＝1.766像素／幀；vx／vz＝0.077 4；vy／vz＝－0.068 6。將所求光流系數代入得角點的相對位置信息見表2。對角點的重構如圖4所示。

由此可見，基于光流信息不僅可獲取目標飛行器的相對角速度和比例相對位置，而且還能用于比例三維重構，有利于獲知目標結構特征，進而分析其載荷類型及功能。

表1 角點二維信息Tab.1 2-D information of features

表2 角點三維相對位置信息Tab.2 3-D relative pose of features

圖4 角點結構三維重建Fig.4 Structure rebuilding of features

3.2 單目視頻算例

基于單目特征光流信息的相對位姿估計過程如圖5所示。

圖5 基于特征光流信息的相對位姿估計過程Fig.5 Pose and altitude estimation based on feature optical flow

用STK場景生成飛行器的旋轉模型，并進行視頻采集，如圖6所示。設定角速度為1（°）／s，頻率為30幀／秒，f為0.012mm，像素大小為1 616×794。利用上述算法，對視頻進行分幀處理，得到分幀圖像，如圖7所示。

圖6 STK飛行器旋轉視頻圖像Fig.6 Circumrotate vehicle by STK

對相鄰的每兩幀進行光流計算和位姿估計，結果如圖8所示。將每相鄰兩幀的圖像處理后，可得實時的相對位姿如圖9、10所示。

由圖9、10可知：相對角速度大小維持在0.6×10－3rad／frame左右，換算可得相對角速度為1.031（°）／s，與理論值相近，在設定的角速度值附近振蕩，振蕩的原因主要是光流計算的全域性光滑約束會使某些點（像邊界附近）數據出現偏差，反映到方程中就會影響求解的精度，但誤差不大；相對比例速度分別保持在－0.4，0.3附近，其間出現了許多跳躍點，這同樣是由于存在某些點數據出現偏差。由此可見，利用單目視覺的特征光流信息可實時獲取目標飛行器的相對位姿信息，為后續的自主導航與控制提供支持。

4 結束語

圖7 單目視頻部分分幀圖像Fig.7 Images of single camera vedio

圖8 分幀圖像處理Fig.8 Processing of image

圖9 目標飛行器的相對位姿1Fig.9 Relative pose and altitude 1of target vehicle

圖10 目標飛行器的相對位姿2Fig.10 Relative pose and altitude 2of target vehicle

本文根據光流法基本原理，推導了光流法求解空間非合作目標相對位姿的模型。經仿真驗證，基于特征光流信息可實時獲取目標的相對位姿信息，拓展了光流法的應用領域，同時也為非合作目標相對位姿估計提供了新思路和解法。

［1］ Committee on the Assessment of Options for Extending the Life of the Hubble Space Telescope，National Research Council.Assessment of options for extending the life of the hubble space telescope：final report［M］.Washington：National Academies Press，2005：8-19.

［2］ 陳 震.圖像序列光流計算技術及其應用［M］.北京：電子工業出版社，2012.

［3］ GIBSON J J.The perception of the visual world［M］.Boston：Houghton Mifflin，1950.

［4］ ULLMAN S.The interpretation of structure from motion［M］.London：Proc R Soc Lond，1979：405-426.

［5］ HORN B，SCHUNCK B.Determining optical flow［J］.Artificial Intelligence，1981：185-203.

［6］ LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision：Proceedings of Image Understanding Workshop［C］.1981：121-130.

［7］ 陳王麗，李 濤，陳 喆，等.利用光流配準進行嫦娥一號CCD多視影像超分辨率重建［J］.武漢大學學報（信息科學版），2014，39（9）：1103-1107.

［8］ 介 鳴，黃顯林，盧鴻謙.使用多尺度光流法進行探月飛行器自主視覺導航［J］.傳感技術學報，2007，20（11）：2508-2512.

［9］ 黃 嵐，宋建梅，陳晉華，等.基于光流的無人機視覺導航：Proceedings of the 33rdChinese Control Conference［C］.2014：816-821.

［10］ 呂 強，倪佩佩，王國勝，等.基于光流傳感器的四旋翼飛行器懸停校正［J］.裝甲兵工程學院學報，2014，28（3）：68-72.

［11］ 孫 正，郁道銀，陳曉冬，等.基于光流法的冠狀動脈造影圖像序列中血管運動的估計［J］.工程圖學學報，2003，24（3）：83-88.

［12］ 胡覺暉，李一民，潘曉露.改進的光流法用于車輛識別與跟蹤［J］.科學技術與工程，2010，23（10）：5814-5817.

［13］ MITICHE A，AGGARWAL J K.Computer vision analysis of image motion by variational methods［M］.Berlin：Springer International Publishing，2014.