基于海天線檢測的無人艇晃動條件下視頻拼接方法

金 毅，崔愛蓮，嚴傳續，陶 衛，趙 輝

(1.上海交通大學電子信息與電氣工程學院，上海 200240; 2.白城兵器試驗中心，吉林 白城 137001;3.上海中船船舶設計技術國家工程研究中心有限公司，上海 200011)

0 引 言

無人水面艇（USV）作為海上最典型的無人智能平臺系統，正受到各海洋強國的重視。無人艇無人駕駛的實現需要艇上各傳感器系統的協同工作，其中光學傳感器作為最直觀反應無人艇所處環境的傳感器有著重要的作用和地位。為更直觀判斷無人艇周邊環境，方便操作人員觀察，需要提供大視場的圖像信息同時解決無人艇艇身的晃動問題。

普通無人艇配置的可見光光學設備通常為水平方向全自由度的遠焦鏡頭攝像機或超廣角乃至全景鏡頭攝像機。然而高自由度的相機需要人為干預，增加人工成本，廣角、全景鏡頭獲得的圖像需要考慮畸變，接近圖片邊緣的目標畸變嚴重，修正畸變會造成部分信息丟失[1]。為了實現整體超過180°的視場，本文研究3臺布置于無人艇上的相機圖像的無失真拼接方法。傳統的圖像拼接通常采用特征點匹配，圖像融合的方法[2]，其優點是魯棒性強，拼接效果真實，符合人眼觀察習慣；但理論復雜，計算量大，實時性差，因此不適于無人艇的硬件環境。本文采用實時性好的單應性映射方法拼接圖像以獲取大視場視覺信息[3～4]。不同于傳統的單應性圖像拼接工程需求，無人艇上的圖像拼接需要解決艇身不可避免的晃動問題。本文同時對圖像中的海天線進行檢測，并利用海天線方程實時修正圖像的晃動。修正后的圖像采用靜態單映性投影變換進行拼接。

1 無人艇在真實海況下的成像

船體為剛性目標，因海浪波動、運行速度變化、轉向等引起的晃動在空間坐標系中可分解為x，y，z3個方向上的分量，如圖1所示。船體沿各方向轉動均會引起相機光軸指向的變化從而影響成像。現設船體以各方向為軸產生的角度變化分量分別為θx，θy，θz；艇上搭載的一路相機光軸與xy平面平行，光軸與y軸所成夾角為θa。其中θz分量為無人艇主動改變行進方向所產生，故利用艇上搭載的加速度計可進行直接求解。

圖1 船體晃動分解示意圖

最終需要根據艇身以各坐標軸為軸產生轉動的情況求解相機光軸發生的角度變化。為方便計算，將空間坐標系轉換為球坐標系。艇身以某坐標軸為軸發生姿態變化時，光軸位置的變化可視為其與球面交點的空間位置變化。如圖2所示，求解船體以z方向為軸產生的晃動θz對相機光軸帶來的影響。

圖2 繞z軸旋轉示意圖

圖中，光軸與球面交點由D點變化到了D′點，∠DOD′=θz。 設D，D′坐 標 分 別 為D(x，y，z)，D′(x′，y′，z′)，在球坐標系中可計算得到：

同理可得到θx，θy分量對光軸坐標的影響：

設某相機光軸上一點P(x，y，z)繞x，y，z軸分別旋轉θx，θy，θz角度后，移動到了P′(x′，y′，z′)點。綜合式(1)～式(3)可計算得到：

2 圖像拼接

傳統無人艇配備的光學設備一般為單目球形相機，自由度為360°×270°，僅能起到監控作用。無人艇最終要實現無人駕駛，光學傳感器提供大視場是必要的。本文采用三路固定相機實時拼接獲取無人艇前方180°視場圖像。為提高實時性，放棄魯棒性強的基于特征匹配的圖像拼接方法[5-6]，采用基于單應性矩陣投影的圖像拼接方法[3-4，7]。

2.1 圖像單應性矩陣變換原理

平面投影方式是將其中一張圖片所在的平面作為參考平面，把其他圖像重映射到這個基準平面。

將空間某點坐標由相機1映射到相機2可遵從如下公式[8]：

此處H即為單應性矩陣，為得到點在相機平面的坐標變換可通過如下推導[9]：

如果給定一個單應矩陣H={hij}，乘以系數a得到的系數矩陣aH與矩陣H作用相同，因為新單應無非把齊次點x1變成了齊次點ax2，而ax2與x2對應的圖像上的點相同。所以一個單應中只有8個自由元素，一般令右下角的那個元素h33=1來歸一化。

求解歸一化后的單應性矩陣需要求解8個未知數。假設有兩個圖像上的點齊次坐標為[x1,y1, 1]T和[x2,y2, 1]T，帶入式(4)可得：

變換為等價的矩陣形式：

如果有4對不共線的匹配點對，方程組即可求得唯一解。

2.2 圖像映射拼接

圖3 平面投影原理圖

圖4 成像平面空間變化示意圖

如圖3中所示，需要將兩側的成像平面投影到中間成像平面上。以左側相機為例，以相機成像焦平面中心點為原點，投影平面法向為y軸，相機固定平面為xy平面建立空間坐標系，如圖4所示。船體平穩狀態下，相機成像平面記為L，相機光軸與L平面交于P點，OP于y軸夾角為θa，令OP=h，圖像兩個邊界的中點為A、B。船體發生晃動時，相機成像平面變換為L′，相機光軸與L′平面交于P′點，圖像兩個邊界的中點為A′、B′。圖像映射的平面記為M。相機光軸與M平面交于P′點，圖像兩個邊界的中點為A′、B′。M平面內選取 4 個不共線的點X1，X2，X3，X4，4 點在L′平面上的像點分別為X1′，X2′，X3′，X4′。將X1 與X1′，X2 與X2′構成點對，以此類推即可得到4組不共線的匹配點對。本文采用的相機物理分辨率為800×600，鏡頭視場角為66.9°×52.7°，相機光軸與y軸夾角為θa=60°。以此展開計算以減少不確定參數。計算過程如下：

P點空間坐標為(-0.866h，0.5h，0)。設相機根據公式(4)，可得p′的空間坐標為：

將p′坐標記為(xp′，yp′，zp′)，則平面L′方程為

設X1 坐標為 (x1，y1，z1)，X1′為直線OX1 與L′平面交點。X1′坐標為

同理可得到X2′，X3′，X4′的坐標。

保證圖像映射至M平面后尺寸不變，令映射后的圖像與中間相機圖像重合區域為5°以留有一定的容錯率。因匹配的特征點對可任意選取，獲取到θx，θy，θz信息后帶入式 (9)～式 (11)可算得X1′坐標。以點X1與X1′為例，X1在M平面圖像坐標系中的坐標可根據相機物理分辨率、鏡頭視場角和X1、A′、B′坐標計算得到。同理可得到X1′在圖像坐標系中的坐標。

2.3 晃動圖像修正

2.3.1 概率霍夫檢測原理

直線檢測僅需要圖像中物體的大致輪廓，為了提高時效性，一般會先對圖像做預處理。本文采用Canny邊緣檢測算子對圖像進行邊緣提取并二值化，與其他邊緣檢測算法相比，該算法具有低錯誤率、高定位性以及良好的抗噪性[10]。

2.2 單因素分析結果 nSLN轉移與陽性SLN數目(Z=-1.991，P=0.047)、原發腫瘤直徑(Z=-1.991，P=0.047)以及神經/脈管等淋巴結外浸潤(χ2=5.630，P=0.018)情況有關；與病理類型、組織學分級、激素受體狀態、是否多個病灶、人表皮生長因子受體2(HER-2)以及Ki67表達狀況無關。見表1。

二值化后的圖片即可通過霍夫變換提取直線。首先引入標準霍夫直線檢測，對于直角坐標系中的任意一點(x，y)，在極坐標系中表示過該點的任意直線方程為ρ=xcosθ+ysinθ。ρ，θ可認為是一對 Hough空間的變量。在此空間中，每一個直角坐標系下的點(x，y)都映射一條關于ρ，θ的正弦曲線。一條直線能夠通過在極坐標下尋找交于一點的曲線數量來檢測，如果越多曲線交于一點，就意味著該交點表示的直線由更多的點組成。通過設置相交曲線的數量可控制所檢測直線的長度。霍夫直線檢測原理如圖5所示。

圖5 霍夫直線檢測原理圖

標準霍夫變換本質上是把圖像映射到它的參數空間上，它需要計算所有的N個邊緣點，這樣它的運算量和所需內存空間都會很大。如果在輸入圖像中只是處理n（n＜N）個邊緣點，則這n個邊緣點的選取是具有一定概率性的，因此該方法被稱為概率霍夫變換(probabilistic Hough transform)[11]。該方法還有一個重要的特點就是能夠檢測出線端，即能夠檢測出圖像中直線的兩個端點，確切地定位圖像中的直線。

概率霍夫變換的一般步驟為：

1）隨機抽取圖像中的一個特征點，即邊緣點，如果該點已經被標定為是某一條直線上的點，則繼續在剩下的邊緣點中隨機抽取一個邊緣點，直到所有邊緣點都抽取完畢為止；

2）對該點進行霍夫變換，并進行累加和計算；

3）選取在霍夫空間內值最大的點，如果該點是大于閾值的，則進行步驟4），否則回到步驟1）；

4）根據霍夫變換得到的最大值，從該點出發，沿著直線的方向位移，從而找到直線的兩個端點；

2.3.2 海天線提取及圖片修正

無人艇理論允許行駛的海況等級為0～3級之間，行駛在2～3級海況水面上時船體便會有明顯的晃動，從而使得到的圖片內容產生明顯的偏移或旋轉。這會給操作人員帶來不適，同時會對視頻拼接帶來一定影響。由于判斷此類圖像是否在晃動情況下獲取的基準一般是觀察海天線的偏轉程度，故本文提出一種基于海天線檢測的圖像晃動消除方法。

在光學圖像中海天線是天空區域向海面區域過渡的由像素梯度極大值點形成的一條分界線，在不考慮海面曲率和光學畸變的情況下海天線是一條直線。若將船體的晃動在空間中分解為x，y，z3個方向上的分量，對海天線進行檢測可以消除x，y方向上的晃動分量。再配合艇上對z方向上的信息可較大程度消除船體晃動對圖像信息的影響。

國內外已有眾多學者提出了海天線的提取算法，Zou等[2]提出了一種基于剪切波變換的海天線檢測方法，該方法能夠提取邊緣的梯度方向信息并進行辨識。王博等[12]提出了一種基于梯度顯著性的海天線檢測方法，該方法能有效增強海天線的直線特征并抑制各種干擾因素。徐良玉等[11]提出的基于結構森林算子和Hough變換的海天線檢測方法可以有效地剔除云層、浪紋等對復雜海天背景下海天線檢測的邊緣干擾，實現高魯棒性、高準確性。以上算法在各自應用背景下都取得了一定的效果。本文采用Canny邊緣檢測算子配合概率Hough變換對圖片進行直線檢測。并針對海天線特征建立約束條件，計算得到圖片中最接近海天線的直線方程。

在實際無人艇獲取的圖片上進行Canny邊緣提取及概率霍夫變換，得到多條線段。通過對3 000幀無人艇獲取的環境圖片進行霍夫變換處理，經過統計對比，發現海天線具備一定的特征：

1）即使船體存在晃動，艇上光學設備相對艇身不會變動，因此獲取的圖像也存在一定的偏移范圍。在2～3級海況下行駛，圖像中海天線與x軸夾角在±8°以內；

2）海天線一般為圖像中最明顯的直線，通過概率霍夫變換得到的線段至少有兩條與海天線共線；

3）光線較強的圖像中，由于海浪的影響，霍夫變換會得到大量的干擾線，由于數量大也會有代表海浪的線段共線的情況，此時海天線所在的直線是最上方的直線。

結合上述特征，提出約束條件來提取海天線。在完成概率霍夫變換的圖像中計算所有線段所在直線的方程，剔除與水平方向夾角在±8°范圍外的直線。取定一條線段所在直線方程F(x)，對于另一條線段，其上兩端點到F(x)距離均小于等于2個像素，則認為兩條線段共線。通過最小二乘法擬合共線線段所在直線的方程。確定閾值L，當圖像中找到的直線方程數量小于L時則認為共線線段最多的擬合直線方程代表海天線。當圖像中直線方程數量大于等于L時則認為此時圖片中存在大量干擾，取直線方程截距絕對值最大的直線作為海天線方程。

前文已介紹了欲修正因船體晃動帶來的圖像平面變化，需要艇身在空間中3個方向的變化分量θx，θy，θz。若將海天線位置考慮為無窮遠，則θx，θy可通過光軸與空間y坐標軸平行的相機圖片中的海天線方程計算得到。光軸與y坐標軸平行的相機獲得的圖片中，海天線與水平方向的夾角即為θy，海天線豎直方向變化的距離可通過簡單計算得到θx。同一幀內，各圖片因曝光時間不同，進行圖片修正時采用的船體晃動角度是不同的。本文將船體幀間間隔產生的各方向轉動近似為勻速轉動。設光軸與y坐標軸平行的相機幀間間隔為t，光軸與y坐標軸成θa角度的相機幀間間隔為t′。則此相機對應的船 體 各 方 向 轉 動 分 量 分 別 為θx′=t′θx/t，θy′=t′θy/t，θz′=t′θz/t。再由公式 (4)計算并進行映射變換，可完成圖像晃動的修正。

取一幀內3臺相機獲取的圖片如圖6(a)所示。通過標定中間相機獲取的圖片中海天線位置，與船體平穩狀態下的海天線進行比對計算可獲取θx，θy的值。由于缺少θz信息，此處設為0。分別帶入式(9)～式(11)，計算得到單映性矩陣，完成拼接。拼接結果如圖6(c)所示。

圖6 拼接結果

3 實驗驗證與結果分析

為驗證本文海天線檢測方法的有效性，在太湖水域利用某型號無人艇采集海天線場景的光學圖像。3臺相機分辨率為800×600鏡頭視場角為66.9°×52.7°，曝光機焦距均為固定值，獲得 3 000 幀jpeg格式彩色圖片。將圖片作為測試樣本，將本文方法分別與霍夫直線檢測方法、Radon直線檢測方法進行性能對比和分析。硬件為Intel core i5 3.3 GHz CPU，4 GB內存。算法實現在Windows10系統環境下，采用python語言配合opencv圖像處理包。

當提取的海天線上的點距離真實海天線均在3個像素值以內時，則認為成功提取了海天線。各方法的海天線檢測結果如表1所示，根據該結果繪制柱狀圖如圖7所示。圖8展示了船體不同姿態，不同光照強度采集的具有代表性的3張圖片分別經霍夫直線檢測算法、Radon直線檢測算法及本文算法提取的海天線效果圖。霍夫算法在正常光照情況下表現良好，但在光照強度偏高的條件下，如圖8（c），圖8（d）中，因水面波浪影響，檢測到的干擾直線過多，情況復雜，很難篩選優化。算法平均耗時為11.24 ms，檢測率為67.2%。Radon算法主要針對圖像梯度信息進行計算，各條件下效果均良好；但由于算法復雜度較高，平均耗時為17.28 ms，檢測率為84%。本文算法基于概率霍夫變換進行改進，耗時要明顯優于傳統霍夫變換。且提取的目標為線段端點，更易進行優化，在光照強度較高的條件下具有良好的魯棒性。算法平均耗時為8.69 ms，檢測率為94.5%。

表1 海天線檢測實驗結果

圖7 實驗結果柱狀圖

圖8 海天線檢測結果比對

4 結束語

對無人艇上多臺相機進行視頻拼接，因艇身晃動及各相機獲取圖片的絕對時間不能嚴格同步，將導致拼接難度提高。本文提出一種改進的概率霍夫變換海天線提取方法。通過對海天線進行標定，計算相機姿態變化量。同時詳細分析了相機姿態變化情況下圖像單應性矩陣的計算方法，使用得到的單應性矩陣對圖像進行映射拼接，最終得到良好的拼接效果。通過與傳統的霍夫直線檢測方法及Radon直線檢測方法進行對比試驗，驗證了算法的優越性。