AGV機器人多角度靜態識別圖像智能拼接方法

萬安, 朱婉儀, 樂年華, 胡皓月, 王超

(1.國網江西省電力物資有限公司,江西,南昌 330077;2.國網江西建設公司,江西,南昌 330001; 3.安徽繼遠軟件有限公司,安徽,合肥 230088)

0 引言

機器人技術在中國機械領域處于領先地位,是中國高技術水平的重要體現[1]。其中,AGV機器人是一種具有一定感知功能和行為自主性的機器人[2],它可以自行處理靜態圖像或拼接圖像。然而,由于技術的不完善,AGV機器人容易出現故障,導致拼接圖像不完整。為了解決這一問題,需要對AGV機器人多角度靜態識別圖像的智能拼接方法進行有效地研究。文獻[3]提出一種隧洞探測性自主式水下機器人及其圖像拼接方法,利用AUV機器人對隧洞進行探查和拍攝,采用基于加速穩健特征算法的AUV水下圖像拼接方法對拍攝的圖像進行處理,以此解決圖像噪聲嚴重和對比度低的情況,同時將上述算法與RANSAC算法相結合,應用于圖像中,對圖像中的特征點進行匹配。文獻[4]提出基于網格運動統計算法和最佳縫合線的密集重復結構圖像快速拼接方法,提取了重疊圖像的匹配點,利用GMS算法估算變換模型拼接圖像。文獻[5]提出基于改進SIFT的時間序列圖像拼接方法,簡化了圖像特征構造方法,從而產生特征描述符,增強了該算法的運算速度,在特征點配準的過程中引用BBF技術,再通過RANSAC算法對已經配準的特征點實行二次處理并對其拼接。

本文整合以往研究經驗,提出AGV機器人多角度靜態識別圖像智能拼接方法。首先對中心矩進行了歸一化處理獲得不變矩,利用不變矩提取靜態圖像特征;然后采用對數幾率回歸分類算法對圖像提取特征數據進行分類;采用最大似然法和梯度下降法完成圖像識別;最后通過AGV機器人將識別結果投影到矩陣中,將矩陣中的重疊圖像劃分成3個部分;通過多分辨率圖像融合算法和加權平均圖像融合算法對其進行融合,實現靜態圖像的智能拼接。

1 AGV機器人多角度靜態圖像特征提取

1.1 提取多角度靜態圖像特征

AGV機器人在運行過程中需要從多個角度采集靜態圖像,通過特征提取和圖像分類實現圖像識別。由于特征提取是圖像識別的核心,利用矩陣提取圖像特征。這是因為圖像在矩陣中進行位移、旋轉、展開等操作,仍能保持像素頻度平衡,特征不變[6]。

(1) 矩變換和不變矩

在各個圖像特征提取方法中,矩具有強大的不變性特點,即比例不變性、旋轉不變性等,因此,設f(x,y)為二維連續圖像函數,那么p+q階的原點矩陣方程定義如下:

(1)

式(1)中,mpq表示f(x,y)函數在單項式中的投影,xp表示p階的原始圖像,yq表示q階的去噪圖像,d表示常數。由此可見,mpq的值取決于f(x,y)函數。因為投影mpq并不存在圖像平移不變性,此時的p+q階的中心矩μpq定義如下:

(2)

在靜態圖像中,存在離散化像素點,對其求和,代替原有像素點,則投影mpq和中心矩μpq變換為

(3)

在靜態圖像區域R中,其灰度可以通過中心矩μpq來反映,其中,靜態圖像灰度是灰度重心的分布度量。此時,中心矩只有平移不變性的特點[7],為了獲取到其他不變性優點,需要歸一化處理中心矩,即ηpq=μpq/μ00,ηpq表示歸一化中心矩,γ表示度量。

歸一化中心矩ηpq可以構造出不變矩,且符合其余不變性的特點,同時,靜態圖像在不變矩中經過任何操作都可以保持原始圖像狀態。根據上述分析,導出p+q≤3的七個不變矩φ1-φ7,定義如下:

(4)

式(4)中的7個不變矩滿足任意圖像修改操作及多角度靜態圖像特征提取,具有較強的多角度不變性,同時也對離散圖像存在較好的魯棒性。

(2) 不變矩提取圖像總體特征

在上述不變矩公式中,不變矩的方程量巨大,需要計算的次數較多,導致在提取圖像的過程中應用時間較長,為了避免這種情況,采用Mk=|lgφk|作為不變矩,k=1,2,…,7,φk表示第k個不變矩。

1.2 圖像特征數據分類

通過對圖像特征數據進行提取后,需要對圖像特征數據進行分類,實現AGV機器人多角度靜態圖像的識別。

X=[C,O,S,C]=[C1,C2,…,CN,O1,O2,…ON,S1,S2,…,Sq,Ct1,Ct2,…,Ctq]

(5)

式(5)中,C表示圖像預判向量,O表示圖像靜態向量,S表示原型信度向量。

圖像特征數據訓練集N采用極大似然法對各類圖像中的參數rc進行估算,利用梯度下降法求取參數最小值,即

(6)

那么其最終識別圖像判定結果為

(7)

式(7)中,hLR(x)表示圖像最大置信度的類別標記,即圖像識別結果。

從圖像特征數據中提取樣本數據并進行訓練,獲取圖像特征向量,用最大似然法估計圖像中的參數,用梯度下降法得到參數的最小值,確定參數的最小值,得到圖像最大置信度的類別標記,從而完成圖像識別。

2 AGV機器人多角度靜態圖像智能拼接

2.1 多分辨率圖像拼接

通過AGV機器人,將上節圖像識別匹配結果中的圖像投影到變換矩陣中,矩陣內的重疊區域為待處理圖像,對其進行計算。對待處理圖像進行映射,并拓展重疊圖像,將其分成三部分,分別為一個縫合部分及兩個過渡部分,在縫合區域中找出最佳縫合線,對其進行融合,具體過程如下所示。

假設H表示兩幅圖像間的投影變換矩陣,對投影變換矩陣H進行計算,從中取得像素量,并對像素量進行歸一化處理,將其坐標系放到單位坐標系中,同時,利用差分運算法對圖形的重疊部分進行計算[9],通過動態規劃思想獲取圖像內的最佳縫合線,使用多分辨率融合算法對最佳縫合線進行拼接[10]:

(1) 首先,構建一個與AGV機器人多角度靜態識別圖像大小尺寸相同、且經過完整拼接后的模板圖像M,用0表示圖像縫合線左側區域,255表示縫合線右側區域,從而建立一個黑白圖像。

(2) 設置A和B分別表示待拼接圖像,首先對A、B兩個圖像進行擴展,擴展到與拼接后的圖像尺寸相同即可,而0表示擴展部分。

(3) 構建一個以高斯圖像GR為主的模板圖像R和待拼接圖像擴展后的拉普拉斯圖像LA、LB。

(4) 在每層對圖像進行融合,此時,融合圖像處理后的拉普拉斯圖像Lfusion的方程定義如下:

Lfusion=(GRl(i,j)Ll(i,j)+[255-GRl(i,j)]LBl(i,j))/255

(8)

式(8)中,l表示第幾層,(i,j)表示像素點坐標。

(5) 對拉普拉斯圖像Lfusion進行融合處理后,從最頂層對其進行差值擴展,同時,與下層圖像相加,重復此步驟,直到相加處理到最后一個層次的圖像,從而取得最終融合成功的圖像。

靜態圖像識別完成后,利用AGV機器人將圖像識別匹配結果投影到變換矩陣中,出現的重疊圖像可以劃分為縫合部分和過渡部分,采用多分辨率圖像融合算法和加權平均圖像融合算法分別對縫合部分和過渡部分進行融合,最終取得融合圖像,完成對靜態圖像的智能拼接。

3 實例測試與分析

為了驗證基于AGV機器人多角度靜態識別圖像智能拼接方法的整體有效性,需要對AGV機器人多角度靜態識別圖像智能拼接方法進行實例測試。

以TMR500-HB復合式AGV機器人為實例測試對象,其集移動平臺和機械臂于一體,可適配主流的機械臂,最大速度為0.8 m/s,導航精度為±10 mm,重復精度為±5 mm,且配置急停按鈕,如圖1所示。

圖1 TMR500-HB復合式AGV機器人

基于圖1,采用AGV機器人多角度靜態識別圖像智能拼接方法作為方法1(本文方法)、基于網格運動統計算法和最佳縫合線的密集重復結構圖像快速拼接方法作為方法2(文獻[4]方法)和基于改進SIFT的時間序列圖像拼接方法研究作為方法3(文獻[5]方法)進行有效測試。

(1) 為了驗證AGV機器人多角度靜態圖像拼接的精準度,采用方法1、方法2和方法3對不完整圖像進行拼接,拼接效果如圖2所示。

(a) 原始圖像

根據圖2可知,原始圖像A中的網格出現彎曲、網格線路不在同一條直線的情況,圖像不完整,所以利用3個方法分別對原始圖像A的彎曲網格進行拼接。其中,方法1應用后,其網格形狀恢復正常,網格彎曲情況消失;方法2和方法3應用后,兩種方法的拼接效果相同,沒有將彎曲的網格修正,由此可知,方法1的拼接效果要高于方法2和方法3,拼接圖像的精準度較優。

這是因為方法1采用不變矩對靜態圖像的特征進行提取,使圖像特征數據具有多角度不變性的特點,提升了靜態圖像的拼接效果。

(2) 選取100個靜態圖像,分別采用方法1、方法2和方法3對此類圖像進行有效識別,具體識別結果如圖3所示。

圖3 靜態圖像識別準確率對比

分析圖3可知,受到圖像增加的影響,方法2在測試后期出現波動軌跡不穩定的情況,其識別準確率時而上升時而下降,而方法3因圖像數量的增加,波動軌跡逐漸下降,識別準確率要低于方法1和方法2,方法1在測試期間并沒有因為靜態圖像數量的增加而降低識別準確率,反而呈現出緩慢上升趨勢,識別準確率始終在80%以上,可見方法1的識別準確率要優于方法2和方法3。

(3) 利用方法1、方法2和方法3對AGV機器人多角度靜態圖像進行兩個階段測試,分別為拼接時間測試和識別時間測試,設置時間限制為60 s,那么第一階段拼接時間測試如表1所示。

表1 3種方法的拼接時間對比

根據表1中的數據可知,在測試期間,方法1的拼接時間始終低于方法2和方法3,可見方法1的拼接速度是3個方法中最快的,最高僅為36 s;方法1和方法2在測試期間,拼接時間會隨著靜態圖像數量的增加而上升,反之方法3測試過程中,拼接時間不夠穩定,可見方法3的拼接速度低于方法1。

(4) 3種方法在第二階段對靜態圖像識別時間測試如圖4所示。

由圖4可知,三種方法在識別過程中,識別時間都在持續上升,但從總體上看,方法1的識別時間最低,始終低于20 s。同時,方法2的波動軌跡與方法1的波動軌跡差距小于方法3,方法2的識別時間僅次于方法1。

4 總結

為了提高多角度靜態圖像識別和拼接精準度,減少拼接和識別時間,本文提出AGV機器人多角度靜態識別圖像智能拼接方法。對AGV機器人多角度靜態采集圖像進行特征提取,采用對數幾率回歸分類算法分類提取的特征,完成對靜態圖像多角度識別;利用AGV機器人,將圖像識別結果投影到變換矩陣中,在變換矩陣中,對重疊圖像進行融合,取得最終融合圖像,實現對靜態圖像的智能拼接,解決了圖像拼接精度低、識別準確率差、拼接時間和識別時間長的問題,提升了AGV機器人多角度靜態識別圖像智能拼接方法的有效性、實用性。

但由于條件所限,該方法的圖像拼接時間降低得不夠明顯,如何進一步縮短拼接時間,實現實時拼接,可以作為未來的研究方向。