龍門吊的360°環視影像

魯明

摘 要：隨著電子商務及基礎建設的日益發展，商品運輸、建材搬運的需求在不斷增長，對于工程車輛的需求也在逐步增大。龍門吊是碼頭上常用的一種貨物搬運工具，其載貨量大，操作靈活，但在復雜的作業環境中，由于車身龐大，僅僅依靠操作人員肉眼觀察很難確保車輛及操作人員的安全。360°環視影像技術是車輛輔助駕駛系統中的一部分，其主要采用六個攝像頭采集實時景象，接著經過圖像匹配技術與圖像融合技術，拼接出車身周圍的全景俯視圖，用以消除駕駛者的視野盲區，保障了駕駛過程的安全性及可靠性。

關鍵詞：龍門吊；環視影像；輔助駕駛系統；圖像匹配；圖像融合；

1引言

龍門吊是一種碼頭上常用的工程車輛，主要用于集裝箱、貨物的搬運。在實際作業中，由于工作環境復雜，車身龐大，駕駛員在行駛或作業過程中只能依靠后視鏡等設備肉眼觀察，導致視覺盲區的存在，因此機械設備和操作人員的安全難以得到保障。由于龍門吊的自身體積和重量大，一旦發生事故，往往產生嚴重的后果，對周邊車輛或是工作人員都具有一定的威脅，因此很多施工單位有明確的作業時間限制以及安全規范，但是還是有安全事故頻頻發生。據統計，中國每年發生的和機械設備有關的事故均超過10萬起，死亡人數超過兩萬人，穩居世界第一。因此，為重型工程車輛提供一種可行、可靠的輔助駕駛系統，保障生命財產安全是一項重要的使命。

本文基于全景視覺輔助影像系統，提出了龍門吊的360°環視影像技術，這項技術是工程車輛的輔助駕駛系統的一部分，其首先針龍門吊的實際參數，配備合適的攝像頭，并尋找合理的位置安裝攝像頭；接著通過攝像頭，進行龍門吊四周的實時圖像采集，并將采集后的圖像實時傳送到處理器；然后，將采集的圖像進行圖像匹配、圖像融合、圖像拼接等處理；最后將處理后的360°環視影像顯示在屏幕上。此項技術在圖像的拼接以及實時呈現都取得了良好效果，且算法實時性強、可遷性強，能適用于其他工程車輛，能有效改善工程車量的安全性能，并為建設無人碼頭和無人駕駛系統做出鋪墊。

2整體方案及流程

本設計在硬件上通過對龍門吊進行1：30的等比建模，并在龍門吊模型的前后橫梁上均勻安防3個攝像頭，共計六個攝像頭，俯視拍攝出六幅不同區域的龍門吊周圍的實景圖，并將圖像傳送至處理機，獲取圖像處理后的360°環視影像，實時呈現在監控顯示器中，供駕駛人員參考。

在圖像處理中，通過檢測特征點、描述特征點、匹配特征點、尋找映射矩陣、仿射變換、圖像融合步驟，實現針對龍門吊的360°環視影像技術。

3 360°環視影像的圖像匹配算法設計

圖像匹配是全景圖像融合算法中較為關鍵的問題，圖像匹配算法的優越性將會直接影響到后續圖像融合的效果。圖像匹配的定義是將對同一場景，在不同角度或是不同情況下拍攝的圖像進行處理，尋找到特征匹配點，并將待拼接的圖像變換到同一基準圖像坐標下。

在傳統的環視影像系統中，由于所用的圖像匹配算法，其復雜度高，時效性不良，所以在嵌入式系統中存在許多問題，難以達到對圖像進行實時拼接的效果。傳統的環視影像系統中，主要使用的圖像處理的方法是標定兩個點，通過點來尋找縫合線的，接著將輸入的待拼接圖像分割為梯形，最后沿著縫合線將圖像拼接成一幅完整的融合圖像。但這種方法存在著很大的弊端，即拼接縫較大，對拼接后的圖像的美觀及視覺感官有影像。本文根據實際工程特點，將SIFT算法應用在全景環視影像系統的圖像匹配算法中，用以改善上述的時效性差、拼接縫大等問題。

3.1圖像匹配原理

圖像匹配被定義為通過一定的算法，在圖像中檢測特征點，并對特征點進行匹配與描述，接著在將圖像中找到其相對應的特征點進行匹配，從而得到待拼接圖像之間的位置關系。

圖像匹配的本質是利用圖像的空間與圖像的灰度信息，因此圖像匹配的實質是兩幅待測圖像之間的雙重映射。

假設I1 （x，y） I2 （x，y），分別為圖像I1，I2的灰度值，則I1 （x，y）， I2 （x，y）可表示為以下映射關系：

I1 （x，y）=g（f（I2 （x，y）） （4-1）

其中，g表示圖像灰度的變換，f表示圖像空間坐標的變換。由上式可以得出，圖像匹配的本質是找到最優的坐標變換f和灰度變換g，一般情況下，圖像匹配的過程只需要考慮坐標的變換，因此公式（4-1）可以減緩為下列形式：

I1 （x，y）=f（I2 （x，y） （4-2）

圖像的集合坐標變換可以理解為將待匹配的圖像變換到參考圖像的坐標系中，利用齊次坐標可以建立上述變換的關系表達式

（4-3）

3.2.SIFT匹配算法原理

尺度不變特征轉換（SIFT）是一種視覺算法，其算法的主要功能是圖像的對局部特征進行描述。具體的描述的方式是通過在尺度空間中尋找極值點，接著提取極值點位置、尺度和旋轉不變量。1999年British Columbia大學David G. Lowe教授對當時存在的基于不變量的特征提取方法做出總結，正式提出了此算法，并于2004年加以補充完善。該算法首先在待匹配圖像中提取特征點，然后對特征點進行特征描述，最后比較兩方特征點，找出匹配對，建立對應關系。

綜合以上，本設計在圖像匹配算法中，首先通過SIFT算法，進行特征點的檢測，對圖相中的每一個特征點賦予位置、方向和尺度等信息，其中特征點就是圖像上的擁有很明顯特征的像素點，比如明暗交界處，物體的邊緣等等。其次，為了將匹配圖像之間的特征點聯系起來，還要對特征點進行描述，算法中，上一步已經找到了特征點，但還不能確定兩幅圖像中的特征點是不是相同或者相似的，找到相同的特征點對圖像拼接有很大的幫助，這時就需要描述特征點，每個特征點都有自己的特性，如果兩幅圖中的某兩個特征點的描述符非常相似，那么就可以說這兩個特征點是匹配的根據上一步提取到的特征點來提取特征向量。最后需要對經過描述后的特征點進行匹配，找到兩幅圖像之間相互匹配的特征點。

4 360°環視影像的圖像融合算法設計

圖像融合被廣泛應用于圖像處理，其定義是對多幅含有相同信息或互補信息的圖像進行圖像處理，使圖像更符合人們的視覺習慣。在圖像融合的應用方面，這項技術涉及多個方向、維度和級別的處理，可用性十分強，如醫學掃描、智能識別、人工智能等。

對于龍門吊的360°環視影像系統，其通過六個型號相同的設想有進行初步的圖像采集，但由于攝像頭之間仍存在細小的差異，加上拍攝畫面的亮度等外界因素的不同，因此在采集的圖像中，仍會存在亮度、色彩等。因此，對于已經完成圖像匹配后的系統，仍需要采用一定的融合處理，以達到更精準、穩定的圖像視覺效果。

本設計針對實際問題，采用的是一種加權平均法的改進融合算法，這種融合方法是基于平均法融合算法的一種改。相比較于傳統的均值融合算法，加權平均算法采用的是對兩幅或多幅圖像先賦予權值，再根據權重進行圖像的融合及處理。該算法的融合原理可由下式表示：

（4-1）

對比與傳統均值算法，在改進算法的重疊區域像素灰度值的計算加入了權值w1和w2，此處的w1和w2分別表示圖1和圖2在重疊區域灰度值的權值，且滿足w1+w2=1，0

5仿真與分析

根據上述理論知識與程序步驟，實際仿真步驟與結果如下所示：

（1）分別通過六個攝像頭對龍門吊模型周圍的實時情況進行視頻的采集，并將視頻傳送至處理器。采集結果如圖6-1示：

（2）將融合后的視頻實時呈現在顯示器中，供操作人員實時查看，融合后的結果如圖6-3所示：