基于機器視覺的集裝箱鎖孔識別算法研究

宓為建,張志偉,宓超

(1.上海海事大學集裝箱供應鏈技術教育部工程研究中心,上海 201306; 2.上海海事大學物流工程學院,上海 201306)

基于機器視覺的集裝箱鎖孔識別算法研究

宓為建1,張志偉2,宓超1

(1.上海海事大學集裝箱供應鏈技術教育部工程研究中心,上海 201306; 2.上海海事大學物流工程學院,上海 201306)

隨著自動化碼頭的發展,集裝箱智能視覺系統開始廣泛應用.提出了一種集裝箱鎖孔自動化定位識別方法輔助大型港口設備的自動化、智能化.該方法首先利用視覺圖像中的顏色特征定位集裝箱箱體位置和角件位置,然后通過邊緣檢測和霍夫變換精確定位鎖孔.經過廈門遠海碼頭的現場試驗,該方法在集裝箱鎖孔識別定位上不僅具有優秀的識別率,而且滿足了港口自動化的實時性要求.

集裝箱; 鎖孔識別; 機器視覺.

近年來,自動化集裝箱港口已成為全球港口的重點建設項目.港口大型工程機械設備也開始朝著自動化和智能化方向發展.在早期的自動化集裝箱港口,如上海港,橋吊設備是由編碼器自動引導控制的,但是這種方式靈活性差且效率低下[1].相比之下,目前的橋吊設備更加智能化,越來越多的研究學者和工程師也開始通過不同的方式來使港口設備變得更加靈活高效.

隨著機器視覺技術的發展,越來越多的研究人員和工程師使用機器視覺方案來滿足自動化港口的需求.Mi等應用圖像處理方法解決了港口工作人員的安全問題[2];SHAPIRA和YANG運用機器視覺系統改善了橋吊起重機的操作[3-4];PENG也研究了基于機器視覺的起重機操作改善[5].這些都是運用機器視覺系統來跟蹤和改善起重機的操作,許多研究都集中在起重機的輔助功能上,如人員的安全性和輔助操作,而其他研究則集中在起重機的自動化上.SANO等提出一種基于機器視覺的防擺控制方法[6];PARK則開發了基于圖像處理的集裝箱起重機自動著陸系統[7].這些都是運用機器視覺系統跟蹤大目標,對于快速跟蹤和定位形狀小而關鍵的目標仍難以用視覺系統來解決.對于全自動化集裝箱碼頭,集裝箱附件設備的識別對于大型機械設備的自動化非常重要,但目前卻鮮有研究.

因此本文提出了一種集裝箱鎖孔的識別定位方法來定位鎖孔的精確位置,該方法首先利用顏色特征定位集裝箱位置,然后在箱體角件圖中進行邊緣檢測和霍夫變換識別以精確定位鎖孔.本方法在集裝箱鎖孔識別定位上不僅具有優秀的識別率,而且滿足港口自動化的實時性需求.

1 集裝箱箱體定位

港口裝卸工作中采集到的集裝箱圖像通常背景較為復雜,直接識別鎖孔難度較大.因此,本文首先利用集裝箱與背景的顏色差異分割出箱體圖像.

1.1 HSV顏色空間

在數字圖像中,最常用的顏色空間是RGB顏色空間,但RGB的空間結構并不符合人們對顏色的主觀判斷.本文采用的HSV顏色空間更加接近于人們對顏色的主觀認識.H,S,V表示色彩、飽和度和數值.圖 1為集裝箱原始RGB圖像和變換后的H通道圖像.

圖1 集裝箱RGB圖像和HSV空間的H通道圖像Fig.1 RGB image and the H channel image of container in HSV color space

1.2 箱體定位

如圖 1所示,H通道顯示出圖像的顏色特征,從中可以看出集裝箱顏色與背景區別較大,箱體在整幅圖中所占比例也最多.基于上述原理,本文的集裝箱定位具體算法如下:

(1) 掃描H通道圖像,統計所有像素點的H值,得到頻次最大的顏色等級Hm.

(2) 根據公式1對H通道圖像二值化.

(1)

式中：s(x,y)為原H通道的圖像像素值;f(x,y)為二值化的圖像像素值；t為箱體的顏色值范圍.

由式(2)得到:

(2)

式中：Ni為像素值為i的點的個數;p表示H通道圖中箱體所占的最小比例,本文取p為0.3.去除離散噪聲點后,二值化效果如圖 2所示.

圖2 集裝箱圖像二值化Fig.2 Container image binarization

(3) 對圖 2進行x,y軸投影,并對投影曲線二值化,如圖 3所示,則第一個上升沿和最后一個下降沿為集裝箱的邊沿位置.

圖3 x及y軸投影結果Fig.3 Projection image on the x & y axis

(4) 如圖 4所示,通過投影曲線確定上下左右4個邊沿坐標,分割出集裝箱箱體圖像.

圖4 箱體定位結果圖Fig.4 Container positioning image

2 集裝箱鎖孔識別

由于港口集裝箱鎖孔附近色彩差異較小,而孔洞的明暗對比強烈，因此本文利用V通道圖像的明度特征來進行鎖孔識別.

2.1 直方圖均衡化

港口裝卸作業的光線復雜,晝夜的極端光照都會導致V通道圖像局限在一個很小的灰度范圍內,畫面模糊,嚴重影響鎖孔特征的提取和識別.本文首先對V通道圖像采取直方圖均衡化的預處理,降低光線的影響和計算量.

直方圖均衡化的基本原理是對像素分布較多的灰度值進行拓寬,對像素分布較少的灰度值進行歸并,具體算法如下:

(1) 將圖像各像素點灰度歸一化到0～1范圍;

(2) 計算圖像各灰度級中像素出現的概率分布h(ri),如式(5);

(3) 計算直方圖累計分布函數:

(3)

式中:sk表示均衡化后的灰度值;T(rk)為累計分布函數;nj是原圖中某個灰度級j的像素數量;j的范圍是0～k;N是圖像像素總數.

(4) 利用式(3)進行圖像灰度變換,并將得到的灰度級回復成原先范圍.

均衡化后的圖像更加清晰,細節部分更加明顯.

3.2 鎖孔定位

如圖5所示,y軸投影曲線的左右兩處的陷波在集裝箱原圖中對應角件的邊界位置.本文的鎖孔識別算法首先根據陷波位置分割出角件圖像再進行鎖孔識別,具體算法流程如下:

圖5 鎖孔初步定位示意圖Fig.5 Schematic diagram of hanging holes initial location

(1) 先利用均衡化后的灰度圖中的兩處陷波位置確定集裝箱下角件位置.

以右下鎖孔為例,鎖孔位于角件上.設下陷波位置為v2,即角件的高度.角件為標準件,比例λ固定,則其寬度為λv2.考慮到存在誤差,則由式(4)可以分割出角件圖像.

(4)

式中:x1,y1為角件分割圖的起始位置坐標;δ2,δ1分別為上下兩個位置的誤差量.

(2) 對角件圖進行canny邊緣檢測,并利用霍夫變換將原圖像空間(x,y)映射到參數空間(a,b,r)中進行圓形檢測.由于霍夫變換后的參數空間為三維空間,若直接搜索相當耗時,難以滿足實時性要求.本算法根據鎖孔角件的比例固定可以確定鎖孔的半徑的大小r=avi,則霍夫變換公式變為

(5)

式中：a為標準角件高度與鎖孔半徑的比例;v1為對應陷波的位置坐標.本算法半徑r可以直接確定在[av1,a(v1+δ2)]范圍內,減少了未知參數個數,降低了霍夫變換的空間維度,縮短了檢測時間,其最終檢測結果如圖6所示.

圖6 角件邊緣檢測Fig.6 Edge detection of corner casting image

(3) 最后將檢測結果返回原圖中,確定集裝箱鎖孔位置.

4 試驗結果和分析

在廈門遠海碼頭,該系統已經完成集裝箱裝卸作業區數個現場試驗,如圖 7所示.現場測試結果見表1，由表1可知：系統對集裝箱鎖孔的識別定位結果滿足實際要求.

圖7 集裝箱鎖孔識別的現場測試結果Fig.7 Field test result of container hanging holes recognition表1 試驗結果Tab.1 Test results

環境樣本數/個檢出并正確定位/個未檢出/個正確率/%檢測時間/ms白天5008693995.7%120夜晚5008255793.4%120

在現場圖像采集中,每個集裝箱僅需要檢測兩個下鎖孔.由于存在部分遮擋,鎖孔總數不足1 000個.根據表1的現場試驗結果,本算法在白天的識別率達到95%以上,在夜晚也達到了93%以上,具有良好的識別定位效果.檢測時間為120 ms,滿足港口的實際要求.

5 結論

針對目前港口快速跟蹤和定位形狀小而關鍵的目標的問題,本文提出了一種基于機器視覺的集裝箱鎖孔快速識別定位方法.該方法利用顏色特征定位集裝箱箱體位置,再定位鎖孔所在的角件位置,并通過邊緣檢測和霍夫變換精確定位鎖孔.該方法在白天和夜晚的識別率均達到93%以上,滿足了港口自動化的實時性要求.

[1] XIE Y,YAO Z Q,BAO Q F,et al.Design,optimization and simulation of automated and unmanned empty container yard of Shanghai International Port[C]∥ International Conference on Industrial Engineering and Engineering Management IEEM.12th International Conference on Industrial Engineering and Engineering Management,Beijing:China Machine Press,2005:1231-1235.

[2] MI C,HE X,LIU H,et al.Research on a fast human-detection algorithm for unmanned surveillance area in bulk ports[J].Mathematical Problems in Engineering,2014,2014:1-17.

[3] SHAPIRA A,ROSENFELD Y,MIZRAHI I.Vision system for tower cranes[J].Journal of Construction Engineering & Management,2008,134(5):320-332.

[4] YANG J,VELA P A,TEIZER J,et al.Vision-based crane tracking for understanding construction activity[J].Journal of Computing in Civil Engineering,2014,28(1):103-112.

[5] PENG K C C,SINGHOSE W,BHAUMIK P.Using machine vision and hand-motion control to improve crane operator performance[J].IEEE Transactions on Systems Man and Cybernetics-Part A Systems and Humans,2012,42(42):1496-1503.

[6] SANO H,OHISHI K,KANEKO T,et al.Anti-sway crane control based on dual state observer with sensor-delay correction[C]∥ Advanced Motion Control,2010 11th IEEE International Workshop Piscataway:IEEE,2010:679-684.

[7] PARK D,PARK S,BYUN S,et al.Container chassis alignment and measurement based on vision for loading and unloading containers automatically[C]∥ International Conference on Hybrid Information Technology，Piscataway:IEEE,2006:582-587.

Study oncontainer hanging holes recognition algorithm based on machine visionMI

Wei-jian1,ZHANG Zhi-wei,MI Chao

(1.Container Supply Chain Tech .Engineering Research Center,Shanghai Maritime Uinevrsity Shanghai 201306,China;2.School of Logistics Engineering,Maritime University,Shanghai 201306,China)

With the development of automation terminal,intelligent container vision systems have been widely used in automated ports.This paper proposes a container hanging holes recognition algorithm for the large intelligent automation equipment in port.This method first locate the container and the corner casting position in the container images by color features.Then the container hanging holes can be recognized by edge detection and Hough Transform.The field test results of Xiamen Ocean Gate Container Terminal show that this proposed method can meet the actual demands of automation terminal with better recognition rates and real-time performance

container; container hanging holes recognition; machine vision

宓為建(1956-),男,教授,博士生導師.E-mail:miweij@126.Com

TP 391.41

A

1672-5581(2016)05-0399-04