基于視覺識(shí)別的自動(dòng)抓箱系統(tǒng)分析及方案設(shè)計(jì)研究

張鋒鋒

（江蘇潤邦工業(yè)裝備有限公司，江蘇 蘇州 215437）

0 引言

智慧港口代表著未來港口的發(fā)展方向，目前科技的發(fā)展已經(jīng)在為“智慧港口”的建設(shè)在奠定基礎(chǔ)。根據(jù)《交通運(yùn)輸信息化“十三五”發(fā)展規(guī)劃》，全世界各大港口都在加速自動(dòng)化的升級，透過5G，物聯(lián)網(wǎng)，人工智慧，無人裝載等借以提高整體運(yùn)行效。隨著智慧港口建設(shè)的推進(jìn)，自動(dòng)化設(shè)備的發(fā)展也迎來了發(fā)展期。國內(nèi)外各個(gè)碼頭及碼頭整體方案解決的主機(jī)廠都逐步進(jìn)入了整個(gè)自動(dòng)化的研究及實(shí)施中。AI視覺系統(tǒng)逐步的進(jìn)入主機(jī)廠的視野。視覺系統(tǒng)的邊緣計(jì)算及識(shí)別要求也有傳統(tǒng)的2D模式逐步走向3D建模的形式，更加系統(tǒng)化，立體化的去讀取及識(shí)別實(shí)物。不僅僅在理想狀態(tài)情況下，這個(gè)是可以識(shí)別及實(shí)現(xiàn)功能，同時(shí)現(xiàn)場情況是復(fù)雜的，如深夜模式，地面識(shí)別顏色褪色，集裝箱有損壞，識(shí)別區(qū)域的大小等都會(huì)影響并需要調(diào)整識(shí)別算法適配需求，所以最終要具體場景進(jìn)行分析處理，通過大量的數(shù)據(jù)運(yùn)算及現(xiàn)場實(shí)際情況的自學(xué)習(xí)，來增加數(shù)據(jù)庫容量的積累，滿足各種極端工況的[1-2]。

1 視覺識(shí)別工作原理

隨著計(jì)算機(jī)/圖像處理等技術(shù)的發(fā)展，視覺技術(shù)的應(yīng)用也越來越廣泛。通過視覺（CCD攝像頭）來識(shí)別圖像的正確信息，實(shí)時(shí)讀取部件的特征參數(shù)，識(shí)別部件類型及所處的姿態(tài)。因此，視覺技術(shù)（CCD攝像頭）目標(biāo)識(shí)別和定位算法為研究方向，針對集裝箱的實(shí)現(xiàn)匹配技術(shù)和空間定位功能[3-5]。通過上位機(jī)的控制及邏輯命令，給出抓箱設(shè)備明確的大車，小車，及吊具的定位要求，設(shè)備自行運(yùn)行到制定位置，并且X，Y，Z三個(gè)方向的精度都控制在50mm以內(nèi)。然后通過視覺精確定位識(shí)別技術(shù)獲得準(zhǔn)確抓箱位置定位信息。并能夠有檢測功能，實(shí)時(shí)反饋給上位機(jī)吊具在X/Y/Z三個(gè)方向的實(shí)施位置，實(shí)現(xiàn)調(diào)整檢驗(yàn)功能，以達(dá)到精準(zhǔn)定位。原理見圖1。

圖1 定位流程概念

2 自動(dòng)抓箱方案設(shè)計(jì)

2.1 CCD攝像頭布置設(shè)計(jì)

通過在吊具的四個(gè)角上增加固定攝像頭，攝像頭一般為1080P的高清攝像頭。通常選取CCD攝像機(jī)，識(shí)別集裝箱鎖孔的相對位置。當(dāng)?shù)蹙呶恢镁嚯x下方集裝箱約3m時(shí)，拍攝下方集裝箱照片，通過分析圖片，找到集裝箱的4個(gè)鎖孔位置并計(jì)算與標(biāo)定位置的像素?cái)?shù)偏差，再根據(jù)焦距和拍照位置，計(jì)算出集裝箱相對于吊具的偏移量，為自動(dòng)著箱提供精確定位數(shù)據(jù)，見圖2。

圖2 CCD攝像頭工況示意圖

2.2 視覺識(shí)別控制邏輯

（1）上位機(jī)（RCMS）獲取來自集裝箱碼頭管 理 系 統(tǒng)（TOS）作 業(yè)執(zhí)行命令，發(fā)布抓箱的動(dòng)作指令，給出明確的排位，貝位，箱號的要求。

（2）上位機(jī)（RCMS）通過解析任務(wù)指令，給設(shè)備發(fā)出大車/小車運(yùn)行指令，并自動(dòng)運(yùn)行至指定位置，并確定位置精度要求不得低于設(shè)定值。如超出標(biāo)準(zhǔn)，反饋給上位機(jī)進(jìn)行自動(dòng)調(diào)節(jié)。

（3）小車到達(dá)指定位置，吊具下降一定高度，并且通過攝像頭識(shí)別集裝箱鎖孔的位置，實(shí)時(shí)讀出偏移量數(shù)據(jù)（X，Y方向），并且將數(shù)據(jù)反饋給上位機(jī)。

（4）上位機(jī)（RCMS）根據(jù)實(shí)施反饋的數(shù)據(jù)，判斷偏移量是否再符合在系統(tǒng)設(shè)定值范圍內(nèi)，符合偏移量設(shè)定值要求，給出抓箱指令進(jìn)行抓箱。

（5）不合符偏移量范圍設(shè)定值的要求，上位機(jī)根據(jù)反饋的偏移量使得設(shè)備自我進(jìn)行姿態(tài)調(diào)整。

（6）調(diào)整結(jié)束后，通過視覺讀取與集裝箱鎖孔的偏移量進(jìn)行檢驗(yàn)，直至符合要求進(jìn)行抓箱動(dòng)作。

（7）抓箱并閉鎖，吊具起升，并運(yùn)行至指定位置。

2.3 視覺識(shí)別邏輯

（1）將集裝箱堆場，集裝箱等基礎(chǔ)數(shù)據(jù)進(jìn)行三維建模，通過掃描堆場信息，集裝箱鎖孔圖片及信息，堆場劃線圖片及信息，提前進(jìn)行大量數(shù)據(jù)的自學(xué)習(xí)，積累數(shù)據(jù)庫。

（2）建立視覺識(shí)別技術(shù)下的3D坐標(biāo)系。CCD攝像頭讀取到3D坐標(biāo)值后，反饋給圖像處理單元并轉(zhuǎn)換成ASCII碼字符串?dāng)?shù)值，通過Profinet或CAN通訊協(xié)議發(fā)送給上位機(jī)，上位機(jī)收到ASCII碼字符串坐標(biāo)后，轉(zhuǎn)換成自己可以識(shí)別的的標(biāo)值，通過該坐標(biāo)值實(shí)現(xiàn)精準(zhǔn)定位。

（3）集裝箱鎖孔為標(biāo)準(zhǔn)件，集裝箱鎖孔的外形尺寸，圖像信息等，4個(gè)CCD攝像頭通過自學(xué)習(xí)的方法掌握了基本數(shù)據(jù)。將集裝箱的四個(gè)角的鎖孔分別定義為C1/C2/C3/C4，以便上位機(jī)可精準(zhǔn)接收到各個(gè)角反饋的數(shù)據(jù)。在吊具的下降過程中（即吊具距集裝箱相對位置3m左右），4個(gè)CCD攝像頭讀取吊具和集裝箱四個(gè)鎖孔的偏移量（X/Y方向的相對數(shù)值），見圖3。

圖3 偏移量讀取示意圖

（4）4個(gè)CCD攝像頭分別建立坐標(biāo)系：獲得集裝箱鎖孔視頻幀圖像，并處理轉(zhuǎn)換為二維矩陣，搜索矩陣中黑點(diǎn)同時(shí)結(jié)合自學(xué)習(xí)的鎖孔的外尺寸輪廓，當(dāng)有一堆黑點(diǎn)時(shí)，確認(rèn)中心點(diǎn)為坐標(biāo)原點(diǎn)。

（5）坐標(biāo)系如果未鎖定，發(fā)現(xiàn)的所有坐標(biāo)寫到幀圖像上。

（6）坐標(biāo)系如果有鎖定，將記錄鎖定時(shí)所有發(fā)現(xiàn)的坐標(biāo)及當(dāng)前幀的上一幀圖像發(fā)現(xiàn)的坐標(biāo)上，按照（4）中步驟步獲取當(dāng)前幀坐標(biāo)當(dāng)前坐標(biāo)計(jì)算出鎖定的坐標(biāo)的當(dāng)前坐標(biāo)，兩坐標(biāo)距離。根據(jù)當(dāng)鎖定的坐標(biāo)，當(dāng)前坐標(biāo)距離在上位機(jī)已設(shè)定的值內(nèi)，判斷為重合，鎖定的坐標(biāo)，當(dāng)前坐標(biāo)寫到幀圖像上；當(dāng)鎖定的坐標(biāo)，當(dāng)前坐標(biāo)距離超過原始設(shè)定的值，鎖定的坐標(biāo)，當(dāng)前坐標(biāo)，距離線，距離值寫到幀圖像上。

（7）圖像處理單元并轉(zhuǎn)換成ASCII碼字符串?dāng)?shù)值，上位機(jī)生成偏移數(shù)據(jù)量，X/Y方向的偏移值，需要再顯示器上顯示，并且將數(shù)據(jù)反饋給上位機(jī)。上位機(jī)根據(jù)參數(shù)設(shè)定判斷是否再可抓箱范圍內(nèi)，進(jìn)行動(dòng)作。

（8）需調(diào)整量=偏移量絕對值-設(shè)定值，同時(shí)在系統(tǒng)中需要設(shè)置正負(fù)值來區(qū)別偏移的方向。上位機(jī)再得到調(diào)整量的方向及值后，自動(dòng)進(jìn)行調(diào)整。

（9）當(dāng)需要完成疊箱時(shí)，吊具上帶著集裝箱，距離下層集裝箱高度約3m時(shí)，進(jìn)行低速動(dòng)作。4個(gè)CCD攝像頭需要完成對下層集裝箱外4個(gè)角的外邊輪廓進(jìn)行掃描，獲得集裝箱4個(gè)角外邊輪廓的視頻幀圖像，進(jìn)行處理，得出4個(gè)角的偏移量，反饋給上位機(jī)，控制系統(tǒng)給出指令及調(diào)整量進(jìn)行自我調(diào)整，直至符合堆箱調(diào)節(jié)，進(jìn)行自動(dòng)堆箱。

3 結(jié)論

智慧港口行業(yè)的推進(jìn)，除了傳統(tǒng)PLC控制行業(yè)的更新迭代，還需要軟件行業(yè)在工業(yè)控制領(lǐng)域，運(yùn)用大量軟件的運(yùn)算規(guī)則實(shí)現(xiàn)能源分析，工序優(yōu)化，任務(wù)分配解析等，優(yōu)化并加速自動(dòng)化行業(yè)的進(jìn)程。利用視覺技術(shù)，進(jìn)行大量的數(shù)據(jù)自學(xué)習(xí)，邊緣計(jì)算等，可以最大化的滿足港口設(shè)備自動(dòng)抓箱的功能，但是同樣需要克服設(shè)備自身震動(dòng)，集裝箱破損等客觀因素，在實(shí)踐中不斷的優(yōu)化邏輯運(yùn)算，優(yōu)化作業(yè)流程。