視頻電子圍欄技術在黃驊港門機自動化作業中研究

遲金生 李小陽 張亞飛

（國能黃驊港務有限責任公司 河北省滄州市 061113）

門機作為大型的工程機械裝備，其作業范圍廣，輔助人員多。一條船可能需要多臺門機同時作業，碼頭面上人員及設備眾多，因此保證作業安全是門機實現自動化的重要前提。門機自動化作業時，門機抓斗開閉不是由人控制，而是自動定位運行到料斗上方再開斗，如何保證機下人員和設備的安全，如何保證抓斗自動卸料時料斗周邊警戒區域內無行人或者車輛，成為一個關鍵的安全問題。因此，門機在實施自動化作業時對料斗周邊區域的警戒非常重要。當既定目標（行人或者車輛）進入或出現在料斗周邊警戒區域內時，系統應能識別并產生報警信號，從而暫停當前作業。

1 標定及坐標轉換

標定是視頻電子圍欄系統計算的先決條件，后期的坐標轉換和警戒區域設置都是以此為基礎的。標定的目的是計算出攝像機在整個空間中的位置，再根據物體跟攝像機的距離反算出物體在整個空間中的位置。

1.1 標定過程簡介

在我們的視頻電子圍欄系統中，機構末端并不是門機的最末端(象鼻梁末端)，攝像機安裝在第二層固定臺上某個點，該安裝點到門機中心點(即門機坐標系原點)的轉換關系即位轉移矩陣。該矩陣是不變的。本文檔中，在進行自動瞄盯時，將機構末端坐標系視為世界坐標系。

標定分為2 個過程，依次為：(相機內參/畸變參數提前標定，不在以下過程中)

從攝像機坐標系到靶標坐標系的轉換（Tc）；——外參

機構末端坐標系到靶標坐標系的轉換（Tg）。——靶標貼在料斗上已知位置，將抓斗和料斗正對上，料斗的位置即為抓斗當前位置，則靶標在Oe 中的位置可得。

1.2 坐標轉換關系

內參矩陣Tm、矩陣T6、從世界坐標系W 到圖像坐標系的轉換矩陣F，三者關系為：

F = TmT6

世界坐標系為(Xw Yw Zw 1)T，像素坐標系為(u v 1)T。不考慮相機的畸變。Tm 為3×4 的矩陣，T6 為4×4 的矩陣，F 為3×4 的矩陣。

1.3 旋轉矩陣

從世界坐標系到攝像機坐標系轉換包含旋轉矩陣R 和平移矩陣T。世界坐標系由X 軸，Y 軸，Z 軸組成，攝像機坐標系也由X 軸，Y 軸，和Z 軸組成。將世界坐標系繞Z 軸旋轉θ，繞X 軸旋轉φ，繞Y 軸旋轉ω 后與攝像機的三個對應的軸依次重合。

1.4 世界坐標系的選取

在進行自動盯瞄時，以大車旋轉中心作為的原點、大車行走正方向為X 軸、水平面上與X 軸垂直方向為Y 軸，垂直地面向上建立世界坐標系。

在進行防護區域設置時，以料斗左下角點在地面上的投影作為的原點、大車行走正方向為X 軸、水平面上與X 軸垂直方向為Y 軸，垂直地面向上建立世界坐標系。

1.5 自動盯瞄

在進行盯瞄初始化階段，會通過相機標定的方式，獲取球機在靶標坐標系下的坐標，也即可以知道球機的安裝高度、料斗左下角點位于攝像頭前方的距離、料斗左下角點位于攝像頭右方的距離。也即在不考慮攝像機旋轉的情況下，料斗左下角點在攝像機坐標系中的坐標。根據球機的安裝位置，可以知道攝像機在世界坐標系中的坐標。

1.6 防護區域設置

當大車移動或料斗有移動時，此時料斗可能不在攝像頭視野范圍內，需要對球機進行旋轉，也即進行自動盯瞄，通過控制球機PT 的形式，讓料斗處于攝像頭成像畫面的中央區域。然后再通過自動識別料斗四個角點的形式，生成防護區域。

識別到四個角點后，重新進行標定，進而獲取料斗的四個角點在像素位置，又由于相機的內參已知，四個角點的世界坐標系已知，根據PNP 計算，可以獲取外參矩陣。

又防護區域的四個端點的世界坐標系可以計算得到，于是可以獲取到防護區域四個端點的像素坐標。

2 警戒區域生成

標定完成，空間坐標確定后，計算機需對球機采集的圖像進行處理。要從圖像中提取出料斗、劃定出警戒區域。

2.1 自動盯瞄

自動盯瞄，就是讓球機始終對準料斗位置。

當大車或者料斗有移動時，料斗在球機的視野畫面中的位置會產生變化，為了讓料斗始終位于畫面中，需要對球機進行偏轉（水平方向和垂直方向）。

根據料斗相對于門機中心的位置、以及球機安裝位置相對于門機中心的位置，可以計算出料斗相對于球機位置的水平角度和垂直角度，然后使用球機的PTZ 控制，讓料斗處于球機畫面的中央區域。由于料斗相對于門機的位置變化不是很大，以及防止相機內參發生變化，球機在進行料斗自動瞄盯操作時，球機的縮放操作Z 不進行變動。

2.2 相機內參標定

料斗的四個角點的像素坐標，通過視覺算法，使用圖像檢測的方式獲取這四個角點的像素位置。記這四個角點的像素坐標為C1、C2、C3、C4。如圖1所示。

圖1：料斗的四個角點示意圖

首先將圖片由BGR 顏色空間轉換到HSV 空間，并通過顏色閾值分割和形態學膨脹腐蝕的方法得到二值圖，利用輪廓檢測得到整體的輪廓圖。 如圖2所示。

圖2：料斗輪廓提取示例

然后根據圖像的矩和相關的條件判斷可以得到料斗的輪廓圖，從而得到料斗的圖像。最后通過視覺的線性變換檢測等算法求取料斗的四個角點的像素坐標值。 如圖3所示。

圖3：料斗四角點坐標檢測示意圖

2.3 相機外參標定

靶標為料斗的四個角點，料斗四個角所在的正方形的某一條邊需要與大車行進方向平行。靶標坐標系的X 軸需與大車行進的正方向一致，靶標坐標系的Y 軸與X 軸垂直且與地面平行，靶標坐標系的Z 軸為垂直地面向上，靶標坐標系的原點為料斗四個角點中的坐下點在地面上的投影。進行警戒區域設置時，靶標坐標系即為世界坐標系。

又料斗四個角點在圖像坐標系中的像素坐標已獲取。根據料斗四個角點在圖像坐標系下的像素坐標，和世界坐標系下的坐標，使用OpenCV 提供的函數solvePnP 獲取世界坐標系到圖像坐標系的外參矩陣。

2.4 擴展區域獲取

擴展區域獲取分為兩個步驟，第一步為將料斗角點上的點投影到地面上，也即將其世界坐標系上的z 值設置為0，然后向外進行擴展并獲取在圖像中的像素坐標。

2.5 警戒區域生成

將料斗頂部四個角點投影到地面，得到四個投影點，記這四個投影點在世界坐標系下的坐標為W1,W2,W3,W4。將這四個投影點均向外擴展ParExt 米，記這四個擴展后的投影點在世界坐標系中的坐標為P1,P2,P3,P4.

然后將這四個點的世界坐標，帶入像素坐標系與世界坐標系的轉換公式，得到每個點的像素坐標。這四個點依次連接組成的四邊形便是區域入侵功能所需的入侵區域。

3 圖像處理

劃定出警戒區域后，計算機要識別出警戒區域內的特征物（人和車），從而起到電子圍欄的作用。

3.1 目標檢測

目標指的是人和車。通過圖像特征檢測的方式檢測出視野范圍內的人和車。

使用特征檢測的目的是為了剔除除人和車以外的目標引起的誤報警。若不使用特征檢測，而是使用當前畫面與背景畫面做對比的方式進行目標檢測，在作業過程中，可能會出現由抓斗、云朵影子、物料傾瀉過程中出現的灰塵、門機的影子等引起的誤報。

3.2 區域入侵報警

當有既定目標（人和車）進入或出現在料斗附近區域內時，產生報警信號，以及引起報警的物體在攝像機畫面中的位置、尺寸和類別。具體地，料斗區域附近是指料斗周邊一定范圍內。也即離料斗的距離小于指定參數ParExt 米的區域。目前暫定的ParExt 的值為2。

由于本方案采用的是視頻圖像處理的方案，實際報警時，指的是人或車的二維目標進入或出現在設定的區域中。既定目標部分進入或出現在入侵區域中也會觸發報警。進入的意思是目標由區域外面進入區域里，出現指的是初始時刻目標便已經在區域里。如圖4所示。

圖4：區域入侵示意圖

3.3 對報警的處理

當出現入侵報警時，應暫停當前作業。以防止事故的發生。

具體地分為兩種情況。第一種情況是抓斗移動到料斗上方準備開斗卸料時，此時若存在入侵報警，則不進行開斗作業；第二種情況是在開斗作業過程中，若出現報警，則停止作業或進行其他能夠減少危害的措施。

入侵報警時進行開斗作業可能出現的事故包含：物料濺撒到人的身體上造成傷害，物料濺撒到車輛上對設備造成損壞，濺撒的物料較多時將人或車輛掩埋等。當報警解除時，暫停的散貨的裝卸作業繼續進行。

4 結語

通過坐標標定、坐標換算、空間坐標生成、料斗盯瞄、警戒區域生成、目標檢測、報警處理等相關應用技術的聯系，在黃驊港6#門機自動化項目中研究應用，最終有效實現了電子圍欄技術。電子圍欄技術對于門機自動化的實現起到了重要的安全性保障，是對自動化項目中節約人工成本，提升設備運行效率的關鍵技術保障。該研究技術在其他自動化領域也起到極為關鍵的作用。