基于PTZ攝像機的行車吊鉤主動跟隨算法

朱 林，龍永紅，胡聰崴

（湖南工業大學 軌道交通學院，湖南 株洲 412007）

1 研究背景

隨著“中國制造2025”的快速推進，傳統工業正在向數字化、網絡化、智能化改進。冶金工業作為工業體系的一部分，更是我國其它行業發展的基石。冶金的特殊工藝流程，需要對各個階段的有色金屬進行大規模、高頻率地搬運，這使得智能物料無人搬運系統的應用具有重要作用。同時，優化智能物料無人搬運系統對冶金工業智能化具有十分重要的意義。

國內冶金工業現場的物料搬運系統，主要依靠人工交流指揮行車進行運輸，由于冶金車間工業生產的特殊性，人工交流方式常常會因為高噪聲、遠距離等因素而使得工人指揮行車信息不明確，易導致安全事故。因此，如何對冶金現場下的行車吊鉤進行主動跟隨是實現智能物料無人搬運系統的關鍵環節。目前，對于大規模冶金工業場景的無人搬運系統的自動化、智能化要求，其主流的解決方案是構建大量固定攝像機或者PTZ（Pan/Tilt/Zoom ）攝像機組成的多攝像機系統[1]，但是此方案的設備價格昂貴且復雜，運行穩定性較差，因此，采用單個PTZ攝像機主動跟隨動態目標的方法受到國內外學者們的廣泛關注。

PTZ攝像機主動跟隨系統，根據動態目標位置大小來控制攝像機的姿態和焦距變換，具體的解決方案主要分為動態目標圖像檢測和動態目標成像模型兩種。其中，動態目標圖像檢測是指利用數字圖像處理方法，從圖像或者視頻序列中分離出動態目標信息，再依據檢測結果實現后續攝像機的主動跟隨效果。由于本系統最終需要被應用于實際工業場景中，因此，對目標檢測算法的魯棒性和實時性提出了較高要求。同時，隨著PTZ攝像機主動跟隨下姿態角的變化，動態背景模型的更迭也加大了目標位置的定位難度。動態目標成像模型，是指利用攝像機標定技術建立動態目標成像模型，后續將動態位置坐標輸入成像模型中，最終計算出攝像機主動跟隨的姿態角與焦距值。其中，動態目標位置的獲取主要通過可編程邏輯控制器（programmable logic controller，PLC）或者全球定位系統（global positioning system，GPS）等定位設備進行采集。雖然此方案摒棄了上述目標檢測中的動態目標定位過程，但是需要建立PTZ攝像機的動態目標成像模型，這導致其中的攝像機內外參數標定成為主要的研究目標之一。

目前，國內外學者們對PTZ攝像機主動跟隨系統進行了大量的研究。其中文獻[2]提出了一種基于固定攝像機與PTZ攝像機的動態對齊，將其視場轉換為簡單的反正切控制函數的方法，以動態計算PTZ的控制參數。文獻[3]提出了一種智能高幀率目標跟隨算法，該算法能夠在復雜背景下同時檢測和跟蹤外觀變化目標，實現高速視覺的反饋控制。文獻[4]主要針對攝像機在不同視角下的背景變化問題，提出了一種在線校正PTZ攝像機內外參數的方法，實驗結果表明該方法可以實時跟蹤多個運動目標。文獻[5]提出了一種快速隨機森林方法，以預測攝像機的姿態角，且因該方法不需要進行圖像與圖像間的特征匹配，從而為新圖像提供了一種有效的校準方法。文獻[6]提出了一種通過跟蹤圖像中具有已知3D 位置的無人機來估計PTZ攝像機6 自由度姿態的技術，模擬實驗結果證明其能在短距離視覺跟蹤飛行后，定位其PTZ 參數值。文獻[7]將目標檢測和目標跟蹤相結合，并利用PTZ 模糊控制策略，實現了PTZ 對動態目標的主動跟隨效果。文獻[8]考慮到攝像機鏡頭的畸變問題，提出了一種簡單而有效的校準PTZ（傾斜/變焦）相機的方法，該方法只需利用兩張圖像的焦距、長寬比、主點坐標和失真系數等內置參數。

也有學者通過深度學習來預測攝像機姿態角的計算方式，此方法主要被應用于較為常見的固定場景中，比如足球、籃球賽場等。如文獻[9]提出了一種精確實用的多臺云臺攝像機直播校準方法。該方法對云臺攝像機系統進行建模，可以準確地預估模型中的未知參數。預估完成后，利用攝像機系統中傳感器采集的泛傾角和變焦值，可實時計算出準確的攝像機參數。文獻[10]提出了一種端到端的方法，可被用于具有挑戰性場景運動中的單運動攝像機校準。

此外，學者們提出了一些基于幾何圖形學來進行動態目標跟蹤的方法，主要包括背景差分法[11]、幀間差分法[12]、光流法[13]等。

雖然上述研究在各自的應用場景中均取得了較好的跟隨效果，但是對于進行目標的主動跟隨方面，還存在以下問題：

1）PTZ攝像機的內外參數矩陣隨著P、T、Z值動態變化，如何校準各參數，建立攝像機與運動目標之間的動態成像模型，尚需進一步研究。

2）當運動目標距離攝像機較為偏遠時，一般通過增加焦距值來獲得高分辨率的目標圖像，但主動跟隨效果受到P、T值的影響較大，故如何精準計算P、T值來增加算法的魯棒性尚需深入探討。

針對上述問題，本文提出一種基于PTZ攝像機的行車吊鉤主動跟隨算法，將攝像機的P、T、Z值作為模型參數值，建立PTZ攝像機與行車吊鉤動態成像模型，此模型無需進行離線標定。且針對適用高分辨率圖像進行跟蹤時易受攝像機P、T值影響等問題，課題組采用自動對準算法，進行二次計算P、T值增量，提高主動跟隨目標精度。

2 算法概述

本研究提出的主動跟隨動態目標算法流程具體如圖1所示。

圖1 主動跟隨動態目標算法流程圖Fig.1 Flow chart of the active following dynamic target algorithm

基于PTZ攝像機的行車吊鉤主動跟隨算法，主要是根據吊鉤的世界坐標，自動調整攝像機的姿態角P和T以及焦距值（Z）來進行主動跟隨。即當PLC采集到行車吊鉤的坐標后，首先計算吊鉤與攝像機的距離，然后由先驗信息選擇合適的Z值動態成像模型，以初步求解所需轉動的P、T值。由于機械間隙和PLC 通訊的延后性，初步求解的P、T值可能使得吊鉤不在圖像的中心位置處，尤其是在需要增加分辨率獲得高清目標圖像時，對攝像機姿態角的計算要求更加嚴格。因此，課題組分析了攝像機針孔模型的三角相似原理，利用自動對準算法[14]二次微調P、T值，使得目標回到圖像中心位置處。根據求解得到的P、T值，以及先驗信息選擇的Z值，調用PTZ攝像機內部接口函數，實現主動跟隨行車吊鉤的任務。主動跟隨吊鉤的前提是要實時獲取吊鉤的世界坐標，因此本系統同樣適用于裝有GPS 定位設備或者距離傳感器等的目標跟隨。

3 PTZ攝像機成像模型與標定

攝像機成像模型主要反映的是將三維空間點坐標轉化為圖像像素坐標的過程。相比于傳統的槍型攝像機，本研究采用的PTZ攝像機可以通過調整其旋轉（P）、傾斜（T）和焦距（Z）值來獲得多視角和多分辨率的圖像。因此，PTZ攝像機模型是一個隨著P、T、Z3 個參數動態變化的成像模型。在任意角度和焦距下，如何精確校準攝像機的內外置參數是實現主動跟隨功能的關鍵問題。對于內置參數的校準，文獻[15]利用不同的攝像機，建立了焦距值和變焦比例之間的不同擬合模型。文獻[16]還將鏡頭畸變系數建模為變焦比例的函數。對于外置參數校準，文獻[17]根據旋轉角度，推導出相對于原始位置的旋轉矩陣。在本研究中，課題組提出的PTZ攝像機動態成像模型，首先基于特征點求解初始狀態下（P=0、T=0）攝像機靜態內外置參數，后續通過軟件開發工具包（software development kit，SDK）反饋參數（P、T、Z值）計算攝像機的動態內外置參數值。

3.1 PTZ攝像機模型

本研究選用的PTZ攝像機模型類似于文獻[15]中的模型，其可表示為

式中：x和X分別為像素坐標和世界坐標，符號‘～’代表齊次坐標；Zc為尺度因子；R、T分別為旋轉矩陣和平移矩陣，稱為攝像機的外置參數；K為攝像機內置參數，反映攝像機內部物理特性，且

其中，α為像素長寬比；s為傾斜因子；fx=fdx、fy=fdy，其中f為攝像機的焦距，dx、dy分別為x、y方向上相鄰像素之間的物理尺寸；u0、v0為圖像中心位置的坐標值。

為了簡化PTZ攝像機的參數模型，課題組做出以下假設：

1）攝像機的主點(u0，v0）由圖像中心坐標點代替；

2）像素長寬比α=1，傾斜因子s=0；

3）攝像機旋轉中心保持不變，圖像坐標始終和光軸保持垂直。

3.2 內置參數估計

在上述假設條件下，內置參數矩陣K中只有一個動態參數fx與變焦值z相關。攝像機的焦距值一般隨著z的增加而增加，對于不同的攝像機，焦距的擬合趨勢也不同。為了計算不同z值下的焦距值，可以采用指數函數[17]或者二次函數進行擬合。其中，指數函數模型擬合焦距時可以寫成：

使用二次函數擬合焦距時，可以寫成：

式（2）（3）中：a、b、c、d為4 個未知參數，其值需要擬合得出，可以通過曲線擬合工具求解。

首先，通過估計整數倍的變焦值（zmin，zmax）來確定焦距值，對于兩個連續整數之間的變焦值，可以進行線性差值來獲得任意變焦值狀態下的焦距值。其中線性差值方法表達式為

通過對焦距值的擬合，PTZ攝像機的內置參數K可以表示為

3.3 外置參數估計

外置參數反映的是攝像機坐標系與世界坐標系的位姿關系。當攝像機位置固定后，平移矩陣即為定值。在本文當中，攝像機在安裝固定后與世界坐標系有一個初始姿態角，設為rx'和ry'，在經過水平（T）和垂直（P）方向的旋轉后，角度變為rx和ry。因此，旋轉矩陣R可以記為

式中：

上方的rx和ry可以由R3×3進行轉換，其中rij表示旋轉矩陣R3×3的第i行第j列中的元素，具體轉換如下：

3.4 攝像機標定

攝像機標定就是求解內置參數與外置參數的過程，標定精度會直接影響后續目標跟隨的準確性。在傳統攝像機標定方法中，一般利用高精度標定物已知的世界坐標和圖像處理得到的像素坐標間的對應關系，代入預先設定的攝像機成像模型中，使用優化算法求出攝像機的內外參數。由于可以從PTZ攝像機云臺中讀取P和T值，因此PTZ攝像機需要標定的參數僅為焦距值和水平、垂直方向的初始姿態角，通過構建目標函數迭代計算內外參數值。

4 主動跟隨動態目標算法

基于PTZ攝像機的主動跟隨動態目標算法，主要是求解攝像機的姿態角（P和T）以及焦距值（Z）來跟隨目標，其P、T、Z值的求解過程可分為PTZ攝像機動態模型初步求解和圖像中心自動對準的精確求解兩個過程。

4.1 PTZ攝像機的P、T、Z 值求解

由式（1）可知，攝像機的成像模型可以變形為以下形式：

式中：向量

其中t1、t2、t3為平移矩陣T中的元素，表示攝像機的世界坐標。

為了實現主動跟隨動態目標的任務，目標圖像坐標值（u,v）需要準確呈現在圖像主點位置，即u=u0、v=v0。則進一步可以得到：

由于方程組（1）屬于正定方程組，對于任意的動態目標點具有封閉解。因此可以求出目標的旋轉矩陣R后，通過式（7）求解PTZ攝像機水平和垂直所需的角度，即P、T的值。加上先驗信息估計的Z值，即可以實現主動跟隨動態目標的任務。

4.2 圖像中心自動對準

主動跟隨動態目標的精度取決于攝像機成像模型的準確性，在單倍焦距值下，上述求解的P、T值雖然有誤差，但是目標在整體圖像畫面中依舊呈現在圖像中心附近。當目標距離攝像機較遠時，則需要增加焦距值倍數來放大目標細節，此時求解P、T的誤差會使得目標偏離圖像中心處，因此需要自動對準來二次微調P、T值。

如圖2所示，q、Q分別為目標在攝像機坐標和圖像坐標下的點，由P、T的誤差導致圖像點q偏離圖像中心位置q′，其中q轉到圖像中心位置q′的水平轉動角度為ΔP，垂直方向轉動角度為ΔT。根據攝像機針孔模型下的三角形相似原理，可通過式（12）計算自動對準所需的角度。

圖2 自動對準算法原理Fig.2 Principle of the automatic alignment algorithm

綜上所述，當目標點的世界坐標已知時，可以根據攝像機的成像模型求解P、T值以及先驗信息估計的Z值，調用相關攝像機SDK 函數可以實現吊鉤的初步跟蹤。針對遠距離目標跟蹤點，增大焦距值倍數雖然可以獲取目標細節，但也放大了求解P、T值的誤差。因此本研究進行自動對準來二次微調P、T值，以期實現在較高倍數下的焦距值也能準確完成目標跟蹤任務。

5 實驗與結果分析

本實驗中，使用海康網絡攝像球機作為PTZ攝像機來驗證所提出主動跟隨算法的有效性，該算法在一臺配有內存為16 GB 的計算機上運行。算法得到的P、T、Z值通過SDK 返回給已經標定好的PTZ攝像機進行主動跟隨實驗，該實驗在真實冶金工業場景下對行車吊鉤進行實時主動跟隨，圖3所示為行車吊鉤跟隨實驗現場圖。實驗結果將包含PTZ攝像機標定的結果和主動跟隨行車吊鉤的結果。

圖3 吊鉤跟隨現場圖Fig.3 On-site image of the hook following

5.1 PTZ攝像機標定實驗

在攝像機標定前，需要將攝像機固定在車間某一位置處，并將攝像機視角設置在初始狀態下，標定參數主要為內置參數Z（fx，fy）和外置參數中旋轉矩陣R（P,T），通過棋盤標定[18]獲取PTZ攝像機的內外參數矩陣，棋盤標定及檢測效果如圖4所示。

圖4 棋盤及角點檢測效果圖Fig.4 Checkerboard image with its corner detection effect

實驗所得PTZ 球型攝像機內置參數求解結果如圖5所示。

圖5 不同Z 值下的焦距值變化Fig.5 Focal length values under different Z

實驗所得初始狀態下PTZ 球型攝像機的外置參數如表1所示。

表1 初始狀態下球型攝像機外置參數結果Table 1 External parameter results of the ball machine in the initial state

PTZ 內置參數中的fx和fy是關于Z的線性函數，單倍Z的焦距值約為1 750。旋轉矩陣R是初始狀態下攝像機坐標系與世界坐標系之間的轉換關系，在本實驗的換算中，選取歐拉角為P=25.0°、T=13.7°。當PTZ 改變其姿態角時，在其基礎上加上其增量便可以求得其旋轉后的歐拉角度數，即攝像機成像模型也隨之確立。

5.2 PTZ攝像機主動跟隨實驗

完成標定后，PTZ攝像機的動態成像模型即已經建立。為了驗證PTZ攝像機的主動跟隨效果，本研究隨機選擇10 個點位，每個點位距離攝像機約為10～20 m。具體的實驗數據如表2所示，其中P和T由式（1）計算得到，此過程為行車吊鉤初次進行跟蹤的姿態角。

為獲取吊鉤高分辨率圖像，提高焦距值的同時會使得吊鉤偏移圖像中心點，為此本研究通過自動對準算法二次計算其姿態角增量ΔP和ΔT，進行精準跟蹤行車吊鉤。其中圖6 顯示在各個點位下需要的增量ΔP和ΔT，在后續吊鉤跟隨過程中，取其平均值作為自動對準的增量值。

圖6 不同位點下自動對準增量ΔP 和ΔTFig.6 Automatic alignment increments ΔP and ΔT values at different locations

5.3 結果與分析

為了驗證所提出的基于主動跟隨動態目標算法的有效性，本文在某工業車間現場對行車吊鉤進行主動跟隨實驗，并用兩組實驗數據來驗證PTZ攝像機的控制結果，一組是采用攝像機模型下初始P、T值來控制攝像頭的轉動，另一組是經過自動對準算法微調姿態角的主動跟隨數據，所得跟隨效果圖像如圖7所示。由圖7 可以看出，標定后初次得到的P、T值雖然可以得到吊鉤的方位，但是不夠準確，尤其在提高攝像機的焦距后，吊鉤會逐漸偏離圖像的中心點。而當使用自動對準算法后，在原有的基礎上進行了攝像機姿態角的微調，吊鉤一直位于圖像中心處，可見顯著提高了吊鉤的跟隨效果。

圖7 自動跟隨效果對比圖Fig.7 Automatic following effect comparison diagrams

6 結語

目前，工業現場的視覺監控系統正向智能化、無人化轉型，PTZ攝像機的高分辨率、360°視角以及光學變焦鏡頭等優勢，使得它在智能監控系統中被越來越多地使用。因此，本文提出一種基于PTZ攝像機的行車吊鉤自動跟隨算法，該算法可以在行車作業人員進行遠程操作時，提供實時高分辨率吊鉤圖像，并且可以主動跟隨吊鉤，感知周圍環境。該算法首先需要建立PTZ攝像機的動態成像模型，其中包括內置參數隨著Z值估計以及外置參數隨著P、T值估計。對于PLC 采集得到的吊鉤位置，動態成像模型會給出相應姿態角的封閉解。針對高分辨率圖像，本研究采用圖像中心對準算法，二次計算姿態角的增量，以實現遠程吊鉤也能主動跟隨。主動跟隨算法的前提是要實時獲取目標的世界坐標，因此本系統適用于裝有GPS 定位設備或者距離傳感器物體的跟隨。由于所做工作有限，還有如下問題需要解決：

1）主動跟隨算法精度取決于PTZ攝像機動態成像模型，故攝像機鏡頭的畸變、抖動、內外參數的標定誤差等，均會對主動跟隨效果造成一定的影響。

2）PLC 數據采集、攝像機云臺轉動和圖像畫面呈現出一定的延遲，如何自適應做好提前量的轉動需要進一步研究。