基于視頻圖像分析及單目視覺技術(shù)的地鐵施工人員定位技術(shù)研究

孫有恒，薛志剛，王傳寶，鄒永紅

（1.廣州地鐵集團(tuán)有限公司，廣東廣州 510220；2.北京九碧木信息技術(shù)有限公司，北京 102200；3.中鐵建華南建設(shè)有限公司，廣東廣州 511458）

在地鐵建設(shè)過程中，視頻監(jiān)控系統(tǒng)與新技術(shù)的融合應(yīng)用，使施工現(xiàn)場(chǎng)的安全管控水平顯著提高。比如在施工現(xiàn)場(chǎng)安裝相應(yīng)的人員定位基站，給施工人員佩戴定位卡，可查看施工區(qū)域人員的實(shí)時(shí)坐標(biāo)位置和歷史軌跡[1]。但同時(shí)也伴隨著更多的資金投入，所以減少現(xiàn)場(chǎng)設(shè)備的安裝投入，利用軟件技術(shù)充分挖掘已有設(shè)備的應(yīng)用價(jià)值也成為智慧工地技術(shù)的一個(gè)研究方向。

該文結(jié)合廣州市軌道交通十八和二十二號(hào)線建設(shè)工程綜合監(jiān)控系統(tǒng)的開發(fā)工作，研究并實(shí)現(xiàn)了一種基于視頻圖像分析及單目視覺技術(shù)的工地人員定位方法，可有效解決上述問題。

1 基本原理

廣州市軌道交通十八和二十二號(hào)線建設(shè)工程綜合監(jiān)控系統(tǒng)已經(jīng)在GIS 地圖上精確標(biāo)記出了每個(gè)視頻監(jiān)控?cái)z像頭的坐標(biāo)位置；通過集成接口獲取到每個(gè)攝像頭的實(shí)時(shí)方位、攝像機(jī)參數(shù)、視頻監(jiān)控畫面；并通過視頻圖像分析技術(shù)識(shí)別出視頻圖像中的人體。基于視頻圖像分析及單目視覺技術(shù)的工地人員定位方法即是基于單目視覺原理建立單張視頻圖像相片中人體與視頻監(jiān)控?cái)z像頭的相對(duì)位置關(guān)系，并通過GIS 地圖中的視頻監(jiān)控?cái)z像頭的地理坐標(biāo)，解算方位參數(shù)后再推算目標(biāo)人體的坐標(biāo)。再通過GIS地圖技術(shù)展示出每個(gè)人體的實(shí)時(shí)坐標(biāo)位置。

近些年來，不斷發(fā)展起來一種視覺定位的方法，主要是通過攝像機(jī)獲得周圍景物的圖像，利用景物中的一些自然或人為的特征，通過圖像的方法得到周圍環(huán)境模型來實(shí)現(xiàn)自身位置的確定的方法[2-4]。單目視覺的室內(nèi)多行人目標(biāo)連續(xù)定位方法[5]提出基于單目視覺檢測(cè)方法,構(gòu)建像素坐標(biāo)系到世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換模型，實(shí)現(xiàn)對(duì)多行人目標(biāo)的連續(xù)定位與跟蹤。單目視覺三維運(yùn)動(dòng)位姿測(cè)量方法研究[6]提出基于點(diǎn)特征的單目視覺位姿測(cè)量，通過特征點(diǎn)約束和正交迭代解算法完成目標(biāo)物體的位姿測(cè)量。

基于視覺原理的空間定位方法中，單目視覺具有顯著的優(yōu)點(diǎn)：結(jié)構(gòu)簡(jiǎn)單、標(biāo)定步驟少，避免了立體視覺中視場(chǎng)小和匹配難的缺點(diǎn)。常見的單目視覺方法[7-9]包括結(jié)構(gòu)光法[10-12]、幾何光學(xué)法[13-14]、輔助測(cè)量棒法、激光輔助測(cè)距法、幾何形狀約束法等。

該文所介紹的方法，是利用單目視覺技術(shù)建立單張視頻圖像相片中人體與相機(jī)的相對(duì)位置關(guān)系，然后通過GIS 地圖獲取攝像機(jī)鏡頭的實(shí)際坐標(biāo)（經(jīng)緯度或投影坐標(biāo)），解算方位參數(shù)后再推算人體的坐標(biāo)。

2 攝像機(jī)成像幾何模型

相片上的任意一個(gè)像點(diǎn)與對(duì)應(yīng)地面點(diǎn)都可以由一條通過光心的直線連接起來，即所謂的中心投影，通過這條直線再輔以輔助坐標(biāo)系，就可以建立起像點(diǎn)與地面點(diǎn)之間的關(guān)系。

常用的輔助坐標(biāo)系包括1）像素坐標(biāo)系；2）圖像坐標(biāo)系；3）光心坐標(biāo)系；4）世界坐標(biāo)系。通過這四個(gè)輔助坐標(biāo)系之間的相互變換，建立攝像機(jī)成像幾何模型，各坐標(biāo)系關(guān)系及內(nèi)外方位元素，如圖1 所示。坐標(biāo)系變換主要分為三個(gè)過程，如下：

圖1 各坐標(biāo)系關(guān)系及內(nèi)外方位元素

1）根據(jù)像素坐標(biāo)計(jì)算圖像坐標(biāo)系；

未來一周，江南大部、華南西部、西南地區(qū)東部等地累計(jì)降水量有10毫米-30毫米，部分地區(qū)有40毫米-60毫米，云南南部局地有80毫米-110毫米；此外，新疆西部、內(nèi)蒙古東北部、東北地區(qū)等地降水量有8毫米-20毫米，部分地區(qū)30毫米-50毫米。上述地區(qū)累計(jì)降水量較常年同期偏多3-6成，內(nèi)蒙古東北部、東北部分地區(qū)偏多1倍以上。

2）根據(jù)圖像坐標(biāo)系建立光心坐標(biāo)系；

3）建立光心坐標(biāo)系和世界坐標(biāo)系之間的關(guān)系[15-16]。

圖像坐標(biāo)系與光心坐標(biāo)系之間通過主點(diǎn)、焦距等內(nèi)方位元素決定；光心坐標(biāo)系與世界坐標(biāo)系之間通過投影中心地面坐標(biāo)和攝像機(jī)成像時(shí)的姿態(tài)參數(shù)建立聯(lián)系。

假設(shè)空間一點(diǎn)P，世界坐標(biāo)為[Pcx，Pcy，Pcz]T，對(duì)應(yīng)的像素坐標(biāo)為[pu，pv]T，建立攝像機(jī)的成像幾何模型如式（1）所示：

其中，Zc是點(diǎn)P在光心坐標(biāo)系中的Z值；ax=f/dx，ay=f/dy，f為焦距，dx、dy是圖像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中的坐標(biāo)；M是4 階投影矩陣，N是與攝像機(jī)內(nèi)方位元素有關(guān)的3 階矩陣（通常由設(shè)備廠商提供）。相機(jī)成像原理如圖2 所示。

圖2 相機(jī)成像原理

在內(nèi)方位元素已知的情況下，根據(jù)攝像機(jī)成像幾何模型，像素坐標(biāo)系到世界坐標(biāo)系的變換包含六個(gè)轉(zhuǎn)換參數(shù)（三個(gè)平移參數(shù)和三個(gè)旋轉(zhuǎn)參數(shù)）。通過GIS 地圖和攝像機(jī)圖像相片中已知坐標(biāo)的同名點(diǎn)對(duì)求解這六個(gè)參數(shù)。將式（1）進(jìn)行整理，得到式（2）：

將上式代入式（2），展開整理得到如下三個(gè)方程：

將第三個(gè)方程中的Zc代入上面兩個(gè)方程，整理得到式（7）：

根據(jù)式（7）每一個(gè)同名點(diǎn)對(duì)可以建立兩個(gè)方程，n個(gè)同名點(diǎn)對(duì)可以建立2n個(gè)方程。為了獲得最佳的結(jié)果，使2n＞11（n為同名點(diǎn)對(duì)個(gè)數(shù)），即可采用最小二乘法進(jìn)行參數(shù)求解。如果內(nèi)方位元素也未知，只需要增加同名點(diǎn)對(duì)或其他約束條件即可一并進(jìn)行解算。

解算出方位元素后，即可得到該攝像機(jī)成像幾何模型的全部參數(shù)。對(duì)于相片中的人體可以通過圖像分析得到的像素坐標(biāo)，直接計(jì)算出對(duì)應(yīng)地面點(diǎn)的世界坐標(biāo)，進(jìn)一步可計(jì)算出在該點(diǎn)垂直于地面或平行于地面的邊長(zhǎng)。

通常而言，每個(gè)攝像機(jī)的視點(diǎn)位置是相同的，視頻監(jiān)控圖像相片的成像幾何模型只需要計(jì)算一次即可。

3 軟件實(shí)現(xiàn)

基于廣州市軌道交通十八和二十二號(hào)線建設(shè)工程綜合監(jiān)控系統(tǒng)的GIS 地圖技術(shù)和視頻圖像分析技術(shù)，開發(fā)了一套工地人員定位軟件，并作為綜合監(jiān)控系統(tǒng)的一個(gè)應(yīng)用模塊。該定位軟件的數(shù)據(jù)組織如表1 所示。

表1 數(shù)據(jù)組織方案

該定位軟件的主要功能包括：

1）GIS 地圖及攝像機(jī)配置展示功能。此功能是基于GIS 地圖添加攝像機(jī)的配置信息，包括攝像機(jī)的名稱、IP 地址、訪問用戶名、訪問密碼、初始安裝方位、視角范圍、視角半徑等配置參數(shù)。并在GIS 地圖上標(biāo)記出攝像機(jī)安裝的精確位置，完成的攝像機(jī)配置功能和展示功能。攝像機(jī)在地圖上的位置展示如圖3 所示。

圖3 攝像機(jī)在地圖上的位置展示

2）視頻監(jiān)控?cái)z像機(jī)的方位姿態(tài)展示。配置完成攝像機(jī)后，軟件根據(jù)配置的初始安裝方位角以及通過訪問攝像機(jī)獲取的旋轉(zhuǎn)角度，可計(jì)算出當(dāng)前的方位角（槍機(jī)是固定方位角），再根據(jù)配置的攝像機(jī)角度范圍和視角半徑數(shù)據(jù)，在GIS 地圖上實(shí)時(shí)動(dòng)態(tài)繪制攝像機(jī)的有效監(jiān)控區(qū)域。攝像機(jī)動(dòng)態(tài)視角范圍展示如圖4 所示。

圖4 攝像機(jī)動(dòng)態(tài)視角范圍展示

3）視頻監(jiān)控實(shí)時(shí)畫面獲取和人體識(shí)別。軟件集成了視頻圖像人工智能（Artificial Intelligence，AI）分析算法，通過已配置的攝像機(jī)訪問參數(shù)，可實(shí)時(shí)讀取視頻監(jiān)控畫面。再通過配置的人體目標(biāo)識(shí)別參數(shù)，即可識(shí)別分析視頻畫面中的人體目標(biāo)，當(dāng)識(shí)別到視頻畫面中的人體時(shí)，軟件會(huì)自動(dòng)保存畫面，記錄當(dāng)前攝像機(jī)的人體頭部或腳部的像素坐標(biāo)、攝像機(jī)成像姿態(tài)參數(shù)、人體識(shí)別可信度數(shù)據(jù)，此時(shí)軟件就采集到了用于單目視覺技術(shù)計(jì)算人體坐標(biāo)的所有輸入?yún)?shù)。視頻監(jiān)控圖像中人體識(shí)別圖片如圖5 所示。

圖5 視頻監(jiān)控圖像中人體識(shí)別圖片

4）人體定位坐標(biāo)的計(jì)算和基于GIS 地圖的定位展示。把視頻圖像AI 分析算法輸出的圖像（含人體的像素坐標(biāo)）、攝像機(jī)成像姿態(tài)參數(shù)、攝像機(jī)位置坐標(biāo)、攝像機(jī)方位角等輸入條件，通過上文中的單目視學(xué)技術(shù)相關(guān)算法（攝像機(jī)成像幾何模型算法、坐標(biāo)計(jì)算或邊長(zhǎng)量測(cè)算法）即可計(jì)算出人本的定位坐標(biāo)，然后再疊加到GIS 地圖上定位展示。通過設(shè)置合理的軟件執(zhí)行頻率、并過慮掉人體可信度較低的輸入數(shù)據(jù)，即可實(shí)現(xiàn)較好的人員定位效果。人體坐標(biāo)計(jì)算及基于GIS 地圖展示如圖6 所示。

圖6 人體坐標(biāo)計(jì)算及基于GIS地圖展示

4 結(jié)論

利用該文方法和實(shí)現(xiàn)的軟件，在廣州市軌道交通十八和二十二號(hào)線建設(shè)工程的兩個(gè)工點(diǎn)進(jìn)行了應(yīng)用，結(jié)果表明，1）經(jīng)對(duì)照無人機(jī)航拍正射影像地圖和特征點(diǎn)交會(huì)測(cè)量坐標(biāo)可知，誤差控制在2 m 以內(nèi)，滿足施工區(qū)域人員定位的管理要求。2）該方法可廣泛應(yīng)用于已安裝視頻監(jiān)控設(shè)備的建筑施工區(qū)域以及其他視野相對(duì)開闊的工業(yè)園區(qū)的人員定位。3）該方法充分利用工地現(xiàn)場(chǎng)已安裝的視頻監(jiān)控設(shè)備，深化應(yīng)用視頻圖像分析技術(shù)、GIS 地圖技術(shù)，在不增加安裝人員定位設(shè)備的前提下，可有效實(shí)現(xiàn)地鐵施工人員定位技術(shù)。