面向車輛目標(biāo)的路側(cè)多攝像機(jī)雙向匹配交接方法*

陳 明，武一民，高博麟，鄭凱元

（1.河北工業(yè)大學(xué)機(jī)械工程學(xué)院，天津300130；2.清華大學(xué)車輛與運(yùn)載學(xué)院，北京100084）

前言

隨著智能網(wǎng)聯(lián)汽車云控系統(tǒng)和智能交通系統(tǒng)的快速發(fā)展，路側(cè)感知成為了車路協(xié)同感知的重要組成部分，在提高感知精度、擴(kuò)大感知范圍等方面發(fā)揮著不可或缺的作用［1］。其中在復(fù)雜環(huán)境中利用攝像機(jī)跟蹤運(yùn)動(dòng)目標(biāo)是路側(cè)感知中十分具有挑戰(zhàn)的問題。目前單攝像機(jī)下的目標(biāo)跟蹤方案相對(duì)成熟，但受制于有限的視野范圍，基于單攝像機(jī)的目標(biāo)跟蹤無法覆蓋更大的區(qū)域。與此同時(shí)，大量攝像機(jī)往往獨(dú)立工作，各個(gè)攝像機(jī)之間對(duì)于目標(biāo)的感知信息不能被充分利用，導(dǎo)致同一目標(biāo)在不同攝像機(jī)間被識(shí)別為不同身份，為構(gòu)建目標(biāo)的全局軌跡增加了困難。而多攝像機(jī)目標(biāo)跟蹤技術(shù)通過利用兩個(gè)或兩個(gè)以上的攝像機(jī)，根據(jù)攝像機(jī)部署關(guān)系與目標(biāo)信息，對(duì)視野中的同一目標(biāo)進(jìn)行身份一致性標(biāo)記，從而實(shí)現(xiàn)跨視野、長(zhǎng)時(shí)段的目標(biāo)連續(xù)跟蹤。

根據(jù)攝像機(jī)間視野的分布情況，研究可分為有重疊視野與無重疊視野兩個(gè)方面。在有重疊視野方面，目前主要采用的研究方法有3類。（1）基于特征匹配的目標(biāo)交接法通過提取目標(biāo)的某一外觀特征，或融合多個(gè)外觀特征，對(duì)目標(biāo)之間的外觀相似程度進(jìn)行度量，將相似度較高的兩目標(biāo)進(jìn)行匹配。所選取的外觀特征包括顏色［2］、輪廓［3］、紋理［4］等，但由于不同攝像機(jī)間視角及亮度存在差異，同一目標(biāo)的特征在不同相機(jī)間可能會(huì)存在較大的差異，影響匹配準(zhǔn)確率。（2）基于環(huán)境信息與攝像機(jī)標(biāo)定的交接方法通過對(duì)三維環(huán)境建模和標(biāo)定攝像機(jī)信息，建立相機(jī)與場(chǎng)景的映射關(guān)系，將目標(biāo)映射至同一坐標(biāo)系下進(jìn)行目標(biāo)交接［5-6］。但這類方法從信息的獲取難度和計(jì)算的復(fù)雜程度都比較大，實(shí)現(xiàn)起來較為困難。（3）基于視野分界線的目標(biāo)交接方法是一種簡(jiǎn)單有效的方法，自Khan等［7］提出攝像機(jī)視野分界線是進(jìn)行目標(biāo)交接的重要基礎(chǔ)后，很多研究人員采用同步視頻［8］、特征點(diǎn)匹 配［9］等 方 法結(jié)合L-M（levenbergmarquardt）［10］、隨 機(jī) 采 樣 一 致 性（random sample consensus，RANSAC）［11］算法來不斷優(yōu)化投影矩陣，以準(zhǔn)確地恢復(fù)視野分界線，進(jìn)而根據(jù)目標(biāo)點(diǎn)與分界線的位置關(guān)系，對(duì)目標(biāo)進(jìn)行篩選，從而實(shí)現(xiàn)目標(biāo)交接。這類方法易于實(shí)現(xiàn)，但忽略了目標(biāo)與目標(biāo)之間的關(guān)系，在面對(duì)目標(biāo)密集的場(chǎng)景時(shí)，交接的準(zhǔn)確性會(huì)受到影響。綜上所述，現(xiàn)有重疊視野內(nèi)的目標(biāo)交接方法一般利用目標(biāo)的位置、外觀信息進(jìn)行交接，但路側(cè)視角下車輛目標(biāo)交接由于場(chǎng)景復(fù)雜，目標(biāo)密集，現(xiàn)有方法存在一定缺陷，需做出進(jìn)一步改進(jìn)。

針對(duì)上述問題，本文中提出基于雙向匹配的車輛目標(biāo)交接方法。通過建立兩個(gè)具有重疊視野的攝像機(jī)的投影關(guān)系，生成視野分界線并劃分重疊視野，將重疊視野內(nèi)的目標(biāo)經(jīng)投影后基于目標(biāo)間的位置信息進(jìn)行雙向的匹配，根據(jù)提出的雙向匹配矩陣與矩陣標(biāo)識(shí)符輸出匹配結(jié)果。為了應(yīng)對(duì)多個(gè)目標(biāo)間距較近時(shí)僅依靠位置信息無法區(qū)分目標(biāo)的問題，引入車輛目標(biāo)的外觀特征，根據(jù)顏色直方圖度量車輛外觀的相似度，以提高目標(biāo)交接準(zhǔn)確性。

1 單應(yīng)矩陣

具有重疊視野的攝像機(jī)，其公共視野內(nèi)的目標(biāo)在無遮擋情況下可同時(shí)被兩個(gè)攝像機(jī)檢測(cè)并投影為坐標(biāo)系下的同一坐標(biāo)點(diǎn)，因此目標(biāo)的位置信息是交接過程中的主要特征之一。通過求解單應(yīng)矩陣，可劃分重疊視野以確定需要交接的感興趣目標(biāo)，并建立目標(biāo)在攝像機(jī)間的投影關(guān)系。

當(dāng)圖像中的三維場(chǎng)景點(diǎn)處在近似平面的平面上（如地平面）或在低視差的區(qū)域中，可通過單應(yīng)矩陣，將處在重疊視野的該場(chǎng)景點(diǎn)從一個(gè)圖像平面上映射到另一圖像平面上［12］，如圖1所示。

圖1 單應(yīng)變換示意圖

假設(shè)某一實(shí)際場(chǎng)景中有一三維場(chǎng)景點(diǎn)處在地平面上，其在攝像機(jī)1視野中的像素坐標(biāo)點(diǎn)為p=(x，y，1)，在另一攝像機(jī)2視野中的像素坐標(biāo)點(diǎn)為q=(x’，y’，1)，則有如下變換關(guān)系：

即

其中單應(yīng)矩陣Hpq是3×3的非奇異矩陣，具有8個(gè)自由度，至少需要4對(duì)匹配的坐標(biāo)點(diǎn)對(duì)，就可計(jì)算出單應(yīng)矩陣。在計(jì)算單應(yīng)矩陣時(shí)，研究人員普遍采用尺度不變特征變換（scale invariant feature transform，SIFT）、加速魯棒特征（speeded up robust features，SURF）等方法來獲得用于計(jì)算單應(yīng)矩陣的特征點(diǎn)。但在路側(cè)視角下的道路場(chǎng)景中效果并不理想，原因主要有三：首先，單應(yīng)矩陣實(shí)際上是平面到平面間的映射，當(dāng)攝像機(jī)的視野中存在多個(gè)平面時(shí)，所得的單應(yīng)矩陣并不準(zhǔn)確［13］；其次，在道路場(chǎng)景中，路側(cè)攝像機(jī)視角下的道路表面通常具有較為均勻的紋理，往往無法有效地提取出足夠多的特征點(diǎn)；此外，道路表面存在大量形狀、顏色相似的車道線與標(biāo)識(shí)線，導(dǎo)致在對(duì)數(shù)量較少的特征點(diǎn)進(jìn)行匹配時(shí)，還會(huì)存在較多誤匹配，最終無法準(zhǔn)確計(jì)算單應(yīng)矩陣。

因此采用如下方式：假定兩相鄰攝像機(jī)編號(hào)為i和j，在兩攝像機(jī)的重疊視野內(nèi)，選取不共線的4個(gè)標(biāo)定點(diǎn)，在攝像機(jī)i視野中表示為P1、P2、P3、P4，攝像機(jī)j的視野中為P'1、P'2、P'3、P'4。將標(biāo)定點(diǎn)代入式（2）中計(jì)算出攝像機(jī)i到攝像機(jī)j的單應(yīng)矩陣Hij，另由下式

可求解攝像機(jī)j到攝像機(jī)i的單應(yīng)矩陣Hji。通過單應(yīng)矩陣Hij與Hji，可將兩攝像機(jī)視野平面中的任意一點(diǎn)投影至另一攝像機(jī)中。將攝像機(jī)i的視野邊界點(diǎn)經(jīng)投影與Hough變換［14］，可生成攝像機(jī)i的視野分界線其中E∈{T，B，L，R}，表示攝像機(jī)視野的上、下、左、右4條邊界，如圖2所示，得到兩攝像機(jī)的重疊視野作為目標(biāo)交接過程的感興趣區(qū)域。

圖2 視野分界線與重疊視野示意圖

2 雙向匹配策略

2.1 單向匹配矩陣

確定單應(yīng)矩陣與重疊視野后，可根據(jù)目標(biāo)的位置信息對(duì)目標(biāo)進(jìn)行初步交接。不同于視野分界線法中基于目標(biāo)點(diǎn)與分界線距離的交接判定方式，本文中更關(guān)注目標(biāo)與目標(biāo)間的位置關(guān)系。通過對(duì)待交接目標(biāo)的檢測(cè)點(diǎn)進(jìn)行單應(yīng)投影，得到待交接目標(biāo)在另一攝像機(jī)視野中的投影點(diǎn)，從而進(jìn)行交接。

基于單攝像機(jī)的目標(biāo)檢測(cè)，可得到單幀每個(gè)車輛目標(biāo)的二維檢測(cè)框。此時(shí)如果直接采用檢測(cè)框中點(diǎn)進(jìn)行投影，將會(huì)形成刺穿點(diǎn)［13］，無法得到該目標(biāo)正確的中心投影點(diǎn)。因此，選擇車輛檢測(cè)框下框線的中點(diǎn)作為該目標(biāo)在當(dāng)前攝像機(jī)視野內(nèi)的檢測(cè)點(diǎn)，利用式（1）可將攝像機(jī)i中該目標(biāo)的檢測(cè)點(diǎn)映射至攝像機(jī)j的視野中進(jìn)行匹配，如圖3所示。

圖3 車輛目標(biāo)投影匹配示意圖

由此得到重疊視野內(nèi)每個(gè)車輛目標(biāo)在圖像坐標(biāo)系下的檢測(cè)點(diǎn)與投影點(diǎn)位置坐標(biāo)，然后計(jì)算攝像機(jī)j中每個(gè)待交接目標(biāo)的投影點(diǎn)與該視角下所有檢測(cè)點(diǎn)的歐氏距離，得到距離矩陣Dij，公式如下：

式中：f(?)為指示函數(shù)，若“?”為真，則取值為1，若“?”為假，則取值為0；距離誤差閾值Td表示匹配過程中對(duì)于投影位置誤差的容許程度。根據(jù)待交接目標(biāo)與候選目標(biāo)的單向匹配結(jié)果，構(gòu)造單向匹配矩陣矩陣中元素值按下式確定：即對(duì)于判定單向匹配的待交接目標(biāo)與候選目標(biāo)，其對(duì)應(yīng)行列的元素為1，否則為0。

2.2 匹配約束機(jī)制

由于目標(biāo)交接的過程是目標(biāo)ID間“一對(duì)一”的映射關(guān)系，單向匹配矩陣應(yīng)滿足［15］：

但僅通過上述的單向匹配過程，在目標(biāo)密集的場(chǎng)景，極易出現(xiàn)兩個(gè)或兩個(gè)以上候選目標(biāo)同時(shí)與同一目標(biāo)進(jìn)行匹配，出現(xiàn)“多對(duì)一”的匹配結(jié)果。

為了解決匹配過程中存在的關(guān)聯(lián)沖突問題，使關(guān)聯(lián)過程符合匹配一致性原則，提出一種匹配約束機(jī)制：如果第m+1個(gè)待交接目標(biāo)與最近的候選目標(biāo)的距離小于閾值，判斷最近鄰的候選目標(biāo)是否已被前一待交接目標(biāo)匹配，若未被匹配，則將最近鄰的候選目標(biāo)與當(dāng)前待交接目標(biāo)進(jìn)行匹配。否則，比較匹配沖突的目標(biāo)對(duì)的距離，選取距離最近的目標(biāo)對(duì)進(jìn)行匹配，另一待交接目標(biāo)與次近鄰的候選目標(biāo)進(jìn)行匹配。

2.3 雙向匹配

在約束機(jī)制下得到的單向匹配矩陣，反映了由攝像機(jī)i中的待交接目標(biāo)投影至攝像機(jī)j后的單向匹配結(jié)果。但僅依靠目標(biāo)單向投影后的位置信息進(jìn)行匹配，效果并不理想，存在較多的錯(cuò)誤匹配。為了改善這種情況，提出一種雙向匹配策略。該策略的流程如圖4所示。

圖4 雙向匹配策略流程圖

按照2.1節(jié)和2.2節(jié)中的方式將攝像機(jī)j中的目標(biāo)向攝像機(jī)i中反向投影，投影過程中采用的單應(yīng)矩陣由式（2）獲得，在約束機(jī)制下進(jìn)行目標(biāo)匹配并生成單向匹配矩陣AN×Mji，單向匹配矩陣AN×Mji是反向投影（攝像機(jī)j到攝像機(jī)i）后的目標(biāo)單向匹配結(jié)果。在得到雙向的匹配結(jié)果后，需要將兩次的匹配結(jié)果加以綜合，從而對(duì)每個(gè)目標(biāo)的交接情況做出判斷。匹配結(jié)果的綜合方式由式（8）表示。

Amatch∈{0，1，2}N×M為雙向匹配矩陣，矩陣中的每個(gè)元素作為匹配標(biāo)識(shí)符，表示雙向匹配的判定結(jié)果，如式（9）表示：

Amatch(m，n)=2表示雙向的匹配結(jié)果均判定兩目標(biāo)相匹配，此時(shí)判定為同一目標(biāo)，進(jìn)行一致性的身份認(rèn)定；Amatch(m，n)=1表示雙向的匹配結(jié)果不一致，此時(shí)僅依靠目標(biāo)位置無法做出準(zhǔn)確的交接判定，因此，需要進(jìn)一步依據(jù)兩目標(biāo)的外觀特征進(jìn)行驗(yàn)證，并以此作為最終的匹配結(jié)果；Amatch(m，n)=0則表示對(duì)兩目標(biāo)不做匹配。

3 顏色直方圖匹配

在車輛密集的場(chǎng)景下，車輛間距較小，僅依靠目標(biāo)位置信息進(jìn)行目標(biāo)交接，可能因投影過程中的誤差，導(dǎo)致錯(cuò)誤交接的發(fā)生。因此引入目標(biāo)外觀特征，在兩次單向匹配結(jié)果不一致時(shí)，依靠外觀相似度進(jìn)行二次匹配。為使整個(gè)算法的計(jì)算復(fù)雜度不至過高，同時(shí)保證對(duì)低分辨率圖像的匹配結(jié)果的魯棒性，采用車輛的顏色特征，通過提取待匹配目標(biāo)與候選目標(biāo)的顏色直方圖，經(jīng)量化后計(jì)算目標(biāo)相似度，進(jìn)而得出匹配結(jié)果。

電子圖像在顯示時(shí)一般用RGB顏色模型，但與人眼對(duì)顏色的實(shí)際感知有比較大的區(qū)別，同樣也并不適合用與車輛外觀的匹配。本文中采用的HSV顏色模型，是一種與人眼的視覺感知相一致的模型，其通過色調(diào)（Hue）、飽和度（Saturation）和亮度（Value）3個(gè)與視覺特征有關(guān)的量計(jì)算描述，更接近于人們對(duì)顏色的主觀認(rèn)識(shí)，并且對(duì)光照的魯棒性更強(qiáng)，適用于路側(cè)的應(yīng)用場(chǎng)景。

首先將獲取到的RGB模型圖像轉(zhuǎn)化為HSV模型［16］：

接著將三維分量降維，轉(zhuǎn)化為一維顏色特征向量，計(jì)算表達(dá)式如下：

式中：QS與QV分別為S和V分量的量化級(jí)數(shù)；K為量化后的目標(biāo)直方圖，取值范圍是［0，255］。

Bhattacharyya匹配是度量直方圖相似性的方法之一，其他方法包括相關(guān)匹配、交集匹配等。由于在直方圖相似度的所有方法中，這種方法產(chǎn)生了更精確的匹配［17］，因此采用Bhattacharyya法進(jìn)行度量。Bhattacharyya匹配的表達(dá)式如下：

式中：DB為匹配分?jǐn)?shù)；K1為待交接目標(biāo)的直方圖；K2為候選目標(biāo)直方圖。對(duì)于匹配得分，分?jǐn)?shù)越低表示匹配的相似度越高。

4 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文算法的有效性，在真實(shí)道路中部署4臺(tái)分辨率為640×480的攝像機(jī)，覆蓋路段、路口兩個(gè)場(chǎng)景，攝像機(jī)具體的部署情況如圖5所示。將單個(gè)攝像機(jī)下目標(biāo)檢測(cè)和跟蹤算法處理后得到的數(shù)據(jù)，包括各個(gè)攝像機(jī)中車輛的ID以及目標(biāo)檢測(cè)框的位置與大小，作為本文實(shí)驗(yàn)的輸入數(shù)據(jù)。

圖5 攝像機(jī)部署示意圖

圖6 展示了路口場(chǎng)景的兩攝像機(jī)在某一幀下的匹配結(jié)果。其中圖6（a）與圖6（b）分別為攝像機(jī)1與攝像機(jī)2的感知結(jié)果，綠色標(biāo)識(shí)為當(dāng)前攝像機(jī)的目標(biāo)檢測(cè)點(diǎn)，黃色標(biāo)識(shí)為來自相鄰攝像機(jī)的投影點(diǎn)，車輛目標(biāo)的ID已在圖中標(biāo)出。

圖6 兩攝像機(jī)第151幀匹配結(jié)果

正確的匹配方式是ID11與21為同一目標(biāo)，ID12與22為同一目標(biāo)，而ID為13的車輛由于在攝像機(jī)1中被完全遮擋，在當(dāng)前幀不進(jìn)行交接。兩攝像機(jī)對(duì)應(yīng)的單向匹配矩陣如式（15）和式（16）所示。

其中單向匹配矩陣的2行分別對(duì)應(yīng)攝像機(jī)1中ID為21與22的2個(gè)目標(biāo)，3列分別對(duì)應(yīng)攝像機(jī)2中ID為11、12與13的3個(gè)目標(biāo)，各元素表示目標(biāo)兩兩之間的單向匹配結(jié)果。可以看到，攝像機(jī)1的匹配結(jié)果是正確的（目標(biāo)11與21相匹配，12與22相匹配），但攝像機(jī)2的匹配結(jié)果中出現(xiàn)了錯(cuò)誤的匹配結(jié)果（目標(biāo)13與22誤匹配），得到的雙向匹配矩陣Amatch如下：

此時(shí)攝像機(jī)1中ID為22的待交接目標(biāo)有兩個(gè)可能的交接目標(biāo)（目標(biāo)12與13），計(jì)算兩種匹配組合的顏色直方圖相似度。經(jīng)計(jì)算，待交接目標(biāo)與兩候選目標(biāo)的直方圖匹配分?jǐn)?shù)分別為0.413和0.481，說明候選目標(biāo)中的前者與待交接目標(biāo)的直方圖差異更小，相似度更高，故依據(jù)直方圖的二次匹配結(jié)果，將ID為12與22的目標(biāo)相匹配，從而實(shí)現(xiàn)正確的目標(biāo)交接。

為進(jìn)一步驗(yàn)證方法的有效性，本文中分別統(tǒng)計(jì)了兩個(gè)場(chǎng)景下某一時(shí)段車輛目標(biāo)交接的實(shí)驗(yàn)結(jié)果。

4.1 路段場(chǎng)景

路段場(chǎng)景下單幀最大車流量為7輛，目標(biāo)總數(shù)為552，剔除誤檢、漏檢的無效幀后，有效幀數(shù)為252幀。對(duì)路段場(chǎng)景劃分其重疊視野后如圖7所示。

圖7 路段場(chǎng)景

實(shí)驗(yàn)選取的指標(biāo)為漏匹配與誤匹配［18］，兩指標(biāo)數(shù)值越小，說明方法的漏匹配與誤匹配個(gè)數(shù)越少，匹配的準(zhǔn)確度越高，對(duì)比方法為單向匹配，其中路段實(shí)驗(yàn)結(jié)果如表1所示。

表1 路段場(chǎng)景實(shí)驗(yàn)結(jié)果

從實(shí)驗(yàn)結(jié)果可看出，在車輛密度相對(duì)較小，道路較為平直的路段場(chǎng)景中，所提出的方法減少了22.22%的漏匹配與28.57%的誤匹配，相比于單向匹配結(jié)果有顯著提升。

4.2 路口場(chǎng)景

路口場(chǎng)景下車輛更加密集，目標(biāo)數(shù)量更多，單幀最大車流量為12輛，有效幀數(shù)為259幀，目標(biāo)總數(shù)為892。路口場(chǎng)景劃分重疊視野后如圖8所示。

圖8 路段場(chǎng)景

統(tǒng)計(jì)路口場(chǎng)景下所有幀漏匹配與誤匹配的結(jié)果如表2所示。

表2 路口場(chǎng)景實(shí)驗(yàn)結(jié)果

在路況較為復(fù)雜的路口場(chǎng)景中，道路物理場(chǎng)景復(fù)雜，車輛密度較大，行駛方向多變，增加了目標(biāo)交接的難度，此時(shí)無論是漏匹配還是誤匹配，所提出的方法相比于單向匹配都有顯著提升，漏匹配降低了28.89%，誤匹配降低了44.00%。由此可以看出，本文所提出的方法無論在路況簡(jiǎn)單的路段場(chǎng)景還是交通環(huán)境復(fù)雜的十字路口，都可以有效地解決重疊視野下車輛目標(biāo)的交接問題。

5 結(jié)論

為了解決路側(cè)視角下車輛目標(biāo)在多攝像機(jī)間的目標(biāo)交接問題，提出了雙向匹配目標(biāo)交接方法。利用攝像機(jī)間變換關(guān)系對(duì)重疊域內(nèi)車輛目標(biāo)進(jìn)行投影，并由此設(shè)計(jì)了雙向匹配策略，根據(jù)匹配矩陣標(biāo)識(shí)符結(jié)合顏色直方圖相似度輸出結(jié)果。經(jīng)實(shí)驗(yàn)驗(yàn)證，所提出的方法對(duì)比單向匹配方法，在路段場(chǎng)景下漏匹配降低22.22%，誤匹配降低28.57%；路口場(chǎng)景下漏匹配降低28.89%，誤匹配降低44.00%。

由于路側(cè)不同部署位置的攝像機(jī)間存在著視角差異、亮度變化等挑戰(zhàn)，雙向匹配交接方法仍有改進(jìn)之處。匹配過程中距離誤差閾值的大小會(huì)對(duì)漏匹配與誤匹配產(chǎn)生趨勢(shì)相反的影響，通過迭代優(yōu)化方法求取最優(yōu)閾值可進(jìn)一步提高交接準(zhǔn)確性。