基于改進(jìn)背景差分的城市道路自動(dòng)避障信息采集方法

唐 勇，徐奇,2,3（通信作者）

（1桂林電子科技大學(xué)建筑與交通工程學(xué)院 廣西 桂林 541004）

（2廣西智慧交通重點(diǎn)實(shí)驗(yàn)室 廣西 桂林 541004）

（3桂林電子科技大學(xué)南寧研究院 廣西 南寧 530000）

0 引言

隨著我國(guó)城市化進(jìn)程的推進(jìn)，人們生活水平不斷提高，使用私家車出行以提高出行便利性的需求不斷增加。據(jù)公安部統(tǒng)計(jì)，截至2022年4月，全國(guó)機(jī)動(dòng)車保有量達(dá)4.02億輛，其中汽車3.07億輛[1]。然而我國(guó)城市道路現(xiàn)狀不容樂觀，道路面積已經(jīng)逐漸不能滿足車輛需求，交通擁堵、車輛亂停亂放、交通事故頻發(fā)等問題已經(jīng)嚴(yán)重影響人們的出行和生活品質(zhì)。為提高人們的出行滿意度和生活質(zhì)量，對(duì)于城市道路的有效交通監(jiān)測(cè)和管理已迫在眉睫。

目前我國(guó)道路信息采集水平還處于不斷發(fā)展階段，大部分現(xiàn)有裝置的采集功能有待完善及擴(kuò)展。一些專家學(xué)者對(duì)于城市道路信息采集也開展了許多課題研究。Wang等[2]提出了一種基于改進(jìn)的tiny-yoloy3的車輛檢測(cè)算法，通過將雙尺度檢測(cè)改進(jìn)為三尺度，提高檢測(cè)精度。楊亞虎等[3]提出一種基于滾動(dòng)預(yù)測(cè)平均算法的攝像頭異常干擾識(shí)別方法，能夠準(zhǔn)確識(shí)別出模糊圖像。王亮亮等[4]提出將車窗代替車體作為被檢測(cè)目標(biāo)物的標(biāo)注方法，在車流量較大的場(chǎng)景中可有效提高檢測(cè)算法的檢出率。黃躍珍等[5]提出了一種基于改進(jìn)CenterNet的車輛識(shí)別方法，有效解決車輛識(shí)別系統(tǒng)中類型識(shí)別率低的問題。顧恭等[6]提出了一種基于yoloy3的車輛定位識(shí)別模型Vehicle-YOLO，有效解決當(dāng)前實(shí)施車輛信息檢測(cè)中存在的車輛檢測(cè)區(qū)域不完整、精度不高以及無法對(duì)場(chǎng)景中較遠(yuǎn)車輛進(jìn)行準(zhǔn)確定位等相關(guān)問題。

綜上可知，國(guó)內(nèi)外專家學(xué)者主要針對(duì)采集裝置的采集效果進(jìn)行優(yōu)化研究，并沒有考慮采集裝置本身遇到外界環(huán)境干擾能否保持正常工作的問題。而在實(shí)際作業(yè)過程中，存在很多諸如樹木、懸浮物遮擋等原因，影響城市道路信息采集質(zhì)量。本文將對(duì)道路信息采集裝置進(jìn)行改進(jìn)，使用改進(jìn)圖像識(shí)別進(jìn)行自動(dòng)避障的技術(shù)，結(jié)合無線通信模塊系統(tǒng)，提高道路采集裝置的抗干擾性，保證城市道路的安全有序。

1 道路信息采集問題分析

出于美化城市的目的，大多機(jī)動(dòng)車道和非機(jī)動(dòng)車道間都設(shè)置了綠化帶，道路采集裝置多數(shù)安裝在綠化帶旁。我國(guó)采集裝置多為固定式安裝，由于大部分城市道路本來就狹窄，加之兩邊都有茂密的綠化帶，采集裝置易被遮擋難以發(fā)揮作用，這也導(dǎo)致了許多事故頻發(fā)的城市道路上產(chǎn)生監(jiān)控盲區(qū)，交通管理部門無法進(jìn)行有效監(jiān)管調(diào)查。如圖1所示。

2 采集裝置的整體結(jié)構(gòu)

該裝置包括帶有合頁(yè)的可回收PP塑料材質(zhì)半球殼遮光罩，安裝于半球殼遮光罩下的監(jiān)控相機(jī)、伸縮桿、旋轉(zhuǎn)平臺(tái)，GPS定位裝置固定安裝在旋轉(zhuǎn)平臺(tái)下方，圖像傳感器、無線通信模塊以及數(shù)據(jù)處理器固定安裝在儀器內(nèi)部帶卡槽圓形鋼板上。帶卡槽圓形鋼板用螺絲固定安裝在旋轉(zhuǎn)平臺(tái)上，伸縮桿、限位傳感器、旋轉(zhuǎn)平臺(tái)中間設(shè)有同一圓孔，并在四周分設(shè)四個(gè)小孔，用于垂直調(diào)節(jié)方向部分和水平調(diào)節(jié)方向部分連接，半球殼遮光罩中和旋轉(zhuǎn)平臺(tái)通過帶卡槽圓形鋼板插合連接，方便拆裝。如圖2所示。

3 采集系統(tǒng)的組成及工作原理

采集系統(tǒng)主要包括圖像采集部分、圖像識(shí)別部分、控制部分、無線通信部分四個(gè)部分，采集系統(tǒng)各部分的工作基本流程如圖3所示。

3.1 采集系統(tǒng)各部分功能

監(jiān)控相機(jī)用于采集被測(cè)道路的實(shí)時(shí)圖像信息，伸縮桿用于調(diào)節(jié)儀器垂直方向高度，旋轉(zhuǎn)平臺(tái)用于調(diào)整儀器水平方向角度，限位傳感器用于對(duì)伸縮桿、旋轉(zhuǎn)平臺(tái)進(jìn)行控制，確定儀器調(diào)節(jié)范圍，圖像傳感器用于識(shí)別監(jiān)控相機(jī)采集的圖像，確定遮擋物的大小、位置等信息，通過數(shù)據(jù)處理器計(jì)算確定調(diào)整方案，通過限位傳感器對(duì)裝置的監(jiān)控高度和角度進(jìn)行調(diào)整。若經(jīng)過一個(gè)周期的調(diào)整仍無法解決被遮擋的問題，無線通信模塊會(huì)將采集異常信號(hào)發(fā)送至交通管理部門，提醒管理部門裝置采集異常需要人工介入調(diào)整，GPS定位裝置用于提供位置信息。

3.2 采集系統(tǒng)各部分工作流程及原理

3.2.1 圖像采集部分

采集裝置的圖像采集部分即核心部分主要由可回收PP塑料材質(zhì)半球殼遮光罩、監(jiān)控相機(jī)以及圖像傳感器等組成。遮光罩采用可回收PP塑料材質(zhì)，不再采用傳統(tǒng)的鋼鐵或玻璃材質(zhì)，節(jié)約資源，保護(hù)環(huán)境。監(jiān)控相機(jī)與圖像傳感器連通，圖像傳感器會(huì)實(shí)時(shí)對(duì)監(jiān)控相機(jī)采集到的圖像進(jìn)行分析處理。若圖像傳感器檢測(cè)到圖像出現(xiàn)遮擋物時(shí)，則會(huì)將信號(hào)傳送至控制部分進(jìn)行采集位置調(diào)整。圖像采集部分工作主要通過監(jiān)控相機(jī)對(duì)城市道路實(shí)時(shí)監(jiān)控，為交通管理部門提供實(shí)時(shí)可靠的數(shù)據(jù)。

3.2.2 圖像識(shí)別部分

圖像識(shí)別部分主要由監(jiān)控相機(jī)以及圖像傳感器兩部分組成，該部分主要分為兩個(gè)關(guān)鍵步驟，一是背景模型建立及更新；二是遮擋物相關(guān)信息識(shí)別及確定。通過監(jiān)控相機(jī)對(duì)圖像進(jìn)行采集，圖像傳感器采用基于背景差分法的改進(jìn)算法對(duì)采集的圖像進(jìn)行背景圖像模型構(gòu)建，通過檢測(cè)運(yùn)動(dòng)目標(biāo)在背景圖像中的運(yùn)動(dòng)，確定遮擋物的大小及位置等信息，形成可視化數(shù)據(jù)。數(shù)據(jù)處理器針對(duì)圖像傳感器形成的可視化數(shù)據(jù)進(jìn)行計(jì)算得出裝置可正常工作位置的具體高度和角度。

1）傳統(tǒng)背景建模

利用傳統(tǒng)的背景差分法進(jìn)行背景建模，該方法首先選取連續(xù)N幀時(shí)間間隔較小的圖像，再將不同幀同一坐標(biāo)處的像素值累加，最后取平均值進(jìn)行背景圖像建模。其數(shù)學(xué)表達(dá)式如下：

式中：B(x,y）是坐標(biāo)(x,y)處的背景像素值，Ii(x,y)是第i幀圖像坐標(biāo)(x,y)處的像素值。

傳統(tǒng)背景差分法建模對(duì)于靜態(tài)環(huán)境有較好的靈活性和準(zhǔn)確性，但是由于各種環(huán)境干擾和噪聲的存在，通過傳統(tǒng)背景差分法建立背景往往伴隨著空洞、鬼影等不良現(xiàn)象，算法適應(yīng)能力差，不能應(yīng)對(duì)環(huán)境的劇變，從而導(dǎo)致在實(shí)際交通場(chǎng)景中建立背景模型時(shí)弊端較多。

2）改進(jìn)算法的背景建模及更新

針對(duì)現(xiàn)實(shí)場(chǎng)景的復(fù)雜性、未知性，以及背景灰度變化不大的影響，本文對(duì)背景差分法進(jìn)行背景建模提出了一些改進(jìn)[7-8]，為了避免環(huán)境光線不穩(wěn)定的情況，通過獲取連續(xù)N（N＞100）幀圖像的前N/2幀圖像進(jìn)行累加，在累加之前進(jìn)行相鄰兩幀的像素做差，若差值小于設(shè)定的閾值，則進(jìn)行累加，反之，則舍棄前一幀的像素，最后取累加的像素平均值作為背景像素值。為了解決傳統(tǒng)采用固定閾值的弊端，本文采用自適應(yīng)方法進(jìn)行閾值T的選取[9]。數(shù)學(xué)表達(dá)式如下：

式中：S(x,y)是坐標(biāo)(x,y)處累加的像素值，B(x,y)是坐標(biāo)(x,y)處的背景像素值，Ii(x,y)是第i幀圖像坐標(biāo)(x,y)處的像素值。

背景建模完成后，考慮場(chǎng)景的變化問題設(shè)計(jì)下列方法進(jìn)行背景更新。數(shù)學(xué)表達(dá)式如下：

式中，θ是與背景變化率相關(guān)的系數(shù)，當(dāng)B(x,y)=Ii(x,y)時(shí)，B(x,y)不會(huì)改變，θ的變化也反映B(x,y)的改變。系數(shù)增大時(shí)，B(x,y)實(shí)時(shí)更新變快；反之，則變慢，保證采集背景圖像的實(shí)時(shí)性和準(zhǔn)確性。背景重構(gòu)是通過采集裝置獲取的第1幀、第50幀、第100幀三幀圖像，圖像傳感器通過算法處理后得到背景模型，可以看出該方法在城市交通場(chǎng)景中能夠準(zhǔn)確實(shí)施提取并更新背景模型，實(shí)現(xiàn)背景重構(gòu)。背景重構(gòu)過程如圖4所示。

3）遮擋物識(shí)別

背景圖像建立后，圖像傳感器通過提取識(shí)別檢測(cè)到的運(yùn)動(dòng)目標(biāo)軌跡與構(gòu)建背景圖像的公共部分，確定遮擋物的大小位置信息，具體步驟如下：

Step 1：根據(jù)上述步驟得到重構(gòu)背景圖像B后，設(shè)定合適的閾值T，將重構(gòu)的背景圖二值化處理，數(shù)學(xué)表達(dá)式為：

式中：Bi(x,y)是第i幀圖像在坐標(biāo)B(x,y)處的背景像素值。

背景圖像二值化效果如圖5所示。

Step 2：通過獲取第1幀圖像I1(x,y)、第50幀圖像I50(x,y)、第100幀圖像I100(x,y)與重構(gòu)背景進(jìn)行差分，對(duì)差分圖像Di進(jìn)行二值化處理，并對(duì)三幀差分二值化圖像進(jìn)行邏輯或運(yùn)算，得到目標(biāo)車輛經(jīng)過采集區(qū)域的車輛離散圖像Dl，數(shù)學(xué)表達(dá)式為：

式中：Di(x,y)是第i幀差分圖像在坐標(biāo)(x,y)處的像素值，Ii(x,y)是第i幀圖像坐標(biāo)(x,y)處的像素值，Bi(x,y)是第i幀圖像在坐標(biāo)(x,y)處的背景像素值，Dl表示通過差分的三幀二值化圖像邏輯或運(yùn)算得到的圖像。

得到的車輛三幀差分二值化圖像D1、D50、D100和車輛離散圖像Dl如圖6所示。

Step 3：通過圖像檢測(cè)器獲取離散圖像Dl中各個(gè)檢測(cè)的車輛圖像的幾何中心，進(jìn)行依次相接形成車輛軌跡折線圖Dz，通過檢測(cè)車輛寬度d對(duì)折線進(jìn)行軌跡填充，形成車輛軌跡二值圖Dr如下圖7所示。

Step 4：獲取上述重構(gòu)的背景圖B和車輛路徑二值圖Dr，對(duì)兩者進(jìn)行邏輯與運(yùn)算得到二值化圖像G，即確定遮擋物的大小和位置信息。其數(shù)學(xué)表達(dá)式為：G=B＆Dr。

通過上述步驟即可確定遮擋物的大小以及位置相關(guān)信息，通過圖像傳感器將圖像信息轉(zhuǎn)化成數(shù)字信息傳輸至數(shù)據(jù)處理器，驅(qū)動(dòng)控制部分實(shí)現(xiàn)避障行為。

3.2.3 控制部分

控制部分主要由圖像傳感器、數(shù)據(jù)處理器、伸縮桿、旋轉(zhuǎn)平臺(tái)以及限位傳感器等組成。當(dāng)圖像傳感器檢測(cè)采集圖像出現(xiàn)遮擋物時(shí)，圖像傳感器對(duì)遮擋物的大小位置進(jìn)行確定，數(shù)據(jù)處理器結(jié)合遮擋物大小位置信息，計(jì)算出裝置的高度和角度的具體調(diào)整方案，由數(shù)據(jù)處理器向限位傳感器發(fā)送調(diào)節(jié)指令。信息采集裝置的伸縮桿、旋轉(zhuǎn)平臺(tái)和限位傳感器相連接，限位傳感器接收并感應(yīng)調(diào)節(jié)指令，對(duì)伸縮桿的伸縮長(zhǎng)度和旋轉(zhuǎn)平臺(tái)的旋轉(zhuǎn)角度進(jìn)行自動(dòng)調(diào)節(jié)控制，同時(shí)圖像傳感器持續(xù)工作，識(shí)別調(diào)節(jié)后的位置采集圖像是否存在遮擋物，反復(fù)進(jìn)行調(diào)節(jié)，保證采集裝置的正常采集。限位傳感器會(huì)對(duì)伸縮桿、旋轉(zhuǎn)平臺(tái)進(jìn)行限制，可以保證裝置在安全范圍之內(nèi)有效調(diào)節(jié)。若采集裝置在限位傳感器控制范圍內(nèi)調(diào)整一個(gè)周期后仍無法有效解決問題，數(shù)據(jù)處理器會(huì)將工作異常信號(hào)傳達(dá)至無線通信部分進(jìn)行數(shù)據(jù)綜合處理。

3.2.4 無線通信部分

無線通信部分主要由圖像傳感器、數(shù)據(jù)處理器、GPS定位裝置、無線通信模塊等組成。當(dāng)控制部分的限位傳感器經(jīng)過一個(gè)周期的反復(fù)調(diào)控后，仍無法使采集裝置正常工作，數(shù)據(jù)處理器生成工作異常信號(hào)并結(jié)合GPS定位裝置提供的位置信息，通過無線通信模塊將異常信號(hào)傳送至交通管理部門，交通管理部門收到信號(hào)后即可采取人工介入處理，及時(shí)處理問題，避免采集裝置失效影響城市道路監(jiān)管。

4 改進(jìn)后采集裝置的優(yōu)點(diǎn)

4.1 質(zhì)量輕，拋光度合適，穩(wěn)定性好

據(jù)市場(chǎng)調(diào)查，我國(guó)制造行業(yè)中鋼鐵制品占比很大，其他材質(zhì)制品比重相對(duì)較少。而傳統(tǒng)鋼鐵制品有不少弊端，例如，笨重、表面拋光度過高、化學(xué)穩(wěn)定性差等。改進(jìn)后的裝置采用可回收的PP塑料材質(zhì)取代鋼鐵材質(zhì)，PP塑料材料比水還輕，這一特性，對(duì)需要經(jīng)常維檢的機(jī)械裝備，具有舉足輕重的意義。傳統(tǒng)的鋼鐵制品保護(hù)罩可能由于質(zhì)量監(jiān)管不到位，制品表面拋光度過高，導(dǎo)致城市光污染嚴(yán)重，不僅影響采集效果，行車安全也得不到保障。改進(jìn)后的裝置采用PP塑料材質(zhì)，是表面質(zhì)地均勻的磨砂面，拋光度合適。大多鋼鐵制品采用的原材料含碳量不合格，導(dǎo)致制品穩(wěn)定性不佳。尤其是在雨季較長(zhǎng)、降水量大的城市，裝置常常因腐蝕而發(fā)生故障。PP塑料材質(zhì)對(duì)酸、堿以及溫度都有較強(qiáng)的穩(wěn)定性，環(huán)保節(jié)約，使用壽命長(zhǎng)。

4.2 識(shí)別精準(zhǔn)，自動(dòng)避障，采集效率高

在現(xiàn)行投入使用的采集系統(tǒng)中，采集裝置大多固定安裝在道路右側(cè)、中央隔離帶或龍門架上，而裝置采用這類固定式安裝常常會(huì)因?yàn)榫G化修整不及時(shí)被遮擋從而失去作用。同時(shí)，實(shí)際中用于檢測(cè)的傳統(tǒng)背景差分法在復(fù)雜多變的實(shí)際場(chǎng)景中，檢出圖常常伴隨著空洞、鬼影的現(xiàn)象，檢測(cè)效果不佳。本文提出的采集系統(tǒng)優(yōu)化方法通過改進(jìn)現(xiàn)有的背景差分法能更好地適應(yīng)環(huán)境的變化，進(jìn)行背景建模和背景實(shí)時(shí)更新，從而確定遮擋物的相關(guān)信息，控制采集裝置在有限范圍內(nèi)進(jìn)行調(diào)控完成自動(dòng)避障，通過無線通信模塊實(shí)現(xiàn)交通管理部門與采集裝置協(xié)同作業(yè)，形成完備的采集系統(tǒng)，有效避免了環(huán)境變化造成的采集裝置失效的情況。

5 結(jié)語(yǔ)

本文提出通過基于改進(jìn)背景差分法的方法建立背景圖像模型，檢測(cè)運(yùn)動(dòng)目標(biāo)的軌跡確定遮擋物的基本信息，控制采集裝置進(jìn)行自動(dòng)避障。該方法考慮了采集裝置工作受環(huán)境變化的影響，能夠?qū)崿F(xiàn)絕大多數(shù)被遮擋情況下采集裝置仍保持正常工作，改善城市道路信息采集效果，從而保證城市道路安全性。