巡邏機器人的圖像采集與處理技術研究*

盧應虎 張青春 王勁堯 楊 陽

（1.淮陰工學院研究生院 淮安 223003）（2.淮陰工學院自動化學院 淮安 223003）

1 引言

移動監控是電子巡邏機器人最基本的智能行為。如何在移動過程中有效地采集高質量的畫面、識別運動中的目標并對目標進行跟蹤，是電子巡邏機器人領域研究的關鍵問題之一。

在此背景下，基于Visual Studio 2017作為開發環境，使用Opencv3.4.1強大的函數庫，Python作為編程語言，通過移動機器人搭載網絡攝像頭對監控區域進行實時監控，并完成圖像去除光照、噪聲等影響因素以及監控內移動目標的檢測、識別。

2 系統設計要求與方案

2.1 設計要求

監控設備能夠清晰地采集圖像；監控攝像頭能夠自由旋轉角度［1］；對于圖像處理可以分為圖像的前期處理與后期處理，前期處理主要是圖像的預處理，包括對圖像作去噪聲、圖像增強等處理［2］，后期處理主要是對監控內移動目標進行檢測、目標的識別，對可疑對象跟蹤［3］。

機器人為四層，由上到下的順序，第一層為LCD顯示屏，第二層為核心板區域，第三層為擴展板區域，第四層為帶電機的底板。

2.2 方案設計

選擇使用螢石C6C攝像頭。它的感光元件為COMS傳感器，該攝像頭的云臺可實現不同位置不同角度的旋轉，監控范圍更大。

使用Opencv進行圖像處理。Opencv是一個跨平臺的計算機視覺庫［4］。它是一個開放源代碼可視化庫，它為開發者提供了許多常規的圖像處理或計算機視覺算法［5］。Opencv庫包括CV、CVAUX、CVCORE、HIGHGUI和CVAM。這里的CV模塊主要用于圖像處理、動態分析、目標跟蹤等。CVAUX模塊是額外的庫，在概括實驗函數后形成。CXCORE模塊包含幾套基本結構和算法，以便對不同的數據類型進行基本運算處理。HIGHGUI是glji庫，包括用戶互動部分。CVAM是Opencv中使用相機的重要模塊。

3 圖像處理的算法研究

由于氣候、照明、傳感器和系統的非線性，目標快速移動等原因，監測系統中圖像質量不高，圖像需要進行事前的處理，能有效地清除噪音，改善圖像質量，使圖像清晰［6］，并能提供對目標識別和跟蹤的可靠保證。

3.1 圖像增強算法

圖像增強是數碼圖像處理的基本方法［7］。空間域方法和頻域方法是圖像增強技術的兩種方法［8］。對空間域中灰度值直接計算的方法為空間域方法［9］。圖像增強技術提供的公式（1）來描述處理過程。

圖1 空間域增強模型

f（x，y）表示圖像處理前的函數，g（x，y）是圖像經增強后的圖像［10］。h（x，y）為計算處理圖像的相關函數。

頻率區域的方法意味著將現有的域名轉換為其他域名。如果在現有的域名中計算或分類不順利時，則轉換成更高水平的域名，計算量就會減少，計算工作就會簡單化。圖2為頻域變換增強的流程圖。

圖2 頻域的變換增強

F（u，v）為頻率域增強處理之前的圖像函數，G（u，v）是處理后圖像的函數，f（x，y）經過傅里葉正變換變成F（u，v）［11］，再經修正變換為G（u，v）。H（u，v）是關于修正方法的一個濾波數。

圖3 圖像強化效果圖

3.2 圖像二值化算法

圖像的灰度化，就是將圖像中各個位置的像素值用0和1兩個值來表示［12］，圖像的二值化在移動目標檢測中被用來分離檢測目標和非檢測目標［13］，在移動目標檢測中，在目標被檢測出來后，我們通常將檢測出的目標與背景進行二值化，通過設置合適的閾值，將背景與檢測的移動目標分離開來［14］。式（3）給出了圖像二值化的表達式。

上式中，T是我們選定的閾值，圖像中處于位置（x，y）的像素的值Dk（x，y）大于等于閾值T時，則將該點的像素值賦值為1，當像素值小于閾值T時將該點的像素值賦值為0。在計算機屏幕顯示中，像素值為1的像素點顯示為白色，像素值為0的像素點顯示為黑色，這樣二值化后的圖像，將由彩色圖像或者灰度圖像轉換為黑白圖像，能夠更加突出我們檢測出的目標。圖4為圖像二值化效果圖。

圖4 圖像二值化

3.3 圖像濾波算法

圖像噪音是由于拍攝過程中出現失誤而晃動以及拍攝環境等原因導致拍攝圖像模糊的現象。另外，在傳輸過程中，由于外部的干涉或者多媒體等問題，產生了椒鹽噪聲和高斯噪音。過濾器可以用來過濾噪音，過濾噪聲的光譜一般位于高頻部分，因此要過濾高頻部分，保留低頻組件，這樣可以大大提高圖像的質量，過濾高頻并在光滑的圖像中運行，使用低回放過濾器可以過濾高頻，以下公式是空間單位脈沖響應矩陣設計的系統。

式中，g（i，j）是經過卷積變化之后得到的結果，f（m，n）為初始的灰度值，H是低通卷積因子。

圖5 濾波效果對比圖

3.4 運動目標檢測算法

移動目標將會對圖像中的關鍵幀和圖像框進行比較，以確認圖像是否會被更改。視頻流由三個類型的編碼框架、預測框架和可持續性雙向框架組成，以框架間的差異為例，分析標準檢測原理。框架之間的差異算法是指對兩個或三個框架的連續的兩個框架進行差異對比，去除有差異的像素，判斷差異的絕對值是否超過了臨界值，如果超過了，就可以決定移動對象達到目標探測功能。

本文采用三幀差別化方案，減少了視頻捕捉的重影現象，核心是選擇合適的臨界值。如果選擇的臨界值太小，則無法抑制差異圖像的噪音。如果將臨界值選得過大，就能分辨出差異圖片的部分信息。選擇固定臨界值時，框架之間不可能存在差異。取判決條件為

其中N是檢測的區域中的像素總數，并且A可以被設置為整個幀圖像。最后一項的數值用來表示整個幀圖像中的照明變化情況，數值越大明亮變化越大。可以看出，添加項減輕了光變化造成的影響。

幀間差分可以快速檢測目標，三幀比兩幀效果更好，前者解決后者因緩慢移動引起的“重影”現象。

3.5 運動目標的跟蹤算法

本文使用了基于活動輪廓模式的移動目標追蹤算法，原理是將目標的輪廓信息連續用曲線表示，設定具有能量的函數，設定該函數的參數之一的曲線，用函數解決最小值的方法代替圖像的分割過程，把函數最小化，作出相應的變化，解函數方程的數值計算。模式的進化遵循拉格朗州力學法則，當各種力量達到平衡狀態時，進化就停止，函數達到最小，在這種狀態下曲線進化到目標的輪廓——最佳位置。

在實平面內定義活動輪廓曲線：

活動輪廓模型能量函數表示為

其中，I表示圖像，▽是梯度算子，其它各項分別表示如下：

根據上述算法，將矩形框與運動目標的輪廓優化，使得輪廓逼近，從而得到目標輪廓，檢測物體檢測是否結束，如果沒有，就預測下一幀運動目標大概位置，重復之前的步驟繼續對目標跟蹤。

4 軟件設計

4.1 目標識別部分設計

目標的識別主要對物體目標類型的具體識別，包括人、動物、書等各種類型的識別，并對物體置信度進行評估，將低于5.0評分的物體不進行顯示，下面將具體介紹識別的具體工作過程。

圖6 目標識別具體步驟圖

在這個過程中，可以通過非最大抑制函數得到一系列的矩形，并對這些得到的矩形按置信度評分排序，消除低于置信度的矩形，我們還需要定義一個FLANM匹配器函數，最后通過數據的關聯實現識別的功能。

4.2 目標的跟蹤部分設計

目標跟蹤是對視頻中的移動目標進行位置的跟蹤［15］。本文用到了Opencv中提供的cv2.findContours和cv2.boundinRect函數，cv2.findContours主要是計算圖像中目標的輪廓，cv2.boundinRect主要計算矩形的邊界框，利用YOLOv3算法預測出邊界框，通過對剩余的邊界框使用非最大抑制算法，去除重疊的邊界框，再對圖片的尺寸進行設計，通過以上操作就可以實現了對目標跟蹤的功能。

通過上述程序介紹，首先需要獲取輸出層的名稱，繪制預測的邊界框，獲取物體類型的標簽和置信度，然后將較低的置信度的矩形框刪除。最終實現運動目標的識別與跟蹤。

5 系統調試

通過打開Visual Studio 2017軟件，打開所屬程序文件，點擊運行按鈕，等待程序的運行，等待大約1min，視頻圖像就可以通過調取本地攝像頭顯示出來了，可以看到視頻中識別出的人、動物和物體，因為軟件的問題，只能通過英文顯示物體的類型。可以發現在物體名稱后面有一個小數，每一個物體都有，這就是置信度，最高的置信度為1，最低的0.5，低于0.5的不予顯示。調試結果如圖7～8所示。

圖7 圖像識別調試

圖8 目標跟蹤

6 結語

本文的研究主要是基于Visual Studio 2017作為系統的開發環境，利用Opencv與Python對圖像進行處理，主要分為對圖像采集以及圖像處理方面的研究，在圖像采集方面，我們根據了用戶所需的要求，保證實時數據的采集，在圖像處理方面，首先本文對圖像先進行了圖像增強、圖像灰度變換以及圖像濾波的處理，通過特定的算法進行預處理，然后研究了圖像中運動目標的跟蹤，利用Opencv中的函數庫進行檢測圖像中的目標類型，然后進行目標的跟蹤，在此過程中，如果檢測出異常行為，系統會立即發送信息給巡視機器人的控制端，保持異常行為或者可疑目標一直出去鏡頭內，如果不在鏡頭內，機器人自動尋找目標并繼續檢測。