目標(biāo)檢測技術(shù)在安防監(jiān)控視頻內(nèi)容分析中的應(yīng)用

張路遙 鄧 鵬

（廣州寶露軟件開發(fā)有限公司，廣東 廣州 510660）

因安全、合規(guī)等方面的需求，安防監(jiān)控攝像頭的安裝、使用非常廣泛。部分型號的監(jiān)控攝像頭本身已具備視頻內(nèi)容分析的功能，如目標(biāo)檢測、目標(biāo)移動檢測、人群聚集檢測等。同時，一些獨(dú)立的目標(biāo)檢測技術(shù)和算法[1-2]發(fā)展速度迅猛，檢測效果越來越好，功能越來越強(qiáng)大，可將相關(guān)技術(shù)和算法應(yīng)用到監(jiān)控視頻的內(nèi)容分析中，從而更充分地發(fā)揮安防監(jiān)控的價值。例如，檢索在指定的時間段和區(qū)域內(nèi)，有人、物（可具體到卡車、轎車、貓、狗、交通燈、手提袋等某一類或者某幾類物體）出現(xiàn)、移動的監(jiān)控畫面。對于實(shí)時目標(biāo)檢測技術(shù)而言，如果發(fā)現(xiàn)煙霧、火情、人員入侵等情況，安防監(jiān)控系統(tǒng)可及時產(chǎn)生報警信息。

1 目標(biāo)檢測算法YOLO在安防監(jiān)控視頻的內(nèi)容分析中的使用

YOLO是一種使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行目標(biāo)檢測的算法，計(jì)算速度快，可用于實(shí)時目標(biāo)檢測等場景中，可檢測物體目標(biāo)的類別（例如人、卡車、轎車、貓、狗、交通燈等）和位置（即目標(biāo)在圖像中的具體位置）。

YOLO目標(biāo)檢測顯示了被識別目標(biāo)的類別及其在圖片中的具體位置，此處的檢測結(jié)果是8個人（person）、5張椅子（chair）、4盆綠植（potted plant）和3臺電視機(jī)（tv，實(shí)際是電腦顯示屏）。

YOLO目標(biāo)檢測效果如圖1所示。

圖1 YOLO目標(biāo)檢測

YOLO算法使用卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)可以實(shí)現(xiàn)將人、物等目標(biāo)細(xì)分成超過9 000個類別[3]。YOLO v5算法的實(shí)現(xiàn)代碼在github上的評價非常高，其評分還在持續(xù)上升中。YOLO算法將待檢測的圖片劃分成S×S的網(wǎng)格，如果物體目標(biāo)O的中心點(diǎn)落在網(wǎng)格G中，則由該網(wǎng)格（即G）負(fù)責(zé)檢測該物體目標(biāo)（即O）。對于每個網(wǎng)格，YOLO算法預(yù)測B個邊界框及對應(yīng)的置信度p，并預(yù)測C個類別置信度。每個邊界框包含5個要素(x，y，w，h，p)，其中(x，y)是該邊界框的中心點(diǎn)在網(wǎng)格中的位置（即相對于網(wǎng)格左上角的橫縱坐標(biāo)），(w，h)分別是該邊界框的寬度和高度，置信度p是指物體目標(biāo)被包含在該邊界框中的概率。類別置信度指物體目標(biāo)屬于某一類別的概率，類別指物體目標(biāo)所屬的類別，例如人、卡車、轎車、貓、狗、交通燈、自行車等。

如果邊界框?qū)?yīng)的置信度p低于設(shè)定的閾值（例如閾值設(shè)定為0.5），則判定該邊界框不存在物體目標(biāo)，該邊界框被排除。針對預(yù)測同一個物體目標(biāo)的多個邊界框，使用非最大值抑制算法（NMS）排除多余的重疊邊界框，只保留一個邊界框。非最大值抑制算法使用了交并比值（IoU），交并比值是指兩個邊界框B1與B2的交集與并集的比值。

非最大值抑制算法中的關(guān)鍵步驟是：從待處理的所有邊界框中選擇置信度p最高的邊界框B1；針對與B1相交的所有其他邊界框Bx，分別計(jì)算交并比值IoU，如果IoU高于設(shè)定的閾值（例如設(shè)定閾值為0.5），則排除邊界框Bx；除邊界框B1之外，從剩下全部待處理的邊界框中選擇置信度p最高的邊界框By，若By存在，則返回重新進(jìn)行迭代循環(huán)；若By不存在，則結(jié)束迭代循環(huán)，處理完畢。

邊界框Bz確定后，即表示YOLO算法預(yù)測了物體目標(biāo)在圖像上的具體位置。邊界框Bz所在的網(wǎng)格，YOLO算法預(yù)測了C個類別置信度，選擇其中類別置信度最高值Cz，Cz所對應(yīng)的類別即為YOLO算法預(yù)測的物體目標(biāo)所屬的類別（例如人、卡車、小轎車、自行車、交通燈、貓、狗等）。

YOLO等目標(biāo)檢測算法建立在卷積神經(jīng)網(wǎng)絡(luò)理論之上，卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的代表算法之一，其在圖像識別、圖像處理、計(jì)算機(jī)視覺等領(lǐng)域應(yīng)用廣泛且效果顯著。卷積神經(jīng)網(wǎng)絡(luò)模擬生物的視知覺機(jī)制，即單個視覺皮層細(xì)胞僅接受感受野內(nèi)的信號，感受野對應(yīng)著卷積神經(jīng)網(wǎng)絡(luò)中的卷積核，多個視覺皮層細(xì)胞通過將感受野有序疊加，從而實(shí)現(xiàn)全部信號的完整接收并建立視覺空間。卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元結(jié)構(gòu)由線性函數(shù)（卷積層）和非線性的激活函數(shù)構(gòu)成，激活函數(shù)的作用是改變數(shù)據(jù)的線性關(guān)系，將輸入數(shù)據(jù)映射至特定的范圍之內(nèi)。卷積神經(jīng)網(wǎng)絡(luò)通過數(shù)據(jù)的歸一化/標(biāo)準(zhǔn)化處理、卷積層（線性關(guān)系的計(jì)算）、隨機(jī)失活處理、激活函數(shù)（非線性關(guān)系的計(jì)算）、池化層、全連接層等方法，達(dá)到提取圖像關(guān)鍵特征、減少圖像噪聲數(shù)據(jù)干擾的目的。卷積神經(jīng)網(wǎng)絡(luò)中的線性函數(shù)（卷積層）可表示為：

式中：xi——輸入數(shù)據(jù)x的組成成分；wi——xi對應(yīng)的權(quán)重；b——偏置參數(shù)。

對于一張寬300 pix、高200 pix的彩色圖片而言，如果每個像素用RGB三元表示，輸入數(shù)據(jù)將包含300×200×3=180 000個組成成分，即上述公式的xi為x1，x2，…，x180000。假設(shè)輸入數(shù)據(jù)x是形狀為（5，5）的矩陣，卷積核w是形狀為（3，3）的矩陣，卷積核的步長為（1，1），使用非填充的方式進(jìn)行卷積計(jì)算后的輸出數(shù)據(jù)f(x)是形狀為（3，3）的矩陣。卷積神經(jīng)網(wǎng)絡(luò)中的卷積核可以被設(shè)計(jì)成多個，每個卷積核被用來提取輸入數(shù)據(jù)某一方面的特征。

卷積神經(jīng)網(wǎng)絡(luò)算法中存在著不同的激活函數(shù)，包括softmax、tanh、relu、sigmoid等。如果沒有激活函數(shù)引入對非線性關(guān)系的擬合，卷積神經(jīng)網(wǎng)絡(luò)實(shí)質(zhì)上只能擬合多元線性關(guān)系，無法學(xué)習(xí)和擬合更復(fù)雜的關(guān)系。softmax激活函數(shù)為：

該函數(shù)將輸入數(shù)據(jù)映射至（0，1）區(qū)間。如果進(jìn)行圖片分類，假設(shè)需要將圖片分成n類，在模型訓(xùn)練階段，圖片數(shù)據(jù)經(jīng)過多個卷積層、池化層、全連接層等的計(jì)算，其中最后一層假設(shè)使用softmax激活函數(shù)，計(jì)算得到的最后輸出結(jié)果是n維向量，其中每一維的數(shù)值均落在（0，1）區(qū)間，圖片的分類結(jié)果即是最大值所在維對應(yīng)的分類，如果計(jì)算得到的圖片分類結(jié)果不正確，則反向傳播，不斷修正、更新模型參數(shù)。tanh激活函數(shù)為：

該函數(shù)將輸入數(shù)據(jù)映射至（-1，1）區(qū)間。relu激活函數(shù)為：

該函數(shù)將輸入數(shù)據(jù)映射至［0，x］區(qū)間。sigmoid激活函數(shù)為：

該函數(shù)同樣是將輸入數(shù)據(jù)映射至（0，1）區(qū)間。

池化層也被稱為下采樣downsampling或子采樣subsampling，其目的和作用是引入對非線性關(guān)系的擬合，提取關(guān)鍵特征、減少噪聲數(shù)據(jù)的干擾，特征降維，防止過擬合，減少數(shù)據(jù)量、節(jié)省存儲空間、提高計(jì)算效率等。池化函數(shù)包含多種，包括最大池化、平均池化、全局最大池化、全局平均池化等。假設(shè)輸入數(shù)據(jù)x是形狀為（3，3）的矩陣，使用形狀為（2，2）、步長為1的最大池化函數(shù)，經(jīng)過計(jì)算后的輸出數(shù)據(jù)f(x)是形狀為（2，2）的矩陣。平均池化函數(shù)與最大池化函數(shù)類似，最大池化是取滑動窗口（矩陣）的最大值，平均池化是取滑動窗口（矩陣）的平均值。

全連接層的作用是將模型通過卷積層、激活函數(shù)、池化層等方法提取的圖像關(guān)鍵特征，映射到標(biāo)記空間，例如在圖片分類應(yīng)用中，圖片所屬的各種分類即是標(biāo)記空間。全連接層的計(jì)算公式為：

全連接層的計(jì)算與卷積層的計(jì)算類似，差別在于對偏置參數(shù)的處理。例如，假設(shè)輸入數(shù)據(jù)x是形狀為（1，5）的矩陣，全連接層fc是3個神經(jīng)元，因?yàn)閒c中的每個神經(jīng)元與x中的5個數(shù)都會進(jìn)行相乘求積，即fc中每個神經(jīng)元對應(yīng)有5個權(quán)重參數(shù)，故fc中3個神經(jīng)元對應(yīng)的權(quán)重參數(shù)w是形狀為（5，3）的矩陣。fc中每個神經(jīng)元對應(yīng)有1個偏置參數(shù)，故fc中3個神經(jīng)元對應(yīng)的偏置參數(shù)b是形狀為（1，3）的矩陣，最終計(jì)算得到的輸出數(shù)據(jù)f(x)是形狀為（1，3）的矩陣。

Dropout（隨機(jī)失活）函數(shù)是隨機(jī)地將部分神經(jīng)元失活，使其不參與計(jì)算，其作用是防止過擬合（overfitting），避免出現(xiàn)模型在訓(xùn)練數(shù)據(jù)集上表現(xiàn)良好，但在測試數(shù)據(jù)集上表現(xiàn)不好的情況。造成過擬合的原因包括訓(xùn)練數(shù)據(jù)不足或?qū)D像的非必要特征（噪聲特征）錯誤地認(rèn)定為圖像的必要特征，造成模型的魯棒性（robustness）、泛化能力、預(yù)測的準(zhǔn)確率降低。例如，對于識別具體人的場景，如識別張三、李四、王五等具體的人，人臉是必要的關(guān)鍵特征，但如果錯誤地將人穿的衣服也視為必要的特征，會降低模型的魯棒性、泛化能力、預(yù)測的準(zhǔn)確率。通過Dropout函數(shù)隨機(jī)地將一定比例的神經(jīng)元失活，即排除部分?jǐn)?shù)據(jù)，使其不參與計(jì)算，例如如果排除人穿的衣服等特征，則可以提高模型識別具體人的魯棒性和準(zhǔn)確率。假設(shè)輸入數(shù)據(jù)x是形狀為（5，5）的矩陣，隨機(jī)失活比例d設(shè)為0.2，約5×5×0.2=5個數(shù)失活，失活的數(shù)值被置為0。未失活的神經(jīng)元的權(quán)重增加為原來的1/（1-d）=1.25倍，即未失活的數(shù)據(jù)的值為原來的1.25倍。

YOLO等目標(biāo)檢測算法通過數(shù)據(jù)的歸一化/標(biāo)準(zhǔn)化處理、多個卷積層、激活函數(shù)、池化層、全連接層、Dropout函數(shù)等的組合設(shè)計(jì)來擬合訓(xùn)練數(shù)據(jù)的關(guān)系，即通過擬合訓(xùn)練數(shù)據(jù)來計(jì)算模型的參數(shù)，并用測試數(shù)據(jù)檢驗(yàn)、修正模型的參數(shù)，最后用訓(xùn)練出來的模型對新的待檢測圖像進(jìn)行目標(biāo)檢測。模型的訓(xùn)練過程一般是使用梯度下降法，利用梯度的反向傳播，不斷修正、更新模型參數(shù)直至收斂。

2 在結(jié)構(gòu)化數(shù)據(jù)庫中保存目標(biāo)檢測的結(jié)果

如果監(jiān)控攝像頭本身具備目標(biāo)檢測的功能，則將其目標(biāo)檢測的結(jié)果保存在結(jié)構(gòu)化數(shù)據(jù)庫中。同時疊加使用YOLO等目標(biāo)檢測算法，提取監(jiān)控視頻中的每一幀圖片，將檢測結(jié)果也保存在結(jié)構(gòu)化數(shù)據(jù)庫中。安防監(jiān)控一般是不間斷工作，將監(jiān)控視頻每一幀圖片的分析結(jié)果都進(jìn)行保存，累積的結(jié)果數(shù)據(jù)比較大，可根據(jù)不同的需求場景采取不同的數(shù)據(jù)保存策略，例如只在監(jiān)控畫面的物體目標(biāo)類別或數(shù)量發(fā)生變化時保存。結(jié)構(gòu)化數(shù)據(jù)庫可選用ElasticSearch、MongoDB或MySQL等。ElasticSearch本身是全文搜索或搜索引擎工具，MongoDB本身是一種NoSQL數(shù)據(jù)庫，適合保存大量數(shù)據(jù)以及進(jìn)行結(jié)構(gòu)化檢索。保留在數(shù)據(jù)庫中的經(jīng)過結(jié)構(gòu)化處理的目標(biāo)檢測結(jié)果，可方便事中、事后進(jìn)行查詢，以充分發(fā)揮安防監(jiān)控的價值。

3 結(jié)語

本文較詳細(xì)地闡釋了目標(biāo)檢測算法YOLO和卷積神經(jīng)網(wǎng)絡(luò)的原理。對于實(shí)時目標(biāo)檢測技術(shù)而言，可擴(kuò)展其報警功能，有利于對緊急情況進(jìn)行及時處置、干預(yù)。目標(biāo)檢測的結(jié)果保存在結(jié)構(gòu)化數(shù)據(jù)庫中，以方便事中、事后進(jìn)行查詢使用。進(jìn)一步的研究方向是研究YOLO等算法的改進(jìn)版，綜合分析比較各種目標(biāo)檢測算法的優(yōu)劣勢，結(jié)合多種算法，形成互補(bǔ)優(yōu)勢，提高算法的準(zhǔn)確率、召回率（即全面性，能檢測到所有感興趣的物體目標(biāo)，做到不遺漏）以及提高計(jì)算性能，降低延遲（即能快速、低延時地檢測目標(biāo)，實(shí)現(xiàn)近實(shí)時的目標(biāo)檢測）。