自然保護區海量視頻數據快速分析與檢索①

謝 琳, 張 磊, 李 健

1(中國科學院大學,北京 100049)

2(中國科學院 計算機網絡信息中心,北京 100190)

近幾年來,隨著多媒體技術的蓬勃發展,攝像設備的日益普及,視頻監控系統廣泛應用在安防、城市交通、物業管理等多個領域,視頻監控數據呈現爆炸式的增長,現已成為大數據時代的主要研究對象之一. 為了更好地實現對自然保護區的監控以及對野生動物的追蹤與觀察,大部分自然保護區也安置了視頻監控設備,對自然保護區進行24小時不間斷的、全方位的、多角度的視頻監控,視頻數量非常大. 例如,自2005年以來,中國科學院計算機網絡信息中心與青海湖保護區管理局合作,共同建設了青海湖野外網絡視頻監控系統,每年青海湖核心區的視頻數據高達幾十TB[1]. 因此如何自動快速地分析和處理自然保護區海量視頻數據,實現對有效視頻數據的充分利用,成為一個亟待解決的重要問題.

迄今為止,國內外許多學者對視頻處理技術進行了大量的研究,產生多種視頻數據提取方法. Woft[2]提出基于光流分析提取關鍵幀,這種方法很好的考慮了運動特征,但是計算量非常大. Hanjalic等人[3]對聚類有較早的研究,通過多重分割聚類去除視頻的冗余部分,并將聚類中心作為關鍵幀,該方法具有一定的通用性. Shahraray等人[4]提出基于鏡頭邊界法,將切分得到的鏡頭中的首幀(或尾幀)作為關鍵幀. 文獻[5]中Liu Gentao等人提出了基于鏡頭的關鍵幀提取架構,結合了鏡頭邊界檢測算法和在鏡頭內的關鍵幀提取算法.這些方法提取的關鍵幀能夠有效的表達原始視頻的內容,適合多鏡頭多場景的視頻分析. 但是,自然保護區的視頻監控系統面向特有的監控對象與自然環境,視頻拍攝場景相對固定,沒有明顯的鏡頭切換,并且所產生的視頻數據中往往含有大量近似于靜止的視頻片段,具有很大的可壓縮空間. 現有的視頻處理技術并沒有針對這一特點做出相應的改進,因此并不完全適用于自然保護區視頻數據的分析. 針對這一特殊需求,參考目前已有的視頻數據處理方法,設計并實現了自然保護區海量視頻數據分析與檢索系統. 該系統中包括視頻要素信息提取、視頻關鍵幀提取、視頻關鍵幀目標檢測、建立視頻索引等一系列處理流程,充分實現了對自然保護區視頻數據的自動分析與利用,取得了良好的實踐效果.

1 系統總體架構

自然保護區海量視頻數據分析與檢索系統涵蓋了視頻數據存儲、分析、利用的完整處理流程,實現了數據存儲,數據分析、數據利用等核心功能. 其中,數據分析包括視頻數據的清洗、壓縮以及有效視頻數據的提取,數據利用則通過建立視頻索引實現基于視頻內容的檢索操作,并將視頻分析與檢索結果進行可視化展示. 按照上述設計思路,自然保護區海量視頻數據快速分析與檢索系統的總體架構如圖1所示. 該系統主要分為以下幾個模塊：

(1) 數據存儲：通過分布式數據平臺將原始視頻數據錄入到數據庫中. 然后利用分布式數據平臺進行視頻處理任務和視頻檢索任務的分配與并行處理,并將其產生的數據存儲到數據庫中.

(2) 數據分析：視頻處理引擎主要實現對視頻數據的分析和處理. 首先獲取視頻拍攝地經緯度以及拍攝日期等視頻要素信息; 然后利用基于視頻幀圖像相似度的關鍵幀提取算法,提取視頻中的關鍵幀數據,同時通過分析視頻流之間的變化,將原始監控視頻劃分成靜態視頻段和動態視頻段(即下文所指的有效視頻段),并剔除其中不感興趣的靜態視頻片段,實現對視頻的清洗與壓縮; 最后利用YOLO目標檢測算法[6,7]提取視頻關鍵幀中包含的野生動物物種、數量等關鍵信息.

(3) 數據利用：視頻檢索引擎為分析得到的有效視頻數據建立多種索引,提供視頻標簽檢索、視頻要素信息檢索以及視頻圖像檢索等多種基于內容的視頻檢索操作. 可視化展示與檢索模塊主要為用戶提供可視化服務,即通過Web GIS可視化展示自然保護區動植物的分布以及用戶可以通過可視化窗口進行視頻檢索.

圖1 自然保護區海量視頻數據快速分析與檢索系統總體框架

在本系統中,視頻處理引擎和視頻檢索引擎是視頻數據處理與檢索的主要模塊,實現了整個系統的核心功能,下面將重點介紹這兩個功能模塊.

2 視頻處理引擎

目前自然保護區大多數采用高清紅外攝像機、激光紅外攝像機等監控設備,計算機可以采集視頻拍攝地的經緯度以及拍攝日期等視頻要素信息,并將它們存儲在數據庫中. 但是對于自然保護區的監測人員和研究者,更加關注監控視頻中的動態視頻片段和野生動物物種相關的要素信息,因此從海量視頻片段中提取能夠代表視頻變化情況的關鍵幀以及關鍵幀包含的視頻要素信息就顯得尤為重要. 視頻數據是由一系列連續的、漸變的幀組成,關鍵幀就是用于描述一段視頻的關鍵圖像幀,它通常能反映視頻的主要內容,具有代表性. 本文針對自然保護區監控視頻的特點,首先利用基于圖像相似度的視頻關鍵幀提取算法提取視頻關鍵幀,然后進行視頻片段的劃分,剔除視頻數據中的靜態視頻片段,實現視頻數據的清洗和壓縮,有效地減少視頻數據量. 另外,本文采用基于深度學習的目標檢測算法對視頻關鍵幀進行進一步分析與處理,提取視頻關鍵幀中包含的野生動物物種類別和數量等要素信息.

2.1 基于圖像相似度的視頻關鍵幀提取算法

通過對多段監控視頻進行采樣分析發現,在未進行鏡頭調整的情況下,一段連續視頻的視頻幀圖像信息特征值總是與其前后幾幀相近,處于一種連續漸變的狀態,但是當這種漸變積累到一定程度的時候,視頻幀的圖像特征值會發生顯著的變化[8]. 因此,利用相似圖像的特征值相近這一特性,本文提出基于圖像相似度的視頻關鍵幀提取算法. 首先將視頻劃分成視頻幀圖像,然后提取圖像的特征向量,通過圖像的特征向量計算當前幀與后續幀之間的特征距離,如果特征距離大于某一閾值,則當前幀被選為關鍵幀,這樣減少了關鍵幀的冗余度,提高了關鍵幀的代表性.

基于內容的關鍵幀提取技術主要利用的是圖像的底層視覺特征,包括顏色、形狀、紋理、邊緣等. 顏色特征[9]是圖像最基本的視覺特征,主要有RGB顏色空間、HSV顏色空間和HSI顏色空間. 與RGB顏色空間相比,HSV顏色空間能較好地反映人眼對顏色的感知,同時又能夠方便地同RGB顏色空間進行轉換. 在顏色特征提取的過程中,首先將RGB顏色空間的各個像素轉換到HSV顏色空間內,然后將HSV空間進行非均勻量化,形成顏色特征向量. 但是顏色直方圖缺乏像素空間信息,本文在提取顏色特征的同時,采用LBP紋理描述子[10]來描述圖像的紋理特征,并對視頻幀圖像進行紋理特征的提取. 采用綜合特征[11]計算特征距離,提高了關鍵幀提取的準確度,有效的避免了漏檢和誤檢的問題.

視頻關鍵幀提取算法的具體流程如下：

(1) 對于監控視頻片段{π1,π2,…,πn},將πi劃分為視頻幀圖像,同時將每幀視頻圖像劃分成M×N的圖像塊[12].

(2) 提取視頻幀圖像塊的特征向量,記為Ip(m,n)=(xp1,xp2,…,xps),其中p代表視頻幀的位置,s代表特征向量的維度.

(3) 將視頻片段πi的起始幀作為參考幀和關鍵幀,計算參考幀與后續幀對應圖像塊之間的特征距離.其中i為參考幀,j為后續幀,Dij(m,n)是參考幀和后續幀對應的第m行n列圖像塊的特征距離.

(4) 設T1是局部閾值,如果Dij(m,n)>T1,說明此圖像塊發生了顯著變化; 如果Dij(m,n)

(5) 將發生顯著變化的圖像塊的數目Cj進行歸一化.

(6) 設T2是全局閾值,比較Cj*和T2,如果Cj*>T2,說明后續幀相對于參考幀發生了巨大變化,將第j幀作為關鍵幀和參考幀,重復上述操作; 如果Cj*

圖2中,(a)示例了參考幀i與后續幀j對應圖像塊特征距離的計算過程,(b)示例了根據設定的閾值判斷圖像塊是否發生顯著變化所生成的二維矩陣,其中0表示圖像塊未發生顯著變化,1表示圖像塊發生顯著變化.

圖2 參考幀與后續幀對應圖像塊特征

2.2 視頻片段劃分

一般情況下,實施監控的攝像機是靜止不動的,即監控視頻具有靜止的背景,不存在明顯的視頻結構和鏡頭的切換,因此對于自然保護區的監控視頻,視頻流之間的差異往往是由視頻中變化的目標造成的. 根據視頻流之間的差異性,視頻數據可以分為靜態視頻片段和動態視頻片段. 對于靜態視頻片段,視頻流之間存在的差異比較小,而對于動態視頻片段,不同的視頻幀包含著不同的視覺內容,內容相近的視頻幀可以用關鍵幀表達. 自然保護區的視頻監控系統面向特定的監控對象,所產生的視頻數據中往往會產生大量的靜態視頻片段,這些靜態視頻片段對于監控對象的觀察與追蹤沒有太大價值,因此剔除視頻數據中的靜態視頻片段,實現視頻數據的清洗和壓縮顯得尤為重要.

利用圖像相似度的視頻關鍵幀提取算法,可以得到原始監控視頻的關鍵幀集合. 由于關鍵幀的特性,視頻中不會出現兩段連續的靜態視頻片段,因此本文根據這一特點進行視頻片段劃分. 首先計算當前關鍵幀與相鄰關鍵幀之間間隔的視頻幀數目,如果數目小于某一閾值,則說明視頻流處于變化狀態,當前關鍵幀與相鄰關鍵幀之間間隔的視頻幀屬于動態視頻片段,反之,屬于靜態視頻片段. 具體的算法流程如下：

(1) 對于視頻關鍵幀集合f={f1,f2,…,fn},fk(k=1,2,…,n)表示視頻幀的位置,根據公式(3)計算相鄰關鍵幀間的視頻幀數目.

其中fi為當前關鍵幀位置,fi+1為相鄰關鍵幀位置,N(fi,fi+1)為當前關鍵幀與相鄰關鍵幀之間間隔的視頻幀數目.

(2) 設T3是閾值,如果N(fi,fi+1)T3,說明視頻流變化較小,則fi以及fi與fi+1之間的視頻幀屬于靜態視頻段πSg,然后繼續比較N(fi+1,fi+2),此時fi+1作為新的動態視頻段的第一幀. 以此類推,直到所有關鍵幀計算完畢,此時即可得到所有動態視頻片段和靜態視頻片段.

圖3 視頻片斷劃分示意圖

圖3示例了一段視頻的劃分過程. {f1,f2,…,fn}是這段視頻的關鍵幀集合,首先比較f1和f2,由于N(f1,f2)T3,則f3以及f3與f4之間的視頻幀屬于靜態視頻段πS1,繼續比較下一幀f5,此時f4作為新的動態視頻段πD2的第一幀. 以此類推,直到所有關鍵幀計算完畢,即可得到示例視頻段的所有動態視頻段和靜態視頻段.

2.3 視頻關鍵幀目標檢測

視頻關鍵幀能有效的反映視頻的關鍵內容,包含許多視頻要素信息,例如野生動物的物種類別、數量等信息,這些信息的提取與保存將為視頻檢索引擎提供強大的數據支持. 隨著深度學習在圖像與視頻分析領域的廣泛應用,2015年Joseph Redmon等人[6]提出了一種新的目標檢測方法YOLO,可以快速檢測出目標的類別和位置,為我們提取視頻關鍵幀的要素信息提供了新的思路. 本文采用YOLO方法對關鍵幀圖像進行目標檢測,提取出關鍵幀圖像中包含的野生動物物種類別和數量信息,將這些信息作為描述視頻的要素信息存入數據庫,為視頻檢索引擎的實現奠定基礎.

本文首先利用自然保護區視頻監控數據構建野生動物目標檢測的訓練數據集,然后使用YOLO對訓練數據集進行訓練,形成特定自然保護區的目標檢測特征模型. 接著利用YOLO訓練出的模型對提取的視頻關鍵幀圖像進行目標檢測,將檢測出的目標類別和目標數量存入數據庫. 經過關鍵幀圖像目標檢測處理,關鍵幀圖像數據就可以轉化為數據庫中方便檢索的文本數據. 視頻關鍵幀目標檢測的實現過程如圖4所示.

圖4 視頻關鍵幀目標檢測流程圖

3 視頻檢索引擎

視頻檢索引擎將利用視頻的各種屬性與關鍵信息快速尋找用戶感興趣的視頻數據,達到檢索的目的,極大地提高了視頻查找效率.

3.1 視頻標簽檢索

監控視頻存入數據庫時,為了方便管理,會為每段視頻標注能夠盡可能描述視頻內容的文字,這樣用戶通過視頻內容關鍵字進行檢索時,系統將快速返回用戶感興趣的視頻片段,以及每段視頻包含的關鍵幀、拍攝時間、經緯度等視頻要素信息.

3.2 視頻要素信息檢索

對于監控視頻來說,視頻的信息量非常大,不同身份的用戶對于視頻信息的關注點不同,例如有些研究者主要研究不同野生動物的分布狀況,而有些研究者則更加關注氣候因素的影響,因此實現視頻要素信息的檢索是非常必要的. 本系統為視頻處理引擎提取的每個視頻要素信息建立索引,加快查詢速度,減少系統的I/O操作. 用戶可以根據自身需要,通過GPS經緯度、拍攝日期以及物種類別等視頻要素信息方便快捷的檢索出感興趣的視頻段.

3.3 視頻圖像檢索

隨著視頻信息量的日漸增加,僅僅依靠視頻標簽以及視頻要素信息進行視頻內容的檢索已經無法滿足用戶的需要,尤其對于視頻來說,視頻內容描述的準確性嚴重影響檢索結果的準確性,時常出現檢索結果無法滿足用戶需求的情況. 因此,以圖搜圖成為視頻圖像檢索中應用非常廣泛的方法. 本文利用感知哈希算法[13],對視頻的每一個關鍵幀生成一個“指紋”字符串,將其作為關鍵幀數據的圖像特征存入數據庫,當用戶提交檢索圖片時也會產生相應的一個“指紋”字符串,將其與數據庫中關鍵幀的指紋特征比較,結果越接近,說明圖片越相近,從而快速檢索出用戶感興趣的視頻段,實現過程如圖5所示. 這種圖像檢索方法實現非常簡單,能夠快速檢索出目標視頻段,但是感知哈希算法對圖像特征的表達不充分,影響檢索結果的準確性. 因此,在后續工作中,將結合SIFT和CNN的方法提取圖像特征向量,增加圖像檢索的速度和準確率.

圖5 視頻圖像檢索流程圖

4 實驗結果與分析

為了驗證本文中視頻數據分析與檢索方法的有效性,以青海湖野生動物監控視頻為測試樣本進行實驗.由于視頻處理過程中計算量非常大,并且計算任務重復性高,因此實驗過程中利用4臺計算機組成的HTCondor集群[14]對視頻數據進行處理,相對于單機而言,視頻處理速度有了顯著提高.

4.1 視頻關鍵幀提取與視頻片段劃分實驗

本實驗首先利用基于圖像相似度的關鍵幀提取算法提取青海湖黑頸鶴監控視頻的關鍵幀,然后利用關鍵幀的特性進行視頻片段的劃分.

圖6 視頻關鍵幀提取與視頻片段劃分實驗結果

由于監控視頻的背景基本靜止,視頻中黑頸鶴的運動使得視頻幀的圖像特征值發生變化. 通過視頻幀圖像特征值的比較,可以標注出視頻幀變化的區域. 當視頻幀變化區域面積達到設定的閾值時,則認為當前幀為視頻的關鍵幀,此時可以記錄下關鍵幀的拍攝時間以及在視頻片段中的位置,并將關鍵幀有效信息存入數據庫中. 圖6的結果顯示本文方法能夠有效地從野生動物監視視頻中提取關鍵幀,通過這些關鍵幀的內容,可以迅速地了解原視頻中兩只黑頸鶴的動作變化,如圖6(a)-(d)所示. 通過關鍵幀在視頻中的位置,可以快速地劃分視頻段,根據視頻段的幀數判斷出靜態視頻段和動態視頻段.

為了進一步檢驗文中所述算法的效果,選擇了三段不同類型的視頻進行實驗,在實驗中分別采用目測和文中所述的基于圖像相似度的關鍵幀提取算法進行關鍵幀提取. 實驗數據和結果如表 1.

表1 不同類型視頻的關鍵幀提取結果

根據實驗結果,可以發現對于黑頸鶴活動視頻和青海湖風景視頻,視頻中含有大量的靜態視頻片段,采用基于圖像相似度的關鍵幀提取算法可以有效地提取關鍵幀,并且視頻壓縮率比較高. 而對于車輛行駛視頻,視頻中物體快速運動,造成視頻幀間特征值相似性小,提取的視頻幀數目較多,視頻壓縮率低. 因此,針對自然保護區監控視頻的特點,本文提出的關鍵幀提取算法可以快速準確的提取出視頻中的關鍵幀,實現對視頻的清洗和壓縮,有效的減少了視頻數據量.

4.2 視頻關鍵幀目標檢測實驗

本實驗對青海湖野生動物物種圖像進行建模,然后利用YOLO目標檢測方法對青海湖野生動物監控視頻的關鍵幀圖像進行檢測. 圖7中是青海湖野生動物關鍵幀圖像的檢測結果,根據標注出的標簽可以得到圖像中包含的物種類別,同時根據目標框的位置可以統計出各個類別物種的數量. 由圖7(b)可以看出,本文中使用的目標檢測方法對小目標也有較好的檢測結果.本實驗很好的驗證了利用視頻關鍵幀目標檢測方法提取視頻要素信息的有效性.

圖7 視頻關鍵幀目標檢測實驗結果

4.3 視頻壓縮與檢索實驗

視頻關鍵幀的提取是實現視頻壓縮與檢索的關鍵環節. 通過視頻關鍵幀的提取,可以快速刪除視頻中的靜態視頻片段,同時利用關鍵幀圖像可以快速瀏覽視頻內容,篩選出用戶感興趣的視頻.

圖8展示了青海湖鳥類監控視頻壓縮與檢索的結果. 由圖8中原始視頻幀數和提取關鍵幀數的統計結果可以看出,通過視頻關鍵幀的提取,有效的壓縮了自然保護區視頻監控數據的數據量,節省了存儲空間. 同時,通過瀏覽視頻關鍵幀信息,可以快速篩選出用戶感興趣的視頻. 另外,用戶通過輸入檢索信息,系統自動檢索出數據庫中與檢索信息相匹配的關鍵幀,進而檢索出相應的視頻段,達到檢索的目的,極大的提高了視頻查找的效率. 視頻處理與檢索的過程中,由于視頻文件都是大文件,計算機單節點的數據傳輸壓力非常大,本系統利用Hadoop分布式系統[15],有效地緩解了視頻處理過程中單節點的數據傳輸壓力,解決了計算節點傳輸數據時占用大量網絡帶寬的瓶頸問題,大大提高了海量視頻數據分析與檢索過程中文件傳輸的效率.

圖8 視頻壓縮與檢索實驗結果

5 結束語

本文提出的視頻關鍵幀提取算法有效地實現了海量監控視頻的清洗和壓縮,同時利用YOLO目標檢測算法提取視頻關鍵幀要素信息,為視頻內容檢索提供方便快捷的途徑,并且將提取的有效視頻段、視頻關鍵幀和視頻要素信息進行關聯與整合,使用戶可以通過圖像、視頻標簽、視頻要素信息檢索出感興趣的視頻段、關鍵幀圖像以及視頻描述信息等多種數據. 這樣不僅為監控人員減少了視頻處理與分析的工作量,也為快速檢索視頻內容提供了平臺. 同時,為了提高視頻處理與檢索的速度,本文采用分布式數據平臺,緩解了單節點傳輸數據文件的壓力. 近年來,隨著深度學習的快速發展,在后續工作中,將改進視頻圖像檢索的圖像匹配方法,利用Facebook發布的相似性檢索算法Faiss[16]進行圖像檢索,提高視頻圖像檢索的速度和準確率. 同時擴展視頻處理引擎和視頻檢索引擎的功能,實現視頻中的物體識別和目標檢測,使之成為一個功能更加強大的視頻數據分析與檢索系統.

1 謝慕哲,羅澤,閻保平. 視頻鳥類行為研究中基于尺度不變特征變換的形態分類算法. 科研信息化技術與應用,2014,5(3)：87-94. [doi：10.11871/j.issn.1674-9480.2014.03.011]

2 Wolf W. Key frame selection by motion analysis.Proceedings of the 1996 IEEE International Conference on Acoustics,Speech,and Signal Processing. Atlanta,GA,USA. 1996,2：1228-1231.

3 Hanjalic A,Zhang HJ. An integrated scheme for automated video abstraction based on unsupervised cluster-validity analysis. IEEE Transactions on Circuits and Systems for Video Technology,1999,9(8)：1280-1289. [doi：10.1109/76.809162]

4 Shahraray B,Gibbon DC. Automatic generation of pictorial transcripts of video programs. Proceedings of the SPIE Volume 2417,Multimedia Computing and Networking. San Jose,CA,USA. 1995,2417. 512-518.

5 Liu GT,Wen XM,Zheng W,et al. Shot boundary detection and keyframe extraction based on scale invariant feature transform. Proceedings of the 8th IEEE/ACIS International Conference on Computer and Information Science. Shanghai,China. 2009. 1126-1130.

6 Redmon J,Divvala S,Girshick R,et al. You only look once：Unified,real-time object detection. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas,NV,USA. 2016. 779-788.

7 Redmon J,Farhadi A. YOLO9000：Better,faster,stronger.arXiv：1612.08242v1,Dec. 2016.

8 曹長青. 基于內容的視頻檢索中關鍵幀提取算法研究[碩士學位論文]. 太原：太原理工大學,2013.

9 Rao AB,Srihari RK,Zhang ZF. Spatial color histograms for content-based image retrieval. Proceedings of the 11th IEEE International Conference on Tools with Artificial Intelligence. Washington,DC,USA. 1999. 183-186.

10 Wang XY,Han TX,Yan SC. An HOG-LBP human detector with partial occlusion handling. Proceedings of the 12th International Conference on Computer Vision. Kyoto,Japan.2009. 32-39.

11 張萌. 視頻檢索中關鍵幀的提取和特征匹配的研究[碩士學位論文]. 北京：北京郵電大學,2012.

12 Cao CQ,Chen ZH,Xie G,et al. Key frame extraction based on frame blocks differential accumulation. Proceedings of the 24th Chinese Control and Decision Conference. Taiyuan,China. 2012. 3621-3625.

13 張慧,張海濱,李瓊,等. 基于人類視覺系統的圖像感知哈希算法. 電子學報,2008,36(12A)：30-34.

14 卞濤,羅澤,馬永征. 基于Hadoop的分布式視頻處理. 科研信息化技術與應用,2016,7(4)：61-69.

15 周文瓊,王樂球,葉玫. 云環境下Hadoop平臺的作業調度算法. 計算機系統應用,2014,23(5)：177-181.

16 Johnson J,Douze M,Jégou H. Billion-scale similarity search with GPUs. arXiv：1702.08734v1,Feb. 2017.