視頻結(jié)構(gòu)化技術(shù)讓大數(shù)據(jù)騰飛

□ 文/本刊記者 羅超

服務(wù)實(shí)戰(zhàn)，深化大數(shù)據(jù)，助力行業(yè)業(yè)務(wù)變革，這是視頻結(jié)構(gòu)化技術(shù)的使命，也代表了新時(shí)期下關(guān)乎于安防創(chuàng)新的新思路。

如何讓數(shù)據(jù)用起來，真正切近實(shí)戰(zhàn)，是智慧城市、雪亮工程建設(shè)的研究方向，而視頻結(jié)構(gòu)化就是讓大數(shù)據(jù)直通來解放警力。它代表著新一代視頻監(jiān)控技術(shù)的技術(shù)方向，也是行業(yè)創(chuàng)新的一個(gè)新起點(diǎn)。

什么是視頻結(jié)構(gòu)化技術(shù)

視頻結(jié)構(gòu)化技術(shù)肯定是針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理，它是一種基于視頻內(nèi)容信息提取的技術(shù)，它對(duì)視頻內(nèi)容按照語(yǔ)義關(guān)系，采用時(shí)空分割、特征提取、對(duì)象識(shí)別等處理手段，組織成可供計(jì)算機(jī)和人類理解的結(jié)構(gòu)化信息的技術(shù)。從數(shù)據(jù)處理的流程看，視頻結(jié)構(gòu)化技術(shù)能夠?qū)⒎墙Y(jié)構(gòu)化的視頻數(shù)據(jù)轉(zhuǎn)化為人和機(jī)器可理解的結(jié)構(gòu)化或者半結(jié)構(gòu)化情報(bào)信息，并進(jìn)一步轉(zhuǎn)化為公共安全實(shí)戰(zhàn)所用的情報(bào)數(shù)據(jù)，實(shí)現(xiàn)視頻數(shù)據(jù)向信息化、情報(bào)化的方向轉(zhuǎn)化，達(dá)到視頻感知世界的智慧應(yīng)用。視頻結(jié)構(gòu)化既是海量視頻實(shí)現(xiàn)信息化、情報(bào)化轉(zhuǎn)化行之有效的技術(shù)，也是當(dāng)前公共安全領(lǐng)域中對(duì)視頻結(jié)構(gòu)化處理的一個(gè)指向性方案。

其實(shí)視頻結(jié)構(gòu)化技術(shù)早在智能視頻分析在行業(yè)展開應(yīng)用時(shí)已經(jīng)出現(xiàn)，只是當(dāng)時(shí)的智能分析較為簡(jiǎn)單，同時(shí)也并沒有源源不斷的海量監(jiān)控視頻數(shù)據(jù)。在2010年當(dāng)高清成為行業(yè)大潮時(shí)，視頻結(jié)構(gòu)化技術(shù)開始簡(jiǎn)單應(yīng)用。不過，當(dāng)時(shí)受限于算法的成熟度和硬件性能，早期的智能分析更多的是依靠后端的智能服務(wù)器來實(shí)現(xiàn)，直到各類智能分析算法日漸成熟，同時(shí)前端硬件性能得到大幅提升，前端智能的趨勢(shì)才越來越明顯，各類智能攝像機(jī)也紛紛涌現(xiàn)，這時(shí)的視頻結(jié)構(gòu)化技術(shù)才真正能大展拳腳。

由此可見，視頻結(jié)構(gòu)化是依賴于智能分析算法，其處理方式也有兩種，一種是通過具有感知能力的智能攝像機(jī)提取結(jié)構(gòu)化數(shù)據(jù)，再將數(shù)據(jù)傳送到后端進(jìn)行存儲(chǔ)或是開展深入分析，另一種是前端攝像機(jī)只采集原始視頻，由后端的智能服務(wù)器來對(duì)原始視頻進(jìn)行智能分析，形成結(jié)構(gòu)化數(shù)據(jù)。需要指出的是，有業(yè)界有種錯(cuò)誤觀點(diǎn)，把視頻結(jié)構(gòu)化技術(shù)歸為智能視頻分析技術(shù)當(dāng)中，其實(shí)兩者都是并列關(guān)系，共同服務(wù)于大數(shù)據(jù)，讓大數(shù)據(jù)真正的用起來，進(jìn)而提升視頻監(jiān)控價(jià)值。

為什么需要視頻結(jié)構(gòu)化

既然視頻結(jié)構(gòu)化對(duì)行業(yè)有指向性，那必然有其巨大的價(jià)值，同時(shí)該項(xiàng)技術(shù)能解決當(dāng)下視頻監(jiān)控的弊端。那么，我們的視頻監(jiān)控行業(yè)遇到了哪些困難？

缺少視頻信息情報(bào)的標(biāo)準(zhǔn)化生成方法，進(jìn)而缺少利用視頻信息情報(bào)指導(dǎo)偵查、破案的新型警務(wù)工作模式。現(xiàn)在視頻監(jiān)控的應(yīng)用已融入民警的日常辦案工作當(dāng)中，但不少公安系統(tǒng)仍舊采用是人工的方式去瀏覽、排查，費(fèi)時(shí)費(fèi)力。

視頻信息的跨域、跨警種共享以及與其他信息系統(tǒng)的互聯(lián)互通問題突出，跨系統(tǒng)的語(yǔ)言不統(tǒng)一造成信息成為一個(gè)個(gè)的孤島，限制了大情報(bào)、大信息系統(tǒng)的建設(shè)及應(yīng)用。

存儲(chǔ)傳輸?shù)膯栴}，由于要節(jié)省大量的存儲(chǔ)空間及傳輸帶寬的限制，不得不對(duì)視頻數(shù)據(jù)進(jìn)行大量壓縮，不僅造成圖像模糊的問題，而且視頻壓縮時(shí)固定壓縮比的方式不夠靈活，不得不占用大量的存儲(chǔ)空間及傳輸帶寬。

高效計(jì)算的問題，由于視頻監(jiān)控要求計(jì)算的多功能性和實(shí)時(shí)性，而視頻數(shù)據(jù)的特殊性，帶來計(jì)算成本的增加，需要構(gòu)建統(tǒng)一的用于視頻監(jiān)控的視頻計(jì)算理論和框架。

視頻信息化情報(bào)化警務(wù)應(yīng)用各環(huán)節(jié)缺乏統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。所有這些問題的根本在于對(duì)視頻內(nèi)容的不理解，沒有一個(gè)高效的、標(biāo)準(zhǔn)化的視頻數(shù)據(jù)交換和視頻情報(bào)提取的方法。解決這些實(shí)際問題，需要對(duì)視頻結(jié)構(gòu)化描述及以此技術(shù)為核心的新型視頻監(jiān)控系統(tǒng)構(gòu)建進(jìn)行重點(diǎn)研究。

迎接視頻監(jiān)控系統(tǒng)深度應(yīng)用的挑戰(zhàn)，其核心及瓶頸是通過研究視頻結(jié)構(gòu)化描述技術(shù)解決視頻監(jiān)控?cái)?shù)據(jù)向視頻信息、視頻情報(bào)的轉(zhuǎn)化，實(shí)現(xiàn)警務(wù)工作模式的創(chuàng)新。

總之，建筑電氣是建筑施工中一項(xiàng)非常重要的環(huán)節(jié)，它能夠提高建筑的電氣化水平，為居民的生活提供更多的便利。但是，由于建筑電氣所涉及的因素眾多，在使用的過程中會(huì)存在很多的安全隱患，一旦操作不當(dāng)必然會(huì)發(fā)生安全事故，對(duì)居民的人身財(cái)產(chǎn)安全產(chǎn)生影響。因此，建筑企業(yè)需要加強(qiáng)對(duì)建筑電氣設(shè)計(jì)的重視程度，根據(jù)建筑的實(shí)際情況和相應(yīng)的規(guī)范要求，通過安全節(jié)能的措施做好建筑電氣的設(shè)計(jì)工作。

由此看出，在大數(shù)據(jù)的時(shí)代，視頻信息如何高效提取，如何同其他信息系統(tǒng)進(jìn)行標(biāo)準(zhǔn)數(shù)據(jù)交換、互聯(lián)互通及語(yǔ)義互操作等問題的解決之道是視頻結(jié)構(gòu)化技術(shù)。用視頻結(jié)構(gòu)化技術(shù)改造傳統(tǒng)的視頻監(jiān)控系統(tǒng)，使之形成新一代的視頻監(jiān)控系統(tǒng)，也就是我們常說的智慧化、語(yǔ)義化、情報(bào)化的視頻監(jiān)控系統(tǒng)。

視頻結(jié)構(gòu)化技術(shù)能做些什么

依據(jù)以上，那么視頻結(jié)構(gòu)化具體能做些什么呢？視頻結(jié)構(gòu)化技術(shù)應(yīng)用主要體現(xiàn)在對(duì)車輛特征、人像特征、行為事件等辨識(shí)方面。

車輛特征辨識(shí)

隨著智能交通電子警察、交通卡口、治安卡口、停車場(chǎng)的廣泛建設(shè)和應(yīng)用，借助智能識(shí)別算法獲取電子警察、卡口、停車場(chǎng)出入口等場(chǎng)所的車輛相關(guān)結(jié)構(gòu)化信息存入車輛主題庫(kù)，通過對(duì)車輛特征識(shí)別和梳理，提取有用信息，以便于視頻追蹤辨認(rèn)、比對(duì)，最終達(dá)到車輛查證的目的，從而實(shí)現(xiàn)交通運(yùn)輸服務(wù)和管理智能化。車輛的描述信息包括車輛號(hào)牌、車牌顏色、車輛品牌、車輛類型、車身顏色等。車輛二次分析實(shí)戰(zhàn)中的信息包括安全帶、年檢標(biāo)、遮陽(yáng)板、掛件、擺件、司乘人員等方面的識(shí)別。

這其中有個(gè)技術(shù)難點(diǎn)就是在車輛個(gè)體特征分析中，首先需根據(jù)車輛的大特征來識(shí)別車輛種類，然后再根據(jù)其細(xì)節(jié)特征來識(shí)別個(gè)體車輛。對(duì)車輛的個(gè)體識(shí)別主要依據(jù)車輛上文字的噴涂、車身不干膠裝飾彩條、車內(nèi)飾品懸掛、擺放物品、香水瓶、牌照托架、車尾防靜電條、車前擋風(fēng)玻璃上年檢標(biāo)志、繳費(fèi)標(biāo)志等的粘貼位置、后擋風(fēng)玻璃上的廣告式樣及粘貼位置等進(jìn)行。基于車輛關(guān)鍵特征信息，形成過車記錄數(shù)據(jù)，從而推動(dòng)了后臺(tái)大數(shù)據(jù)分析服務(wù)的發(fā)展應(yīng)用和行業(yè)數(shù)據(jù)挖掘，形成隱匿車輛挖掘、套牌車輛篩選、初次入城、一車多牌、一牌多車、頻繁過車、相似車輛串并、同行車、高危車輛積分模型、車輛行駛軌跡分析、時(shí)空碰撞等實(shí)戰(zhàn)技戰(zhàn)法的應(yīng)用。在此基礎(chǔ)上對(duì)車輛特征數(shù)據(jù)的大數(shù)據(jù)搜索，即可迅速找到所有符合條件的車輛信息，包括行駛時(shí)間與方向、行駛速度、車標(biāo)、車牌、年款等。還可結(jié)合以圖搜圖的檢索方法，在實(shí)戰(zhàn)平臺(tái)上調(diào)取相關(guān)視頻和圖像文件，快速查詢到有關(guān)嫌疑車輛信息，還原車輛行駛的軌跡歷史信息，實(shí)現(xiàn)嫌疑車輛在整個(gè)城市的全程運(yùn)行軌跡查詢或結(jié)合視頻監(jiān)控信息，實(shí)現(xiàn)車輛全程化的可視化軌跡回放，以及對(duì)涉事車輛的精準(zhǔn)布控和查詢，也可以聯(lián)合公安車輛管理信息庫(kù)，實(shí)現(xiàn)車人關(guān)聯(lián)。

去年金鼎獎(jiǎng)評(píng)測(cè)中東方網(wǎng)力的視頻結(jié)構(gòu)化服務(wù)器讓記者印象深刻，基于深度學(xué)習(xí)算法，在車輛算法方面，借助深度學(xué)習(xí)技術(shù)，率先在市場(chǎng)推出了網(wǎng)力完全自主知識(shí)產(chǎn)權(quán)的車輛特征識(shí)別技術(shù)，實(shí)現(xiàn)了高效精準(zhǔn)的車輛品牌識(shí)別功能。對(duì)于車輛個(gè)體特征的分析，他們?cè)O(shè)置了“結(jié)構(gòu)化任務(wù)”功能單元，設(shè)備支持用戶對(duì)管轄范圍內(nèi)的攝像機(jī)點(diǎn)位設(shè)置實(shí)時(shí)結(jié)構(gòu)化任務(wù)，并進(jìn)行車輛實(shí)時(shí)結(jié)構(gòu)化處理，實(shí)現(xiàn)結(jié)構(gòu)化結(jié)果的快速檢索。同時(shí)，設(shè)備還支持用戶在案事件發(fā)生后對(duì)與案事件相關(guān)的攝像機(jī)點(diǎn)位的相關(guān)時(shí)間段的視頻設(shè)置視頻結(jié)構(gòu)化任務(wù)。提取人、車和非機(jī)動(dòng)車的特征信息，幫助用戶在海量的視頻中快速查找和定位嫌疑人或嫌疑車輛。除了為了讓車輛特征識(shí)別與平臺(tái)對(duì)接，還設(shè)置了智能檢索、車輛布控、系統(tǒng)管理，這都是為實(shí)戰(zhàn)服務(wù)。

人像特征辨識(shí)

人臉識(shí)別借助人像識(shí)別及智能搜索技術(shù)的深度應(yīng)用，對(duì)視頻中人員的面部精確定位、面部特征提取，視頻中的人臉圖像被自動(dòng)檢出后，與后臺(tái)人像模型數(shù)據(jù)進(jìn)行特征比對(duì)匹配，從而對(duì)人員身份進(jìn)行判別和告警。在人體結(jié)構(gòu)化基礎(chǔ)上進(jìn)行檢索查詢，可以解決快速目標(biāo)查找問題，如將事件人的截圖輸入至偵查系統(tǒng)中，利用人形檢索的功能，系統(tǒng)根據(jù)目標(biāo)人的衣著、顏色分布、體態(tài)特征快速地在事發(fā)點(diǎn)附近的多路攝像頭中進(jìn)行全局搜索，查找出相似的目標(biāo)，并將結(jié)果以快照的形式輸出，結(jié)合GIS地圖進(jìn)行時(shí)空研判分析，刻畫出事件人的行動(dòng)軌跡。

曠視是中國(guó)人工智能計(jì)算機(jī)視覺領(lǐng)域排頭兵，他們的智能人像卡口大數(shù)據(jù)系統(tǒng)整體解決方案中，監(jiān)控?cái)z像機(jī)拍到的視頻在經(jīng)過曠視的結(jié)構(gòu)化云服務(wù)系統(tǒng)后，能夠檢測(cè)、判斷監(jiān)控視頻中人員的性別、年齡、民族、衣著、背包、雨傘或行李，甚至對(duì)行走方向和行走速度等條件進(jìn)行結(jié)構(gòu)化語(yǔ)義檢索;還可通過多組攝像機(jī)的抓拍記錄及人員比對(duì)，對(duì)目標(biāo)嫌疑人進(jìn)行行為軌跡、出行規(guī)律分析，為公安人員提供案情線索，實(shí)現(xiàn)靈活布控打擊。

行為事件辨識(shí)

對(duì)于行為事件的描述信息包括：車輛行為如違反交通信號(hào)指示燈、超速行駛、違反行車標(biāo)識(shí)、禮讓行人、交通流量統(tǒng)計(jì)等多種行為特征描述；人體行為如越界、區(qū)域、徘徊、遺留、聚集、人流量統(tǒng)計(jì)等多種行為特征描述；物體行為如遺留、丟失、位移等行為特征描述。這種行為事件辨識(shí)的能力，要將視頻結(jié)構(gòu)化技術(shù)移植到產(chǎn)品中行業(yè)并不多見，技術(shù)難點(diǎn)相對(duì)于前兩者更高，或許需要更高級(jí)階段的人工智能技術(shù)來突破。?？怠矮C鷹”是一款能夠從視頻中挖掘數(shù)據(jù)的智能結(jié)構(gòu)化服務(wù)器。它專注于將監(jiān)控視頻中的有效信息進(jìn)行快速、準(zhǔn)確的結(jié)構(gòu)化提取，挖掘?qū)τ脩粽嬲袃r(jià)值的關(guān)鍵。該產(chǎn)品在高性能模式下僅車輛視頻，分析路數(shù)更多；高質(zhì)量模式下可同時(shí)對(duì)活動(dòng)目標(biāo)中的多種關(guān)鍵特征進(jìn)行提取，效果更佳。多任務(wù)動(dòng)態(tài)分配資源，靈活應(yīng)用于實(shí)時(shí)視頻流或歷史流分析行為事件。

總之，你要問視頻結(jié)構(gòu)化技術(shù)能做些什么，歸納來看就是服務(wù)實(shí)戰(zhàn)，深化大數(shù)據(jù)，助力業(yè)務(wù)變革。

視頻結(jié)構(gòu)化技術(shù)應(yīng)用前景

之前也提到，視頻結(jié)構(gòu)化技術(shù)最早在2010年出現(xiàn)。八年間，視頻結(jié)構(gòu)化與智能化并行發(fā)展，服務(wù)于大數(shù)據(jù)實(shí)戰(zhàn)，成為了視頻監(jiān)控未來的主流技術(shù)之一，必然是萬(wàn)眾期待。從應(yīng)用前景看，視頻監(jiān)控技術(shù)所面臨的巨大市場(chǎng)潛力為視頻結(jié)構(gòu)化描述提供了廣闊的應(yīng)用前景。尤其是在公安行業(yè)，他們希望建設(shè)一個(gè)結(jié)合圖像處理技術(shù)、大數(shù)據(jù)技術(shù)和云計(jì)算技術(shù)來實(shí)現(xiàn)視頻圖像結(jié)構(gòu)化處理平臺(tái)系統(tǒng)，實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析，快速提取實(shí)時(shí)監(jiān)控視頻或監(jiān)控錄像中的視頻信息，并存儲(chǔ)于中心數(shù)據(jù)庫(kù)中。平臺(tái)能夠?qū)崟r(shí)對(duì)監(jiān)控區(qū)域的錄像文件進(jìn)行特征分析（如顏色、大小、方向、時(shí)間、地點(diǎn)等），使原來需要數(shù)小時(shí)查看的文件，在幾分鐘內(nèi)可以快速瀏覽查看。用戶通過結(jié)構(gòu)化視頻合成回放，可以快捷的預(yù)覽視頻覆蓋時(shí)間內(nèi)的可疑事件和事件發(fā)生時(shí)間。并可以根據(jù)結(jié)構(gòu)化短片中的單個(gè)事件索引，直接鏈接播放可疑事件的原始視頻，觀看整個(gè)事件的真實(shí)情況。

此外，視頻結(jié)構(gòu)化技術(shù)緊緊抓住視頻內(nèi)容信息處理和網(wǎng)絡(luò)化共享應(yīng)用的主線，行業(yè)力爭(zhēng)經(jīng)過若干年的技術(shù)攻關(guān)和系統(tǒng)建設(shè)，全面實(shí)現(xiàn)監(jiān)控視頻信息的情報(bào)化、視頻監(jiān)控網(wǎng)絡(luò)的智慧化，強(qiáng)化警務(wù)視頻應(yīng)用的普適性。即實(shí)現(xiàn)以機(jī)器自動(dòng)處理為主的視頻信息處理和分析，并且通過技術(shù)手段轉(zhuǎn)化為公安工作可用的情報(bào)；實(shí)現(xiàn)監(jiān)控網(wǎng)絡(luò)之間、終端之間、警種之間的信息共享和主動(dòng)互操作，實(shí)現(xiàn)主動(dòng)監(jiān)控、自動(dòng)聯(lián)網(wǎng)分析等網(wǎng)絡(luò)功能；全方位拓展視頻在警務(wù)工作中的應(yīng)用模式，大幅度提高技術(shù)的易用性，實(shí)現(xiàn)以業(yè)務(wù)民警為中心的隨時(shí)隨地的靈活、簡(jiǎn)單、多樣的視頻按需服務(wù)應(yīng)用。

除了公安行業(yè)，視頻結(jié)構(gòu)化技術(shù)的主流應(yīng)用場(chǎng)景在智能交通。目前電警卡口在圖偵上的應(yīng)用需求和頻率早就超越了交警，因?yàn)榘讣径家c車輛發(fā)生聯(lián)系，這能找出很多的線索。而卡口電警對(duì)于車輛的抓拍角度是相對(duì)固定的，能夠開發(fā)出相應(yīng)的車輛特征識(shí)別技術(shù)，電警卡口屬于業(yè)務(wù)需求和技術(shù)實(shí)現(xiàn)的一個(gè)很好的匹配點(diǎn)。這就是視頻結(jié)構(gòu)化的應(yīng)用儲(chǔ)備，國(guó)內(nèi)有部分廠家已經(jīng)開發(fā)出的攝像機(jī)能突破平面圖像特征的局限，得到更精準(zhǔn)的三維系信息，如人體數(shù)量，高度，物體長(zhǎng)度等。為此，人們對(duì)于監(jiān)控視頻中有價(jià)值的信息挖掘不僅只是局限于當(dāng)前車輛、人的基本信息，在應(yīng)用市場(chǎng)的不斷推動(dòng)下，可以不斷對(duì)視頻結(jié)構(gòu)化提取的關(guān)鍵信息進(jìn)行有效補(bǔ)充，為最終的大數(shù)據(jù)平臺(tái)提供更有價(jià)值的數(shù)據(jù)入口。海量監(jiān)控視頻中蘊(yùn)含著巨大的能量，把數(shù)據(jù)挖掘出來，視頻結(jié)構(gòu)化技術(shù)及其產(chǎn)品不僅讓視頻大數(shù)據(jù)成為可能，更是為深度的行業(yè)應(yīng)用提供源源不斷的動(dòng)力。

雪亮工程是最近幾年大熱的建設(shè)項(xiàng)目，以全域覆蓋、全網(wǎng)共享、全時(shí)可用、全程可控為建設(shè)目標(biāo)，那么，針對(duì)全程可控是否視頻結(jié)構(gòu)化服務(wù)器能定制化開發(fā)便于群眾共治的功能呢？又或是前端的AI攝像機(jī)能否具備結(jié)構(gòu)化處理能力，比如對(duì)車輛特征、人像特征、行為事件的簡(jiǎn)單分析，簡(jiǎn)單聯(lián)動(dòng)響應(yīng)？

結(jié)束語(yǔ)

服務(wù)實(shí)戰(zhàn)，深化大數(shù)據(jù)，助力行業(yè)業(yè)務(wù)變革，這是視頻結(jié)構(gòu)化技術(shù)的使命，也代表了新時(shí)期下關(guān)乎于安防創(chuàng)新的新思路。