視頻結構化從安防到金融

□ 文 /本刊記者 何遙

據統計，中國有1.76億攝像頭，預計未來三年會持續增加到3-4倍，每秒鐘產生的數據量是66TB。這樣大的數據量，傳統的基于肉眼的安防監控已經越來越不能滿足安防行業的需求。通過視頻結構化技術，能夠很大程度上提升數據處理效率和準確度。視頻結構化，即視頻數據的結構化處理，就是通過原始視頻進行智能分析，提取出關鍵信息，并進行文本的語義描述。視頻結構化真正實現起來很難，必須有AI技術的支持。

據統計，中國有1.76億攝像頭，預計未來三年會持續增加到3-4倍，每秒鐘產生的數據量是66TB。這樣大的數據量，傳統的基于肉眼的安防監控已經越來越不能滿足安防行業的需求。通過視頻結構化技術，能夠很大程度上提升數據處理效率和準確度。視頻結構化，即視頻數據的結構化處理，就是通過原始視頻進行智能分析，提取出關鍵信息，并進行文本的語義描述。視頻結構化真正實現起來很難，必須有AI技術的支持。

當視頻結構化分析成為安防標配后，如何深入金融領域是當下值得關注的問題。

多家企業推出AI芯片

視頻結構化的實現離不開智能芯片的支持。新一代的人工智能（AI）自2016年興起，推動了AI芯片的大發展。2018年，智能芯片廠商如地平線、寒武紀、云天勵飛、深鑒科技、比特大陸、觸景無限等紛紛發布其新一代人工智能芯片或者是采用其自主研發芯片的人工智能產品。地平線在2018年安博會的第一天舉行了邊緣AI芯片2.0“賦能未來城市”開放生態發布會。地平線采用其基于自主研發的專用AI芯片和深度學習算法，實現邊緣端AI的計算與推廣。包括基于地平線旭日2.0架構的XForce邊緣AI計算平臺、內置地平線旭日1.0芯片的多款智能IPC產品，以及內置地平線旭日1.0芯片的多款人臉抓拍識別模組等在內的多款產品在安博會亮相展出。

從2018年安博會的情況看，視頻結構化基本已成視頻監控標配，區別只在于實現的實在是在邊緣端還是云端。

云天勵飛具有自主研發的ASIP神經網絡處理器以及自有知識產權AI指令集，相比通用CPU、GPU，具有高性能、低功耗的優勢，非常適合攝像頭的AI升級，可以說是高性價比的AI賦能方案。2018安博會亮相的云天IFBOX人像識別邊緣計算引擎是一款將采集、分析、識別融為一體的“三合一”小型智能分析應用服務器。IFBOX內含高性能視覺DSP，用于邊緣計算的嵌入式AI引擎，無需AI攝像機。可與成像采集設備共同布點于前端，圖像采集完成即可進行人臉采集與分析，使傳統攝像頭具備人臉抓拍比對功能。

寒武紀聯合星宸半導體/SigmaStar(原MStar Smart Camera事業部）和的盧深視（國內三維視覺領域新銳公司）推出了集成寒武紀終端智能處理器IP產品的系統解決方案，以芯片+場景展示實際應用。深鑒科技已于去年安博會推出了人臉分析解決方案、視頻結構化解決方案、笛卡爾架構高效語音識別引擎DDESE、基于FPGA的車載深度學習處理器平臺DPhiAuto等多款產品，充分利用了其在智能芯片和深度學習算法領域的優勢，打造出智能化系列產品。比特大陸也正式發布了終端人工智能芯片BM1880。同時發布的還有基于云端人工智能芯片BM1682 的算豐智能服務器SA3、嵌入式AI迷你機SE3、3D人臉識別智能終端以及基于BM1880的開發板、AI模塊、算力棒等產品。

觸景無限科技去年已正式啟動觸景“感知芯片”計劃，發揮其在前端應用及芯片研發領域的優勢，構建基于前端智能感知理念下的人工智能新生態。

目前，安防行業中基于深度學習的人工智能產品成為了未來技術發展和應用的主要方向，通過人工智能實現視覺識別包括：車輛分析、人員分析、行為分析和圖像分析，產品形態分為前端智能和云端智能。前端產品主要是用于邊緣節點計算的AI攝像機，在采集視頻和圖片的同時，依靠內置的算力芯片和智能算法，為云端的數據中心提供結構化的數據，可以減少云端分析處理的計算資源壓力和網絡帶寬等系統成本。不管是前端智能還是云端智能，實現的前提都離不開智能芯片的支持。

視頻結構化逐漸深入安防產品

傳統的安防設備產生的是沒有經過結構化的數據，現在主要是進行一些威懾、偵查取證的作用，如何利用這些數據來發現犯罪行為，然后進行一些分析？

以深瞐科技的視頻結構化系統為例，它可以在視頻里面提取出行人、車輛、非機動車，同時會分析出它非常詳細的屬性。

深晶科技的視頻結構化系統分為四級，首先會從加油站、停車場、卡口、道路監控設備里面提取視頻數據，然后對它進行一級結構化。

一級結構化主要是對行人、自行車、兩輪摩托車、三輪摩托車、轎車、面包車、卡車、大型客車這8類目標的檢測識別追蹤：

每一個目標從進入視場到出視場，會對目標進行擇優去重，獲取一張最適合進行二級結構化的圖片，去進行二級結構化。

針對車輛的二級結構化的示意圖：

目前支持的車輛品牌型號，車頭是5500多種，車尾是3500多種，已經基本上涵蓋了目前中國路面上所有行駛的車輛。

同時，車牌識別可以支持全屬性識別，還會識別駕駛員的違法行為，比如說未系安全帶、開車打電話。還會識別車輛更特征化的屬性，比如說年檢標是怎么排列的，遮陽板有沒有放下來，紙巾盒、天窗、備胎等等屬性全部都要識別出來。

針對人，我們需要提取性別、年齡、發型和胡須、上衣顏色、褲子顏色、款式等等屬性。

深瞐科技識別人和車的屬性一共有40多種，現在這套系統的應用范圍非常廣。

深晶科技2018年在深圳交警的一個測試是進行大貨車的檢測以及大貨車車牌識別，深圳交警關注的三項技術指標該公司全部獲得了第一。從這個測試結果里面大概可以看到，車輛的檢出率都在97%到99%。這個測試集一共是100萬張圖片。

深瞐與西安交警合作，協助他們實時識別出路面上5輛出租車用的是同一個牌照。

也針對駕駛員的違法駕駛行為進行預警和布控，比如說沒有系安全帶、開車打電話等等。同時在一些危化品車輛方面也可以進行布控和預警。

對車輛的犯罪里面還有一類是同行車輛的挖掘，比如說搶劫案件和同伙作案，它們都會涉及到車輛的同行，我們會通過車輛的軌跡重現以及同行車輛的挖掘來解決問題。

深瞐科技的視頻結構化主要布置在安防行業的四大類產品中：結構化智能相機、嵌入式視頻分析器、智能存儲、集中式分析服務器。

云端到前端，深晶都有相應的解決方案。

在云端解決方案里，一張TeslaP4的卡，如果只是針對結構化的計算，我們可以對48路1080P視頻進行結構化，如果考慮到1080P視頻的解碼，解碼也非常消耗計算量。

如果把解碼和結構化全部考慮進去，現在一張P4的卡只支持24路1080P 30幀解碼，加上24路的視頻結構化運算。這樣可以發現，我們公司目前在視頻結構化方面，系統性能并不是受限于視頻結構化算法的效率，而是視頻解碼的效率。

尋找解碼和計算能力上的匹配，后來深晶采用了英偉達的TX2。

TX2具有8路1080P硬解的能力，計算能力滿足進行8路視頻結構化的運算，而且TX2有一個優點是我們原來在GPU上的算法可以非常方便的移植到TX2這個平臺上。

另外，深瞐團隊還做了一個嵌入式的盒子。這個采用了海思Hi3559A解決方案的盒子可以接到安防攝像頭的后面，能夠滿足8路視頻編解碼的能力，同時它的NNIE也能滿足8路視頻結構化的運算能力。

深晶也做了一些智能前端的解決方案，這套方案基于海思3516和賽靈思7020 FPGA芯片。在Zynq上搭建了一個神經網絡加速器，可以滿足1080P 30幀每秒一級結構化的運算，檢出率在95%以上，功耗僅5瓦。

深晶科技CTO王晶認為，目前在云端視頻結構化里，解碼的性能會越來越多地成為性能瓶頸，之前大家都覺得深度學習是瓶頸，實際上經過優化之后，它的計算會非常快。另外，邊緣計算已經能滿足視頻結構化計算所需要的能力，所以我們覺得將來視頻結構化運算會慢慢地由云端向前端去轉化。

視頻結構化怎樣扎根金融？

業界普遍認為，金融是繼安防行業之后，AI落地的又一龐大市場。但具體這個市場在哪？怎么做？

在視頻AI公司的視野里，金融是一個客單價小、流程繁瑣、教育客戶成本高、監管細節多的領域，因此大多呈半放棄半觀望的態度，很少有人愿意下手做。

安防行業已經完全打開，而且是一個萬億級的市場，從商業化的角度來說，客單價也非常高，而且已經能夠很好的落地。與之相比，金融場景非常復雜，普通銀行有幾十個部門，需要深扎到場景里面去。AI在其中只是一個啟動因素，只占10%-20%的比例。對于圖像AI公司來說，自然要抓大放小，選擇做寬而不是做深。

金融監管驅動新市場

2017年8月，銀監會發布關于銀行實行“雙錄”的規定，要求銀行業金融機構在營業場所銷售理財產品或金融產品時，實施專區“雙錄”，即錄音錄像。同年，證監會和保監會（原）還分別發布了《證券期貨投資者適當性管理辦法》、《保險銷售行為可回溯管理暫行辦法》。2019年5月，蘇州銀保監分局最新出臺了《深化保險銷售過程現場同步錄音錄像工作試行辦法》。這樣做一方面能夠對金融產品的銷售環節進行有效的行為監管，保護消費者權益；另一方面也能有效抑制金融機構各類欺詐行為的發生。

例如，2017年北銀消費金融的著名騙貸案例。為了迅速擴張業績，北銀與中介公司合作擴展業務。合作中介違規操作，購買200多張虛假身份，騙貸4000余萬元，事發后北銀被處以900萬元罰款。除了消費金融，汽車金融領域也是騙貸的重災區。被騙貸后，被盜用身份者發現問題上告法庭，法庭卻很難取證。因為原告對當時貸款的情景并不知情，銀行出庭的法律保全部對業務也并不清楚。金融機構無法真實還原業務全過程，很難找到真正的罪魁禍首。

又如，金融機構向客戶推銷理財產品，存在一些過度宣傳、不揭示風險、飛單等違規操作。有的營銷人員告訴客戶產品可以保本，但事實并非如此，給客戶帶來損失。金融機構有風險揭示的責任，但有時候金融機構自身的管理者也很難察覺。不論是基層員工還是渠道商都背負著KPI，可能會為了完成任務采取一些非常手段。

在此背景下，音視頻雙錄的重要性不言而喻。然而視頻錄下來，存在服務器里，該揭示的風險仍然沒有揭示，需要大量的人工審核，這給金融機構帶來了大量人力和時間成本。通常情況下一單金融業務的雙錄視頻在2-50分鐘不等，審核人員需要一秒不落地完整看完錄像，效率極低。

一些新興的AI公司敏感地看到了其中的市場機會。使用AI技術對視頻中的關鍵要素進行結構化處理，不僅可以降低成本，還方便隨時調取，進行數據分析。有的企業經過技術研發，已經將視頻結構化技術打造成相對標準化的產品，方便機構客戶調用，具備服務行業的能力。聚焦金融領域的圖像技術，對銀行雙錄視頻的結構化處理。

在當前，為金融行業得供視頻技術的大多是從事雙錄的通信類公司或傳統銀行信息化系統集成商，鮮見AI公司的身影。通信公司沒有視頻結構化能力，系統集成商需要對外采購模塊進行組裝。

有能力的AI公司可以將這些系統集成商變成渠道合作伙伴。他們的系統整合能力比較強，同時能夠幫AI公司減輕對接銀行的工作量，讓AI公司更專注在技術的研發上。

雙錄視頻結構化這一市場非常大，單憑一家公司不足以吞下。相較于系統集成商，具有算法成本優勢的企業具備了降維打擊的能力。

同時，由于金融業務中很多坑是沒有辦法繞過的，首先進入金融業的視頻技術提供商將具有先發優勢及時間壁壘。

模型重構

人臉識別在金融行業已經被廣泛的運用起來了，但這并不是算法與金融行業的深度融合，只是一個適用于各行各業的比較基礎的算法應用在金融業而已。

通用技術例如姿態識別、面部識別等，各大AI獨角獸都是具備的。但真正在金融行業深度應用，目前看來還很少。

在視頻結構化的過程中，監管機構及金融機構對視頻是有明確定義的。比如視頻中必須有簽署文件、展示文件的行為，有閱讀并進行風險確認的行為。這些行為在當下的通用模型精度下是不足以被辨認的。一個人到底是單純在拿著筆還是在簽字，對于人類而言很好辨別，但對于現有的AI模型而言就非常困難。

現有的模型都不能做到，需要重新構建。另外，視頻結構化分析提供商也需要深入到金融場景下，去拿到足夠多的視頻雙錄數據。

在雙錄視頻中，人的行為是相對較為標準的，更難解決的是每個金融機構的業務流程及文件格式不同。為此，團隊使用遷移學習方法，讓系統能夠快速適應不同客戶的需求。

而且，對于金融機構來說，一個系統即便達到了95%的準確率，往往也因不能確定剩下的5%是哪些被測對象而依然需要人力檢查100%的業務。通過計算資源分離可以解決視頻運算成本較高的問題，通過邊緣計算讓前端處理一部分運算，可以取得更快的速度及更高的能效比。

通過這類底層模型重構，視頻結構化分析有望真正扎入金融應用。