基于全景視頻圖像拼接融合的城市布控技術分析

陳彪

摘要：本文提出基于全景視頻圖像拼接融合技術的城市布控研究分析，旨在通過基于全景視頻圖像拼接融合技術，利用算法，實現(xiàn)城市3D定位、全景標注、全景切換、高低聯(lián)動、多維感知的城市布控，實現(xiàn)城市的智慧管理。

關鍵詞：全景視頻;圖像拼接;圖像拼接;城市布控;算法

1 基于全景視頻圖像拼接融合的城市防控應用場景

1.1 技術概述

基于全景視頻圖像拼接融合技術的城市布控主要是通過算法對視頻圖像進行特征提取、度量，對圖像進行配準，基于交集特征，對圖像進行拼接融合，生成廣視角下的高分辨全景圖像。該全景圖像包括了場景中的各類信息特征，用戶可以通過防控成像設備、信息技術手段（如算法等）對全景圖像中的場景信息特征進行處理。

1.2 實現(xiàn)場景

在通過該技術可以實現(xiàn)以下應用功能：

第一，3D定位：在城市高點部署多目全景相機，覆蓋水平180°或者360°全場景，并通過高倍率特寫跟蹤攝像機關注局部重點目標，兼顧全景和細節(jié);

第二，全景標注：結合AR增強現(xiàn)實技術，通過算法分析對視野中覆蓋的監(jiān)控資源、建筑物、區(qū)域、道路、重點目標、警力資源進行信息標注和實時疊加，分類分層展現(xiàn);

第三，全景切換：通過算法分析目標類型、目標對象、重要度對系統(tǒng)內(nèi)的監(jiān)控點位進行快速查詢定位;

第四，高低聯(lián)動：通過在城市部署高低點多目全景相機、聯(lián)動聯(lián)控，實現(xiàn)全景視頻標簽的高低監(jiān)控切換，從不同角度和位置查看局部細節(jié)情況，高低協(xié)同、高高協(xié)同、低低協(xié)同，立體化防控。

2 基于全景圖像拼接融合的城市防控技術重點分析

2.1 重點技術問題

本文結合城市防控需求，針對全景圖像拼接融合技術展開研究分析，總結基于全景圖像拼接融合的城市防控技術解決的重點問題如下：

第一，全景拼接的硬件系統(tǒng)：把控全景視角需求的硬件的設計要求、圖像幀率和圖像質(zhì)量;

第二，圖像畸形矯正處理：通過多目攝像接收到的特征圖無法直接進行特性算法處理，需要對部署的多目全景傳送來的攝像圖像進行圖像畸形矯正處理;

第三，圖像信息的穩(wěn)定性：為了保障算法的訓練效果和收斂性，需要對圖像進行信息統(tǒng)一變換處理，保持圖像特征變化的一致性（如：尺寸變化、圖像旋轉、亮度變化等），在進行圖片信息穩(wěn)定性處理的同時要保障不同視角變換、噪聲干擾下的特征信息不丟失;

2.2 技術問題思考

針對復雜全景場景下，普通攝像頭局限于硬件而無法兼顧廣視角和高分辨的矛盾展開分析，提出基于全景圖像拼接融合技術，通過多目攝像獲取多圖像，對圖像進行特征提取、度量、拼接，輸出包含布控場景下的所有場景的高分辨率特性信息，滿足城市布控的圖像需求。針對上述全景圖像拼接融合的重點技術問題展開分析，基于全景圖像拼接融合的城市防控技術方案內(nèi)容應當從下方面著重展開論述研究：

（1）全景圖像拼接融合技術的整體框架

深入研究基于全景圖像拼接融合的城市防控技術整體框架，包括所涉及的基本原理及實現(xiàn)方法。對各個步驟（如圖像畸變矯正、圖像配準、圖像融合等）進行分析，并結合城市防控實踐情況，選擇最為合適的方法。

（2）全景圖像拼接融合算法

基于基于全景圖像拼接融合的城市防控系統(tǒng)出發(fā)，合理部署多目相機系統(tǒng)，確定全景圖像拼接融合算法，完成圖像畸形矯正、特征點提取、圖像變換、矩陣變換等技術重點解決圖像信息的穩(wěn)定性、特性信息的豐富性、特性信息的的擴展性、對光照、放射變換下的魯棒性等問題。

2.3 技術方案思考

（1）硬件技術

經(jīng)過調(diào)查分析，目前基于全景拼接融合的硬件系統(tǒng)主要兩種方案---基于FPGA的圖像拼接、基于DSP的圖像拼接。基于FPGA的圖像拼接硬件系統(tǒng)其成本較高，實現(xiàn)復雜，但其拼接融合效果好。基于DSP的圖像拼接硬件系統(tǒng)集成AVSP模塊、架構相對簡單、軟件開發(fā)量相對較小，但圖像幀率和圖像質(zhì)量稍差。

（2）主要算法

第一，SIFT，（英譯Scale-invariant featuretransform）可以提取、度量場景圖像中的小微特征，特征信息不受特征變化影響，區(qū)分度較好，能快速精準的信息匹配，且便于擴展。

第二，SUFT，（英譯Speed Up Robust Features），SUFT相比SIFT，在借助硬件或者特殊的圖像處理器進行加速的情況下的效果處理更具有優(yōu)勢，實現(xiàn)算法加速，魯棒性更高。

第三，RANSAC，（英譯Random Sample Consensus），使用迭代的方法，依據(jù)大數(shù)定律，對數(shù)據(jù)進行隨機性模擬，對其結果分析，推斷整體結果，該算法能夠得到全部正確的特征點矩陣。

3、結束語

常用的普通攝像機的視覺范圍控制在水平、垂直30-60度左右，遠低于人眼感知的視覺范圍。如果使用普通攝像機布局場景監(jiān)控，其視野會受限，在焦距變換的過程中，也容易出現(xiàn)圖像分辨率下降的問題。本文提出基于全景視頻圖像拼接融合技術的城市布控，通過選用合適的硬件系統(tǒng)，結合對應的軟件算法，實現(xiàn)高清的全景圖像拼接融合、定位，解決了視野、圖像分辨率受限等問題，進而能進行城市智能防控。

參考文獻

[1]胡郁，吳麗萍.基于特征提取的虛擬現(xiàn)實中全景圖像生成算法[J].科學技術與工程，2017，17（32）：285-289.