實景三維模型紋理的敏感目標自動識別與脫密方法

徐海燕,郭為人,李德民,郝 君,徐 剛

(1. 浙江安防職業技術學院,浙江 溫州 325016; 2. 溫州市地理空間信息技術研究院,浙江 溫州 325016; 3. 溫州市自然資源和規劃信息中心,浙江 溫州 325000; 4.溫州市天空地態勢感知應用技術協同 創新中心,浙江 溫州 325016; 5. 溫州市自然災害遙感監測預警重點實驗室,浙江 溫州 325016; 6. 溫州市未來城市研究院,浙江 溫州 325016)

實景三維模型是新型基礎測繪的重要組成部分,作為構建“數字城市”“城市大腦”的基礎空間信息數據,既能夠表達城市的全要素信息,又具有測繪級的空間精度,逐步受到城市規劃、建筑和管理部門的重視[1-2]。

隨著網絡的日益普及,三維模型數據訪問、獲取、使用、傳播等更加便捷。然而大量已獲取的實景三維數據正面臨著保密與共享的難題,特別是實景三維模型中高分辨率的紋理信息能夠暴露很多秘密機構、重要設施等敏感目標[3]。因此,需要對這些敏感目標進行脫密處理后才能保證數據的安全與共享應用,否則將對國家利益和安全構成威脅[4]。

三維模型的紋理脫密主要分為兩個階段,即敏感目標識別和脫密處理。傳統的方法主要依賴于人工方法尋找紋理影像中的敏感目標,再使用圖像編輯相關工具獲取敏感目標周圍的紋理并對其進行移除,以達到脫密的目的[5]。但該類方法在城市級的大場景下效率低,穩健性不足,無法滿足高效脫密處理的要求。

隨著深度學習方法的發展,文獻[6]提出的YOLO網絡模型在目標檢測和識別領域取得了卓越的成就,在工業[7]、交通[8-9]、安防[10-11]等領域表現出巨大的應用前景。隨后相繼提出了YOLOv3[12]、YOLOv4[13]等版本。YOLOv5推出s、m、l和x這4個不同的網絡模型,是在YOLOv4的基礎上進行的參數優化調整,檢測速度和精度有很大的提升,且更適合在生產環境中使用和部署。

在紋理修復方面,文獻[14]提出了Patch match方法,具有較好的修復能力,其主要思想是在待修復紋理塊區域邊緣選取像素點,并以該點為中心劃定一個大小合適的窗口,遍歷整個圖像,搜索與該紋理特征最為接近的圖像塊,利用紋理塊的連續性找到最佳紋理塊替代當前的紋理塊。文獻[15]以視頻序列影像為數據,基于紋理塊匹配建立全局的相關性函數以約束新的影像,使新影像的全局相關性達到最大。

本文方法主要分為兩個階段:一是基于YOLOv5s網絡自動識別并有效提取敏感目標;二是基于多尺度紋理塊匹配方法建立全局相關性函數進行紋理修復,達到脫密的目的。

1 技術路線

1.1 總體框架

本文的敏感目標自動識別和脫密模型總體框架如圖1所示,主要由YOLOv5s模型、GrabCut模型[15]和多尺度紋理塊匹配修復組成。其中,YOLOv5s模型用于敏感目標識別和定位;GrabCut模型利用定位的錨框準確提取敏感目標;多尺度紋理塊匹配用于對敏感目標的自動脫密。

圖1 總體框架

處理流程為:①預處理。根據秘密點POI獲取三維模型及對應的紋理影像集,其中包含敏感目標的紋理影像。②輸入紋理影像集和預先訓練好的目標權重參數,使用YOLOv5s模型對紋理影像進行快速的檢索、識別,判斷是否存在敏感目標。③紋理影像中若不存在目標,則直接用于后續生成;若存在,則根據錨框坐標,利用GrabCut模型提取敏感目標,輸出敏感目標對應的Mask。④使用多尺度的紋理塊修復方法直接處理待修復區域,并最終生成脫密后的紋理影像,用于后續生產。

1.2 YOLOv5s模型

YOLOv5s網絡是YOLOv5系列中的輕量化版本,其網絡結構如圖2所示。為滿足敏感目標快速識別的要求,本文采用計算速度最快的YOLOv5s模型。

圖2 YOLOv5s網絡框架

YOLOv5s算法網絡模型主要分為輸入端、骨干端、頸部端、頭部端4個模塊[8]。輸入端的主要功能是對輸入圖像進行預處理,包括 Mosaic 數據增強、自適應計算錨框、縮放圖像等模塊。骨干端是網絡的主要部分,主要負責提取特征,由CBS、CSP1和SPPF組成。其中,CBS是由卷積、批量歸一化和SiLU激活函數組成;CSP1為一種殘差結構,可以減少計算計算過程中的參數,并通過殘差模塊控制模型的深度,也即由CSP1＿X和CSP2＿X的X所表示的殘差模塊使用的串聯次數;SPPF是對特征圖進行多次池化處理,對高層次特征進行提取并融合,具有更快的推理速度。頸部端使用路徑聚合網絡PANet進行特征融合,由CBS、上采樣、CSP2組成。CSP2與CSP1相比,少了殘差結構,因為特征融合不需要加深網絡[9]。PANet在 FPN基礎上添加了一個自底向上的信息流通途徑,進一步提高了特征提取能力。檢測頭輸出端采用GIOU函數作為邊界框的損失函數,在目標識別后處理過程,使用非極大值抑制對多目標框進行篩選,提高多目標的檢測能力。

1.3 Grabcut模型

GrabCut是基于圖割的圖像分割算法,如圖3所示。該算法需要為圖像設置矩形框,并以框內的像素作為分割對象,在矩形框外的像素將被自動分為背景,對于矩形框內的區域像素,將會利用背景中的像素信息區分前景和背景。基于高斯混合模型(GMM)對背景和前景建立模型,并將矩形框內的像素標記為可能為背景或前景,即待分類的像素。整個圖像中的每個像素將被視為通過邊與周圍的像素相連接,而每條邊都擁有一個屬于背景或前景的概率,這是基于它與周邊的像素顏色上的相似度。每個像素都會與一個前景節點s或背景節點t連接。在每個像素完成節點連接后,若相連接的兩個像素不屬于相同的前景或背景節點(即一個節點屬于背景而另一個節點屬于前景),則會切斷兩者之間的邊,通過該方式將對象分割為前景和背景。

圖3 GrabCut分割

自動識別模型會輸出若干個錨框表示敏感目標的位置,但錨框不能準確提取目標。因此,本文將目標識別的錨框作為需要分割的對象自動輸入至GrabCut模型,通過GrabCut模型可以將敏感目標作為前景從背景中提取出來,輸出二值化Mask圖像,用于脫密處理。

1.4 紋理脫密

在紋理修復中,圖像需要保持最大的全局一致性才能達到良好的紋理脫密效果,全局一致性函數表示為

(1)

式中,SSIM為結構相似度函數;Wp為影像S需要填充的區域;Vq為影像D對應找到區域。

對于影像S和影像D,如果影像S中每個點都能在影像D中找到,則認為是全局一致性,即可以用影像D的窗口填充影像S的數據。從影像D中找到的patch塊用V表示。H則是影像S中需要填充的空洞區域。如果可以用一些新的Wp填充丟失Vq,得到一個新的影像S*,與影像D一樣具有最高的權交易全局一致性。雖然目前沒有可行的方法能直接對該目標函數進行求解,但可知在最優解的位置,必然會滿足以下兩個條件:①包含P點的所有patch都來自影像D;②patch塊在P點的投票值都是一樣的。通過先在粗尺度上進行處理,在不斷進行傳播到細尺度上,可以提高紋理合成的效率。

由于是利用單幅紋理影像進行修復,因此影像S與影像D是一致的。在梯度設置方面,文獻[15]使用了5種指標評估patch塊之間的相似度,本文針對圖像僅使用了RGB評價相似度。

2 試 驗

2.1 構建數據集

以紋理影像中的敏感文字目標和標志目標為例,構建相應的數據集,以驗證目標自動識別與脫密的性能。

2.1.1 試驗數據

試驗數據分為訓練數據集和測試數據集。訓練數據集將用于訓練目標識別模型,測試數據集用于模型的識別應用。訓練數據集由MSRA-TD500[16]和自采集紋理影像數據集兩部分組成。MSRA-TD500是一個用于測試和評估多方向、多語言文字檢測算法的自然圖像數據集,分辨率較高。為了提高模型的穩健性,在自然圖像數據集的基礎上加入了自采集的紋理影像數據集,其中的紋理影像包含敏感目標。

2.1.2 數據預處理

由于傾斜影像以紋理映射方式貼到對應三維模型面上,立面紋理中的敏感文字和標志目標將以規整的排列方式呈現,如圖4所示。因此,在訓練數據集構建中對訓練數據進行一定程度的透視變換,有針對性使其文字和標志排列方式保持水平或垂直,更有利于網絡模型的訓練。

圖4 紋理映射中影像變換

使用Labelimg軟件對訓練數據集中的文字與標志目標等進行重新標注,構建紋理影像敏感目標識別數據集;按照8∶2的比例將數據集隨機分為訓練集和驗證集。本文共標注了350張影像,其中訓練集總數為280張,驗證集為70張。測試數據集100張,用于評價,不參與模型訓練。

2.2 參數設置

在識別模型網絡參數設置中,學習率設置為0.01,批量大小設置為32,迭代次數300輪,使用SGD優化器。網絡訓練結束后得到目標權重參數文件,然后從測試數據集中抽取100張紋理影像,驗證模型識別的性能。

GrabCut目標提取中,對于前景GMM模型和背景GMM模型中的類別數設置為5,迭代次數為3;在紋理修復中,尺度數scale設置為8,紋理塊的大小設置為9。

3 結果與分析

3.1 評價指標

評價目標識別模型性能的指標主要為準確率、召回率、漏檢率和F1值。準確率P表示識別模型正確的預測為正樣本數量占所有預測為正樣本數量的比例,計算公式為

(2)

式中,NTP表示預測正確的正樣本數;NFP表示誤預測為正樣本數。

召回率R表示預測正確的正樣本占所有正樣本的比例,計算公式為

(3)

式中,N表示所有目標中為正樣本的數量。

漏檢率M用于評價模型對于目標的漏檢程度,計算公式為

(4)

F1值是對準確率和召回率的綜合衡量,以評價模型性能的優劣,計算公式為

(5)

評價紋理修復性能的評價指標主要為峰值信噪比(PNSR)和結構相似度(SSIM)。PNSR計算公式為

(6)

(7)

結構相似度S是通過構建亮度比較函數、對比度比較函數c、結構比較函數s,衡量兩張圖像之間的相似性,計算公式為

S(x,y)=(x,y)α·c(x,y)β·s(x,y)γ

(8)

當α、β、γ均為1時,S(x,y)可變形為

(9)

3.2 目標識別性能分析

在測試數據集中提取100張包含敏感目標的紋理影像進行測試,結果見表1。

表1 識別結果

通過目標識別后,錨框可以定位敏感目標的范圍,如圖5(b)所示。在測試數據集中實際目標359個,共檢測出337個目標,其中正確數量321個。模型精度為95.3%,召回率為84.4%,F1值為92.2%,表明該模型對于敏感目標具有較好的識別和檢測能力。圖5(b)表示了敏感標志目標和敏感文字目標。

圖5 目標識別與紋理脫密結果

3.3 紋理脫密性能分析

由于錨框內仍然包含大量背景信息即非敏感目標,會對后續的紋理脫密造成一定的干擾,因此利用GrabCut自動提取錨框內的敏感目標。為了保證提取敏感目標的完整性,對GrabCut得到的掩膜圖像進行形態學膨脹處理,向外膨脹5個像素。圖5(c)為掩膜處理后的紋理影像,其中白色部分表示敏感目標。將敏感目標掩膜圖像和紋理影像作為輸入,進行紋理脫密處理。圖5(a)和圖5(d)分別為脫密前和脫密后的紋理影像,可以看出,脫密后的紋理影像可以較好地隱藏立面上的敏感目標。

將脫密結果紋理映射至三維模型,圖6為三維模型紋理脫密前后的對比效果。通過定性分析,脫密后的紋理在目視條件下保證了最大程度的真實性,同時移除了敏感文字和標志等,提高了共享的安全性,驗證了本文方法的有效性。

圖6 三維模型紋理脫密前后對比

從100張樣本中隨機抽取若干張紋理影像進行人工脫密處理,然后與本文方法的脫密結果進行PSNR和SSIM值計算,如圖7所示。經統計,PSNR平均值為39.2,SSIM平均值為0.97,表明本文方法的脫密效果接近于人工脫密效果。

圖7 PSNR平均值和SSIM平均值統計

使用本文方法的整個流程,處理100張分辨率大小不等的紋理影像共耗時約35 min;采用人工處理方法僅進行紋理脫密且不計敏感目標查找工作需要60 min以上。本文方法處理時間相較于人工處理縮短40%以上,有效提高了紋理脫密效率。

4 結 語

在本文方法中,三維模型紋理影像敏感目標自動識別的準確率、召回率等指標較高,紋理脫密效果合理自然,有效提高了紋理脫密的整體時間,表明結合深度學習的目標自動識別和脫密效果較好。后續將進一步研究實景三維數據脫密方法,為國家地理信息安全,以及維護國家安全和利益提供支撐。