深度分層融合超像素分割的深度視頻去噪算法

韓豐澤 董文帥 張維忠

摘要：??針對傳統的視頻去噪方法對深度視頻去噪效果不理想，導致丟失輪廓信息和深度值信息的問題，本文提出一種新的深度視頻分層去噪與彩色圖像超像素分割相結合的深度視頻去噪算法。首先獲取深度視頻的深度信息，根據深度值分布，將深度視頻幀分層去噪，然后將去噪后的每一深度層合并為深度幀，將與深度幀相對應的彩色幀進行超像素劃分，填補去除噪聲后產生的深度值空白區域的深度值，去除深度視頻噪聲，或根據物體周邊深度值，消除并填補由物體遮擋產生的干擾噪聲。實驗結果表明，該算法能夠消除深度視頻噪聲，有效解決了深度視頻噪聲導致畫面凌亂，目標物體辨識難，無關物體遮蔽深度信息，獲取深度信息困難等問題，減少噪聲對公共客流統計項目的干擾，具有較好的實時性和魯棒性。該研究在公共交通客流統計項目以及醫院急診患者數量統計項目上進行了驗證，具有一定的實際應用價值。

關鍵詞：??深度視頻去噪;?分層去噪;?超像素劃分;?深度值填充;?客流統計

中圖分類號：?TP391.413?文獻標識碼：?A

收稿日期：?2019-07-03;?修回日期：?2019-11-29

作者簡介：??韓豐澤（1994-），男，碩士研究生，主要研究方向為計算機視覺。

通信作者：??張維忠（1963-），男，博士，教授，主要研究方向為大數據學習，計算機視覺及深度學習等。Email：?zhangwz_01@aliyun.com

目前，公共交通客流監控[1-2]和客流大數據分析[3-4]已成為熱點研究方向，公共交通客流統計項目主要采用深度相機[5-6]，采集深度信息[7-8]獲取客流數據。深度視頻噪聲[9-10]干擾客流計數，產生計數誤差等問題，因此，去除深度視頻噪聲對提高公共客流統計準確率具有重要意義。譚志國等人[11]提出了一種層析深度圖像去噪算法，該算法利用深度信息去噪，去噪效果較好，但對去噪后產生深度值空白區域[12-13]填充效果欠佳;潘波等人[14]提出一種基于超像素的深度圖修復算法，該算法利用雙邊濾波進行消除噪聲，但容易丟失物體輪廓信息;胡天佑[15]提出一種深度視頻空洞區域修復技術，修復原始視頻空洞區域。基于此，本文采用深度視頻分層去噪與彩色圖像超像素劃分填補空白深度值相結合的方法，進行深度視頻去噪，并填充去噪后產生的空白深度值。通過公共客流統計項目的實際應用測試，證明該算法能夠有效消除深度視頻噪聲，幫助客流統計系統獲取有效深度信息，提高公共客流統計精度，具有較好的魯棒性及實用性。該研究具有實際應用價值。

1?問題描述

本文處理的噪聲主要分為兩類：一是由深度相機獲取的深度視頻[16-17]中的噪聲，這種噪聲通常由深度相機內部傳感器的誤差及現實條件下光線復雜折射所引起;二是在項目實際運行環境中，環境物體產生的干擾噪聲，例如公交車后門橫桿會對客流統計造成影響，需要消除此類干擾噪聲。針對這兩種深度視頻噪聲，本文設計了專門的深度視頻去噪方法，取得了良好的去噪效果

2?深度視頻去噪方法

2.1?深度視頻分層去噪與超像素分割彩色圖像相結合的去噪方法

本算法主要消除由深度相機獲取的深度視頻噪聲，即深度視頻中的噪聲。深度視頻分層去噪與超像素分割相結合的去噪算法利用深度視頻中深度信息對每一幀深度視頻幀去噪，按照深度值的分布情況，將深度幀進行分層，每層進行去噪，再將去噪后的每層圖像合并為完整深度幀;去噪后，噪聲區域成為無深度值的空白區域，結合超像素分割彩色幀進行聚類，根據類內像素點深度值連續且相近，利用無噪聲像素點求出噪聲像素點深度值，填補深度幀去噪后的空白區域。

簡單的線性迭代聚類[18]（simple?linear?iterativeclustering，SLIC）超像素劃分[19-20]。在CIELAB顏色空間，用五維特征向量替代彩色圖像，通過調整五維特征向量距離度量標準，實現對圖像像素局部聚類。SLIC算法有較好的邊界粘附性、分割速度、超像素形狀及聚類效果。SLIC具體實現步驟如下：

初始化種子點;在種子點的n×n鄰域內重新選擇種子點;在每個種子點周圍的鄰域內為每個像素點分配類標簽;距離度量包括顏色距離和空間距離，分別計算每個搜索到的像素點和該種子點的距離;迭代優化;增強連通性，距離計算方法為

dc=（lj-li）2+（aj-ai）2+（bj-bi）2（1）

ds=xj-xi2+yj-yi2（2）

D′=dc/Nc2+ds/Ns2（3）

式中，dc代表顏色距離;ds代表空間距離;lj和li代表亮度;aj和ai代表從綠色到紅色的分量;bj和bi代表從藍色到黃色分量;xj，xi，yj，yi代表橫縱坐標;Nc代表最大顏色距離;NS是類內最大空間距離，定義Ns=S=sqrtN/K，適用于每個聚類。

將圖像從RGB顏色空間轉換到CIElab顏色空間，對應每個像素的顏色值l，a，b和坐標x，y組成一個五維向量Vl，a，b，x，y2個像素的相似性，即可由它們的向量距離來度量，距離越大相似性越小。

大的顏色距離Nc由圖片大小和聚類決定，所以用固定常數m代替，S為期望的超像素尺寸，最終的距

D′=dc/m2+ds/S2（4）

深度流結合彩色流深度視頻去噪，具體實現方法及步驟如下：

1）?獲取深度視頻深度幀。

2）?依照深度值分布對深度幀進行分層。

3）?對每層圖像進行二值化處理，將面積小于閾值的深度噪聲去除。

4）?將去噪后的每層圖像合并為完整深度幀。

5）?填補去噪后深度值空白區域。

6）?對與深度幀對應的彩色幀進行SLIC超像素劃分，進行聚類。

7）?劃分后，根據類內無噪聲點的深度值計算，得到空白點的深度值。

8）?填補完畢，得到去噪后深度幀。深度視頻去噪算法流程如圖1所示。

深度流視頻截圖如圖2所示，彩色流視頻截圖如圖3所示，超像素劃分結果圖如圖4所示，消除干擾噪聲示意圖如圖5所示。

由圖2可以看出，深度相機獲取的原始深度視頻噪聲較多;由圖3可以看出，深度相機獲得了彩色圖像;由圖4可以看出，對彩色圖像進行超像素劃分的結果;圖5中，紅色矩形為橫桿噪聲區域，mid是紅色矩形中線，y1和y2分別是矩形上下邊的縱坐標，直線a和直線mid關于矩形的上邊對稱，直線b和直線mid關于矩形的下邊對稱，d1是直線a和直線mid的距離，d2是直線b和直線mid的距離。由對稱關系可求得距離d1和距離d2，且d1=d2。

2.2?消除環境干擾噪聲的方法

本算法對公交車后門橫桿在深度視頻中造成的干擾噪聲進行消除。公交車后門橫桿在深度視頻中占據的區域是位置確定的細長矩形，首先將橫桿占據區域視為噪聲區域，將整個噪聲區域劃分為上下兩排多個矩形小噪聲區域，以提高深度值填充精確度，通過每個小噪聲區域周邊鄰域的深度值平均值，計算得到小噪聲區域深度值。

根據圖5中y1和y2的坐標，求得直線為

mid=12（y1+y2）（5）

求得距離d1和d2分別為

d1=mid-y1，?d2=mid-y2，?d1=d2=d（6）

得到橫桿噪聲區域深度值為

Dnoisei，jnoise=Dtruei，jtrue，?jnoise-jtrue=d（7）

式中，Dnoise代表噪聲區域某點的深度值;Dtrue代表與之相對應無噪聲區域的點的深度值;jnoise代表噪聲區域某點縱坐標;jtrue代表與之對應無噪聲區域的點的縱坐標。

最終通過噪聲區域周邊非噪聲鄰域的深度值，求得噪聲區域深度值。

3?實驗結果與分析

3.1?消除深度視頻噪聲及橫桿干擾噪聲的實驗結果

通過公共客流統計項目，在公交車上安裝深度相機，獲取實際原始客流深度視頻，通過深度流結合彩色圖像深度視頻去噪方法，對原始視頻進行去噪，得到去噪后的客流深度視頻。原始深度視頻截圖如圖6所示，圖中包含大量深度視頻噪聲;去噪后深度視頻截圖如圖7所示，圖中已消去了深度視頻噪聲。

對帶有橫桿干擾噪聲的原始客流深度視頻進行截圖，未消除干擾噪聲截圖如圖8所示;對原始深度視頻進行去除橫桿干擾噪聲，消除干擾噪聲截圖如圖9所示。

3.2?實驗結果分析及創新性

對比圖6和圖7可以看出，去噪后的深度視頻成功消除了原始深度視頻中的大量噪聲，很好的填補去噪之后的深度值空白區域，實現了較好的去噪效果，有利于提高對深度視頻的觀察和信息提取。

對比圖8和圖9可以看出，消除橫桿干擾噪聲的深度視頻，成功消除了橫桿干擾噪聲，較為準確的補齊噪聲區域的深度值，使深度視頻更加直觀和清晰。該去噪算法有效利用了深度視頻的深度信息，對深度視頻去噪更有針對性，與傳統的視頻去噪方法相比，本算法去噪之后的深度視頻能夠有效保留物體的輪廓信息，不會導致輪廓及邊緣模糊;同時，通過求解噪聲區域深度值，更好的保留了深度視頻的深度信息。

4?結束語

本文基于深度視頻分層去噪與彩色圖像超像素分割相結合的深度視頻去噪算法，能夠有效消除深度視頻中的噪聲。通過在公共客流統計項目以及醫院急門診患者數量統計項目上實驗運行，運行結果表明，本算法為該項目提供了一個低噪聲干擾，人體輪廓清晰，深度信息完整且正確的深度視頻，提高了公共客流統計項目的乘客識別率以及醫院急門診患者數量統計準確率，該算法具有創新性和實用價值。該深度視頻去噪算法，還適用于其它可以應用深度視頻的項目，例如商業網點人流量統計，貨物物流倉儲統計等;在醫療領域，可適用于各大醫院及醫聯體急門診患者流水數量統計，隨時評估各大醫院急診室的實時容納能力，為120急救中心轉運病人提供實時指導，為危重病人的急診轉運地點提供最佳選擇，避免了因轉運地點不合理造成的病情延誤。在本文算法中，深度視頻去噪能力還可以進一步提高，后期將研究實驗更多去噪理論和方法，繼續提高深度視頻去噪能力，繼續研究將深度視頻去噪算法適配到更多實際項目。

參考文獻：

[1]?Irshad?A，?Matthew?N.?Dailey.?Multiple?human?tracking?in?highdensity?crowds[J].?Image?and?Vision?Computing，?2012，?30（12）：?966-977.

[2]?Oded?Cats.?An?agentbased?approach?for?modeling?realtime?travel?information?in?transit?systems[J].?Procedia?Computer?Science，?2014，?32：?1-6.

[3]?劉永鑫.?基于多源數據融合的城市公交系統乘客出行模式挖掘及其應用研究[D].?廣州：?華南理工大學，?2018.

[4]?王飛.?基于視頻圖像處理的公交客流統計技術研究[D].?南京：?東南大學，?2018.

[5]?宋爽，?陳馳，?楊必勝，?等.?低成本大視場深度相機陣列系統[J].?武漢大學學報：?信息科學版，?2018，?43（9）：?1391-1398.

[6]?Lu?X?Q，?Deng?Z?G，?Luo?J，?et?al.?3D?articulated?skeleton?extraction?using?a?single?consumergrade?depth?camera[J].?Computer?Vision?and?Image?Understanding，?2019，?188：?1-13.

[7]?頡朝敏.?基于陣列相機的深度信息獲取[D].?西安：?西安電子科技大學，?2018.

[8]?Kangham?O，?Myungeum?L，?Yura?L，?et?al.?Salient?object?detection?using?recursive?regional?feature?clustering[J].?Information?Sciences，?2017，?387：?1-18.

[9]?杜棋東.?基于Kinect深度信息的人體三維點云去噪方法[J].?計算機與數字工程，?2018，?46（11）：?2170-2174.

[10]?張康.?基于圖像深度感知中的立體匹配和深度增強算法研究[D].?北京：?清華大學，?2015.

[11]?譚志國，?歐建平，?張軍，?等.?一種層析深度圖像去噪算法[J].?光學學報，?2017，?37（5）：?94-100.

[12]?曹東華.?基于深度圖像繪制中的空洞填充[D].?重慶：?重慶大學，?2016.

[13]?胡金暉.?基于深度信息的多視點視頻編碼及圖像增強技術研究[D].?武漢：?武漢大學，?2014.

[14]?潘波，?范祺紅，?曹雪瑋，?等.?基于超像素的深度圖修復算法[J/OL].?計算機應用研究，?2020，?37（6）：?[2019-06-19].?https：∥www.arocmag.com/article/02-2020-06-058html

[15]?胡天佑.?深度視頻空洞區域修復技術研究[D].?寧波：?寧波大學，?2017.

[16]?陳寶亮.?基于卷積神經網絡和融合ToF與立體數據的高質量深度圖獲取算法研究[D].?西安：?西安電子科技大學，?2018.

[17]?王媛媛，?劉學成，?伍鳳娟.?基于雙目視覺的三維重構算法實現[J].?傳感器與微系統，?2018，?37（4）：?136-138，?141.

[18]?劉仲民，?王陽，?李戰明，?等.?基于簡單線性迭代聚類和快速最近鄰區域合并的圖像分割算法[J].?吉林大學學報：?工學版，?2018，?48（6）：?1931-1937.

[19]?Zu?B?K，?Xia?K?W，?Li?T?J，?et?al.?SLIC?SuperpixelBased?l?_2，?1Norm?Robust?Principal?Component?Analysis?for?Hyperspectral?Image?Classification[J].?Sensors，?2019，?19（3）：?479.

[20]?Angulakshmi?M，?Lakshmi?Priya?G?G.?Walsh?Hadamard?Transform?for?Simple?Linear?Iterative?Clustering?（SLIC）?Superpixel?Based?Spectral?Clustering?of?Multimodal?MRI?Brain?Tumor?Segmentation[J].?Innoration?and?Research?in?BioMedical?Engineering，?2019，?40（5）：253-262.

Deep?Video?Denoising?Method?Based?on?Deep?Stream?Hierarchical?Fusion?of?Color?Images

HAN?Fengzea，?DONG?Wenshuaib，?ZHANG?Weizhonga

（a.?College?of?Computer?Science?&?Technology;?b.?Emergency?Department?Affiliated?Hospital，?Qingdao?University，?Qingdao?266071，?China）

Abstract：??Aiming?at?the?problem?that?the?traditional?video?denoising?method?is?not?ideal?for?depth?video，?which?leads?to?the?loss?of?contour?information?and?depth?value?information，?this?paper?proposes?a?new?depth?video?denoising?algorithm?combining?depth?video?layered?denoising?and?color?image?superpixel?segmentation.?First，?the?depth?information?of?the?depth?video?is?obtained，?and?then?the?depth?video?frame?is?denoised?according?to?the?depth?value?distribution，?and?then?each?depth?layer?after?denoised?is?merged?into?the?depth?frame.?The?color?frame?corresponding?to?the?depth?frame?is?divided?into?super?pixels?to?fill?the?depth?value?of?the?blank?area?of?the?depth?value?generated?after?noise?removal，?to?remove?the?depth?video?noise，?or?to?eliminate?and?fill?the?interference?noise?generated?by?the?object?occlusion?according?to?the?depth?value?around?the?object.?The?experimental?results?show?that?the?algorithm?can?eliminate?the?deep?video?noise.?It?can?effectively?solve?the?problems?such?as?disordered?images?caused?by?deep?video?noise，?difficult?identification?of?target?objects，?depth?information?covered?by?unrelated?objects，?and?difficulty?in?obtaining?depth?information，?etc.，?and?reduce?the?interference?of?noise?on?public?passenger?flow?statistical?items，?with?better?realtime?and?robustness.?This?research?has?been?verified?in?the?public?transport?passenger?flow?statistics?project?and?patient?flow?statistics?project?of?emergency?room，which?has?practical?application?value.

Key?words：??deep?video?denoising;?layered?denoising;?superpixel?partition;?depth?value?filling;?public?flow?statistics