基于多尺度超像素融合的RGB-D單幅圖像陰影檢測算法

蔡旭航, 朱留存,, 張 震, 張恒艷, 鄭曉東

(1. 揚州大學 信息工程學院, 江蘇 揚州 225000； 2. 北部灣大學 先端科學技術研究院, 廣西 欽州 535001)

0 引 言

圖像陰影常會對目標識別和跟蹤[1]、 特征匹配[2]和三維重建[3-4]等視覺任務產生影響. 因此, 在視覺任務前先對圖像進行陰影相關的預處理十分必要. 目前的陰影檢測算法主要分為交互式檢測算法和自動檢測算法. 文獻[5-6]提出了交互式陰影檢測算法, 需要用戶先標記圖像中的陰影和非陰影區域, 再根據標記并結合其他一些圖像特征得到檢測結果. 基于交互式方法檢測結果通常受用戶主觀因素的影響, 并在檢測較復雜陰影場景時, 交互過程繁瑣且易出錯.

自動陰影檢測算法則不需要人工干預, 通過圖像內在的特征區分陰影和非陰影. 文獻[7]提出了一種陰影檢測算法, 首先利用視網膜理論將原圖像分解到反射層, 再計算原圖像和反射層圖像的誤差確定最終的陰影區域, 但該算法通過生物視覺模型進行檢測, 模型的參數無法與實際物理光照相聯系, 需依靠經驗設定模型, 因此檢測結果受經驗值的影響較大, 同時檢測結果也受反射層分解方法的影響. 文獻[8]提出了一種基于區域匹配的陰影檢測算法, 該算法利用均值漂移算法將圖像分割成小區域, 并提出一種假設： 兩個區域在紋理和色度相同的情況下, 亮度較小的為陰影, 亮度較大的為非陰影, 如果兩個區域亮度相同, 則應賦予相同的陰影標簽. 基于該假設首先將陰影區域和非陰影區域按對分類, 獲取初始的陰影標簽, 然后再通過訓練出的分類器劃分陰影區域和非陰影區域, 該方法可識別出邊界明顯且梯度較大的硬陰影, 對于邊界不明顯的軟陰影檢測效果較差, 易誤檢, 甚至會出現檢測失敗的情況. 文獻[9]提出了一種基于HSI顏色空間和OTSU閾值劃分的陰影檢測算法, 該方法使用K-means分割使算法可檢測復雜背景的陰影圖像, 同時利用HIS顏色空間的性質, 并與OTSU算法相結合, 使檢測結果避免深色區域的誤判, 該方法可避免暗色明亮區域對陰影檢測產生的影響, 同時在圖像存在不均勻顏色紋理的情況下仍可準確針對不同紋理進行陰影檢測, 但該方法通常會受環境影響在邊緣處檢測不完整. 近年來, 許多研究者將深度學習技術引用到陰影檢測中. 文獻[10]將卷積神經網絡(convolutional neural networks, CNN)引入到陰影檢測中, 其利用7層CNN網絡從超像素中提取特征, 然后將特征反饋到條件隨機場(CRF)模型中以平滑檢測結果. 文獻[11]提出了堆疊式條件生成對抗網絡(stacked conditional generative adversarial network, ST-CGAN)聯合學習進行陰影檢測. 文獻[12]提出了一種注意力遞歸生成對抗網絡(attentive recurrent generative adversarial network, ARGAN)解決陰影檢測問題. 使用深度學習方法的陰影檢測算法都需要預先對給定的數據集進行學習, 當算法檢測到與數據集中情況接近的陰影目標時檢測結果較好, 反之檢測結果較差.

對于陰影檢測任務, 一般都只考慮了圖像的色度、 紋理、 亮度等信息, 而忽略了圖像的深度信息. 深度信息可獲取圖像的光照方向、 場景結構、 空間坐標等信息. 文獻[13]提出了一種結合深度信息進行陰影檢測的相似陰影置信度算法, 首先利用深度相機獲取RGB圖像及其對應的深度圖, 再通過深度圖估計目標的法線和空間坐標, 利用色度信息、 深度信息、 空間坐標信息計算每個像素點與其局部鄰域的相似度, 進而計算出每個像素點的陰影置信度. 該方法結合了圖像的深度信息, 可檢測出復雜環境中的陰影, 并且使用陰影置信度可很好地檢測出邊緣不明顯的軟陰影. 但該算法的效果受檢測窗口尺寸影響, 若窗口較小, 則會導致陰影檢測結果不完整； 若窗口過大, 則會導致運算量急劇增大, 因此難以準確給出合適的窗口尺寸.

針對文獻[13]算法存在運算速度較慢、 檢測效果受窗口尺寸限制的缺點, 本文提出一種基于多尺度超像素融合的陰影檢測算法. 首先對RGB圖像進行多尺度的超像素分割, 同時利用深度圖計算目標的法線和三維空間信息; 然后在不同尺度的超像素分割圖上進行全局域的陰影置信度計算; 最后通過Adaboost訓練得到的分類器將不同尺度的陰影置信度融合得到最終的陰影檢測結果. 算法流程如圖1所示.

圖1 本文算法流程Fig.1 Flow chart of proposed algorithm

1 基于相似度的陰影置信度算法

(4)

局部窗口內基于相似性的加權平均強度為

(5)

其中Iq為像素點q的灰度值.陰影置信度為

(6)

其中： 參數σ為可調參數, 通常將其設置為0.1, 該值為經驗值， 可以將陰影置信度結果限定在合適的范圍內;Ip為像素點p的灰度值.通過平均相似性調節陰影置信度得到最終的陰影置信度為

(7)

其中|Np|表示局部鄰域內像素點的個數.

由式(6)可以推測: 當局部鄰域Np內同時存在陰影像素點和非陰影像素點時, 若p為非陰影像素點, 如圖2(A)所示, 則Ip將大于局部鄰域內像素的平均強度mp, 使陰影置信度Dp=0； 若p為陰影像素點, 如圖2(B)所示, 則Ip將小于局部鄰域內像素的平均強度mp, 最終使Dp∈[0,1], 該像素被判斷可能為陰影； 當局部鄰域內的像素全部是非陰影像素或陰影像素時, 如圖2(C),(D)所示, 則mp將接近Ip, 會使陰影置信度接近0, 最終導致誤檢測.

圖2 陰影圖像的局部鄰域Fig.2 Local neighborhood of shadow image

利用上述公式計算每個像素點的陰影置信度可得如圖3所示的陰影檢測結果, 其中(A)～(D)為原始圖像, (E)～(H)為文獻[11]方法檢測結果. 本文選用尺寸為140×140的局部鄰域窗口計算得到. 但該方法存在下列不足：

1) 當檢測窗口能覆蓋圖像中陰影時, 可檢測出完整的圖像陰影, 如圖3(E),(F)所示, 但當圖像中出現面積較大陰影時, 會出現陰影檢測不完整的情況, 如圖3(G),(H)所示.

2) 雖然可通過人為調節窗口使窗口大于陰影面積從而獲得完整的檢測結果, 但合適的窗口尺寸很難給出準確估計, 并且人為干預使算法脫離了自動檢測的目的.

圖3 陰影檢測結果Fig.3 Detection results of shadows

為解決上述兩個問題, 可使用全局域窗口代替局部鄰域窗口, 從而解決陰影檢測結果不完整以及需要根據圖像陰影人為調節窗口的問題. 本文的全局窗口是將窗口大小擴大至整幅圖像. 表1列出了文獻[13]算法運行時間與窗口大小的關系. 由表1可見, 陰影置信度算法的運行時間隨著窗口的增大而急劇增加, 導致無法使用全局窗口計算陰影置信度. 為解決該問題, 本文利用SLIC(simple linear iterative-clustering)算法先對RGB圖像進行超像素分割, 將分割得到的每個像素塊視為一個像素點, 再在全局窗口上進行陰影置信度計算.

表1 文獻[13]算法運行時間與窗口大小的關系

2 SLIC超像素分割

超像素是指具有相似紋理、 顏色、 亮度等特征的相鄰像素構成的有一定視覺意義的不規則像素塊, 其利用像素之間特征的相似性將像素分組, 用少量的超像素塊代替大量的像素表達圖片特征, 極大降低了圖像的計算量. 本文采用文獻[17]提出的SLIC超像素分割方法對圖像進行分割. SLIC超像素分割方法生成的超像素較緊湊, 并且運行速度和輪廓保持的效果都較理想. 圖4為由SLIC算法分割得到尺度為79×79,25×25,8×8圖片的結果, 其中8×8,25×25,79×79是超像素的分割尺度, 是指平均每個超像素中約有8×8,25×25,79×79個像素點. 超像素中像素點數量較多為大尺度, 像素點數量較少為小尺度, 本文以該規則定義超像素的尺度.

圖4 SLIC算法分割結果Fig.4 Segmentation results of SLIC algorithm

不同分割尺度的檢測結果如圖5所示. 對RGB圖像進行超像素分割后再進行陰影置信度的計算, 降低了圖像的維度, 減少了陰影置信度計算的數據量. 在超像素上利用色度、 法線、 空間坐標及亮度信息估計圖像的陰影置信度, 同時結合全局窗口不僅提高了運行速度, 也解決了圖像陰影檢測結果不完整的問題. 但如果RGB圖像的超像素分割尺度較大, 則會有一些相鄰的陰影和非陰影被分割到同一個超像素中, 從而導致陰影檢測的誤判, 這種情況一般會出現在陰影邊緣附近, 并且在陰影邊界不明顯的軟陰影中更明顯, 如圖5(B)所示； 如果對圖像的超像素分割尺度較小, 則一些非陰影區域較暗的超像素點會被誤判為陰影, 從而在檢測結果中留下更多噪聲, 如圖5(C)所示.

圖5 不同分割尺度的檢測結果Fig.5 Detection results of different segmentation scales

為解決上述問題, 本文考慮將多尺度的超像素分割結果進行融合, 綜合大尺度和小尺度的超像素陰影置信度給出最終檢測結果.

3 多尺度陰影置信度融合

3.1 超像素尺度選取策略

超像素分割的尺度大小及尺度個數的可選擇性很多, 不同的選擇直接影響檢測結果. 因此本文提出如下超像素尺度選取策略. 超像素的最小分割尺度確定為7×7. 同時測試了3×3,5×5,7×7,9×9四種尺度, 9×9尺度的最終檢測結果精確度較低, 3×3,5×5,7×7三種尺度的檢測精確度接近, 但3×3和5×5兩種尺度所消耗時間遠大于7×7. 因此, 最終選定7×7為最小分割尺度. 尺度間呈倍數關系, 如7×7,14×14,28×28. 尺度個數確定為5個. 綜合考慮檢測精度和運算速度約束, 經大量實驗驗證, 最終發現5個分割尺度(7×7,14×14,28×28,56×56,112×112)檢測效果最好.

3.2 Adaboost分類器訓練

在融合階段, 本文考慮使用

(8)

融合獲得超像素陰影置信度, 其中Hj(x)表示各尺度的陰影判決結果,bj為每個尺度所對應的權重. 式(8)通過加權和的方式融合各尺度的陰影置信度.

陰影檢測問題可視為分類問題, 本文采用Adaboost算法[18]確定權重, Adaboost是一種重要的集成學習技術, 能將分類精度較差的弱分類器增強為分類精度較優的強分類器. 每個尺度超像素陰影判決結果都可視為弱分類器Hj(x), 最終融合得到的陰影檢測結果可視為強分類器. Adaboost的核心部分是數據權值的更新和弱分類器權值的計算. 弱分類器的分類效果影響數據權值, 而數據權值又決定弱分類器的權值, 經過迭代計算使分類精度較大的弱分類器具有較高的權值, 而分類精度較小的分類器具有較小的權值.

在訓練階段, 使用Adaboost算法在陰影數據集上選取100組數據進行訓練, 每組數據包括一張陰影圖像及該圖像對應的陰影模板, 將每個樣本表示為(xi,yi)(i=1,2,…,N), 其中:xi表示圖像的一個像素點;yi表示該像素點的陰影標簽(由陰影模板得到),yi∈{0,1}, 1表示陰影, 0表示非陰影;N表示樣本的數量, 假設每張圖像有460×680個像素點, 則N=460×680×100.對每張訓練的陰影圖像利用上述方法計算陰影置信度, 并通過二值化得到弱分類器為{H1(xi),H2(xi),H3(xi),H4(xi),H5(xi)}(i=1,2,…,N).本文Adaboost算法框架如下.

1) 輸入訓練數據(xi,yi)(i=1,2,…,N), 弱分類器為{H1(xi),H2(xi),H3(xi),H4(xi),H5(xi)}(i=1,2,…,N).

2) 初始階段每個樣本賦予相同的權值1/N, 得到初始樣本權重分布w1(i)=1/N(i=1,2,…,N).

3) 進行迭代, fort=1∶5:

② 選擇誤差率最小的弱分類器Hmin, 將其誤差率記為emin;

③ 將emin代入a=0.5×ln[(1-emin)/emin], 計算當前弱分類器權值amin, 并輸出該分類器與其對應的權值(amin,Hmin(x));

4) 得到每個弱分類器對應的權重{(a1,H1(x)),(a2,H2(x)),(a3,H3(x)),(a4,H4(x)),(a5,H5(x))}.

4 實驗結果對比分析

4.1 視覺效果對比

為驗證本文算法的有效性, 選取不同場景的6張圖像作為實驗對象, 將本文算法與其他算法結果進行視覺對比.圖6為本文陰影檢測算法與文獻[8]、 文獻[11]、 文獻[13]陰影檢測算法估計的結果比較.

圖6 不同算法陰影檢測結果對比Fig.6 Comparison of shadow detection results of different algorithms

由圖6可見: 對于大面積陰影檢測(圖6中第二行、 第四行、 第五行、 第六行), 文獻[13]算法效果較差, 本文算法略好于文獻[8]和文獻[11]算法； 對于紋理較豐富的場景(圖6中第六行), 文獻[13]算法效果較差, 文獻[11]算法表現一般, 本文算法略好于文獻[8]算法, 本文算法較好地抑制了噪聲干擾, 這是因為參與融合的尺度較大的超像素陰影置信度具有紋理濾波的效果; 對于邊緣不很清晰的軟陰影(圖6中第三行), 文獻[8]算法檢測失敗, 文獻[11]和文獻[13]算法檢測結果并不完整, 本文算法優勢明顯； 對于復雜場景陰影(圖6中第五行), 文獻[8]算法未檢測到車輛陰影, 文獻[11]算法將車輛誤檢測為陰影, 文獻[13]算法陰影中間出現大面積漏檢區域, 本文算法結果與實際陰影分布基本吻合; 對于小塊陰影(圖6中第七行), 文獻[8]和文獻[11]算法對于圖像中小塊樹影的檢測都有或多或少的缺失, 本文算法與文獻[13]算法效果相當.

4.2 評價指標對比

為考察本文算法的性能, 客觀評價陰影檢測算法的效果, 本文在SBU數據集[19]和ISTD數據集[11]上對檢測精確度和運行速度進行量化對比.

檢測精確度定義了準確率(Accuracy)和平衡出錯率(balance error rate, BER)[20]兩項評價指標, 分別表示為

(9)

(10)

其中TP為估計正確陰影像素點的個數, TN為估計正確非陰影像素點的個數, NP和NN分別為實際陰影像素點個數和實際非陰影像素點個數. Accuracy用于衡量陰影檢測準確率, 其越大說明陰影檢測的結果越準確. BER用于衡量陰影檢測出錯率, 其越小表示陰影檢測算法的出錯率越低.

將本文算法與文獻[8]、 文獻[11]、 文獻[13]算法進行比較, 結果列于表2. 由表2可見, 在兩個數據集中本文算法的精確度和錯誤率略優于文獻[8]和文獻[11]算法, 明顯優于文獻[13]算法.

表2 不同算法檢測準確率和錯誤率的對比

在運行時間對比實驗中, 從數據集中隨機抽取6種尺寸的圖像各10張, 計算平均運行時間. 實驗環境為： CPU主頻2.40 Hz, 內存8 GB, 操作系統Win10 64位. 4種算法的運行時間對比結果列于表3. 由表3可見, 文獻[11]算法在檢測時間上優勢明顯, 但檢測精度不理想. 本文算法是基于文獻[13]算法的改進融合算法, 采用超像素方法使檢測時間大幅度減少, 約為原算法的10%, 與文獻[8]算法檢測時間基本相同.

表3 不同算法的運行時間對比

綜上所述, 本文基于文獻[13]的算法提出了一種多尺度超像素融合陰影檢測算法, 采用全局窗口計算陰影置信度, 解決了文獻[13]算法檢測窗口尺寸難以給出準確估計的問題, 陰影檢測精度和運算速度均得到大幅度提升. 本文算法對于邊緣不清晰的軟陰影、 復雜場景陰影、 大面積陰影及小塊陰影的檢測均表現出較好的性能, 與其他算法的對比實驗結果表明, 本文算法具有綜合優勢, 適合在實時性要求較低的場景下對光線復雜環境圖像進行前期預處理.