基于目標特征的植株深度圖像修復

陳國軍，程 琰，曹 岳，李 勝

基于目標特征的植株深度圖像修復

陳國軍，程 琰，曹 岳，李 勝

(中國石油大學(華東)計算機與通信工程學院，山東 青島 266580)

針對植株深度圖像的像素錯誤和缺失、常見的濾波方法無法準確修復植株深度圖像的問題，提出一種基于目標特征的植株深度圖像修復方法。首先基于顏色和空間信息的圖像分割算法對植株彩色圖像進行目標分割，再檢索每個目標的外輪廓，并對外輪廓進行多邊形擬合；其次，基于目標區(qū)域搜索深度圖像中具有正確深度值的像素作為目標區(qū)域采樣點，并對葉片區(qū)域的圖像進行歸一化；最后，利用空間擬合法計算各目標區(qū)域的方程，修復區(qū)域內(nèi)小面積錯誤和缺失的深度值，同時采用支持向量機和空間變換運算對大面積錯誤和缺失深度值的葉片區(qū)域進行修復。實驗結果表明，該方法能夠準確地修復植株深度圖像中錯誤、缺失的深度數(shù)據(jù)，且能夠有效地保護目標區(qū)域的邊緣信息。

植株深度圖像修復；目標分割；空間擬合；支持向量機；空間變換運算

在計算機圖形學、計算機視覺領域中，三維數(shù)據(jù)可應用在3D打印、文物修復、三維重建等眾多領域中。隨著深度相機的問世，三維數(shù)據(jù)的獲取也更加簡便。然而，深度相機在采集深度圖像時，往往受到自身傳感器、與物體間的距離、物體表面的平整度等因素影響，導致獲取的深度數(shù)據(jù)錯誤和缺失，這些錯誤的深度數(shù)據(jù)往往直接應用到交互中，降低了應用的準確性。因此修復深度圖像中錯誤和缺失的深度數(shù)據(jù)是當前亟待解決的課題之一。

目前常見的修復空洞方法有濾波法、目標特征法。濾波法是應用最廣泛的深度圖像修復法，改進的濾波算法[1-4]對于形狀規(guī)則無遮擋的三維物體有著良好的修復效果，但對于不規(guī)則三維物體的深度數(shù)據(jù)的修復效果并不樂觀。CHEN等[5]采用彩色圖引導、區(qū)域自適應、深度選擇框架，使用2個局部濾波器對深度圖像進行濾波，能夠有效地保持目標邊界的深度像素，但對于目標內(nèi)部缺失的深度數(shù)據(jù)尚無法準確修復；WASZA等[6]通過歸一化卷積和引導濾波修復多幀圖像的深度數(shù)據(jù)，由于只利用深度圖像，處理的結果仍受限制；徐歡和鄭江濱[7]利用深度數(shù)據(jù)之間的相關性，同時結合彩色圖像，通過改進的雙邊濾波器填補深度圖像中的空洞，但針對較大面積的空洞修復效果仍不理想；吳倩等[8]結合彩色圖像局部分割，利用引導濾波對深度圖像進行平滑、去噪，但該算法針對同色不同距的空洞修復存在不足。

此外，眾多學者基于三維物體的特征提出修復方法。LI等[9]利用前后幀的物體連貫性關系，對缺失的曲面片進行填充，但未實現(xiàn)從全局來找空洞表面的關系；SUNG等[10]基于數(shù)據(jù)驅動技術，通過已知的數(shù)據(jù)集和物體的對稱性補全三維數(shù)據(jù)，然而無法解決存在遮擋關系的三維物體的深度數(shù)據(jù)補全；沈躍等[11]基于K-means和近鄰回歸算法對植株深度圖像進行修復，能夠較好地修復葉片邊緣的空洞，但對于葉片內(nèi)部的空洞修復效果不佳；高雅平等[12]在深度圖像上引入RGB圖像搜索候選最優(yōu)匹配塊，結合Criminisi算法，填補深度圖像的空洞，針對人物姿態(tài)平滑有著良好的修復效果，但對于復雜物體的修復效果尚不理想。

在層次結構復雜、不規(guī)則的三維物體中，植株是一個典型樣例。本文充分利用植株的彩色圖像信息、已知的深度數(shù)據(jù)、葉片的特征信息對植株深度圖像進行修復，提出基于目標特征的植株深度圖像修復方法。

1 植株圖像預處理

在預處理階段，將植株的彩色圖像作為引導，對彩色圖像進行目標分割，再檢索每個目標的外輪廓，并進行多邊形擬合；其次，基于目標區(qū)域搜索深度圖像中具有正確深度值的像素作為目標區(qū)域采樣點，并對深度數(shù)據(jù)正確的完整葉片區(qū)域圖像進行歸一化處理，為后續(xù)修復提供數(shù)據(jù)基礎。

1.1 植株彩色圖像預處理

采用基于顏色和空間信息的圖像分割算法[13]對彩色圖像進行目標分割，將1幅植株的源彩色圖像S分割為n幅彩色圖像，如葉、莖、花盆、背景墻等多個不同目標的彩色圖像，并進行標記，目標圖像集記為T={ti|i=1,2,···,n}，ti為第i個目標圖像。目標分割后的各區(qū)域彩色圖像如圖1所示。

圖1 目標分割后的各區(qū)域彩色圖像

目標分割后，采用SUZUKI和BE[14]提出的基于邊界跟隨的拓撲結構分析數(shù)字二值圖像算法，提取目標圖像t中每個連通區(qū)域的外輪廓點集，基于Douglas-Peucker算法計算擬合的多邊形點集。算法流程如下：

(1) 將目標圖像轉換為灰度圖像，再逐行掃描，直到遇到連通區(qū)域的一個點，以其為起始點并跟蹤輪廓，標記邊界上的像素。當輪廓完整閉合時，掃描回到上一個位置，直到再次發(fā)現(xiàn)新的區(qū)域。其中，提取的外輪廓點集記作={c={c,j|=1,2,···,}|=1,2,···,}，c,j為目標圖像t的第個外輪廓。此外，目標區(qū)域集表示為={tc={tc,j=1,2,···,}|=1,2,···,}，目標區(qū)域tc,j為外輪廓c,j內(nèi)部的全部像素。

(2) 以為徑向距離在每個外輪廓c,j上選取有限個數(shù)的點，并將其依次連接為折線，完成每個外輪廓c,j的多邊形擬合，擬合的多邊形點集記為={p={p,j|=1,2,···,}|=1,2,···,}。

目標圖像1的外輪廓點集1={1,j|=1,2,3,4}和多邊形點集1={1,j|=1,2,3,4}如圖2所示，白色表示外輪廓點集，圓圈表示擬合的多邊形點集。

圖2 t1的外輪廓點集及多邊形點集

1.2 采樣點提取及歸一化處理

準確的采樣點是進行空間擬合的重要數(shù)據(jù)基礎，為了提取目標區(qū)域內(nèi)的采樣點，基于逐行掃描算法搜索目標區(qū)域中的像素點，并設定深度閾值Th用以判斷深度圖像在(,)處的像素值是否準確。采樣點提取的具體步驟如下：

(1)基于逐行掃描算法，將目標區(qū)域tc,j內(nèi)的像素坐標(,)映射至tc,j所對應的深度圖像，判別深度圖像在(,)處的像素值是否準確；

(2)若映射至深度圖像的(,)處的像素值準確(即≠0，且滿足Th)，則該像素為區(qū)域tc,j內(nèi)的采樣點，區(qū)域tc,j內(nèi)的采樣點集記作SampP,j={(,,)|(,,)∈tc,j}；

(3)若映射至深度圖像的(,)處的像素值不準確(即0，或不滿足Th)，則該像素為區(qū)域tc,j內(nèi)的待修復像素，并將該像素值設為0，區(qū)域tc,j內(nèi)的待修復像素點集記作RepP,j={(,,0)|(,,0)∈tc,j}。

此外，對葉片區(qū)域tc,j進行歸一化處理，便于后續(xù)進行特征提取及訓練。

2 植株深度圖像修復

本文將植株深度圖像修復分為：基于空間擬合的植株深度圖像修復、基于SVM和空間變換運算的植株深度圖像修復。設定一個閾值Th，用以確定目標區(qū)域tc,j采用何種修復方法，Th設定為0.3(這是由于人為刪除0.3倍及以上的采樣點個數(shù)后，擬合出的空間方程的均方根誤差大于0.5，擬合效果不佳)。判別步驟如下：

(1) 當目標區(qū)域tc,j的待修復像素點的個數(shù)與區(qū)域tc,j內(nèi)的全部像素點個數(shù)的比值小于Th時，即

此時區(qū)域內(nèi)存在小面積錯誤、缺失的像素，采樣點集SampP,j的個數(shù)多，待修復像素點適宜采用基于空間擬合的方法對植株深度圖像的目標區(qū)域tc,j進行修復；

(2) 當目標區(qū)域tc,j的待修復像素點的個數(shù)與區(qū)域tc,j內(nèi)的全部像素點個數(shù)的比值大于等于Th時，即

此時區(qū)域內(nèi)存在大面積錯誤、缺失的像素，采樣點集SampP,j的個數(shù)少，擬合出的方程無法有效表述區(qū)域的曲面特征，此時待修復像素點適宜采用基于SVM和空間變換運算對植株深度圖像的目標區(qū)域tc,j進行修復。

2.1 基于空間擬合的植株深度圖像修復

針對小面積錯誤、缺失深度數(shù)據(jù)的區(qū)域，利用空間擬合法計算該目標區(qū)域的方程，進而計算待修復像素的深度值，以修復該區(qū)域中小面積錯誤、缺失的深度數(shù)據(jù)。修復步驟如下：

(1) 本文采用2種方程對區(qū)域采樣點進行擬合：

①在平面擬合中，平面方程表示為