基于圖像處理參數(shù)反饋?zhàn)赃m應(yīng)方法設(shè)計(jì)與應(yīng)用

孫 靜，楊森林，師 超，陳 偉，張曉麗

(1.西安文理學(xué)院 機(jī)械與材料工程學(xué)院，西安 710065; 2.西安應(yīng)用光學(xué)研究所，西安 710065)

0 引言

用于從捕獲的場(chǎng)景中提取對(duì)象信息的所有處理步驟稱為圖像處理，圖像處理廣泛應(yīng)用于人們?nèi)罕娚a(chǎn)生活的各個(gè)領(lǐng)域，諸如遙感、物體探測(cè)以及制造和數(shù)據(jù)處理中。圖像處理旨在準(zhǔn)確地找到、量化和分類圖像中的目標(biāo)[1-2]。圖像處理可以以手動(dòng)或自動(dòng)方式進(jìn)行，自動(dòng)化圖像處理系統(tǒng)會(huì)產(chǎn)生很多圖像數(shù)據(jù)，而手動(dòng)處理變得非常耗時(shí)耗力，雖然手動(dòng)圖像分析可提供可靠的結(jié)果，但時(shí)間效率低且對(duì)大數(shù)據(jù)集造成負(fù)擔(dān)。在這種情況下，使用自動(dòng)圖像處理算法來執(zhí)行高效且自動(dòng)化的圖像分析顯得必要且迫切。自動(dòng)圖像分析需要較少或幾乎不需要用戶干預(yù)，但是參數(shù)調(diào)優(yōu)亦是一項(xiàng)不可避免的繁瑣任務(wù)。

通常，圖像處理過程包括預(yù)處理、分割、特征提取及分類4個(gè)步驟。對(duì)于每個(gè)處理步驟，需要使用一個(gè)或多個(gè)適當(dāng)參數(shù)的操作符。預(yù)處理的目的是統(tǒng)一所有圖像，即在某種意義上抑制噪聲、最小化陰影等。分割用于區(qū)分有用對(duì)象和不重要的背景區(qū)域。目前已經(jīng)提出了許多方法，如閾值分割[3]、邊緣檢測(cè)[4]、分水嶺[5]等。由于陰影、噪聲、遮擋等原因，圖像數(shù)據(jù)集會(huì)出現(xiàn)畸變，圖像處理會(huì)因此受到影響。不同圖像的陰影和失真不同，如果涉及大量參數(shù)，則用戶很難以前饋方式選擇全局參數(shù)。操作符可以為特定的圖像子集提供良好的結(jié)果，相同的參數(shù)集可能不適用于其他圖像[6]，因此需要一個(gè)圖像處理流程的最優(yōu)參數(shù)集。操作符的參數(shù)是根據(jù)圖像數(shù)據(jù)集的子集自動(dòng)查找或手動(dòng)設(shè)置的，手動(dòng)設(shè)置參數(shù)需要有關(guān)要查找的對(duì)象和要使用算法的參數(shù)的先驗(yàn)信息，該先驗(yàn)信息用于以手動(dòng)反饋的方式改善參數(shù)[7]。因此，根據(jù)先驗(yàn)信息，不僅可以調(diào)整諸如圖像分割等單一操作符，還可以添加其他操作符。該調(diào)整是手動(dòng)完成的，用戶可以評(píng)估中間結(jié)果或最終結(jié)果。

近些年來，許多學(xué)者在圖形圖像處理學(xué)領(lǐng)域研究做出了積極貢獻(xiàn)。朱浩亮等[8]設(shè)計(jì)基于改進(jìn)布谷鳥搜索算法的圖像分割方法，對(duì)標(biāo)準(zhǔn)布谷鳥搜索算法進(jìn)行改進(jìn),加快算法收斂速度和尋優(yōu)效率。蔣磊[9]采用脈沖耦合神經(jīng)網(wǎng)絡(luò)通過自適應(yīng)地調(diào)整閾值的衰減速度來自動(dòng)分割圖像，詳細(xì)介紹了脈沖耦合神經(jīng)網(wǎng)絡(luò)模型的基本原理,運(yùn)行機(jī)制和特性,針對(duì)模型中存在的參數(shù)難以確定等固有的問題，給出了有效的解決辦法。然而，這些方法都不允許在優(yōu)化過程中插入先驗(yàn)知識(shí)，例如估計(jì)對(duì)象大小、數(shù)量或?qū)ο箢惖姆植肌榱硕攘繄D像分割和分類的準(zhǔn)確性，數(shù)據(jù)集必須同時(shí)包含分割和分類的基準(zhǔn)數(shù)據(jù)。A.Khan等[10]開發(fā)了一個(gè)基準(zhǔn)數(shù)據(jù)集，其中包含具有關(guān)于目標(biāo)位置、目標(biāo)類別、變化的噪聲和陰影的基準(zhǔn)數(shù)據(jù)圖像場(chǎng)景。本文設(shè)計(jì)了一種針對(duì)圖像分割過程中涉及的參數(shù)反饋?zhàn)赃m應(yīng)方法，并討論圖像陰影和噪聲對(duì)分割和分類精度的影響。以期在不同陰影等級(jí)的背景下，獲得較好圖像分割、分類效果提供圖像處理方法學(xué)借鑒。

1 材料與方法

1.1 圖像處理流程

圖像處理流程中目標(biāo)分割和分類的場(chǎng)景以及在這些場(chǎng)景中要實(shí)現(xiàn)的目標(biāo)對(duì)于計(jì)算機(jī)程序員來說是不同的。例如，監(jiān)督圖像分割的成功與否是基于一個(gè)基準(zhǔn)數(shù)據(jù)的評(píng)價(jià)指標(biāo)來判斷的，然而，就對(duì)象的特征和類別而言，基準(zhǔn)數(shù)據(jù)可能是絕對(duì)的，也可能不完整或不明確。在這些場(chǎng)景中，評(píng)估度量和參數(shù)調(diào)優(yōu)可能彼此不同。圖1為圖像處理流程圖。

圖1 圖像處理流程

當(dāng)存在明確基準(zhǔn)數(shù)據(jù)的情況時(shí)，進(jìn)行基于自動(dòng)反饋的圖像處理。選擇一個(gè)圖像處理的步驟，即圖像分割，將圖像分類標(biāo)準(zhǔn)適當(dāng)?shù)丶傻皆u(píng)估標(biāo)準(zhǔn)中，以便為每個(gè)單獨(dú)的圖像選擇最佳參數(shù)集。基于在所有陰影水平評(píng)估圖像質(zhì)量的魯棒性度量，可以使用整個(gè)數(shù)據(jù)集的反饋機(jī)制自動(dòng)找到一個(gè)魯棒參數(shù)集，還可以在變化的陰影水平上調(diào)整每個(gè)單獨(dú)圖像的參數(shù)，然后評(píng)估整個(gè)數(shù)據(jù)集上圖像分割算法的魯棒性[11-12]。

1.2 評(píng)估數(shù)據(jù)集

基準(zhǔn)數(shù)據(jù)集是專門為評(píng)估標(biāo)準(zhǔn)設(shè)計(jì)的。A.Khan等[10]給出了對(duì)數(shù)據(jù)集的完整描述，它基于包含實(shí)體對(duì)象的4個(gè)場(chǎng)景(r=1,…,4)。利用陰影級(jí)別b(b=1,…,B)和人工背景高斯噪聲n(n=1,…,N)的聚合來描述每個(gè)圖像的陰影級(jí)A(r,b,n)，B和N的值分別為13和14。

1.3 評(píng)價(jià)方法

A.Khan等[10]使用的給定基準(zhǔn)數(shù)據(jù)度量是分割度量(q1，q2)和分類度量(q3)。相對(duì)于基準(zhǔn)數(shù)據(jù)，分割度量懲罰檢測(cè)到的對(duì)象與不重疊像素?cái)?shù)之間的差異，分類度量是相對(duì)于基準(zhǔn)數(shù)據(jù)的誤分類像素的數(shù)量。這些度量值(q1，q2，q3)使用標(biāo)準(zhǔn)轉(zhuǎn)換為模糊函數(shù)，并表示為μ1，μ2，μ3。測(cè)度的總體質(zhì)量度量Q(r,b,n)如式(1)所示：

Q(r,b,n)=μ1·μ2·μ3

(1)

魯棒性度量(R)為式(2)：

(2)

可以使用標(biāo)準(zhǔn)圖像分割評(píng)估方法，如Rand指數(shù)(RI)度量。然而，該度量方法會(huì)嚴(yán)重加權(quán)背景，不利于進(jìn)行圖像分割。由于數(shù)據(jù)集中存在大量的背景像素，因此即使算法沒有檢測(cè)到前景對(duì)象，Rand指數(shù)也會(huì)假設(shè)較高的值，因此，采用基于前景對(duì)象的方法。

1.4 特征計(jì)算

針對(duì)每個(gè)片段類型，目標(biāo)特征可以是幾何的(面積、偏心率等)、強(qiáng)度相關(guān)的(亮度、噪聲等)和基于內(nèi)容的(子片段數(shù)等)。特征提取至關(guān)重要，因?yàn)閷?duì)象分類是在特征空間中進(jìn)行的。在圖像處理過程中，每選擇一個(gè)參數(shù)集p，就會(huì)在圖像中產(chǎn)生特定數(shù)量的片段，這些片段可能在大小、范圍、底層像素值等方面與其他p選擇獲得的片段不同。

基準(zhǔn)數(shù)據(jù)是通過不同對(duì)象類型中希望看到的特征(平均對(duì)象大小、對(duì)象數(shù)量等)來描述的。基于特征向量fi=(fi1,…,fim)的標(biāo)準(zhǔn)，考慮到每段i(i=1,…,nt)需要構(gòu)建的特征個(gè)數(shù)為j(j=1,…,m)，找到的對(duì)象數(shù)量記為nt，在圖像中找到的片段總數(shù)nc可以是附加的先驗(yàn)知識(shí)。

1.5 自動(dòng)參數(shù)調(diào)整

有兩種方法可以實(shí)現(xiàn)自動(dòng)參數(shù)調(diào)整：1)對(duì)所有圖像使用一個(gè)魯棒參數(shù)集；2)對(duì)每個(gè)圖像分別進(jìn)行參數(shù)調(diào)整。根據(jù)可用的基準(zhǔn)數(shù)據(jù)類型，自動(dòng)參數(shù)調(diào)整的方式有所不同。當(dāng)存在絕對(duì)基準(zhǔn)數(shù)據(jù)(每個(gè)像素都有一個(gè)分段和類分配)時(shí)，對(duì)依賴于p的噪聲斑點(diǎn)的評(píng)價(jià)方法可以用模糊術(shù)語表示為μ1(p)、μ2(p)和μ3(p)。因此，每個(gè)p值的總體質(zhì)量度量由式(3)表達(dá)：

Q(r,b,n,p)=μ1(p)·μ2(p)·μ3(p)

(3)

為了計(jì)算基于目標(biāo)特征向量fi的質(zhì)量度量Qfeat，由用戶提供字母數(shù)字參考特征，用戶可以根據(jù)待找對(duì)象特征的模糊知識(shí)推導(dǎo)出這些特征，這些特征用θ表示的模糊隸屬函數(shù)式(5)來描述，其中(aj,bj,cj,dj)是梯形函數(shù)的邊：

(5)

式(5)給出的梯形曲線是fij的函數(shù)，并且取決于4個(gè)標(biāo)量參數(shù)aj,bj,cj和dj。這些值由用戶基于抽象特征信息來設(shè)置。對(duì)于分割對(duì)象中的每個(gè)特征值，使用梯形模糊函數(shù)對(duì)隸屬度值θ進(jìn)行評(píng)估。

使用用戶提供的(aj,bj,cj,dj)作為抽象基準(zhǔn)數(shù)據(jù)，總參考計(jì)數(shù)nc也可以根據(jù)式(5)的θc用模糊術(shù)語表示。因此，基于參數(shù)向量puser的模糊隸屬函數(shù)的Qfeat可以寫為式(6)：

(6)

其中：nt(puser)是基于puser分割的對(duì)象數(shù)量。式(6)中的求和項(xiàng)表示所有對(duì)象特征與抽象基準(zhǔn)數(shù)據(jù)特征的集體偏差。還需要對(duì)式(6)中的puser進(jìn)行最大化，以獲得最優(yōu)參數(shù)集popt,user，如式(7)所示：

(7)

式(6)和式(7)中的下標(biāo)“user”指的是用戶定義的抽象基準(zhǔn)數(shù)據(jù)的最佳參數(shù)集。在用戶提供的抽象基準(zhǔn)數(shù)據(jù)存在的情況下，式(7)用于對(duì)每個(gè)單獨(dú)圖像進(jìn)行參數(shù)自適應(yīng)調(diào)整。整個(gè)數(shù)據(jù)集的魯棒參數(shù)值計(jì)算式(8)：

(8)

其中：prob表示包含越來越高陰影水平的整個(gè)數(shù)據(jù)集的魯棒參數(shù)集。

1.6 反饋參數(shù)自適應(yīng)

圖2中顯示了用于實(shí)現(xiàn)反饋參數(shù)自適應(yīng)的流程圖。其包含了反饋結(jié)構(gòu)，給出了前饋圖像處理結(jié)構(gòu)和參數(shù)自適應(yīng)的新元素。針對(duì)不同的情況，采用了兩種不同的分割方法，并對(duì)分割參數(shù)進(jìn)行了調(diào)整。在比較標(biāo)準(zhǔn)的分割方法時(shí)，兩種情況下(即有反饋和無反饋)圖像的形態(tài)學(xué)操作符結(jié)構(gòu)和預(yù)處理及后處理均保持不變。

圖2 基準(zhǔn)圖像分割方法的參數(shù)自適應(yīng)流程

隨后，同時(shí)調(diào)整圖2中的其他所有參數(shù)，以顯示對(duì)單參數(shù)自適應(yīng)的改進(jìn)。在數(shù)據(jù)集變大或涉及的調(diào)整參數(shù)數(shù)量多需要手動(dòng)調(diào)整的情況下，采用給定的反饋參數(shù)自適應(yīng)方法使計(jì)算機(jī)程序員能夠自動(dòng)調(diào)整圖像處理參數(shù)。

2 實(shí)驗(yàn)結(jié)果與分析

本文定義了具有3個(gè)圖像分割算子的圖像處理流程，即卷積、閾值、開放運(yùn)算。參數(shù)向量p=(w,t,s)T由3個(gè)參數(shù)組成：w為圖像卷積濾波器大小，強(qiáng)度閾值為t，圖像打開的結(jié)構(gòu)元素的大小為s。圖3顯示了在陰影較小的情況下，程序員手動(dòng)調(diào)整參數(shù)的效果。顯然，p=(1,180,1)T的參數(shù)集可提供最優(yōu)結(jié)果見圖3(d)。但是，這可能不是最優(yōu)參數(shù)集popt。

圖3 使用參數(shù)集p=(w,t,s)T進(jìn)行分割的結(jié)果

如圖4所示，如果存在較高的陰影，則可能需要一個(gè)不同的p以獲得良好的分割結(jié)果，這是由于某些陰影效果也被解釋為對(duì)象，使用假設(shè)的參數(shù)集p=(1,180,1)T得到了不同的對(duì)象特征和錯(cuò)誤的對(duì)象標(biāo)注。如圖4(c)所示，在該陰影水平，更好的參數(shù)集可以是p=(3,120,5)T，其中，t低于180。因?yàn)樵谳^低的值下，物體的陰影不會(huì)被檢測(cè)到。同樣，較高的s將允許使用較低的t值來去除較小的噪聲斑點(diǎn)。在此，更改w對(duì)分割結(jié)果影響不大。如果圖像數(shù)據(jù)集很大或涉及很多參數(shù)，那么對(duì)于實(shí)際應(yīng)用而言，找到最佳參數(shù)集幾乎是不可能的[15]。

圖4 存在較高的陰影使用參數(shù)集p=(w,t,s)T的分割結(jié)果

當(dāng)用戶擁有大量具有絕對(duì)基準(zhǔn)數(shù)據(jù)的圖像并且要在其中分割許多對(duì)象時(shí)，即使使用標(biāo)準(zhǔn)方法，手動(dòng)參數(shù)調(diào)整也會(huì)非常麻煩。用戶可以根據(jù)可用的基準(zhǔn)數(shù)據(jù)標(biāo)記一組圖像，并根據(jù)具有不同陰影級(jí)別的單個(gè)圖像使用反饋機(jī)制自動(dòng)調(diào)整參數(shù)。首先，整個(gè)數(shù)據(jù)集都采用了在所有陰影級(jí)別都最有效的魯棒參數(shù)集；然后，使用反饋機(jī)制對(duì)每個(gè)單獨(dú)的圖像進(jìn)行最優(yōu)參數(shù)設(shè)置，對(duì)選定的Otsu分割和Sobel邊緣檢測(cè)兩種分割方法進(jìn)行了實(shí)驗(yàn)。基于圖2中給出的圖像處理流程，將Otsu分割和Sobel邊緣檢測(cè)的參數(shù)自適應(yīng)應(yīng)用于數(shù)據(jù)集(r=1)。對(duì)于Otsu分割，使用強(qiáng)度閾值tOtsu，迭代地調(diào)整此參數(shù)以查看分割結(jié)果。對(duì)于Sobel邊緣檢測(cè)，標(biāo)準(zhǔn)應(yīng)用程序還使用了一個(gè)參數(shù)并進(jìn)行了自動(dòng)參數(shù)調(diào)整。兩種方法的標(biāo)準(zhǔn)實(shí)現(xiàn)稱為這些方法的前饋應(yīng)用，簡寫為StdOtsu和StdEdge。在標(biāo)準(zhǔn)實(shí)現(xiàn)中，不會(huì)手動(dòng)設(shè)置tOtsu和tEdge的參數(shù)值，而是由各個(gè)方法自動(dòng)選擇。但是，這些值在前饋方法中沒有變化，無法觀察到分割結(jié)果的改善。

為了進(jìn)行參數(shù)調(diào)整，在tOtsu和tEdge的邊界內(nèi)使用步長δ進(jìn)行了詳盡地搜索。由于圖像數(shù)據(jù)集的強(qiáng)度值歸一化在[0,1]，因此應(yīng)在這些范圍內(nèi)指定最高和最低參數(shù)值。AutoOtsu的下限為tOtsu,low=0.1，上限為tOtsu,high=0.78，其中δ=0.02。在AutoEdge的情況下，tEdge,low=0.01，tEdge,high=0.21，其中δ=0.01。圖5顯示了由Q(r,b,n)表示的所有方法中，隨著陰影水平A(r,b,n)的增加，性能逐漸下降。為了量化性能，給出了魯棒性度量。RStd,Otsu和RStd,Edge分別是StdOtsu和StdEdge根據(jù)式(2)得到的魯棒性度量。RAuto,Otsu和RAuto,Edge分別是AutoOtsu和AutoEdge根據(jù)式(2)得到的魯棒性度量。魯棒性度量越大，魯棒性越強(qiáng)。

圖5 圖像分割參數(shù)適應(yīng)在基準(zhǔn)數(shù)據(jù)集r=1上的結(jié)果

Otsu分割和Sobel邊緣檢測(cè)的分割結(jié)果如圖6所示。從圖6(a)、6(b)可以清楚地看到，由于存在陰影，使用標(biāo)準(zhǔn)前饋Otsu分割時(shí)會(huì)發(fā)現(xiàn)錯(cuò)誤的斑點(diǎn)。相反，當(dāng)調(diào)整閾值參數(shù)時(shí)，在高陰影水平下可獲得更好的分割質(zhì)量。在Sobel邊緣檢測(cè)的情況下，使用兩種技術(shù)(即前饋與反饋參數(shù)自適應(yīng))對(duì)在相同陰影級(jí)別發(fā)現(xiàn)的斑點(diǎn)進(jìn)行比較。由于存在陰影，無法完全檢測(cè)到邊緣，并且預(yù)定義的圖像膨脹參數(shù)無法形成所有斑點(diǎn)，導(dǎo)致使用標(biāo)準(zhǔn)前饋應(yīng)用程序的Q(r,b,n)值較低。相反，當(dāng)使用反饋迭代調(diào)整tEdge時(shí)，可以在較高的陰影級(jí)別獲得更好的分割質(zhì)量。

圖6 Otsu分割和Sobel邊緣檢測(cè)的分割結(jié)果

3 結(jié)束語

基于反饋的圖像處理參數(shù)自適應(yīng)方法實(shí)際應(yīng)用可以得到如下結(jié)論：用戶可以手動(dòng)標(biāo)記一組圖像，無需詳細(xì)了解圖像處理過程即可獲得最優(yōu)參數(shù)。與常見的圖像處理方法相比，本文方法參數(shù)化程序?qū)υ肼暫完幱熬哂休^強(qiáng)的魯棒性。同時(shí)，還可以幫助專家查看整個(gè)數(shù)據(jù)集，并在變化的陰影級(jí)別上為圖像調(diào)整最優(yōu)參數(shù)。最優(yōu)圖像分割的質(zhì)量取決于找到特定目標(biāo)參數(shù)的程度。