楊 瑞,錢曉軍,孫振強,許 振
(南京師范大學計算機與電子信息學院,南京 210023)
圖像分割在醫學、航拍等諸多領域得到了廣泛應用。通過分割得到具有結構化信息的區域是分析、理解圖像內容的基礎工作。在圖像分割的發展過程中,分割算法隨著應用場景的逐步復雜化而完善,但每種分割算法均未實現完全意義上的場景自適應,算法性能的提升一般是針對特殊場景,基于相關領域已有研究改進的結果。因此,某一類應用場景數據集的公開對相應算法在這方面性能的提升具有重大意義。
航拍圖像與地面拍攝圖像相比,具有現勢性更高、比例尺更大等特點,因此在環境監測、國土資源整治監控等工作中發揮著重要作用,但多斑點噪聲、高域內異質性使其分割難度更大。在當前公開的圖像數據集中,大多數拍攝來自地面,具有研究意義的航拍圖像數據集很少,這種情形制約了圖像分割算法的進一步改進。數據集的標注需要基于一定的行業經驗、專業知識,由某一領域專家標注出的數據集對相應算法、模型在該領域的應用具有指導意義。
航拍圖像分割作為地表圖像研究的基礎,近年來受到了該領域專家的關注,在眾多航拍圖像分割算法中,大多數都是基于初始分割與區域合并的混合圖像分割框架設計的。分水嶺算法是形成初始分割區域的常用算法,該算法通過對圖像的邊緣強度圖作分水嶺變換實現圖像分割,但因其邊緣信息不易提取,導致形成的區域“誤分割”率較高。除了依據邊緣、區域、顏色信息,通過挖掘空間鄰域信息,實現圖像分割的馬爾可夫隨機場(Markov Random Field,MRF)也是較受關注的一種模型。結合相關研究,勢函數的改進是這類模型的主要研究工作。依據勢函數對像素類別的劃分方式,這類模型可分為:硬分割、軟分割兩類。針對硬分割在相鄰區域相似度、標號信息含混性較高時易造成信息丟失的不足,軟分割類模型被提出且應用在多個領域。模糊馬爾可夫隨機場(Fuzzy Markov Random Field,FMRF)[1]、證 據 馬 爾 可 夫 隨 機 場(Evidential Markov Random Field,EMRF)[2]、層次馬爾可夫隨機場(Hierarchical Markov Random Field,HMRF)[3]是3種典型的軟分割模型。其中,FMRF的改進點為:在MRF勢函數基礎上添加了模糊隸屬度函數,相關實驗結果表明,基于FMRF的圖像分割相對基于MRF的效果有所提高。在進一步的研究過程中,文獻[2]提出:像素標號的不確定性更多是一種含混性而非模糊性,因此EMRF、HMRF被提出并應用于醫學圖像分割,且經過實驗驗證其分割性能均高于FMRF。每一類模型均有其適用場景范圍,EMRF、HMRF較適用于醫學圖像分割,但應用于航拍圖像時,由于勢函數融入的區域信息較單一,因此效果不佳。
結合當前區域合并算法相關研究分析,該算法包含三個要素:區域相似性度量、合并順序、合并停止時刻。現有的區域相似性度量主要通過顏色、面積比、公共邊緣長度、邊緣相關度將鄰域差異性量化。制定合理的區域合并順序可提高合并的效率,但合并順序的形成最終仍依賴合并相似性度量結果。合并停止時刻即圖像全局內最佳分割狀態的定義,最初的合并停止時刻是基于閾值的,該定義方式無法根據當前合并結果自適應更新閾值。當前區域合并算法[4-12]中所運用的合并停止時刻均在文獻[13]的定義方式基礎上作出了較小的改進,這類定義方式以區域剩余率、區域色散度來描述合并狀態,因此不適合對域內異質性高的圖像作處理。由于算法研究時所針對場景復雜程度的限制,區域合并算法仍存在機制缺失,如關于合并區域對后的標號選擇機制的研究尚未受到關注。
針對河湖巡檢(river and lake inspection,rli)數據集的場景特點,本文對混合圖像分割框架內的算法部件分別做了一定的改進。在現有的MRF用于rli數據集出現迭代時間較長、像素標號更新緩慢、局部區域超像素塊密集的現象無法改善時,本文提出了一種變量單位為像素塊、在勢函數中融入區域信息、可自適應停止迭代的塊狀馬爾可夫隨機場(Block Markov Random Field,BMRF)。通過大量實驗后的分析,本文從rli數據集中提取了一種特定場景,該場景可充分驗證當前區域合并算法存在機制缺失。在區域合并停止時刻的改進方面,本文在色散度、區域剩余率的基礎上加入了以區域平衡度、區域邊緣差異度為自變量的函數權重函數系數,該定義方式提高了“過分割”區域的合并率。
本文提出的算法流程如圖1所示。

圖1 本文算法流程Fig.1 Flowchart of the proposed algorithm
本文主要的工作如下:1)公開了rli數據集:一種用于河湖異常物語義分割、識別的數據集,該數據集可在https://aistudio.baidu.com/aistudio/datasetdetail/44071上獲得。2)提出一種塊狀單位、勢函數中融入像素塊邊緣相關度、可自適應停止迭代的新型馬爾可夫模型。3)在rli數據集中挖掘出一種可充分體現當前區域合并中缺少標號選擇機制的特定場景(見圖3),并針對該場景形成了相應的區域合并標號選擇機制。4)結合rli數據集的特點形成了一種新合并停止時刻的定義方式,該方式通過加入區域平衡度、區域邊緣差異度形成函數權重系數,實現了區域剩余率、色散度項前權重的自適應變化。
基于MRF的圖像分割問題實質是像素標號的后驗概率最大化問題[2]。由于MRF以貝葉斯理論為基礎,像素標號最大化問題又可繼續轉化,最終成為像素標號的條件概率與先驗概率乘積最大化問題。在上述兩個因素中,條件概率服從高斯分布,先驗概率則服從吉布斯分布。在現有的相關工作[1-3,14-15]中,大多數研究者均關注像素點的先驗概率,特別是勢函數的研究上,因此下文主要對勢函數改進的相關研究作回顧。
從像素標號確定方式角度分析,基于MRF的圖像分割分為:硬分割、軟分割兩類。通過魯棒的高階勢函數[14]得到像素先驗概率的方式屬于硬分割,這類方式在反映相鄰區域的邊緣關聯度、圖像局部特征、前景與背景的符合度上均有較大的優勢,但用于處理區域交界高度相似、像素標號不確定性較高的圖像時,易造成鄰域標號信息丟失。根據相似度定義的勢函數屬于軟分割方式,在眾多軟分割MRF模型中,FMRF、EMRF、HMRF是較典型的三種,FMRF是其中最先被提出的,該模型利用模糊隸屬度函數得到當前像素屬于各類標號的概率,通過該模型處理過的圖像分割效果得到了提高。在發現含混性能比模糊性更好的描述像素類別后,EMRF、HMRF被提出代替FMRF且應用于醫學圖像分割,這類模型以變量間的證據標號距離作為系數,但是存在證據標號距離對基團中元素的相似性具有較高程度依賴等局限。
區域相似性度量、合并過程、合并停止時刻是區域合并算法的重要組成部件。在這三個算法部件中,區域相似性的準確度量是其余部件執行的前提。形成高度符合圖像中實際域間、域內狀態的相似性度量方式需:1)融合具有顯著區別性的區域特征;2)采用合理的度量方式。
文獻[4]制定了一種基于灰度、面積、空間三種基本區域特征的相似性度量方式,這類度量方式傾向于選擇區域灰度相近、面積差較大的鄰域產生合并。由于上述區域相似性度量因素均是低級特征,因此在處理一些復雜場景的圖像時,該相似性度量方式可能無法為有效的區域合并提供支持條件。增加特征數、變換已有的特征、采用合理的度量方式是現有區域相似性度量改進工作的三個角度。從增加特征維數的角度回顧相關研究,紋理、空間、邊緣[5-8]信息常被提取作為相似性度量因素,但部分場景下,可直接有效區分域間、域內關系的區域特征較少,增加特征數不是一種有效度量區域相似度的方式,在特征數有限的情況下,通過變換已有特征,使之符合圖像場景特點是一種解決途徑。在與區域特征變換相關的研究中,大多數工作都集中在顏色空間轉換上,如在使用紅綠藍顏色空間(Red-Green-Blue,RGB),視覺與顏色距離不成正比、顏色分布不均勻時,顏色-對立空間(CIELAB,Lab)常被用于替換RGB[6];在需要滿足與人眼視覺保持較高一致性的要求時,色調-飽和-強度空間(Hue-Saturation-Intensity,HSI)又被用作替代其他類型的顏色空間[4,6]。充分利用可提取的區域信息后,選擇合理的距離度量方式對最終的相似度量化結果影響較大。文獻[9]選用了一種與相似度成正比的馬氏距離(Mahalanobis),文獻[10]與文獻[5,7,9]則分別針對非線性結構、線性結構采用了相對熵差異(Kullback-Leibler,KL)、巴氏距離(Bhattacharyya)。
合并過程即合并順序的確定,在完成區域相似性度量后,待合并區域對序列需要依據相似性度量結果來排列。逐層寬松的合并順序[11]、基于貝葉斯的合并過程[12]是兩種具有代表性的合并順序確定方式,前者合并效率較高,但在過寬松的合并條件下極易產生“過合并”現象;后者將待合并區域對的選擇問題轉化為能量最小化問題,該方式保證了最終合并結果的穩定性,但其時間、空間復雜度均較高。
區域合并停止時刻反映了當前所形成的區域狀態與實際圖像中目標物的一致度。現有的合并停止時刻可分為:基于閾值[4]的與結合區域剩余率、區域色散度[13]所定義的兩類方式。其中,基于閾值的方式設置了一個全局閾值,當所有區域對的相似度均小于該閾值的時刻即合并停止時刻,該方式無法根據區域狀態實現閾值自適應更新;后者則融合圖像全局與局部區域信息形成一種根據圖像場景,實現自適應區域合并停止的方式,該方式克服了基于閾值方式需要人為設置全局閾值的不足,但僅適用于區域內顏色、紋理變化平緩的場景。
現有的馬爾可夫隨機場應用于rli數據集進行的圖像分割,像素標號更新效率不明顯,超像素塊密集的現象沒有得到改善,時間復雜度過高。針對上述問題,本文提出了一種以超像素塊為變量單位、通過融合多種區域信息形成迭代停止準則的塊狀馬爾可夫隨機場。

1)CDIEi?CDi;
2)?x∈CDIEi,?y∈nh(x)∧y?CDi,nh(x)表示x的8鄰域集;

對于?CDi∈CD,其鄰域系統可由如下公式得到:

其中:NHi表示CDi的鄰域系統,滿足如1)、2)、3)所示的特性,若?C={CDi,CDj}滿足3)的特性,則稱C為基團,其示意圖如圖2所示,IDi表示CDi的鄰域編號集,其計算方式可依據4)。

圖2 鄰域系統及基團Fig.2 Neighborhood system and group
1)NHi?CD;
2)CDi?NHi;
3)?CDi,CDj∈CD,CDj∈NHi?CDi∈NHj;

其中:C_Did(l)表示獲取l所屬的連通域編號。
變量單位為區域級的圖像分割,其實質是求取各區域最佳標號的過程,因此可根據貝葉斯法則將圖像分割問題轉化為最大后驗概率問題,即

其中:P(wc|gc)=P(wc)P(gc|wc),由于P(gc)已給定,因此

最大后驗概率問題可進一步轉化為區域標號先驗概率(P(wc))與區域灰度條件概率(P(gc|wc))乘積最大化問題。
由于區域標號具有馬爾可夫性,且相關研究表明MRF與Gibbs分布是等價關系,所以區域標號先驗概率可表示如下:





由于各區域的條件概率分布P(gc|wc)相互獨立,因此區域集的灰度條件概率的計算如式(7)所示:

對PCD(gc|wc)取對數可形成如式(8)所示的條件概率能量函數:

對PCD(wc)取對數后,最大后驗概率問題可進一步轉化為如式(9)所示形式:

最大后驗概率問題可轉化為能量函數最小化問題,其最終表示形式如式(10)所示:

馬爾可夫隨機場是在最大迭代次數內,依據變量的鄰域信息,對該變量的標號進行迭代更新。如果N設置得足夠大,當迭代達到一定次數后,每次的標號更新結果會出現收斂,即局部性特征已不再支持該變量標號更新。上述方式較常用,但為了達到迭代收斂而設置足夠大的迭代次數,這會極大浪費計算資源。對此,下文提出了一種可自行停止迭代的準則。
2.5.1 鄰域標號平衡度
鄰域系統中各類標號的數量差是影響當前區域標號的重要因素之一,鄰域系統中各類標號的數量差越大表示鄰域標號越不平衡,即當前區域標號更新的概率越大,因此下文定義了鄰域標號平衡度作為迭代停止準則中的一個因素,其具體計算如式(11)所示:



2.5.2 區域平衡度
若仍在迭代收斂時刻停止迭代,基于塊狀單位的馬爾可夫隨機場在處理高域內異質性、低域間同質性、邊緣信息不完整的圖像時易產生“誤合并”。由于圖像面積一定,該“誤合并”會導致區域間的面積差距不斷擴大,圖像中面積較小的目標物將會誤合并到與其存在鄰接關系的較大目標物中。對此,下文提出一種區域平衡度指標在迭代過程中描述區域的面積、形狀。



鄰域標號平衡度越低,區域標號迭代越接近收斂狀態,但鄰域標號平衡度最低時,區域平衡度可能不是最小的,這可能會導致原屬于不同目標物的過分割區域產生“誤合并”。對此,兩者折中后,將min(R_b+N_b)作為迭代停止時刻。
在高域內異質性、域間同質性的圖像中,運用現有的區域合并算法[11-19]無法產生符合圖像實際區域劃分場景的合并結果,且在如圖3所描述的特殊場景中,隨著合并次數的增多,目標物的提取率反而在下降。針對上述分析,本文作出了以下兩點改進:融合圖像局部非鄰域信息的區域標號選擇機制、根據區域特征實現場景自適應的合并停止時刻定義。

圖3 特定場景Fig.3 Specific scene
待合并的區域對應滿足:1)互為鄰域關系;2)區域面積相差較大;3)區域顏色相似;4)一個區域將另外一個包圍得更緊密;5)公共邊緣不明顯。根據上述描述,區域相似性度量定義如式(17)所示:


通過rli數據集中的一類場景可驗證:現有的區域合并算法中需要建立區域合并標號選擇機制。針對文內所述場景特點,相應機制經過大量的實驗分析后初步得到建立。
從rli中發現的特定場景描述如下,假設存在區域②與其鄰域狀態滿足如下條件:1)對某一小區域塊③的邊緣關聯度接近1(小區域塊③被區域②包圍);2)區域②的鄰域中存在一個面積大于區域②、標號與區域③一致的區域①;3)區域③與區域①不存在鄰域關系。上述場景描述主要針對rli數據集中離散性較大的河湖異常物而制定的,如綠藻、油污、擴散規模不大的重度污染,這三類漂浮在水面、形態分散不固定的漂浮物易形成中間空出一塊水域的狀態,這種區域狀態與特定場景是一致的。
針對上述場景,本文提出一種區域合并標號選擇機制:




表1 非正常水域局部特征Tab.1 Some characteristics of abnormal waters
區域合并停止準則是基于用最少的區域描述一幅圖像,且每個區域內信息高度一致的思想制定的,該方式僅適用于域內異質性較低的圖像。本文從準確描述圖像區域集中整體的區域邊緣、形狀信息形成如式(20)所示的定義:




其中:eij表示第i個區域和第j個區域邊緣相似度因素;邊緣跳躍度越大,區域界限越明顯,其計算如式(24)所示:

本文實驗所用設備為i7-8700/64 GB/256 GB+2 TB HDD、GTX1080ti-11G顯卡的圖像工作站。實驗平臺為Windows 10環境下的Visual Studio 2015+OpenCV 3.20。由于混合圖像分割算法是由多個算法部件構成的一個整體,且本文對各算法部件均作出了一定的改進。因此,對混合圖像分割算法的性能分析需從算法部件、算法整體角度分別做對比實驗。
本文混合圖像分割算法由BMRF、多信息融合的區域合并兩個算法部件組成。針對這兩個算法部件的改進點,相應的定性對比實驗見4.1.2節和4.1.3節。本節實驗所用圖像來自rli數據集,rli數據集信息見4.2.1節。
4.1.1 圖像預處理
該部分預處理主要包括兩項任務:1)確定圖像中目標物數目;2)初始化圖像中的像素標簽。這兩項任務可通過對比、分析不同聚類數下的像素聚類結果完成。任務1)為最佳聚類數,任務2)則對應最佳聚類數下的聚類結果。在具體預處理實驗操作中,聚類算法選用的是K-means,聚類指標選用的是CPCQ(Contrast Pattern based Clustering Quality)[16]。不同聚類數下的CPCQ指標如表2所示。由表2中數據可知,圖4(a)、圖4(c)的最佳聚類數均為4,聚類結果分別如圖4(b)、圖4(d)所示。

表2 不同聚類數下的CPCQ指標Tab.2 CPCQ indicatorsunder different clusteringnumbers
4.1.2 基于BMRF與基于HMRF的圖像分割對比
圖5為使用BMRF與HMRF對圖4(b)、圖4(d)處理過程的迭代折線圖。圖5中點c(c′)、點a(a′)、點b(b′)分別表示圖4(b)(圖4(d))在BMRF迭代終止時刻、HMRF迭代終止時刻、BMRF迭代收斂時刻的狀態。與之相對應,圖6(b)(圖6(g))、圖6(a)(圖6(f))、圖6(c)(圖6(h))分別為圖4(b)(圖4(d))在上述3點處所形成的初始分割結果,通過直接對比點b、點c(點b′、點c′)及定性對比點a、點c(點a′、點c′)處所形成的初始分割結果,驗證BMRF相對傳統MRF的整體改進、局部改進——迭代停止準則是否有效。

圖4 最佳聚類數下的分割結果Fig.4 Segmentation result under optimal clustering number

圖5基于BMRF、HMRF的迭代折線圖Fig.5 Iterative line chart based on BMRFand HMRF
通過對比圖6(b)與圖6(a)(圖6(g)與圖6(f))可發現:圖6(b)(圖6(g))中的小像素塊密集區域得到了平滑,分割結果受噪聲影響較小,目標物的邊緣信息得到了較精確的提取。這主要由于BMRF以像素塊為變量單位,標號更新效率高于HMRF,且BMRF針對rli數據集中的場景特點,在勢函數中融入了像素塊的邊緣差異度、邊緣相關度等因素使得目標物相關特性得到了完好的保留。圖6(c)比圖6(b)(圖6(h)比圖6(g))的“誤分割”率高,誤分割主要體現在:多個存在空間鄰域關系的不同目標物被誤分割為一個目標物,這是由于迭代收斂時刻缺乏對圖像全局區域、局部鄰域最佳狀態的定義。

圖6 本文算法部件對比實驗Fig.6 Comparison experiment of proposed algorithm component
4.1.3 合并停止時刻與最佳合并狀態的對比
通過上節實驗處理后,圖6(b)、圖6(g)仍存在“過分割”現象。本節實驗主要將過分割結果進行區域合并。圖7為利用MIFRM、文獻[13]所提出的區域合并方式進行區域合并的折線圖。折線圖中的點d、點e(點d′、點e′)分別對應兩種方式下的合并停止時刻,在點d、點e(點d′、點e′)時刻所形成的合并結果分別如圖6(e)、圖6(d)(圖6(j)、圖6(i))所示。

圖7 不同合并停止方式的迭代折線圖Fig.7 Iterative line chart of different merging stopping methods
圖6(d)(圖6(i))的合并效果不佳,“過分割”現象沒得到有效解決,圖6(e)(圖6(j))的區域完整性高于圖6(d)(圖6(i)),合并所得結果與人工語義標注的一致性更高。這主要由于在文獻[13]中,區域合并停止時刻的定義方式對域內同質性要求較高,不適用于rli數據集的場景,MIFRM則通過融入區域面積差異度、區域邊緣差異度形成函數權重系數,實現弱化色散度項對整體區域狀態定義的影響。
本文采用了邊緣附著能力、重合率(Dice)、查全率(Recall)3類性能評價指標度量算法分割結果與人工標注的差異性,以實現對實驗結果的評價。其中邊緣附著能力由邊緣 召 回 率(Boundary Recall,BR)、欠 分 割 誤 差(Undersegmentation Error,UE)、可 達 分 割 精 準 度(Achievable Segmentation Accuracy,ASA)綜合體現,它是分割結果邊緣與人工標注物體邊緣匹配度的反映,其具體定義方式見文獻[17]。其余兩類性能評價指標的具體定義方式見文獻[18]。
4.2.1 實驗數據集
本文實驗使用了三個數據集:VOC(Visual Object Classes)數據集[19]、CamVid(Cambridge-driving labeled Video database)數據集[20]和自建的rli數據集。VOC主要用于目標分割、檢測、分類,該數據集共包括20類目標物,2913張圖片,6929個物體,圖片分辨率為512×512。CamVid數據集是一種街道場景數據集,該數據集包括32類目標物,圖像總數為701張,訓練集、驗證集、測試集的數目分別為367、101、233,圖片分辨率為960×720。rli是與多地水利部門合作,進行河湖巡檢所得的航拍圖片后,再經人工語義標注所形成的數據集。該數據集包括河流、綠藻、水污染、廢棄船只、捕魚網、違規養殖、廢棄物堆積、違章建筑、違法種植等18大類目標物的標注,目前共計6 517張航拍圖像和6 517張標記圖像,圖片大小為5 280×2 970。
4.2.2 定性對比實驗
表3為基于多維特征融合的混合圖像分割算法(Multidimensional Feature fusion based Hybrid image Segmentation algorithm,MFHS)[21]、改進的基于區域合并的FCM圖像分割算法(Improved FCM image segmentation algorithm based on Region Merging,IFRM)[22]、基于段間和邊界均質性的混合圖像分割算法(Inter-segment and Boundary Homogeneities based Hybrid image Segmentation algorithm,IBHHS)[23]、基于多維色彩變換與一致性的混合圖像分割算法(Multi-dimensional Color transform and Consensus based Hybrid image Segmentation algorithm,MCCHS)[24]、基于多級區域信息融合的混合圖像分割算法(Multi-level Region Information fusion based Hybrid image Segmentation algorithm,MRIHS)在rli、VOC、CamVid三個數據集上的分割性能數據。
從表3的數據可觀察出如下內容:MFHS算法的BR、ASA、Recall、Dice指標在MFHS、IFRM、IBHHS、MCCHS中是最高的,而UE指標是最低的。與上述4種算法相比,在rli數據集上,MRIHS的BR、UE、ASA、Recall、Dice指標分別比MFHS算法提升了1.22個百分點、-1.19個百分點、1.51個百分點、0.41個百分點、1.59個百分點;在VOC數據集上,MRIHS的BR、UE、ASA、Recall、Dice指標分別比MFHS算法提高了0.43個百分點、-0.65個百分點、0.35個百分點、1.59個百分點、0.84個百分點;在CamVid數據集上,MRIHS的Recall、Dice指標分別比MFHS算法提高了1.11個百分點、2.48個百分點,BR、UE、ASA指標分別比MFHS算法低0.82個百分點、-0.76個百分點、0.10個百分點,但是其BR、UE、ASA指標均優于IFRM算法、IBHHS算法、MCCHS算法;5種算法在rli數據集上的3類指標均比在VOC數據集、CamVid數據集上低,其BR、UE、ASA、Recall、Dice指標分別比在VOC數據集上低2.52~5.11個百分點、1.43~3.54個百分點、0.81~5.82個百分點、0.23~6.54個百分點、3.1~6.67個百分點,比在CamVid數據集上低0.4~2.44個百分點、1.55~3.5個百分點、0.05~4.61個百分點、3.59~11.68個百分點、5.07~7.34個百分點。

表3 不同算法在三個數據集上的分割性能對比 單位:%Tab.3 Segmentation performance comparison of different algorithms on three datasets unit:%
根據上述觀察內容分析可得如下結論:MRIHS是5種算法中最適用于rli數據集、VOC數據集的,MFHS則最適用于提取CamVid數據集中圖像的邊緣信息;在3個數據集中,rli對5種算法在邊緣附著能力、Recall、Dice三類指標提升的挑戰性最大。
本文設計的混合圖像分割算法較適用于處理物體類型多、目標物內灰度變化劇烈的航拍圖像,其特點總結如下:1)利用層次聚類較準確地確定初始簇中心以達到縮短圖像處理時間、為后續處理流程提供優質輸入數據的目的;2)將馬爾可夫隨機場中變量單位由“單個像素”改變為“區域”,并用于改善局部圖像中超像素塊密集的情形,且以“單個像素”為單位比較,該改進方法使圖像中像素標號的更新速率加快;3)針對本文從rli數據集中發現的特殊場景,制定區域合并標號選擇機制,有效提高了區域合并的質量、效率,但該機制僅適用于文中提出的場景。為使該機制更具一般性,下一步將展開充分挖掘區域的鄰域信息,使圖像中的區域序列化,再利用循環神經網絡能夠解決序列化問題的特點為區域合并標號信息更新的選擇提供決策,形成機制的相關研究;4)最佳合并狀態的定義克服了區域合并停止準則過偏向高度域內一致性,而導致“欠合并”現象的弊端。