基于Labelme的參考圖像的手工分割*

吉江燕，方 挺

（安徽工業大學 電氣與信息工程學院，安徽 馬鞍山 243032）

0 引言

參考圖像的手工分割對衡量圖像分割算法的性能具有非常重要的意義。目前衡量圖像分割算法性能的主要方法是通過其與手工分割的參考圖像進行差異性對比來實現。由于差異性可以通過定義相關分割評價指標來具體完成，所以該方法具有很高的評價分辨率。本文將以多目標的礦石圖像為例，使用基于種子標記的分水嶺算法獲取算法分割的礦石圖像，通過LabelMe在線注釋并結合離散點連線和閉合多邊形內部填充算法完成手工分割的參考圖像的獲取，并將礦石目標的等面積直徑作為分割評價指標來衡量礦石圖像分割的效果。

1 礦石圖像的算法分割

圖1給出了640×512的礦石灰度圖像，由于該圖像中有大量的細碎鐵礦石目標且相互粘連，所以本文先通過預處理獲取圖2所示的種子標記圖像，在此基礎上采用基于種子標記的分水嶺算法完成圖像分割[1-2]。基于種子標記的分水嶺算法是通過標記所在的區域對原圖像進行區域生長，以此抑制噪聲對圖像分割的影響，標記區域的結果影響圖像分割的準確性。圖3給出了基于種子標記分水嶺算法的分割結果圖像。該礦石圖像被基于種子標記的分水嶺算法分割成為246個礦石目標。

圖1 640×512的細碎鐵礦石灰度圖像

圖2 二值種子標記

圖3 標記分水嶺分割

為了檢驗礦石圖像分割算法的可行性，本文將重點介紹如何使用LabelMe在線標識工具完成礦石圖像的手動分割并保存參考圖像。

2 LabelMe在線注釋

LabelMe[3]是由麻省理工學院計算機科學與人工智能實驗室（MIT CSAIL）創建的一個開放的注釋工具。目的是以此來創建計算機視覺研究所需要的圖像集并通過網絡立即共享，且隨著時間的推移與時俱進。圖像的注釋以XML文件進行保存。用戶可以下載平臺上已有的帶注釋的圖像集，包括原始圖像集和對應的XML文件集，并通過LabelMe提供的MATLAB工具箱幫助對其進行處理。MATLAB工具箱提供一些函數，包括顯示注釋的圖像、查詢特定的注釋內容、下載圖像集等。用戶同時也可以上傳圖像到該平臺上，并對該圖像中感興趣的區域進行在線注釋。

圖4給出了圖像中的一個礦石目標在線注釋示意圖。通過點擊該礦石目標的邊界來描繪包含該目標的多邊形輪廓且命名為stone1。用戶可以對圖像中任意目標進行注釋，不同的注釋目標在圖像中會用不同的顏色進行標記。對應圖像注釋的XML文件中保存了各目標的名稱和點擊目標邊界所形成的多邊形的離散坐標點，可通過LabelMe提供的MATLAB工具箱中的LMplot函數將離散坐標點進行連接以完成注釋圖像的顯示。

圖4 LabelMe在線注釋礦石目標示意圖

圖5 給出了通過LabelMe完成的所有礦石目標的在線注釋，該礦石圖像總共注釋了272個礦石目標。在線注釋完畢后，下載對應圖像的XML文件并結合MATLAB來作進一步處理。

圖5 LabelMe礦石圖像在線注釋

3 參考圖像的獲取

由于XML文件中保存的是點擊目標邊界所形成多邊形的離散坐標點，函數LMplot僅能夠在圖像上對各多邊形的離散坐標點連線顯示，并不能為此保存參考圖像。因此本文通過更改LMplot函數實現參考圖像的存儲功能。具體完成的功能包括兩點：離散點連線和閉合多邊形內部填充。

由于LMplot函數是先將XML文件中的一個礦石多邊形對應的離散坐標點取出并在圖像上進行描繪，再循環取出下一個多邊形對應的離散坐標點予以描繪，所以只需在其循環描繪多邊形時對離散點連線并賦予相同且唯一標識的顏色即RGB值構成閉合的區域并進行內部填充，在圖像中所有礦石描繪完畢的同時便可獲取手動分割的礦石圖像。

如圖6所示，假設礦石目標此時由6個離散點組成，且對應在圖像上連線的順序是從①到⑥，分別對6個離散點進行兩兩連線，即①與⑥連接，②與①連接，…，⑥與⑤連接。現在考慮兩點之間的連線方式，假設兩點的始末坐標值分別為（x0，y0）和（x1，y1）。為使兩點之間的連線順滑，本文以兩點之間的斜率值為基礎進行連線。根據起點和終點之間（x，y）坐標值的大小變化可分為 8 種 情況，分別為（x↑（↓），y↑（↓））、（x 不變，y↑（↓））和（x↑（↓），y不變）。由于后四種情況下都有一個坐標軸的值不改變，所以兩點之間的連線非常簡單，不再贅述。

圖6 礦石目標離散坐標點示例圖

本文將以 （x↑，y↑） 即 x1＞x0，y1＞y0為例 說 明連 線過程，其余的三種情況是同樣的原理。首先通過式（1）計算參數 k，k的整數部分記為 kint，余數部分記為 krem。

若 x1-x0＞y1-y0（x1-x0＜y1-y0），則 x（y）沿著增大的方向每填充 kint個坐標點，y（x）沿增大的方向填充 1個坐標點，直到填充到 y1-1（x1-1）為止，記錄此時的 x（y）值，再補齊 y1（x1）的余數部分 krem。圖 7 給出了（x↑，y↑）時 x1-x0＞y1-y0情況下兩點之間連線的示意圖。

將描繪礦石目標多邊形的離散點連線后，再對該閉合輪廓進行內部填充。首先找到該區域x的取值范圍，對該取值范圍內的每一個x值根據輪廓的顏色標識找到對應y方向上的兩個端點，并逐個用相同的顏色填充y方向兩端點之間的坐標點。同理找到該區域y方向的取值范圍，并填充x方向兩端點之間的坐標點，最終的填充結果是兩者重疊的部分，以此消除單獨對一種方向上填充出現的填充錯誤。圖8給出了加注釋的礦石圖像，圖9給出了通過算法獲取的手動分割圖像。

圖7 x1-x0＞y1-y0情況下兩點之間連線示意圖

圖8 加注釋的礦石圖像

圖9 手動分割圖像

4 分割效果評估

本文采用等面積直徑來分析算法分割的效果[4]。等面積直徑 d由式（2）計算得到，其中 s代表了圖像中每個礦石目標所包含的像素總個數。

獲取礦石圖像中所有礦石目標的等面積直徑后，利用核密度估計求出等面積直徑的概率密度分布，本文選用的核函數是高斯函數，再由此求出等面積直徑的累積概率分布，得到累積粒度分布信息。圖10給出了手動分割圖像和算法分割圖像的累積粒度分布圖。從圖10可知，真實粒度分布和估算粒度分布曲線很相近，說明基于標記的分水嶺算法分割所獲取的礦石目標邊緣與實際礦石的邊緣較吻合。

圖10 算法分割圖像和手動分割圖像累積粒度分布圖

5 結束語

本文提出了一種基于LabelMe的手工分割參考圖像的獲取方法，該方法能夠很方便地標記圖像中的各目標，并且通過算法可以實現圖像的保存，由此可以方便地對圖像分割算法的性能進行評價。

[1]王蘭莎.多目標礦業復雜圖像特征提取與分類[D].北京：北京化工大學，2011.

[2]王鳳娥.改進后的分水嶺算法在圖像分割中的應用研究[D].濟南：山東大學，2008.

[3]RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe： a database and web-based toolforimage annotation[J].International Journal of Computer Vision，2008，77（1-3）：157-173.

[4]ZHANG Z，SU X，DING L，et al.Multi-scale image segmentation of coal piles on a belt based on the Hessian matrix[J].Particuology，2013，11（5）：549-555.