改進的區域生長法的醫院調劑環境下藥品圖像分割

李帥，趙國棟，羅豐

（1.西安電子科技大學 電子工程學院，陜西 西安 710000；2.北京紅楓樹智能控制技術股份有限公司，北京100098）

隨著計算機技術的迅速發展和藥房設備的自動化水平不斷提高，為藥房自動化設備裝上“眼睛”，即加入視覺處理技術，在進一步提高自動化水平和徹底解放藥劑師的雙手方面有著重要的意義。目前，為確保病患的用藥安全，自動化藥房的最后核驗步驟還是由藥劑師依據經驗親自來比對，所以搭建一個藥品識別平臺對提高藥房效率有著重要的意義，藥品圖像分割就是其中的關鍵一步。

目前常用的彩色圖像分割有兩種，即基于聚類進行分割和基于區域進行分割。基于聚類的算法有K 均值聚類和模糊C 均值（FCM）聚類，基于區域的算法有分水嶺分割和區域生長算法。

1967 年，MACQUEEN［1］提出了K 均值聚類（K-means）為后面的聚類算法奠定了基礎，但該算法依賴出生點的選擇而且對異常點敏感。后來的學者對這做出了很多改進，1973 年，DUNN［2］在K-means 的基礎上加入了隸屬度的概念，提出了模糊C 均值聚類（FCM）。2002 年，AHMED等［3］在聚類過程中加入了空間概念，提高了FCM的抗噪性能。2012 年，公茂果等人在FCM 加入了局部紋理信息的考慮，提高了分割效果。總體來說，K 均值聚類通過計量樣本點之間的距離來評價兩個點的相似度，通過不斷的迭代調整聚類中心使每個簇里內部相似度盡可能高、簇間相似度盡可能低。1991 年，VINCENT 等［4］提出的分水嶺算法是將圖像灰度值和地理拓撲理論相結合，基本實現了對距離較近的目標進行分割，但容易產生過分割現象。后續學者對分水嶺算法做了改進，2011 年，胡敏等［5］基于形態學處理為分水嶺分割提供了先驗標記信息，去掉了人機交互進行標記的必要。2013 年，陳麗芳等［6］對分割后的結果進行處理，改善了過分割的現象。

基于區域的方法是目前分割算法應用場合最多且分割性能較好的算法。區域生長算法的基本原理就是選好一個生長點，然后依據設定好的生長準則對周圍的像素點或者區域進行聚合，最終生長停止完成分割。區域分裂與合并法與生長相反，首先把圖像不斷分成一個個子區域，再通過某一規則對分類的子區域進行合并。基于區域的方法的效果好壞就在于種子點的選定、生長準則的設計和結束生長的條件。2014 年，曹彪［7］在將區域生長算法應用到了OCT 圖像上，結合OCT 圖像設置了種子點自動選取算法并改進了生長準則，提高了分割精度。2018 年，鄭又能等［8］應用了最小二乘問題來在水岸線分割場景下實現種子點的自動選取。

1 藥品圖像預處理

預處理技術是整個圖像處理流程的開端，主要作用是提高圖像質量方便后續的算法實現。一般來說，預處理技術主要有圖像濾波和圖像增強。圖像濾波是為了消除圖像產生過程中的無法避免的外界干擾以及背景環境的問題在圖像上產生的噪點，圖像增強是為了突出圖像某一方面的特性為后續的分割、識別等處理服務。

圖像濾波可以根據輸入輸出之間是否為線性劃分成線性濾波和非線性濾波兩種。線性濾波就是將對灰度值進行加權和處理，如常見的有高斯濾波；非線性濾波是對灰度值進行非線性處理，如常見的有中值濾波、雙邊濾波。高斯濾波就是用服從二維正態分布的卷積核與圖像作卷積計算，從而得到每個像素的值。本質上是一種低通濾波，在每個像素值的計算過程中都加入了周圍像素的影響，這有一定的“平滑”效果，主要表現為圖像模糊，如圖2 所示。在實際使用中，一般將中值濾波用在椒鹽噪聲現象較為明顯的場合。雙邊濾波和高斯濾波同樣使用平均加權法，差異在于雙邊濾波既計算了像素間的歐氏距離，也加入了像素灰度的相似性計算，與高斯濾波相比，雙邊濾波可以更好的保存目標對象的邊緣信息。

濾波效果比較見圖1～4。

圖1 原圖及其二值化

圖2 高斯濾波及其二值化

圖3 中值濾波及二值化

圖4 雙邊濾波及其二值化

由上面的圖像濾波及其二值圖可看出，高斯濾波和中值濾波在目標邊緣處都出現和背景的粘連，為后面的分割工作增加了難度，雙邊濾波可以在降低背景干擾的情況下較好的保護目標的邊緣，綜合考慮本次算法選擇雙邊濾波算法進行濾波操作。

2 藥品分割分析

為了避免藥品光滑的表面出現反光導致藥品表面像素信息的損失，我們采取在較暗光照條件下進行圖像采集。暗光照條件導致了圖像的信息集中在低值區域，我們采用gamma 校正的圖像的增強算法擴寬了圖像的細節信息，豐富了圖像的特征。但藥品圖像在進行目標與背景的分割的時候主要有兩個問題，一是部分顏色在轉換到灰度空間時灰度值較低，縮小了與背景環境的差別，二是基于膠囊藥品的特性，存在一個目標的具有兩個顏色且在灰度圖中差異較大，往往只保留其中一部分。

問題說明見圖5～6。

圖5 原圖及灰度化結果一

圖6 原圖及灰度化結果二

除此之外，藥品在設備內部會出現粘連現象，在保證藥品本身完整的基礎下將藥品之間較好的分割開，也是分割算法的難點。粘連效果見圖7。

圖7 藥品粘連

3 改進區域生長算法

區域生長法就是依據事先選好的規則將一個像素點或者一個小塊領域不斷進行聚合的過程。基本的算法思想就是從種子點（像素點或者小區域）開始，通過生長準則評判種子點和待生長點是否為性質相近來不斷的使區域擴大，直到生長停止。算法的效果好壞取決于種子點、生長準則和生長停止的條件的選擇是否合適。

區域生長的一般步驟如下：

（1）選擇好合適的種子點。

（2）通過生長準則將新的像素點合并。

（3）直到到達生長停止的條件。

改進的區域生長算法的基本思想是先將樣本圖像與背景圖像作差分處理，然后對結果做低閾值二值化處理和連通域篩選，得到藥品的粗分割結果，針對膠囊上下部分區域特征差別較大，先將上下部分看成兩個區域。我們選取連通域的質心和主軸方向的兩個點作為種子的生長點，圖像二值化處理是將灰度圖的灰度值以某一固定值為閾值，將大于閾值的灰度值置255，小于閾值的灰度值置0，較少后續計算的運算量，突出圖像中的輪廓特征。二值化的公式如式（1）：

式中，th 為閾值，g（i，j）為灰度圖中（i，j）位置的灰度值，b（i，j）為二值圖中對應位置的值。二值化的方法有很多，但本文只是用二值化來篩選連通域，降低背景干擾同時預選ROI 區域，減少后續算法的運算量，所以選擇了簡單的固定閾值處理。

連通域篩選是在二值化圖像中，選擇出基本符合藥品目標特征的連通域，將一下背景的噪點及條紋反光部分刪除，提高算法的運行效率。通過測量連通域的面積和外接矩形的長寬比，經測量，本文采集的藥品圖像中目標的連通域均遠遠大于500 像素值且外接矩形的長寬比在1∶8 之間。

將得到的連通域擴充得到的藥品的粗分割結果，標記為ROI 區域，效果見圖8。

圖8 種子生長點示意圖

考慮到藥品圖像大致有三種類型：純亮色、純暗色、雙色，我們使用基于Lab 顏色模型的色差來進行生長準則的閾值，色差的度量值如下：

式中，?L為待生長點與種子點在Lab 顏色模型中L 值上的差值，同理?a、?b為兩點在a 和b 值上的差值。我們設定生長閾值th2，將待生長點與種子點的色差值小于閾值時，此時認為待生長點和種子點屬于一個區域，對它進行生長標記。重復色差計算，直至遍歷完所有未知點，完成目標分割。分割結果即為集合O，則

只要待生長點Ni，x滿足生長條件R，與種子點的色差小于閾值，就將點Ni，x加入到集合O 中，即將種子點加入新的生長區域中。

種子的生長過程如圖9 所示，將得到的初始種子點設為S1，將其周圍的鄰域點設為P1-P8，對于鄰域點中滿足生長準則的點設為生長點，加入到種子集合中。然后對新的種子點的鄰域進行生長準則判斷，使得種子點集合不斷增加，目標區域不斷擴大。直到所有的未知點完成生長，則區域生長算法分割完成。

圖9 區域生長過程圖

按照上述種子點的選擇方法和生長準則，對于某雙色膠囊樣本得到的結果如圖10 所示。

圖10 本文算法中間處理結果

由上述方法得到的膠囊圖像會出現上下兩部分分隔開，對于這種情況下的連通域需進行合并處理。首先通過連通域形狀參數確認膠囊的上部分和下部分，計算兩部分連通域的主軸線的斜率和距離。經測試，同一個膠囊上下部分連通域主軸線的斜率大約在5 度以內，距離差在30 個像素值內，對于一個膠囊的連通域進行閉運算鏈接處理。

計算連通域的質心和主軸方向通過圖像的幾何矩進行計算。其中一階矩的公式如下：

式中，I（x，y） 為圖像（x，y）處的灰度值，當圖像二值化后，m00就表示了圖像白色區域的面積。

二階矩：

其中，θ∈[-90o，90o]。

篩選連通域后合并的結果見圖11。

圖11 算法結果

算法步驟如下：

Step1：低閾值二值化圖像，確定藥品的出現區域，標記ROI，完成粗分隔；

Strp2：判斷連通域形狀參數，篩選出單獨噪點、單藥、多藥連通域；

Strp3：單獨噪點連通域置零，多藥連通域進行標記，使用開運算，然后進行單藥連通域處理；

Strp4：對于單藥連通域和多藥連通域的處理結果進行本文區域生長分割；

Strp5：對多藥連通域的分隔結果進行形狀參數判斷，對同一膠囊的上下部分進行合并。

算法流程見圖12。

圖12 本文算法流程圖

4 分割算法評價指標

對于分割算法性能的評價一般有主觀和客觀兩種。其中，主觀評價指標是指通過肉眼觀察，對比原圖來分析分割結果邊界是否清晰準確，是否存在粘連以及錯分的現象。客觀評價就是通過選擇某一評價標準來對結果進行計算測量，通過數字來表征來分割結果之間的差異。

本文采用兩種方法相結合的方式來對分割結果進行評價。客觀評價指標選擇的是差異實驗法。設S 為本文改進算法得到的藥品圖像，T 為手動分割的藥品圖像，I 代表整張太想愛你個，定義以下4 個參數：

上式中，TP 即本文算法正確分割區域，FP 為本文算法錯誤分割區域；FN 為本文算法漏檢的目標區域，TN 為正確的背景區域。Sensitivityy（敏感率）表征了目標被分割到的概率，Accuracy（準確率）表征了分割結果中不是目標的概率。

我們從搜集到的圖像數據中隨機選擇10 幅圖像，分別用本文算法和手動進行分割，并用上式進行計算，計算結果見表1。

表1 本文分割算法評價表

由上表中的Sensitivity 和Accuracy 這兩列的均值和均方差可以看出，本文改進的算法對于藥品圖像有著很好的分割準確度，同時各項數據的方差都較小，說明本文算法有著較好的穩定性。通過分析上表數據可以得出本文算法的分割結果和手動分割的結果相似，相差甚小，說明本文算法有著很高的準確率。

5 分割算法性能比較

本文所使用的計算機處理器為Inter（R） Core（TM） i5-8300H CPU @ 2.30GHz 2.30GHz，內存為8.0GB，軟件環境為微軟公司的Windows 10，仿真軟件為Visual Studio 2019，算法庫是Opencv 4.0。

通過對藥品圖像分析，我們發現處方結果圖大致有單藥片、單膠囊以及部分粘連這幾種情況，我們對這幾種情況進行分別采集各十張，原圖為3 072×2 048 分辨率，大小為280 KB，采用K 均值聚類、FCM 聚類算法、分水嶺算法以及本文的區域生長算法進行了實驗，部分結果見圖13～17。

圖13 藥品原圖

圖14 K 均值聚類結果

圖15 FCM 聚類結果

圖16 分水嶺分割結果

圖17 本文分割算法

觀察圖14 可知，K 均值聚類對于目標單一的場景下表現較好，可以較為清楚的將藥品目標與背景分隔開，尤其是對于藥片目標，分割結果清楚準確。但在有較多目標的場景下，一方面對于膠囊目標分割不完整，邊界部分缺失，一方面當膠囊在藥片旁邊時容易被忽略，受膠囊表面光斑影響嚴重。

觀察圖15 可知，FCM 聚類算法在K 均值聚類算法中加入了軟間隔，同樣在藥品種類較為單一的情況下表現良好，但在多種藥品情況下會出現部分目標邊界不完整甚至大部分缺失的問題。

觀察圖16 可知，在手動準確的標記的情況下分水嶺算法可以較好的藥品目標從背景分離，邊界也較為清楚準確，但這一方面依賴人工標記提供的準確的先驗信息，另一方面在膠囊藥品標記信息不準確時會出現上下部分分離或者部分缺失的現象。

觀察圖17 可知，本文算法在中間過程無人為參與的情況下，對于膠囊目標、藥片目標以及混合情況、粘連情況都表現較好，目標分割準確，較少出現目標缺失或目標部分內容缺失的情況出現，基本滿足了醫院調價環境下藥品分割算法的需要。

表2 為100 張測試圖各算法用時結果統計平均值。本文算法與常見分割算法評價結果見表3。

表2 各算法所用時間表 （s）

表3 各算法評價結果表

由上述結果可以看出，K 均值聚類和FCM 聚類算法性能相似，首先是費時太久，算法收斂速度慢，而且對于膠囊的同物雙色的特性并沒有很好的識別性能，對于部分膠囊表面存在的反光光斑較敏感，分割精度較低，性能較差。

分水嶺分割算法與本文算法效果相近，都需要先對目標進行標記，但分水嶺算法存在大量的梯度運算，導致耗時較久，而且對于膠囊的上下部分沒有進行處理，沒有將上下部分合并為一個目標。

綜上所述，本文算法可以較好的對于醫院調劑環境下的藥品目標進行分割，提取出的目標輪廓較為準確清晰，而且區域生長算法計算較為簡單，節省時間。除此之外，本文算法對于膠囊的顏色分布特性進行了處理，基于連通域的主軸線的距離和偏轉角度差來判斷膠囊的上下部分連通域，從而進行合并。整體分割效果較好，而且耗時最短。

6 結束語

為了將醫院調劑環境下的藥品圖像更精確的分割出來，提出了一種改進的區域生長算法。首先對圖像進行預處理，雙邊濾波降低背景干擾點和噪聲的影響，然后用改進的區域生長算法進行藥品和藥品、藥品和背景之間的分割。本文算法使用連通域質心及主軸線上的點作種子點，在不遺漏膠囊藥品上下部分的同時克服了生長點需人工交互的缺點。生長準則采用色差來計算，較好的實現了藥品和背景的分割。對于膠囊藥品，設計了連通域合并規則，實現了膠囊藥品的完整分割。經測試表明，本文算法在時間復雜度和分割效果上均優于其他常見算法。