基于Unet++分割模型的全自動高通量菌落計數儀

申 鷹 謝 鋒 王玉琳 譚 波 范金旭

(1. 貴州省分析測試研究院, 貴州 貴陽 550014; 2. 貴州省檢測技術研究應用中心, 貴州 貴陽 550014)

在食品、化妝品、環境監測、醫療衛生檢驗等行業的質量檢測過程中,菌落計數是一項基礎又重要的日常工作,是判斷被檢產品衛生質量的依據,但菌落計數的平板數量往往較多,計數工作較繁重[1]。隨著計算機與圖像分析技術的發展,借助人工智能及圖像處理工具等降低工作強度,提高工作效率[2],實現自動計數已成為一種趨勢,菌落計數工作也不再是單純依靠人眼識別和計數[3-4],而是利用基于圖像識別和處理的自動菌落計數方法[5-6],不僅大大提高了菌落計數的準確度和工作效率,同時也相對減輕了檢測人員的工作量[7]。

目前,用于菌落計數的儀器在計數軟件方面大多采用傳統的語義分割模型,通常采用淺層次的特征圖進行分割,分割精度不佳、分割結果的邊界不夠清晰、難以處理遮擋問題、分割結果出現錯誤,且只能用于特定領域的數據集,具有較大的參數量,需要耗費大量的計算資源[8-9];在硬件方面存在所采集圖像易受平板背景陰影干擾、需要檢測人員將待測平板樣本逐一放到全自動菌落計數器內進行拍攝和計數,從某種程度上說,檢測人員需要做的重復性工作較多,因此常見的菌落計數儀在基層檢驗實驗室中至今未得到很好的應用。另外,目前計數系統大多數局限于菌落的計數結果,無法實現檢測過程和信息可追溯。因此在檢測工作數量大和效率高的雙重要求下,研究擬針對現存問題研發一種基于流水線操作的全自動高通量菌落計數儀,在硬件設計方面,以實現批量連續自動采集平板菌落圖像方式,試驗人員只需要進行平板裝載,系統會將平板自動輸送至指定拍照位置,自動對焦后進行拍攝,拍照完成后系統自動進行下一個平板的運送和拍攝[10];在計數軟件方面,采用一種深度學習的語義分割模型Unet++模型進行計數軟件開發[11-12],使其能夠更好地提取特征信息,分割邊界方面表現更好,在較短時間內完成訓練和推理,更好地解決遮擋問題;同時將該設備與實驗室LIMS系統進行連接以實現一鍵生成原始記錄[13],旨在為菌落計數的自動化和高通量技術提供依據。

1 菌落計數儀機械結構設計

1.1 菌落計數儀機械結構組成

菌落計數儀主要由箱體、上料框、平板輸送系統、拍照系統、物料回收系統組成,其中拍照系統由GigE工業相機、可變鏡頭和照明系統組成。

1.2 平板輸送系統設計

平板輸送系統主要由箱體、平板裝載載具、平板輸送模塊、平板回收載具、機械夾具等組成,平板輸送模塊通過氣缸和機械抓手將平板輸送至不同階段需要到達的預定位置。

試驗人員將通過菌落總數檢測試驗所形成的菌落平板裝載于平板裝載載具中,由頂升裝置將平板裝載載具移動至指定位置;機械夾具將平板自動輸送并投放至指定拍攝點,儀器自動進行載具擋停定位;待拍照完成,平板輸送模塊將平板輸送至回收工位及平板回收載具中。平板輸送系統工作流程如圖1所示。

圖1 平板輸送系統工作流程圖

1.3 圖像采集系統設計

圖像采集系統由視覺工控機(XEP-2100)、GigE工業相機和鏡頭(彩色10.7MP像素相機,10MP像素8MM CCD)、定制光源組(KM-R1D 110V-W,多光源組合定制)組成,采用多光源組合配合背光照明,通過調節環境亮度、色溫、減少反光等方式改善拍照環境,選用1 600萬像素GigE工業相機、可變鏡頭和照明系統組合進行拍攝,以保證照片的清晰度[14]。

當平板輸送系統將平板輸送至指定拍照位置后,圖像采集器系統會自動運行,光源和攝像頭自動下移至預設高度,自動對焦后進行拍照,拍照完成后,光源和攝像頭自動歸位。當第一個平板拍照工序全部完成后,機械夾具、光源和攝像頭自動歸位并進入下一個平板的拍照工序,如此循環完成該批次所有平板的拍照。

2 菌落計數軟件設計

菌落計數包括圖像預處理、語義分割、菌落計數(包括結果輸出及人工校正)三部分。

2.1 圖像預處理

2.1.1 改變圖片像素 圖像采集器使用高清攝像頭,所采集到的圖片分辨率大小為4 068×3 456,將該尺寸的圖片直接輸入模型進行識別將會極大地增加運算的復雜程度,且分辨率過高的數據并不會明顯提高識別的準確程度。因此,將圖片大小變換到912×688,才能在保證較高準確度的同時最大限度地減少運算復雜度,提升軟件的運行效率[15]。

2.1.2 去除邊界 針對菌落圖片較為規則的特點,選擇dcircle的方法,首先對菌落圖片中平板的圓形邊界進行學習,避免去除邊界時造成菌落未被計數而形成計數誤差,然后在進行菌落識別前先將圖片的平板邊界去除,以減少邊界對最終識別結果的影響[16]。

2.1.3 頂帽變換 為了增加輸入圖像的對比度,提升分割效果,需要在識別之前對圖像進行增強處理,主要目的是根據實際需要有選擇地突出圖像的重要信息的過程。圖像增強處理是圖像分割之前的重要部分,對于提高圖片質量,進而提高分割精度有著非常重要的作用。針對圖片采集過程中存在的平板照片亮度不均勻的問題,同時菌落相對于背景而言是在暗背景上亮物體,系統設計中選擇通過形態學頂帽變換的方法增強圖片對比度,提升計數精度[17-18]。

2.2 語義分割

選擇Unet、Unet++、Resnet50、Resnet101等8類軟件識別模型[19-20],在相同的數據集上進行對比,訓練集為有標注的224張平板菌落照片,使用mini batch的方法訓練20個epoch,在20張圖片構成的驗證集上進行驗證得到各項指標見表1,通過對各項指標進行對比分析,選擇最好的識別模型作為圖像識別系統的語義分割模型。

表1 8類模型性能驗證結果

由表1可知,Unet++模型在進行菌落分割自動計數時具有明顯的優越性,Unet++模型在訓練集與驗證集上的F1得分、平均交并比以及誤差率均優于其他語義分割模型。因此,在進行平板菌落自動計數軟件開發過程中,選擇使用Unet++模型作為語義分割的主要模型。

2.3 菌落計數

2.3.1 菌落識別系統運行流程 基于python語言進行圖像識別系統開發,首先在擁有4塊3080Ti的服務器上進行語義分割模型訓練,保存訓練完成的模型參數,利用該模型參數進行菌落識別系統開發。菌落識別系統的運行主要包括平板圖像的采集、數據的預處理以及菌落計數3個部分,整個運行流程如圖2所示。

圖2 軟件運行流程圖

2.3.2 菌落識別系統界面及使用 菌落識別系統界面主要包括對圖片的旋轉、平板邊緣的去除、在形態學上對圖片進行增強、對菌落的分割、人工校正功能以及最終計數的結果等。

如圖3所示,首先選擇需要計數的菌落圖片進行上傳,上傳完成后即可在軟件界面左側顯示所選菌落圖片及該菌落圖片的基本信息,例如采樣時間、樣品編號、樣品檢測時間等;然后點擊菌落識別按鈕,菌落識別系統自動進行菌落識別和計數,系統識別到的菌落會在菌落圖片上進行顏色標注,并將菌落數量顯示在軟件界面右側的計數結果欄內;若檢測人員發現在菌落識別過程中產生了結果偏差,可以直接在顯示標記狀態處增加或者減少標注,計數結果將根據菌落識別的標注變化情況而自動進行計數結果的修改;最后點擊確認即可通過統一格式的命名方式將圖片以及自動計數的結果進行保存;同時,實驗室 LIMS系統預先綁定有包含計算公式的菌落總數項目原始記錄模板,LIMS系統通過樣品編號信息及數據接口將計數結果輸入原始記錄模板中對應空格處,完成原始記錄表格的填寫。

圖3 軟件功能界面顯示

3 試驗驗證

3.1 菌落圖像采集效果驗證

由圖4可知,其他圖像采集器拍攝的圖片存在不同程度的反光點、背景干擾或者邊緣效應等情況,而采用試驗所述的菌落計數儀圖像采集系統采集的菌落圖片不存在這些問題,邊緣和各種形態的菌落均能被清晰地呈現出來,且不受培養基顏色和菌落形態的影響,采集一個平板圖像需要的時間僅為38 s,能很好地克服其他采集方式的缺點,為菌落的準確識別和計數提供保障。

a～c為通過試驗所述的菌落計數儀圖像采集系統采集的菌落圖片;d～f為其他圖像采集器拍攝的圖片

3.2 菌落圖片預處理效果驗證

通過像素變換、邊緣檢測、頂帽變換等預處理[21],得到的菌落圖片預處理前后的對比圖。

由圖5可知,通過形態學頂帽變換的方法增強圖片的對比度,可提升計數精度,圖像經像素變換、邊緣檢測、頂帽變換等圖像預處理后,將邊緣淡化、菌落突出顯示。經圖像預處理后的菌落相對于背景而言是在暗背景上的亮物體,能很明顯地顯示出系統對菌落的識別。

圖5 菌落圖片預處理前后對比

3.3 菌落分割計數及校正

通過Unet++模型對平板圖片進行分割,然后計算分割之后的圖片的連通域個數,最終實現菌落圖片的自動計數[22]。模型分割的結果將在原圖中以深色標注出來,即深色覆蓋的部分為模型自動識別到的菌落,而未覆蓋的部分或者錯誤覆蓋的部分即為識別錯誤,語義分割模型進行處理后可以將不同的菌落進行分割,無論是較為規則的偏向圓形的菌落還是不規則形狀菌落都可以實現識別,且圖像傳輸和菌落識別計數整個過程所需時間僅為3～5 s。為了使菌落計數結果更加準確,在菌落計數識別軟件中增加人工校正功能,研究人員可以通過對識別結果的觀察,并與原圖和實物進行對比后根據需要進行人工校正,在模型輔助的情況下通過對識別后的圖像進行連通域計算,系統自動計算出平板的菌落個數并顯示在軟件界面中對應的位置。

3.4 菌落圖片采集效率、傳輸速度、計數結果準確性和重復性

利用試驗設備對包含不同形態菌落的500張菌落圖像進行菌落總數識別,并將識別結果與現行菌落總數計數標準計數所得結果進行比較和誤差分析,結果見表2。

表2 菌落總數自動計數結果及誤差分析?

由表2可知,試驗設備對包含不同形態菌落的500張菌落圖像進行菌落總數的識別平均誤差<8%,且計數的重復性非常好,大部分計數結果無差別,僅個別菌落計數時兩次結果出現微小差別。這可能是因為菌落之間粘連成片或者成串比較嚴重的平板,人眼識別時也無法準確進行分割,因此降低了識別的準確率。

4 結論

研究了菌落圖像算法、菌落計數系統與LIMS系統的融合,通過采用GigE工業相機、可變鏡頭和多光源組合照明系統進行菌落圖像的連續采集,并采用Unet++分割模型開發了一種全自動高通量菌落計數儀。結果表明,該設備與LIMS系統進行無縫鏈接,實現了菌落圖像的批處理采集和菌落自動計數,且菌落計數結果可以一鍵上傳至LIMS系統并生成原始記錄,實現了實驗室設備的自動化、智能化,克服了以往很多菌落計數軟件中的模型部署效率低和特征融合匹配度低的缺點,且該儀器的菌落識別軟件設計了學習功能,軟件會對檢驗檢測人員在校正過程中進行的菌落形態等形成記憶,并應用于后續的菌落識別中,使菌落計數準確率不斷提高,在提高菌落計數工作效率和結果準確性的同時,實現了檢驗檢測過程的可追溯。采用Unet++分割模型的全自動高通量菌落計數儀對蔓延菌落、粘連成片或者成串比較嚴重的菌落計數還存在誤差,后期可利用軟件學習功能加大模型訓練,逐漸提升這類菌落計數準確率。