基于機器視覺的檢測技術在接種儀的應用研究

劉聰，侯劍平，趙萬里，王馳，馬海偉

安圖實驗儀器（鄭州）有限公司，河南 鄭州 450016

引言

隨著現(xiàn)代醫(yī)學技術水平的發(fā)展，越來越多的科技成果正不斷地被快速迭代，并應用于臨床檢驗醫(yī)學。近年來，臨床微生物檢測技術也得到了飛速的發(fā)展，已經達到了既能準確地分離出病原菌，又能快速向臨床報道結果的發(fā)展方向[1‐2]。

由于機器視覺系統(tǒng)具有非接觸性、速度快、柔性好等突出優(yōu)點，在現(xiàn)代制造業(yè)中有著重要的應用前景。萬子平等[3]應用圖像處理的方式成功的測量了零件的尺寸；仲月嬌等[4]應用基于非下采樣輪廓波的亞像素角點提取算法測量了塑料螺母對邊長和對角長亞像素距離；吳智峰等[5]主要介紹使用機器視覺非接觸測量外螺紋尺寸系統(tǒng)；韓偉聰?shù)萚6]將機器視覺技術應用在了竹材的尺寸測量中；戴知圣等[7]運用圖像處理實現(xiàn)了手機U盤芯片長度和偏角的非接觸式測量；Rahimi‐Ajdadi等[8]將機器視覺技術應用于土壤含水量的測量中；Ding等[9]應用機器視覺技術對此畸變量進行測量；Khalili等[10]將機器視覺技術應用于裂紋幾何參數(shù)的測量中；Podr?aj等[11]提出一種新穎的具有較高的精確性測量方法，極大地提高了生產效率和檢測精度。

平板劃線接種[12‐14]是將細菌分離培養(yǎng)的常用技術，目的是使混有多種細菌的培養(yǎng)物形成單個菌落或分離出單一菌株，以便于識別和鑒定。目前的微生物實驗室大都使用手動的方式進行平板劃線接種，這種方式主要有以下缺點：① 接種環(huán)人工接種法為主，防護等級要求高，生物危害大；② 受操作者個人水平和接種習慣的影響，主觀影響因素較多，重復性差；③ 經典的細菌接種方法工作效率低，難以進行標準化和實施質量控制；④ 無法滿足現(xiàn)代化實驗室對自動化、標準化的要求。

實現(xiàn)平板接種的全自動化具有非常實用的價值和意義，不僅可以解放更多的人力，而且可以提高接種效率，使接種更加標準化，為了提高全自動平板接種儀平板劃線的可靠性與穩(wěn)定性，論文詳細分析了平板接種在實現(xiàn)全自動化的過程中遇到的關鍵性誤差問題，研究出了一種基于機器視覺的接種移液器吸頭（Pipette Tip，TIP）的高度檢測系統(tǒng)如圖1所示。

圖1 接種儀平板劃線過程與接種平板

1 儀器誤差結構分析與方法

1.1 儀器誤差結構分析

安圖生物公司通過對自研接種儀機械結構的分析，構建出高度計算模型，并根據(jù)模型，計算出各個分量的構成，從而調整精準控制整個運動系統(tǒng)，滿足實際需求。

接種儀接種的核心高度控制所面臨的主要問題：如果TIP距離瓊脂表面過高，TIP的運動將無法在接種平板瓊脂表面均勻劃線，相反，如果高度太低，TIP容易扎入瓊脂表面導致吐樣時TIP管堵塞如圖2所示。因此需要精確的算出TIP頭距離接種平板的高度，才能讓后續(xù)的高度控制得到保障，經過驗證，劃線距離平板瓊脂高度為0.5 mm，誤差范圍需要保證在±0.2 mm以內。

圖2 由于誤差導致的失敗接種樣本

通過對整體誤差模型的分析發(fā)現(xiàn)，誤差主要存在于兩個模塊如圖3所示，雖然機械控制TIP的位置每次都會到固定位置，但是由于TIP本身存在誤差如表1，針對廠家生產的不同型號的TIP分別進行了5個批次的測試，原廠盒高度差范圍在0.299～0.494 mm，定制金屬盒高度差范圍在0.237～0.313 mm。分析可知，TIP自身高度誤差大于0.2 mm，為了消除此誤差，設計了預設的校準臺（超聲波絕對零點平面），通過計算Dtip的高度，并以此來控制TIP自身的高度誤差；由于平板瓊脂表面的不平整導致的誤差dx，通過超聲波測量[14‐17]得到。

圖3 TIP高度控制誤差分析示意圖

表1 TIP高度誤差測試結果

根據(jù)誤差模型分析，整體誤差主要由以上兩部分組成如式(1)，其中Dtip為TIP尖端到校準臺的距離，dx為校準臺到瓊脂表面的距離。通過兩者誤差的累加，得到TIP頭距離平板瓊脂的高度，控制電機進行z軸方向的移動使得TIP頭距離平板瓊脂的高度保持固定，從而保證了高度的精度控制。

在設計機器視覺檢測系統(tǒng)前，接種儀僅使用超聲波測量平板瓊脂表面距離超聲波基準零點的距離而忽視了TIP自身的誤差，整體精度為0.2 mm，這是因為超聲波檢測僅能檢測平板瓊脂高度的不平整導致的誤差，而無法測量TIP自身誤差。通過模型分析，在超聲波測距基礎之上引入視覺，并采用視覺測量計算出TIP頭末端到超聲絕對零點的校準臺的TIP高度誤差，從而控制了整體系統(tǒng)的誤差，新的設計使高度檢測精度達到了0.06 mm，極大地提升了高度的計算精度。

1.2 方法

1.2.1 系統(tǒng)主要功能

針對該需求，公司自主研發(fā)了一套軟硬件系統(tǒng)，用于TIP高度的檢測。軟件系統(tǒng)主要包含以下幾個功能的實現(xiàn)如圖4所示：① 與下位機互連；② 對接種TIP頭進行拍照；③ 定位出TIP頭所在位置，若沒有檢測到TIP頭，報警返回；④ 定位出校準臺所在位置，若沒有檢測到校準臺，報警返回；⑤ 兩者都存在的情況下計算兩者之間的垂直距離；⑥ 將計算的垂直距離換算成實際距離，發(fā)送給下位機。硬件系統(tǒng)主要包括：① 光源系統(tǒng)選型與設計；② 光源系統(tǒng)有效性驗證。

圖4 軟件系統(tǒng)流程

1.2.2 圖像TIP高度檢測系統(tǒng)硬件部分設計

相機模塊安裝在移液器龍門架上，移液器穿過甲板以吸取樣品。 由一個攝像頭，一對交叉極化濾波器，一個基準板，一個漫射器和一個LED背光組成。設計圖像處理的一個關鍵目標是使其保持非常簡單、通用、快速和健壯：① 簡單，因為它使代碼更易于設計，測試和維護；② 通用，以便它可以支持不同的攝像頭，照明和TIP；③ 健壯，以便忽略環(huán)境照明，相機噪音和模塊中一定程度的污垢的變化；④ 快速，因為它處于關鍵路徑上，吞吐量一直是該儀器的主要關注點。

1.2.3 系統(tǒng)光源設計

儀器上安裝了大華Technology A3A20CU24 USB攝像頭，用于確定是否存在TIP，計算每個TIP的高度。相機組件使用帶背光的交叉偏振器，偏振器確保圖像中的TIP將顯示為明亮的物體，并且沒有TIP，背景將非常暗，見圖5。

圖5 帶有交叉偏振光的TIP高度檢

該系統(tǒng)使用帶有交叉偏振器[18]的背光，因此在沒有TIP存在的情況下，相機看到純黑色區(qū)域，只有受限者可見（受限者是非極化的并且顯示為純白色）。當存在塑料TIP時，塑料散射背光的偏振，TIP將作為非常明亮的白色物體顯示給相機。與沒有極化的系統(tǒng)相比，這會產生非常有利于判別的圖像質量。

由于圖像在黑色背景下基本上是白色的，因此對其進行閾值處理并獲得精確的結果是非常簡單的，該結果在很大程度上不受噪聲和光照變化的影響，并且當替換不同的相機時幾乎不需要改變。

1.2.4 光源系統(tǒng)驗證

為了使系統(tǒng)盡可能健壯以及后續(xù)的可擴展性，采用“前后”圖像處理方法，即在“吸氣前”捕獲當前TIP的圖像；移液器吸取樣品并返回到完全相同的位置，此時捕獲“后”圖像。

從前圖像中減去后圖像，并且以這種方式消除了TIP之間的變化，此時，兩個圖像之間的唯一差異是由于TIP中存在的樣本。處理所得到的“差異”圖像以準確地確定感興趣區(qū)域中存在多少差異（具有一些噪聲過濾等）并且如果差異超過特定閾值則確定樣本確實存在。

試配備了一組廣泛變化的樣品用于測試，紅色、綠色和黃色模具（包括形成黃綠色，棕色和橙色的組合）的組合，代表一系列生物學上可能的顏色。它們以濃縮的形式制備并稀釋100倍。然后通過添加牛奶使所有這些都變得更不透明，以產生不同混濁的樣品，通過不同的組合，共形成了24個實驗樣品。此外，還制備了普通水和兩種稀釋的普通牛奶以及兩個“無樣品”的對照，由于散射和折射略微增加，可以檢測到清晰的樣品。由于通過TIP的光傳輸顯著減少，不透明的樣品非常清楚地顯示出來，半透明樣品也可以很好地顯示，因為散射效應使它們通過交叉偏振器顯得更亮。

通過對圖像的處理檢測不同樣品的TIP區(qū)域內的白色像素的百分比，見圖6～8，得出結論：濃縮樣品通常產40%～60%的白色像素，稀釋樣品產生的白色像素的范圍為15%～25%?？諛颖井a生0%的白色像素。大約5%～10%的閾值分割即可作為可擴展的樣品檢測算法，目前測試的樣品具有100%的準確度，實驗充分驗證了光源系統(tǒng)的有效性以及后續(xù)的可擴展性，保證了TIP檢測的穩(wěn)定性。

圖6 稀釋和密集的彩色透明樣品

圖7 不透明的樣品，稀釋和濃縮

圖8 水和空杯

1.2.5 距離標定

由于電機行進距離是以實際的距離為判別單位進行，因此需要將像素大小與實際距離進行標定[19‐20]。由于相機以平視的角度垂直于接種TIP頭所在平面放置，且每次檢測，下位機都會控制TIP頭到達同一平面。因此選擇直接對TIP頭所在平面進行距離的校準，根據(jù)實際測量物體大小與所占像素進行等比換算即為每個像素對應的實際距離。

1.2.6 TIP高度檢測軟件設計

進行切分后的待檢測接種TIP頭圖像如圖9所示。TIP高度的圖像處理算法流程：① 將原始待檢測圖像轉為灰度圖像；② 根據(jù)自適應閾值化得到對應的二值化圖像如圖10所示； ③ 對二值圖像提取連通區(qū)域外輪廓；④ 檢測對應輪廓特征，根據(jù)面積與形狀判斷輪廓所屬類型；⑤ 若沒有檢測到對應TIP頭或校準臺，則給下位機報警。

圖9 原始圖像

圖10 原始圖像二值化

1.2.7 接種TIP與超聲波絕對零點平臺檢測

對灰度圖像進行二值化之后，需要進行連通區(qū)域檢測，提取輪廓特征。主要提取的特征為輪廓的長寬比與輪廓在圖像中的所占的面積。通過觀察可以發(fā)現(xiàn)，TIP頭的輪廓具有較大的長寬比如式(2)所示，其中ObjboundboxH為檢測對象的高度，ObjboundingboxW為檢測對象的寬度，以及相對較小的占空比如式(3)所示，其中Objarea為檢測對象的面積，Objboundingboxarea為檢測對象的最小外接矩形的面積，而零點平臺輪廓具有較小的長寬比以及相對較大的占空比，根據(jù)輪廓特征，區(qū)分出標準臺與接種TIP頭如圖11所示，若沒有檢測到對應兩者，則需向下位機報警。如果分別對兩者檢測出之后，求出兩者的垂直像素距離，換算為實際距離，發(fā)送給下位機，從而使下位機控制電機微調距離進行誤差校準。

圖11 檢測出的TIP與超聲波絕對零點校準平臺

2 結果

論文提出了一種基于圖像處理的接種儀TIP高度檢測系統(tǒng)的設計方案，從硬件選型到算法設計，具有很強的實用性。

針對光源有效性設計方案，選取了4組不同顏色的真實標本進行目標測試。實驗結果如圖12所示，針對不同顏色的消化樣本，都可以較容易的定位出TIP頭以及校準臺，表明了光源設計與視覺檢測算法的有效性與精確性。

圖12 不同消化液樣本的檢測結果

針對以上視覺測距方案，利用視覺測距的方式將TIP運動至三個固定位置點(高點98000×10‐4mm處、中點65000×10‐4mm 處、低點 32000×10‐4mm 處 )進行視覺檢測，統(tǒng)計合計89組數(shù)據(jù)如圖13所示，通過圖示曲線可知，數(shù)據(jù)在比較小的范圍內進行波動。

圖13 TIP運動至三個固定位置點的視覺測量的高度

將89組機械運動數(shù)據(jù)的最值點進行篩選及數(shù)據(jù)轉換如表2所示，得出最大誤差為613×10‐4mm，遠小于接種所需要的±0.2 mm范圍內的誤差，實驗充分證明了視覺測量方式的有效性。

表2 三個位置的誤差對比（×104 mm）

在設計平板接種系統(tǒng)中，通過對1042份血平板加樣劃線，嚴格按照劃線長度符合、均勻加注且加注過程無斷線如圖14所示，其符合個數(shù)為1001，成功率96.07%；沒有出現(xiàn)樣本加注不上的情形，整體系統(tǒng)設計的有效性達到100%，大大提高了接種儀的接種成功率，進而保證了單菌落分離效果。

圖14 接種成功樣本

3 討論

傳統(tǒng)的手工平板接種采用接種環(huán)來進行，不僅操作復雜，且內容繁復，效率較低，且因操作者的水平不一，直接影響單菌落分離效果。此外當前市場上存在的自動化與半自動化的接種儀器，采用了接種環(huán)的方式實現(xiàn)的平板接種，這種方式存在接種環(huán)重復使用，如操作不當或殺菌不徹底將會導致交叉污染等生物安全風險，此外，平板瓊脂的加樣位置具有固定性，不能根據(jù)加樣位置的平板瓊脂表面凹凸狀態(tài)進行有效調整，且固定加樣位置會導致加樣位置樣本分配不均勻，不能有效利用平板內瓊脂。

本文討論的平板接種方法運用機器視覺技術，通過誤差模型分析，采用視覺檢測的方式消除了TIP自身的高度誤差，提升了加樣位置的精度，從而使菌落加樣位置可以實現(xiàn)多樣化與均勻化，進而有效保證了接種的效率與成功率，同時更換了傳統(tǒng)的接種環(huán)接種方式，采用了一次性的接種刷進行接種，在保證樣本單菌落分離的一致性的同時，也從從根本上解決了交叉污染的風險。

4 結論

論文通過對接種儀誤差模型進行分析，創(chuàng)新性的加入視覺模塊進行誤差的校正，具有較好的實用性與創(chuàng)新性，通過設計針對接種儀誤差模型的分析，分解出各個誤差的類型，并據(jù)此分析分解出誤差各個部分的計算方式，有效提升了接種儀接種的成功率，具有較強的實用意義，一定程度上加快并標準化了接種微生物實驗室的工作流程，同時研究為同類科室相關的儀器設計等提供了一種較為有效誤差的解決方式，具有較好的創(chuàng)新性和參考意義。