基于機器視覺的光性智能檢定系統設計與實現

宋 鷹， SONG Sean

(1. 中國石油大學(華東) 地球科學與技術學院，山東 青島 266580； 2. 新西蘭 坎特伯雷大學 工學院，克賴斯特徹奇 8011)

0 引 言

物質的化學成分及內部結構決定了其光學性質[1]，因此光學性質是物質最穩定的性質之一[2]。在各類光學實驗儀器中，折光儀既可以對介質折光率進行定量測量，又可以對其變化規律進行定性觀察描述，為識別介質種類提供關鍵性證據[3-4]。而且折光儀以光的全反射為基本原理，結構簡單、成本低廉，是各高校及地球科學、材料科學、食品科學類實驗室必備儀器之一。然而，傳統的折光率檢定實驗具有步驟繁瑣、效率低等不足，檢定結果準確性很大程度上依賴操作者的經驗，而且操作時人體直接接觸劇毒折射液，對實驗人員和環境造成嚴重威脅。

機器視覺是人工智能技術的一個分支，它是通過機器代替人眼來獲取圖像信號，并對信號進行運算從而做出判斷[5]。近年來，機器視覺技術已被用于指針式和數字式儀表的自動檢定之中，提高了自動化程度和工作效率。然而，利用機器視覺技術對光學類儀表進行智能檢定的研究尚處于起步階段。

本文基于機器視覺技術，深度融合光機電一體化系統[6]，研發了一種具備自動觀測、自動識別功能的智能光性檢定系統，該系統簡化了光性檢定的實驗流程，降低了人為誤差和隨機誤差。

1 光性測定的原理和方法

1.1 原 理

在不同的介質中，光線(光波)具有不同的傳播特征。在光密介質，例如水中，光波傳播速度慢，折光率n1大；相反，在光疏介質，例如空氣中，光線的傳播速度快，折光率n2小。當光線從光密介質射入光疏介質時，入射角θ1小于折射角θ2，表現為折射光線相對遠離法線，靠近兩介質的分界線。這樣，當入射角逐漸增大到某一角度θc時，θ1=θc，即產生一個與法線垂直的90°折射角，即θ2=90°，此時所有折射光線都會沿著兩種介質之間的分界面通過，此時的入射角稱為臨界角θc。當入射角大于臨界角時，入射光不再發生折射，而是全部反射回到光密介質之中，這種現象稱為光的全反射[7](見圖1)。

圖1 光的全反射原理示意圖

假設光密介質的折光率為n1，光疏介質的折光率為n2(n1>n2)，臨界角為θc。如果n1已知，只需測出θc，即可求出n2[8]，即：

n2/n1=sinθc/sin 90°，n2=n1·sinθc

(1)

折光儀正是根據光的全反射原理設計而成的。具體來說，用已知的高折光率鉛玻璃(n1=1.86～1.96)作為棱鏡(光密介質)，當入射角小于臨界角時，光源發射的光線經過棱鏡發生折射進入待測光疏介質，因此棱鏡中的反射區為暗區；當入射角大于臨界角時，入射到棱鏡的光線發生全反射，不再折射進入待測介質中，而是全部反射回棱鏡的反射區之中，反射區為亮區。因此，在目鏡中觀察到亮暗交界的陰影邊界所對應的數值即為折光率(見圖2)。

圖2 棱鏡式折光儀原理及光路示意圖

1.2 實驗方法

進行折光率測定實驗時，需在折光儀鉛玻璃表面滴少許折射液作為光學接觸液，再將待測樣品平放在鉛玻璃上，實現待測樣品、折射液、鉛玻璃之間的光學接觸關系。之后手動旋轉樣品1周，同時從目鏡中觀測折光率、雙折光率及陰影邊界的變化特征[3]。

根據待測介質光性特征的不同，會出現以下3種情況：① 視域內只有一條穩定的陰影邊界，其對應的數值即為折光率；② 在樣品旋轉過程中，視域內出現兩條陰影邊界，一條邊界穩定，另一條邊界跳動，表明介質為一軸晶晶體；③ 如果兩條陰影邊界在旋轉中都發生了上下跳動，則表明待測介質為二軸晶晶體，最大折光率和最小折光率的差值，即為介質的雙折光率。

1.3 存在的問題

首先，操作時隨著樣品旋轉，目鏡中陰影邊界也同時發生快速跳動，觀測人員很難記錄折光率的準確數值和變化特征；其次，光線從光源至目鏡途徑多組透鏡和棱鏡，圖像發生畸變，且目鏡窗口狹小，圖像難于觀測；再次，由于開放式的操作環境和手動旋轉樣品，環境光線和手指都會對光路造成嚴重的干擾；最后，常用的折射液如二碘甲烷、溴代萘、硫化砷等都具有極強的腐蝕性和毒性，對實驗人員有極大危害，也會污染環境。

2 系統設計

2.1 設計目標

本系統將光、機、電、人工智能等技術深度融合，實現自動加注折射液、定量旋轉樣品、遠程圖像采集等功能，通過機器視覺算法分析折光率數值和變化特征，再利用云計算和智能認知技術將測量結果與大數據對比，準確識別介質種類。

2.2 硬件設計

本系統的硬件部分由底座模塊、折光儀模塊、樣品旋轉模塊、加液模塊、視頻采集模塊、識別分析模塊和總控模塊七大模塊組成(見圖3、4)，分別實現系統安裝固定、折光率測定、定量旋轉、折射液加注、圖像采集、圖像識別、系統控制等不同的功能。

底座模塊用來安裝折光儀模塊和樣品旋轉模塊。底座與樣品旋轉裝置支架間采用銷軸連接，可以方便地將樣品旋轉模塊由工作模式的垂直位置旋轉90°至待機模式的水平位置，便于手動操作或清洗、維護。

折光儀模塊由光源、鉛玻璃棱鏡、透鏡組、棱鏡標尺、透鏡標尺、反光鏡、目鏡透鏡和高清圖像采集探頭組成。為了降低透鏡邊緣圖像畸變效應，在鉛玻璃棱鏡的反射端增加了扇形棱鏡標尺。

樣品旋轉模塊由樣品旋轉裝置支架、支撐筒、旋轉筒、步進電動機、小齒輪、大齒輪組成。支撐筒與樣品旋轉裝置支架固定在一起，兩端裝有滑動軸承，用以支撐旋轉筒。小齒輪安裝在步進電動機輸出軸上，大齒輪安裝在旋轉筒上。當步進電動機旋轉時，小齒輪(z1)驅動大齒輪(z2)旋轉，進而帶動旋轉筒旋轉。為了達到定量旋轉的目的，本裝置選用步距角為1.8°的步進電動機(200脈沖/圈)，并且取傳動比i=z2/z1=7.2。當步進電動機每接收一個脈沖信號轉動1.8°時，旋轉筒可帶動待測樣品轉動0.25°。樣品旋轉筒下部安裝有密封皮碗，可以屏蔽環境光線的干擾，并且阻止折射液揮發。樣品壓緊筒為一獨立裝置，使用時插入旋轉筒內部，由鎖緊螺釘固定。筒內安裝有壓緊彈簧，確保有合適的壓緊力，壓緊力的大小可以通過旋轉壓緊力調節桿來調節。壓緊彈簧底端裝有軟橡膠墊與樣品接觸，確保樣品被牢固地壓緊在棱鏡表面。

加液模塊由加液器和加液管組成，加液器固定于旋轉筒之上，加液管由抗腐蝕的特種橡膠材料制成，一端連接加液器，另一端通過斜孔進入筒內壁至待測樣品附近。使用時打開加液器上的閥門，折射液通過加液管注入棱鏡與樣品之間的空隙。

視頻采集模塊包括3組高清視頻采集探頭、目鏡密閉罩、顯示器及相應的視頻采集控制器。兩組攝像頭安裝于折光儀內部，分別用于采集鉛玻璃棱鏡標尺和透鏡標尺的視頻信息；另一組攝像頭安裝于目鏡密閉罩內，并套在折光儀的目鏡觀測孔上，用來采集目鏡內的視頻信息。上述多組攝像頭可同時采集光路中不同位置的視頻信息，減少了透鏡圖像畸變的影響，還可以相互校正，獲得清晰的陰影邊界圖像。

識別分析模塊由機器視覺自動化檢測軟件和數據庫組成。數據庫則包括本地計算機和遠程云端服務器中的光性數據庫組成。將攝像頭采集的視頻信息通過機器視覺自動化檢測軟件識別、分析數值的大小及變化規律，并將識別結果同數據庫中保存的信息進行對比，達到智能檢測介質光性特征的目的。

總控模塊由本地計算機及操作軟件組成，與樣品旋轉模塊、視頻采集和觀測模塊、識別分析模塊相連。可以控制樣品旋轉方式，采集、觀察、分析和存儲測試結果，并且打印測試報告。

2.3 機器視覺軟件設計

機器視覺軟件及算法設計是光性智能檢定系統的核心技術[9]，即如何準確識別攝像頭所采集到的光學陰影邊界并轉換成折光率數值。本系統所用軟件基于Python語言編寫[10]，應用OpenCV庫[11-12]所提供的圖像采集API函數(見表1)。主要包括圖像采集、對比度增強、顏色聚類、邊界確定、刻度識別5個步驟。

(1) 從3個攝像頭所采集的圖像中截取明暗顯示的部分(見圖5(a))。其中，VideoCapture的參數i是要使用的攝像頭索引(見表1)，由于本文提取了3個攝像頭的圖像，因此將i取值為0、1、2分別抓取一張圖片，共計3張圖片。在采集圖片后，運行刻度識別(readScale)函數，從(X,Y)的位置開始截取寬為W高為H的部分，即截取圖像中明暗顯示的部分。

(2) 圖像對比度增強。利用限制對比度的自適應直方圖均衡算法(見表1)，即CLAHE(Contrast Limited Adaptive Histogram Equalization)算法[13-15]調整圖像對比度，使圖像的明亮區和暗區的對比更明顯(見圖5(b))。

(3) 顏色聚類分析。K均值(K-Means)算法是一種無監督的聚類學習算法(K-Means Clustering)[16-17]，在本系統中，該算法將折光儀目鏡圖像數據分割和量化成3個獨立的簇(k=3)(見表1)，即圖像只包含3種顏色，如圖5(c)所示的黃、暗紅、黑3種顏色。

表1 光性智能檢定系統程序源代碼

(4) 確定陰影邊界。在量化為3種顏色的圖像中找到每兩種顏色之間的邊界。從上到下掃描該圖像，掃描窗口的寬度為圖像寬度，高度為3個像素，當發現掃描窗口內包含兩種顏色，且兩種顏色的像素數相差不大時，這個掃描窗口的高度位置就是兩種顏色的邊界。

(5) 光學刻度轉換與識別。將掃描窗口區域在圖像上的高度位置，換算成光學標尺的刻度值即可得一組折光率數值。3個攝像頭分別平行采集和測定>1 000組折光率數值，取每個攝像頭平行測定結果的算數平均值作為該攝像頭的測定結果。之后將3個攝像頭的測定結果再次取平均值，作為待測樣品的折光率檢測結果。

2.4 系統工作模式

本系統有4種工作模式，如表2和圖3所示。

表2 光性智能檢定系統的4種工作模式

(a) 攝像頭采集的原始圖像(b) 對比度增強后的圖像(c) 顏色聚類后的圖像

圖5 圖像處理與識別過程

模式1(T模式) 該模式操作方式與傳統折光率檢測方法一致，適用于示范教學。

模式2(SA模式) 該模式為半自動和離線工作模式。本模式用系統內置的加液器加注折射液，并自動旋轉樣品和采集視頻信息，通過顯示器觀測檢測結果，并人為判定待測礦物的種類。

模式3(A模式) 該模式為全自動工作模式，需要通過互聯網連接遠程云端服務器，并將檢測結果與服務器存儲的大數據進行對比，智能判別介質種類。

模式4(R模式) 該模式為研究工作模式。本模式特點是通過計算機發出脈沖信號精確控制樣品旋轉角度并進行視頻采集，確定介質光軸方向，以便進行精細的定向加工。

3 光性智能檢測系統的特點

(1) 觀測過程簡單快捷。操作過程無需從目鏡觀測和讀數，測試結果由軟件自動判別，不需人為干預，不依賴操作者經驗。

(2) 觀測結果準確可靠。本系統屏蔽外來光線干擾，消除了圖像畸變，并且通過多通道數據采集、對比度增強、K均值聚類分析、大數據等技術手段，減少了測量誤差，提高了測試結果的準確性。

(3) 儀器操作安全環保。本系統自動加注折射液，實驗人員不直接接觸藥劑，且樣品內置于橡皮碗之內，減少了折射液的揮發。

(4) 工作模式靈活豐富。本系統內置4種工作模式，可以同時滿足不同使用者從教學示范、樣品快速鑒別、晶體定向加工等多種需求。

(5) 軟件適用性強。基于K-Means和CLAHE算法所編寫的圖像智能識別軟件，可以廣泛適用于其他光學儀表讀數的智能識別。

4 應用結果校驗

為了驗證本系統的測試精度和工作效率，由1位初學者和1位專業實驗員分別使用不同工作模式對3種固體樣品進行了光性檢定，通過操作用時和測試結果的差異，對本系統的準確性和效率進行評估，校驗結果見表3。

表3 系統應用結果校驗數據表

總體來說，模式3工作效率最高，無論實驗員還是初學者都可以在15～20 s內得到精準的測試結果，平行測定結果的絕對差值<0.000 2，滿足國標GB/T6488—2016、GB/T 614—2016對折光率測試精度的要求，表明本系統具有良好測試精度和很高的工作效率。其中，模式4測試準確度最高，絕對差值<0.000 15，可以得到非常準確的折光率數值。測試人員的熟練程度是影響測試結果的另一個重要因素。在不同模式下，專業實驗員都得到比較精準的測試結果，但初學者的精確度和工作效率差異較大：模式1的精度最差，效率最低；模式4雖然效率較低，但工作精度相對較高，比較適合初學者。

5 結 語

本文以機器視覺為基礎，深度融合光機電一體化技術，研發了一種具備自動觀測、自動識別功能的光性智能檢定系統，該系統可以準確檢定光學儀表讀數，提高測試精度和工作效率，并且保護實驗人員的身體健康。該系統有4種工作模式，可以分別滿足從教學示范到光性研究、晶體定向加工等不同的需求，可以廣泛應用在各類專業實驗室和教學實驗室中。