











摘要:
為實現十二烷基硫酸鈉(Sodium Dodecyl Sulfate,SDS)沉淀值讀取的自動化、智能化,在SDS沉淀值自動化測定搖床上,設計一種圖像自動識別沉淀值系統。通過對3種圖像處理方法的可行性分析后,選定一種基于標簽比對的圖像識別方法。該方法包含圖像前處理和體積值轉換兩大模塊,主要步驟包括RGB轉換成HSV、多通道二值化、提取標簽和沉淀值前景,找標簽和沉淀值輪廓等。該方法可以同時處理多個試管,并給出每個試管的體積。試驗結果表明,平均識別準確率為98.945%。因圖像處理光源固定,相對于人工讀取示值,不僅提高試驗效率,也降低每次讀取示值時,因視線不同而造成的主觀人為干擾,有效提高準確性,實現沉淀值讀取的自動化與智能化。
關鍵詞:小麥;十二烷基硫酸鈉沉淀值;圖像識別;體積值轉換;標簽
中圖分類號:S512.1; TP391.4
文獻標識碼:A
文章編號:2095-5553 (2024) 04-0149-06
收稿日期:2022年10月22日" 修回日期:2022年12月18日
基金項目:河南省科技攻關項目(232102110284,232102321022);河南省高等學校青年骨干教師培養計劃(2020GGJS046)
第一作者:王玲,女,1980年生,河南周口人,博士,副教授;研究方向為機電一體化。E-mail: wangling0351@126.com
通訊作者:田輝,女,1980年生,河南駐馬店人,碩士,教授;研究方向為現代農業裝備。E-mail: th407@126.com
Automatic reading of wheat microprecipitation values based on image processing
Wang Ling1, Zhang Jinxiong2, Tian Hui1, Zhang Zhujun1, Zhao Shuhan1
(1. College of Mechanical and Electrical Engineering, Henan Agricultural University, Zhengzhou, 450053, China;
(2. School of Electrical and Information Engineering, Zhengzhou University, Zhengzhou, 450066, China)
Abstract:
In order to realize the automatic and intelligent reading" of the precipitation value of Sodium Dodecyl Sulfate (SDS), an automatic image recognition system was designed in a shaking machine for SDS precipitate value automatic determination. After the feasibility analysis of three image processing methods, an image recognition method based on label comparison was selected. This method included two modules such as" image preprocessing and volume value conversion. The main steps included converting RGB to HSV, multi-channel binarization, extracting label and precipitate value foreground, finding label and precipitate value contour, etc. It could process multiple test tubes at the same time and give the volume of each tube. The experimental results showed that the average recognition accuracy was 98.945%. Since the image processing light source was fixed, compared with manual reading of indicator values, it not only improved the experimental efficiency, but also reduced the subjective human interference caused by different lines of sight each time reading indicator values, effectively improved the accuracy and realized the automation and intelligence of reading precipitation values.
Keywords:
wheat; Sodium Dodecyl Sulfate precipitation value; image recognition; volume value conversion; label
0 引言
沉淀值是評價和判斷小麥品質的一個重要標準,沉淀值與小麥品質的好壞程度密切相關,是評價小麥品質的一個重要指標[1];沉淀值的研究是小麥優質品種選育的理論基礎。沉淀值的測定方法有很多種,最常見的測定品質方法為十二烷基硫酸鈉法,又分為常量測定法和微量測定法[2]。常量測定法需要的樣本量大,操作復雜,不適合大批量的單株檢測。微量SDS測定方法具有實際用量小、測定速度快、分析時間短、分析成本低等優點,更加適合小麥育種品質的分析[3]。
小麥微量SDS沉淀值的讀取,即測定它的沉淀值體積[4]。科研人員測量微量SDS沉淀值,是在實驗室的條件下,按照相應的試驗步驟進行科學精準的實驗操作,然后會在試管中得到具有明顯分層的2層不同顏色的溶液試劑,溶液試劑主要依靠人的肉眼讀取試管的刻度值,然后記錄數據[5]。由于樣本的制作需要等待比較長的時間,且需要搖晃,在此之后需要靜置一定的時間才能進行讀數操作。由于測試樣本量大,試驗步驟繁瑣,占用科研人員大量的時間、精力。因此研發SDS沉淀值試驗設備,能夠自動讀取SDS沉淀值,幫助提高試驗效率,降低科研人員的勞動強度。
河南農業大學唐建衛等[6]制作了SDS沉淀值測定用搖床,用這個裝置代替人工搖勻,提高了試驗效率,實現了快速、低成本測定大批量育種世代單株材料。新疆農墾科學院姬勇等[7]也研發了沉淀值測定裝置及沉淀值測定方法,但均沒有實現沉淀值的自動讀取。
為實現SDS沉淀值的自動讀取和記錄數值,本文通過數字圖像處理技術的應用,克服傳統人工檢測讀取的低效性,提高微量SDS沉淀值檢測讀取效率和智能化水平,提高識別的準確度。配合搖床可以一次性處理多個試管試劑,提高SDS沉淀值的制取和檢測效率。
1 圖像采集方案的選擇和系統搭建
1.1 圖像處理方案選擇
方案一:找試管上刻度線的方法。通過找到試管上面的刻度線,單獨提取出來線條,然后對試管的刻度線進行擬合。下一步,同樣的進行前景提取,單獨識別試管中的沉淀,得到沉淀最上方的坐標,然后和擬定好的刻度線進行對比,從而得到最后沉淀值的體積[8]。這就需要事先卡好攝像頭到試管的距離,將每一根線條的距離精確到像素點級別,此方法需要使用高精度,功能比較強大的攝像頭。對于相機的畸變,需使用黑白象棋格子紙張進行矯正。由于試管上的刻度線有斷續粗細不平,導致它給人的直觀感覺不是很清楚透亮。同時由于長期使用的原因,試管刻度線均有一定程度的磨損,這些原因均導致使用肉眼觀察時存在著一定困難。綜上所言,摒棄方案一。
方案二:找試管上數字的方法。首先得到數字的模板,然后對圖像中的數字進行模板匹配,找到相應的數字,數字之間等畫10份,之后前景提取出來沉淀,將沉淀的坐標和刻度線進行比對。現實生活中,試管是立體的,數字是在一個弧面上,并不是在一個水平面中,所以人從不同的角度看試管上面的數字都是不一樣的,所以說只有一套模板是不行的。如果使用一套模板,匹配不到數字的概率會很大,導致后面的處理沒有任何意義和價值。因此需要大量的模板,算法也比較復雜,同樣的摒棄了方案二。
方案三:通過貼一個矩形標簽,讓這個矩形標簽占刻度線的固定的幾個格子,比如固定的占2 mL。接著通過圖像處理的手段和方法,將事先粘貼的矩形標簽及試驗過后的沉淀提取出來,在圖像中計算矩形標簽上面的直線距離、沉淀的距離,還有標簽占到圖像的距離。根據數學函數表達式,最終轉化成現實世界當中的尺度,計算出來刻度值。由于標簽比較容易批量制作,定制起來成本不高,所以本文采用方案三進行圖像處理。
1.2 帶標簽試管的準備
帶標簽試管是指將10 mL試管的8~10 mL刻度值區域用淺藍色的標簽覆蓋。如圖1所示。
1.3 簡單視覺系統搭建
攝像頭根據芯片的類型可以分為CMOS相機和CCD相機。由于該方案對攝像頭要求不高,因此本方法采用普通的CMOS攝像頭,焦距是6 mm,無畸變,免驅動[9]。將攝像頭用螺絲固定在一側,讓其位于中間位置,固定支架位于板子另一側正中間偏上的位置。攝像頭的垂直視場角大約為57°,由式(1)可確定能觀察到的最大高度差。
q=2×arctanh2f
(1)
式中:
q——垂直視場角;
f——焦距,mm;
h——能觀察到的最大高度差,cm。
當試管的一部分占到畫面一半高度或者占的更小時,假設這一部分為10 cm,那么此時攝像頭距離試管的距離大于18.50 cm。焦距逐漸變長,視場角就會逐漸變小,那么當被檢測的物體移動很小的范圍時,對于檢測的效果影響都不會很大。相對距離為25 cm,可見這個距離能夠滿足所預期的要求。
攝像頭鏡頭的正中央對準沉淀部分和標簽的中間,同時在攝像頭下方補充光源,選用LED光條作為光源。示意圖如圖2所示。
2 圖像處理識別
圖像處理識別分為兩部分,第一部分是圖像前處理,第二部分是函數關系推導轉換[10]。圖像處理識別流程如圖3所示。
2.1 圖像前處理
首先使用RGB圖像濾波,進而轉化成HSV圖像,使用HSV閾值分割,按照事先調整好的閾值進行多通道區域二值化,按位與提取出來前景圖片(此時的前景圖片是彩色圖像,也就是RGB格式的圖像,其余部分為全黑)[11]。由于不確定試管在圖像中的位置,并不可能每次都是相同的位置,所以這部分的操作就是對ROI的提取。其次將提取后的前景圖像轉化成灰度圖,得到灰度圖后再進行二值化,便得到了二值化后的圖像。隨后進行下一步找輪廓操作,通過面積,長寬比等篩選方法濾除不需要的輪廓。最后計算最小外接矩形,得到矩形的四個頂點的坐標[12]。兩次進行上述操作,可以得到標簽、最下方沉淀的最小外接矩形以及4個頂點的坐標。
2.2 識別算法實現
最開始設定標簽的位置位于卡住試管的8~10 mL處,標簽的顏色介于藍色和青色之間。
定義標簽上邊緣的高度為Y1,下邊緣高度為Y2,標簽在圖像豎直方向的高度差定義為H1。沉淀值的體積為V,沉淀的最頂端的高度為Y3,那么Y1減去Y3就是在計算機的數字圖像中液面到標簽的上邊緣的差值。則可計算出標簽上邊緣到液面最上方(沉淀值的最頂端部分)占的毫升值。沉淀體積計算公式如式(2)、式(3)所示。
V=10-Y3-Y1H1×2
(2)
V=8-Y3-Y2H1×2
(3)
3 試驗結果與分析
3.1 圖像處理結果
攝像頭截取的試管的RGB圖像如圖4(a)所示,將攝像頭獲取的最原始的RGB圖像進行高斯濾波[13]。采取的高斯核大小是5×5,即高斯矩陣的長和寬都是5,標準差為0,濾波后的圖像如圖4(b)所示。然后將濾波后的圖像轉化成HSV格式的圖像,HSV格式的圖像如圖4(c)所示。
為了得到標簽,設定雙閾值對HSV圖像進行處理,也就是有高低的界限[14]。接下來進行按位與操作,通過與原圖的按位與操作后得到的效果如圖5所示,圖5(a)除了沉淀區域為彩色圖,其余部分均為黑色,也就是這部分的RGB值都是0。圖5(b)除了標簽區域保持了原來的色彩,其余部分均為黑。
此時再對按位與后的標簽前景圖進行灰度圖轉化,將標簽的灰度圖進行二值化操作[15]。處理過后,觀察到經過二值化操作后的標簽周圍幾乎沒有雜質,但是會有噪聲點出現,接下來使用形態學操作處理。首先使用開運算進行處理操作,這樣會消除或者減小殘渣的影響,此處采用矩形結構的1×1的卷積核進行開運算處理。選取如此微弱的處理,是為了簡單濾除雜質,消除可能粘連的部分。通過觀察簡單開運算處理后的標簽,發現它并不是那么規整,接下來使用閉運算對開運算后的標簽處理,使其更加平滑。此處使用3×3矩形結構的核進行閉運算處理,圖6為經過4次閉運算處理后的標簽。
遍歷所有的輪廓通過面積篩選,處理掉可能還會存在的干擾輪廓,最終得到標簽的輪廓[16]。通過得到標簽的最小外接矩形,可以得到標簽的最小外接矩形的4個頂點,就可以通過頂點的坐標,畫出標簽的上下部分。如圖7所示,使用紅色線條畫出來標簽的上部分和下部分。
為了得到沉淀,同樣地設定雙閾值對HSV圖像進行處理,進而進行按位與操作。目標區域為彩色圖,其余部分均為黑,也就是這部分的RGB值均為0[17]。此時再進行灰度圖轉化,將按位與操作后得到的沉淀圖轉化為灰度圖,圖8為經過灰度處理的效果。
將灰度圖進行二值化操作,接下來進行2次開運算操作,這樣就能夠濾去無用的小點。由于沉淀和沉淀上方的液體之間的分界面并不光滑,會有一些雜碎的顆粒在兩者之間,這部分如果不處理,會導致識別出來的分層線位置有比較大的偏差,而開運算操作就很好地解決了這個問題。然而開運算過后的圖像并不規整。為了讓圖像更精確,使用閉運算填補可能出現的空洞,最后再次使用開運算去除噪點和尖銳的刺狀圖像部分。根據實際情況,第一次開運算采用1×1的矩形結構卷積核,接下來的閉運算和開運算采用矩形結構的3×3卷積核進行形態學處理[18]。經過處理的結果如圖9所示。
對提取出來的輪廓進行處理,得到它的最小外接矩形,通過矩形的長和寬可以確定4個頂點的坐標。通過這些點在沉淀的上部分畫線,就得到沉淀和上方液體的分層,如圖10所示。
上述操作已經對標簽的上下部分和分層線進行了精準的定位。圖11為標簽和分層在圖像中的分布,本次試驗使用了條框選住它們。
3.2 試驗分析
通過代入計算公式,可以得到兩部分的體積。本次試驗分別用標簽上下部分進行計算,為了減少誤差,最后取平均值。
通過運行程序并且四舍五入,得到沉淀的體積為4.0 mL,通過觀察原圖,實際的沉淀體積為3.9~4.0 mL之間,誤差小于3%。
3.3 多個試管處理
選擇其中部分試管,經過圖像處理后的沉淀與溶液的分層線定位效果如圖12所示。
通過觀察上述結果,發現不論是一個還是多個試管沉淀值和溶液的分層,定位效果幾乎和實際相吻合。圖12采用的是USB網絡攝像頭在寫字燈光源下截取的圖像,接下來探索,在實驗室的冷光源照射情況下,使用紅米K40的主攝鏡頭所拍攝的圖片,并且調節圖像為640像素×480像素。通過調整HSV的值,調整H在0~54,S在40~135,V在45~162。原圖和得到的分層對比情況如圖13所示。
標簽部分經過圖像處理后穩定,周圍不會出現太多的雜質,它非常適合作為識別試管的個數。通過計算有多少標簽,就能夠計算出來有多少個試管。通過識別試管的個數,然后再對試管的沉淀值進行計算,計算的結果在試管的下方進行顯示。圖14為計算的沉淀值的體積及識別到的試管的個數。
將圖像識別的沉淀值體積和人工識別真實數值進行比較,見表1,其中人工識別液面體積,采用凹液面相切讀數,最后一位為估讀,讀三次求平均,作為真實值。
識別準確率=1-圖像識別值-真實值真實值
從表1可以看出,試管個數識別準確率為100%,體積識別準確率平均為98.945%,主要原因是凹液面在自然光源下定位有誤差,后續將考慮如何動態調整光源位置。
4 結論
沉淀值是評價和判斷小麥品質的一個重要標準,而沉淀值的測定與研究是小麥優質品種選育的理論基礎,本文對基于圖像處理的小麥微量沉淀值自動讀取示值的方法進行探討與研究。
1)" 本文提出一種自主識別SDS沉淀值的方法。首先通過比較三種沉淀值識別方法的可行性,選定一種適合現場應用,對環境要求不嚴格,且識別準確率高的方法。通過對圖片進行預處理,先提取出標簽和沉淀目標輪廓,即找出最小外接矩形頂點,進而轉化為SDS沉淀值的體積。
2)" 本方法可以同時識別試管個數及每個試管的沉淀值體積,并驗證在自然背景下的識別效果,通過實驗證明識別準確率平均為98.945%。
3)" 鑒于SDS沉淀值搖床裝置是在不穩定光照的條件下進行,所以不能在搖晃裝置上讀取,只有當搖床穩定后才能進行讀取操作,且可以直接進行記錄。通過搖床和示值讀取裝置的配合,可以實現數據讀取的自動化與智能化。
參 考 文 獻
[1] 周濟銘, 杜璨, 馮帆, 等. 沉淀值在小麥品質育種上的應用研究[J]. 西北農業學報, 2019, 28(8): 1211-1218.
Zhou Jiming, Du Can, FengFan, et al. Application of sedimentation value in wheat quality breeding [J]. Acta Agriculturae Boreali-occidentalis Sinica, 2019, 28(8): 1211-1218.
[2] 馬斯霜, 白海波, 惠建, 等. 小麥主要品質性狀研究進展[J].中國農學通報, 2021, 37(24): 1-5.
Ma Sishuang, Bai Haibo, Hui Jian, et al. Main quality characters of wheat: A review [J]. Chinese Agricultural Science Bulletin, 2021, 37(24): 1-5.
[3] Fei J, Chen X, Peng X, et al. Study on extraction of anthocyanin from pericarp waste by SDS precipitation [C]. IOP Conference Series: Earth and Environmental Science. IOP Publishing, 2020, 615(1): 012103.
[4] 劉愛峰, 程敦公, 李豪勝, 等. 全粉SDS沉淀值評價小麥育種高代材料品質的研究[J]. 山東農業科學, 2014, 46(12): 14-17.
Liu Aifeng, Cheng Dungong, Li Haosheng, et al. Study on quality evaluation of advanced wheat lines using SDS sedimentation value of whole meal [J]. Shandong Agricultural Sciences, 2014, 46(12): 14-17.
[5] 李曼, 張曉, 劉大同, 等. 弱筋小麥品質評價指標研究[J]. 核農學報, 2021, 35(9): 1979-1986.
Li Man, Zhang Xiao, Liu Datong, et al. Research on quality evaluation indices of weak gluten wheat [J]. Journal of Nuclear Agricultural Sciences, 2021, 35(9): 1979-1986.
[6] 唐建衛, 高艷, 殷貴鴻. 一種小麥微量SDS沉淀值測定用搖床[P]. 中國專利: CN210690199U, 2020-06-05.
[7] 姬勇, 羅瑞峰, 桑偉, 等. 沉淀值測定裝置及沉淀值測定方法[P]. 中國專利: CN111157411A, 2020-05-15.
[8] Raju Y D S, Reddy D K. Interactive natural image segmentation and foreground extraction [J]. International Journal of Engineering amp; Technology, 2018, 7(3): 70-72.
[9] 侯雨石, 何玉青. 數碼相機CMOS圖像傳感器的特性參數與選擇[J]. 光學技術, 2003(2): 174-176.
Hou Yushi, He Yuqing. Specific parameters and selection of CMOS image sensor for DSC designing [J]. Optical Technique, 2003(2): 174-176.
[10] Klblin P, Bartler A, Füller M. Image preprocessing for outdoor luminescence inspection of large photovoltaic parks [J]. Energies, 2021, 14(9): 2508.
[11] 汪杰, 陳曼龍, 李奎, 等. 基于HSV與形狀特征融合的花椒圖像識別[J]. 中國農機化學報, 2021, 42(10): 180-185.
Wang Jie, Chen Manlong, Li Kui, et al. Prickly ash image recognition based on HSV and shape feature fusion [J]. Journal of Chinese Agricultural Mechanization, 2021, 42(10): 180-185.
[12] 黃超, 茅健, 徐斌, 等. 基于最小外接矩形和Hough變換的定位算法[J]. 組合機床與自動化加工技術, 2021(8): 66-71.
Huang Chao, Mao Jian, Xu Bin, et al. Location algorithm based on minimum enclosing rectangle and Hough transform [J]. Modular Machine Tool amp; Automatic Manufacturing Technique, 2021(8): 66-71.
[13] 覃德波, 陳天宇, 余正偉, 等. 基于圖像增強的生球粒度識別方法研究[J]. 燒結球團, 2021, 46(6): 82-88.
Qin Debo, Chen Tianyu, Yu Zhengwei, et al. Research on recognition method of fresh pellets particle size based on image enhancement [J]. Sintering and Pelletizing, 2021, 46(6): 82-88.
[14] Rahimi W N S, Ali M S A M. Ananas comosus crown image thresholding and crop counting using a colour space transformation scheme [J]. Telkomnika (Telecommunication Computing Electronics and Control), 2020, 18(5): 2472-2479.
[15] Lei H, Cheng J, Xu Q. Cement pavement surface crack detection based on image processing [J]. Mechanical Engineering Science, 2019, 1(1).
[16] 王崔. 圖像對象輪廓提取的算法研究與實現[D]. 北京: 北京印刷學院, 2015.
Wang Cui. Research and implementation on algorithm of image object contour extraction [D]. Beijing: Beijing Institute of Graphic Communication, 2015.
[17] Gong J, Chen T, Zhang Y. Complex lane detection based on dynamic constraint of the double threshold [J]. Multimedia Tools and Applications, 2021, 80(18): 27095-27113.
[18] 秦志新. 計算機技術在圖像形態學處理中的應用探討[J]. 普洱學院學報, 2019, 35(6): 24-26.
Qin Zhixin. A Probe into the application of computer technology in processing image morphology [J]. Journal of Pu’er University, 2019, 35(6): 24-26.