基于深度學習針對水凝膠擠出式打印成型的實時監測技術

何煒杰, 韓晨陽, 倪忠進, 倪益華, 呂艷, 葉曉平

（1.浙江農林大學 工程學院，杭州311300；2.浙江省特色文創產品數字化設計與智能制造重點實驗室，浙江 麗水323000）

0 引言

水凝膠擠出式打印成型技術是生物3D打印中常用的技術之一。擠出式生物打印機實質上是基于噴墨式打印機的優化版本，它不同于噴墨式打印機的單個動力，而是通過施加一個連續的動力，使其打印機可以連續不間斷地噴吐出打印纖維。這種打印方式的一大特點就是對打印材料的選擇較多，只需要打印材料的黏度合適，打印結構通過交聯后可以很好地保持其原有形狀[1-2]。并且其設備成本低廉、打印物品的延展性好、打印墨水種類多、容易上手操作，被研究者廣泛地應用在生物3D打印的實驗研究中[3]。但由于水凝膠擠出式打印成型過程中極易受到溫度與配置溶液黏度的影響，進行打印實驗中常常會出現成型問題，如斷絲和坍塌現象。為了避免打印出現問題后不必要的材料浪費，打印時需要實驗員長時間守在打印設備附近觀察打印情況，且打印過程用時較長，這樣十分浪費時間和人力。

計算機視覺檢測技術近年來在智能制造業中受到廣泛的關注，越來越多的生產加工的檢測環節應用了該項技術[4]。伴隨著高速工業相機發展及深度學習算法的普及化，利用深度學習實現高效的計算機視覺識別系統，是當今面對生產監測問題的主要解決方法。其中一種主要應用于圖像識別的方式是卷積神經網絡算法，該算法與傳統的圖像處理技術相比，具有高效的自主學習能力，并且還簡化了許多復雜的圖像預處理的操作[5]。目前，卷積神經網絡技術已經廣泛地應用在人臉識別、視頻監控、智慧家居等領域[6]。

本文基于卷積神經網絡技術，設計了針對打印時出現斷絲和坍塌現象的識別模型，以期該模型能實現對水凝膠擠出式打印成型過程進行有效的監測，從而用計算機視覺代替研究人員，有效地節省人力和時間。

1 監測系統設計

本文的水凝膠擠出式打印成型監測系統是基于深度學習、圖像視覺、計算機視覺原理所構建而成的。其原理為：以圖像傳感器為核心搭建一個硬件檢測平臺，用以打印過程中的圖像數據的采集、在打印時相隔一定時間拍攝圖像、存儲，將計算機作為采集數據處理器，通過程序開發語言、圖像處理軟件、卷積神經網絡、Caffe深度學習框架等開發工具，建立的打印監測系統，用于打印過程的檢測及數據的保存。該系統的構架如圖1所示，由硬件系統及軟件系統組成。

圖1 水凝膠打印監測系統架構

監測系統分為上位機和下位機兩部分。下位機模塊需進行圖片的拍攝及圖像的傳遞，上位機即計算機需要對圖像進行截取保存并進行檢測。而上位機部分需要對拍攝到的圖片進行檢測，并且將檢測的結果反饋到交互界面中。

圖2 水凝膠監測系統硬件平臺示意圖

1.1 檢測模型的設計

1.1.1 樣本制作

本實驗的樣本圖片均來源于浙江農林大學生物打印實驗室，在進行實際打印中獲得的打印實物圖，通過架設在打印機旁的相機拍攝的圖片，共計2000張。本文的數據集中將打印時所拍攝到的照片分為4類，正常（Normal）、斷絲（Broken Wire）、坍塌（Collapse）、阻擋（Hinder），如圖3所示。由于打印機理是通過溫度控制水凝膠進行交聯，其打印平臺上有冷凝水會影響圖片中的特征，所以在制備拍部分攝樣本水凝膠時加入了食用染料（C20H11N2Na3O10S3, 中國上海阿拉丁實業公司）使打印特征更明顯，如圖3所示。

圖3 打印過程中存在的4類現象

通過上述實驗和圖片的采集可知，打印常出現的異常情況主要有斷絲和坍塌兩種。斷絲是由于打印時擠出量不穩定或噴嘴堵塞所致，其主要的特點就是打印的水凝膠表面出現形狀不規則的凹痕。而坍塌是由于水凝膠溶液黏度過低或擠出量過大，導致堆積的水凝膠過多倒塌無法正常繼續打印，其主要特點是有明顯的弧形表面，且打印噴嘴與打印面分離。另外拍攝過程中極易遇到打印噴嘴阻擋拍攝角度的現象，使拍攝圖片沒有拍攝到水凝膠的特征。

為了提高神經網絡訓練的效率和有效性，需要對采集的圖像樣本進行一定的處理，本文中運用到了OpenCV庫，它作為一種跨平臺的計算機視覺庫，其主要的作用就是可以高效地處理圖像[7-8]。由于它適用性廣的特點，在Linux、Windows等平臺均可使用而受到許多科學研究者的喜愛[9]。實驗中對所采集的水凝膠打印圖像進行圖像的預處理，使用二值化和輪廓分割等方法處理圖像[10]，這樣能有效地降低多余信息突出圖像中的主要特征[11]。再使用Labelimg標記工具進行按分工標記，作為水凝膠擠出式打印成型檢測模型的數據樣本，如圖4、圖5所示。

圖4 圖像預處理

圖5 目標區域的定位

1.1.2 卷積神經網絡的設計

Caffe（Convolutional Architecture for Fast Feature Embedding）框架是2014年伯克利大學賈揚清博士及其團隊開發并發布的深度學習框架[12]。該深度學習框架的優點在于其多接口，盡管其內核程序由C++編寫的，但開發者給它設置了Python和Matlab相關的接口[13]。本文使用的就是其中的Python接口，對訓練模型的神經網絡層進行再編輯[14]。并且Caffe平臺下通過編輯源碼能實現一些特殊的層，從而在該平臺下運用多種目標檢測算法。本文以傳統的卷積神經網絡LeNet-5為基礎，對神經網絡的結構層數和種類進行改進，利用Swish激活函數和BN算法對模型進行優化[15]。

1）為了提高神經網絡模型對于復雜事物的學習能力，需要將非線性的特性引入到神經網絡中，這就需要使用激活函數。但神經網絡算法在使用誤差逆傳播算法優化網絡參數時，其激活函數若出現飽和現象，則會降低網絡的訓練速度和效果，甚至會出現梯度消失等現象[16]。其中常用的激活函數中Sigmoid函數就會導致這一現象，為了避免梯度消失的問題，開發者會使用Relu激活函數，但該函數常會出現輸入無響應的問題，導致該問題的原因是學習率過高、學習速率太快導致神經元更新數據過載，使網絡癱瘓處于無法響應的狀態。

寫到柳傳志的生平時，作者介紹他小時候在達志橋一所學校讀書，順便說了一句，這里是康有為當年“公車上書”的地方。而后說起柳傳志在四人幫時期用左手寫了封匿名信，成為當時一件大案。“這個舉動雖然不能和公車上書相比，完全兩回事，但某種血脈是一致的。”這種敘事手法為“非虛構”敘事提供了一條新路徑——在尊重客觀事實的基礎上，附加上合理想象，讓文本更加富有創造力。

Swish激活函數使Google團隊在2017年提出的一種新型激活函數，其數學公式為[16]

式中：f（x）為Swish 函數激活后的輸出；x為函數的輸入值。

通過公式可得到函數圖像，如圖6所示。圖中Swish激活函數、Sigmoid激活函數與Relu激活函數的圖像對比，可以得到Swish激活函數具有一般激活函數的通性，并且Swish激活函數與Relu激活函數類似，具有一定的平滑性，這能避免梯度消失的問題，不同的是Swish函數并非單調。經測試[12]該函數相較Relu激活函數同樣的迭代步數下其準確度更高。

圖6 函數特性

2） 由于神經網絡中引入非線性因素提高學習能力，但同時也大幅影響了網絡的訓練。針對神經網絡收斂速度緩慢的問題，就需要使用歸一化的手段處理輸入值，所以在訓練模型神經網絡中引入了BN算法。BN算法的具體操作步驟如下[17]：

當輸入樣本為n，計算其均值u和方差σ：

利用均值u和方差σ實現數據的歸一化：

式中：∈為常量，是為了避免當σ的取值為0的情況發生時式子無意義。

為了保持原始數據所學到的特征的完整性，BN函數中引入了可學習重構參數γi與βi，讓原始數據能夠完整地復原：

式中：γi為輸入xi的標準差；βi為輸入xi的均值；E為均值函數；Var為方差函數。

3）以Caffe網絡結構為基礎，對其進行網絡結構的調整和設置，其網絡特征提取層結構具體參數如表1所示。圖7為卷積神經網絡算法訓練流程，其中神經網絡特征提取層由6層卷積層、3層BN層、3層池化層交替疊加構成，提取高維特征后使用3層全連接層進行學習，即通過映射的形式存于特征空間，并將結果送入分類器進行水凝膠擠出式打印成型狀況的識別。

表1 My-Caffe網絡結構參數配置

1.1.3 模型訓練

圖7 卷積神經網絡算法訓練流程

搭建完成神經網絡后利用該檢測算法訓練得到損失函數值和準確度曲線，如圖8所示。通過反饋的損失函數和精確度的值觀測訓練模型在測試集中的完成度。隨著迭代次數增大，損失函數值不斷下降，表示網絡模型不斷擬合，經過4000次迭代網絡模型損失函數值約為0.8左右。從測試集反饋的準確度顯示網絡模型在測試集中的準確率在0.75左右。

1.2 模型檢測結果

本實驗模型基于Windows操作系統、Caffe框架下的神經網絡訓練完成，對訓練模型的檢測效果采用的是未放入訓練集中的圖片，分別為正常、斷絲、坍塌、阻擋4種類型進行5次單一的隨機樣本集測試。

圖8 Loss和Accuracy曲線

根據表2所示的訓練模型實際檢測的結果，每組測試均為單一類型圖片20張。結果表明檢測打印狀態為正常的圖片時準確率最高，均在90%以上。檢測被噴頭阻擋的圖片時識別度較差的原因可能是該類型的圖片特征較模糊，樣本數據小，訓練集無法提取到有效的特征值。而檢測斷絲與坍塌圖片時準確率接近80%左右。總體的準確率在78%，證明該監測系統能對水凝膠打印進行檢測。另外幾乎所有斷絲與坍塌圖片的誤判均判別為打印正常，這是因為誤判部分的圖片大多都是出現問題的前期，特征點不明顯。

表2 測試結果 %

圖9 測試樣本例圖

這個檢測結果對照上述的精確度曲線與其值不符，準確率并沒有精確度曲線反饋的準確度，這一現象說明訓練模型過擬合，這是由于訓練集較少和特征圖片較接近導致的。

1.3 監測系統UI界面的設計

完成檢測用模型后需要對監測系統進行整體的設計，本文使用PyQt5圖形界面編輯軟件進行了監測系統的界面的開發。PyQt5是一個跨平臺下基于Python圖形用戶界面庫。該開發環境具有較豐富的API和詳細的開發文檔，并且具有多平臺接口，保障了其通用性，所以成為眾多軟件設計開發者的選擇。

設計的系統分為圖片檢測和實時檢測兩部分，通過開啟后切換模式實現，圖片檢測需要導入圖片，只顯示對圖片檢測的結果，實時檢測開啟后自動計時定時拍攝圖片，對拍攝的圖片進行檢測并對不同的檢測結果進行不同方式的反饋。具體流程如圖10所示。

圖10 監測系統流程圖

根據檢測流程圖完成界面的控件設置與編輯。可得到水凝膠監測系統的界面，圖11所示為監測系統的界面。該系統分為檢測圖片和實時檢測兩部分。通過載入按鈕將圖片導入，點擊“Check”按鈕可對圖片進行檢測，檢測圖片顯示在右上“檢測圖像”框內，檢測結果會顯示在右下“檢測結果”框內。如圖12所示，當圖像中打印正常時，檢測結果顯示為該情況的匹配度；當圖像中打印異常時，則檢測結果會顯示紅色的“PRINT ERROR”字樣提醒，并會給單片機傳輸反饋信號啟動蜂鳴器。使用實時監控，只需點擊“打開攝像頭”則左下框內將實時顯示攝像頭所拍攝的畫面，再點擊“運行”將每30 s截取拍攝畫面圖像進行檢測。

圖11 監測系統界面

2 結論

圖12 監測系統工作運行圖像

本研究是針對水凝膠擠出式打印成型中的問題進行監測系統的設計。該設計過程主要分成兩部分：第一部分是通過Caffe框架設計深度學習神經網絡完成檢測模型；第二部分是對監測系統的界面及程序的設計。從結果來看訓練完成的模型準確率在78%左右，能對拍攝到的打印狀態進行一定程度的識別，其中打印水凝膠被阻擋的識別度較差的原因是該類型的圖片特征較模糊、樣本數據小，訓練集無法提取到有效的特征值。另一部分借助PyQt5對監測系統進行了可視化窗口的設計，能有效地對成型出現的問題進行反饋，實現了使用計算機視覺替代實驗員在打印時進行觀測，有效地節約了人力。