基于機(jī)器學(xué)習(xí)的電噴印精度預(yù)測(cè)方法研究

楊靜文，陳小勇，張軍華

基于機(jī)器學(xué)習(xí)的電噴印精度預(yù)測(cè)方法研究

楊靜文，陳小勇，張軍華

（桂林電子科技大學(xué) 機(jī)電工程學(xué)院，廣西 桂林 541004）

節(jié)省電流體噴射打印精度預(yù)測(cè)的時(shí)間和解決電流體工藝參數(shù)的選擇問(wèn)題，達(dá)到提高電流體打印的質(zhì)量和效率的目的。為了對(duì)電流體噴射打印精度進(jìn)行預(yù)測(cè)，提出有限元模型與機(jī)器學(xué)習(xí)相結(jié)合的方法。基于線性回歸、支持向量回歸和神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法建立4種參數(shù)與射流直徑的關(guān)系模型。算法結(jié)果表明：支持向量回歸和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型的決定系數(shù)2能達(dá)到0.9以上，表示模型可信度高；支持向量回歸和神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型指標(biāo)都比線性回歸預(yù)測(cè)模型的小。機(jī)器學(xué)習(xí)算法可對(duì)電噴印打印精度進(jìn)行有效預(yù)測(cè)，預(yù)測(cè)效率提高了十幾倍，節(jié)省了精度預(yù)測(cè)的時(shí)間。

機(jī)器學(xué)習(xí)；電流體微納打印；射流精度；預(yù)測(cè)模型

電流體噴射打印技術(shù)（E-Jet Printing）是一種基于電流體動(dòng)力學(xué)的打印制造技術(shù)，其利用電場(chǎng)力和機(jī)械力影響流體，以“拉”的方式從液錐（泰勒錐）頂端向下形成精細(xì)射流和微滴，從而實(shí)現(xiàn)材料的高分辨率打印制造[1]。電流體噴墨打印制造技術(shù)的優(yōu)點(diǎn)：摒棄了傳統(tǒng)的增材制造加工工藝，利用流體形成的精細(xì)射流，在襯底上直接打印出圖案化的高分辨率的微納結(jié)構(gòu)；電流體打印材料廣泛，應(yīng)用領(lǐng)域較多，如可穿戴設(shè)備[2]、柔性電子設(shè)備、材料成形、光學(xué)器件[3]等，在這些領(lǐng)域中都顯示出很大的應(yīng)用潛力。

電噴印成形機(jī)理比較復(fù)雜，而且影響因素很多，主要包括：打印材料性能（質(zhì)量分?jǐn)?shù)、密度、電導(dǎo)率、表面張力等），工藝參數(shù)（入口流速、電壓等），結(jié)構(gòu)參數(shù)（噴嘴內(nèi)徑、收集板高度等）。為了對(duì)電流體射流穩(wěn)定性和精度進(jìn)行預(yù)測(cè)，一些學(xué)者也展開(kāi)了研究。Jayasinghe等[4]首先報(bào)道了陶瓷懸浮液的電射流打印技術(shù)，之后使用濃縮的懸浮液打印了寬度為70 μm的圖案。高翔宇等[5]通過(guò)調(diào)整打印工藝參數(shù)來(lái)影響錐射流的形狀和尺寸，揭示了打印尺寸與錐長(zhǎng)和射流長(zhǎng)度的關(guān)系及規(guī)律。Jeong等[6]用納米顆粒和石墨烯打印出源電極、漏電極和溝道并制備了薄膜晶體管。Parke等[7]使用細(xì)小的毛細(xì)管噴針打印了直徑為490 nm的點(diǎn)陣列。

機(jī)器學(xué)習(xí)算法就是從數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，因此該研究基于機(jī)器學(xué)習(xí)算法和有限元相結(jié)合建立了加工參數(shù)與電流體射流精度的預(yù)測(cè)方法[8]。調(diào)節(jié)電流體噴射打印技術(shù)的過(guò)程特性（外加電壓、溶液流速）和結(jié)構(gòu)特性（噴嘴直徑、收集板高度）4種參數(shù)，得到大量的模擬試驗(yàn)作為樣本。利用機(jī)器學(xué)習(xí)算法對(duì)電噴印打印精度進(jìn)行預(yù)測(cè)，以此提高噴射打印設(shè)計(jì)效率。

1 電流體射流理論分析與模型

電噴印的基本原理見(jiàn)圖1。通過(guò)在噴嘴和襯底之間加高電壓（幾百到幾千伏），相同極性的電荷就會(huì)聚集到噴嘴尖端，當(dāng)尖端電場(chǎng)力超過(guò)液體的表面張力時(shí)，液體就會(huì)從半球形彎月牙面變成錐形（泰勒錐）[9]。隨著電場(chǎng)強(qiáng)度的增強(qiáng)，泰勒錐的頂端噴出一個(gè)小射流或液滴，一般可達(dá)到幾十nm到1 μm，最終實(shí)現(xiàn)高分辨率打印。電噴印噴嘴結(jié)構(gòu)見(jiàn)圖2。其中高電位電壓范圍為1 200～2 500 V，噴嘴內(nèi)徑為0.05～0.2 mm，噴嘴距基板高度為0.4～1 mm，入口流速為0.05～0.2 m/s，以上數(shù)值是前期仿真探索后得到的能夠使電流體形成穩(wěn)定錐射流的參數(shù)范圍。

圖1 EHD打印噴射技術(shù)原理

圖2 電噴印噴嘴結(jié)構(gòu)

根據(jù)以上分析，文中使用COMSOL有限元多物理場(chǎng)耦合分析軟件建立電流體射流狀態(tài)數(shù)值仿真模型。施加不同電壓時(shí)得到的射流成型狀態(tài)見(jiàn)圖3。電流體射流成形過(guò)程屬于多物理場(chǎng)耦合問(wèn)題。

圖3 不同電壓下的射流成型狀態(tài)

2 機(jī)器學(xué)習(xí)算法

文中利用線性回歸、支持向量回歸和神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)算法建立4種參數(shù)與射流直徑之間的關(guān)系。給定由4個(gè)屬性描述的示例，其中是在第個(gè)屬性上的取值，因變量是射流直徑，記為。下面將具體介紹所使用的機(jī)器學(xué)習(xí)算法[10]。

2.1 線性回歸算法

線性模型形式簡(jiǎn)單，容易建模，支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)等非線性模型基本上都是通過(guò)在線性模型上引入層級(jí)結(jié)構(gòu)或高維映射而得到的，線性模型的表達(dá)式見(jiàn)式（1）。

(1)

(2)

2.2 支持向量回歸算法

支持向量用于回歸任務(wù)得到支持向量回歸算法（Support Vector Regression，SVR），支持向量回歸算法是給定訓(xùn)練樣本，使得與盡可能接近，引入松弛變量后的SVR算法為：

(3)

將樣本從原始空間映射到一個(gè)更高維的特征空間，即引入核函數(shù)后，將線性回歸拓展到非線性回歸。得到核化后的SVR模型為：

(4)

在不知道特征映射形式的情況下，支持向量機(jī)模型預(yù)測(cè)的一個(gè)關(guān)鍵因素是核函數(shù)的選用。支持向量機(jī)常用的核函數(shù)有：多項(xiàng)式核、高斯核（RBF核）和Sigmoid核等。

2.3 神經(jīng)網(wǎng)絡(luò)算法

神經(jīng)網(wǎng)絡(luò)是廣泛的并行互連網(wǎng)絡(luò)，由具有適應(yīng)性的神經(jīng)元組成[11]。神經(jīng)網(wǎng)絡(luò)算法包括多層感知機(jī)（Multilayer Perceptron，MLP）、卷積神經(jīng)網(wǎng)絡(luò)、BP算法等。

多層感知器是一個(gè)全連接神經(jīng)網(wǎng)絡(luò)，由輸入層、隱藏層（1個(gè)或多個(gè)）和輸出層組成。隱層的數(shù)量通常由具體問(wèn)題來(lái)確定[12]，MLP使用激活函數(shù)來(lái)生成神經(jīng)元的輸出。常用的激活函數(shù)有Sigmoid函數(shù)、Tanh函數(shù)和ReLU函數(shù)。3種函數(shù)的表達(dá)式見(jiàn)（5）—（7）。

(5)

(6)

(7)

3 電噴印預(yù)測(cè)模型和性能評(píng)估

文中應(yīng)用python語(yǔ)言的第三方模塊scikit– learn[13]庫(kù)來(lái)編寫(xiě)和運(yùn)行算法。scikit–learn以numpy、scipy、matplotlib等數(shù)據(jù)包為基礎(chǔ)，能實(shí)現(xiàn)機(jī)器學(xué)習(xí)中的數(shù)據(jù)預(yù)處理、模型選擇、分類、回歸、聚類等功能。使用機(jī)器學(xué)習(xí)建立預(yù)測(cè)模型的流程見(jiàn)圖4。

圖4 機(jī)器學(xué)習(xí)方法建立預(yù)測(cè)模型的基本流程

3.1 建立數(shù)據(jù)集

進(jìn)行機(jī)器學(xué)習(xí)要確定輸入變量和輸出變量，并建立包含一定數(shù)量數(shù)據(jù)的數(shù)據(jù)集。電流體噴射打印射流直徑的統(tǒng)計(jì)結(jié)果圖5。

圖5 射流直徑數(shù)據(jù)集的分布

3.2 數(shù)據(jù)預(yù)處理

3.2.1 劃分?jǐn)?shù)據(jù)集

通常把數(shù)據(jù)按8∶2的比例劃分為訓(xùn)練集和測(cè)試集。訓(xùn)練集用于訓(xùn)練模型，測(cè)試集用來(lái)評(píng)估模型的性能[14]。

由于樣本數(shù)不夠多，所以采用折交叉驗(yàn)證的方法[15]，其具體過(guò)程：將全體訓(xùn)練數(shù)據(jù)等分為份，每次取1份數(shù)據(jù)用于模型評(píng)估，余下（?1）份數(shù)據(jù)用來(lái)訓(xùn)練模型，這個(gè)過(guò)程重復(fù)次。一般來(lái)說(shuō)，值越大，模型的預(yù)測(cè)的精度就越高，但同時(shí)計(jì)算量也會(huì)增加。出于預(yù)測(cè)精度和效率的考慮，這里將的值確定為5。

3.2.2 特征縮放

不同特征數(shù)據(jù)之間的量級(jí)不同，例如：電極電壓量級(jí)為103，入口流量量級(jí)為10?2。如果數(shù)據(jù)不按比例縮放，轉(zhuǎn)化成無(wú)量綱化的數(shù)據(jù)，電極兩端電壓這個(gè)特征就會(huì)對(duì)模型結(jié)果產(chǎn)生決定性的影響，影響模型的精度。因此，采用特征縮放方法對(duì)原始數(shù)據(jù)進(jìn)行無(wú)量綱化處理，以保證計(jì)算精度和預(yù)測(cè)的準(zhǔn)確性。

文中所用的特征縮放方法為“線性函數(shù)歸一化”，表達(dá)式見(jiàn)式（8）。

(8)

式中：norm為歸一化后的數(shù)值；為原始數(shù)據(jù)；、分別為范圍內(nèi)的最大值和最小值。

3.2.3 模型超參數(shù)調(diào)優(yōu)

3.3 模型預(yù)測(cè)

3.3.1 線性回歸

線性回歸算法使用L1正則化的LASSO線性回歸來(lái)建立預(yù)測(cè)模型。正則化的作用是避免模型產(chǎn)生過(guò)擬合，這里將正則參數(shù)的搜索范圍設(shè)置為0.01～100，交叉驗(yàn)證得到最佳正則參數(shù)為0.01。線性回歸模型預(yù)測(cè)值與實(shí)際值的比較結(jié)果見(jiàn)圖6。

圖6 線性回歸模型預(yù)測(cè)值與實(shí)際值的比較

由圖6可知，線性回歸算法預(yù)測(cè)準(zhǔn)確率不高，特別是在打印尺寸變大的情況下。造成這種情況的原因是假設(shè)該問(wèn)題是線性關(guān)系，但是該假設(shè)不足以預(yù)測(cè)打印精度，因此后面用到非線性模型來(lái)預(yù)測(cè)。

3.3.2 支持向量回歸

高斯核有較好的學(xué)習(xí)能力，文中采用高斯核作為支持向量回歸模型的核函數(shù)，見(jiàn)式（9）。

(9)

支持向量回歸輸出變量在測(cè)試集上預(yù)測(cè)值與真值的對(duì)比見(jiàn)圖7。可以看出，文中算法在訓(xùn)練集和預(yù)測(cè)集上的預(yù)測(cè)效果都很好，這是因?yàn)橥ㄟ^(guò)核方法將線性模型轉(zhuǎn)化為核化的非線性模型后，非線性核有時(shí)能顯著提高模型的性能。

圖7 SVR模型預(yù)測(cè)值與實(shí)際值的比較

3.3.3 神經(jīng)網(wǎng)絡(luò)

多層感知機(jī)需提前定義隱層的層數(shù)、單個(gè)隱層神經(jīng)元個(gè)數(shù)和激活函數(shù)的形式等參數(shù)，學(xué)習(xí)器中需要設(shè)定學(xué)習(xí)率、優(yōu)化算法、隨機(jī)種子、權(quán)重和閾值等參數(shù)[16]。通過(guò)超參數(shù)調(diào)優(yōu)獲得最佳的一組超參數(shù)：優(yōu)化算法選擇擬牛頓法，正則化為L(zhǎng)2正則，正則系數(shù)為1×10?5，隱層層數(shù)為2，各層的神經(jīng)元數(shù)量為5和2。tanh函數(shù)在隱藏層的表現(xiàn)要好于sigmoid函數(shù)，因此激活函數(shù)選擇tanh函數(shù)。

該神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)結(jié)果見(jiàn)圖8，可以看出數(shù)據(jù)點(diǎn)的誤差較小，模型的可信度較好，訓(xùn)練得到的模型兼顧訓(xùn)練集和預(yù)測(cè)集上的性能，基本達(dá)到需要的精度。

圖8 多層感知機(jī)模型預(yù)測(cè)值與實(shí)際值的比較

3.4 模型性能的評(píng)估

對(duì)學(xué)習(xí)器的泛化性能進(jìn)行評(píng)估，這里選擇決定系數(shù)2、開(kāi)方均方誤差RMSE、平均絕對(duì)誤差MAE等3個(gè)回歸模型性能評(píng)價(jià)指標(biāo)對(duì)預(yù)測(cè)性能進(jìn)行評(píng)價(jià)，計(jì)算式見(jiàn)式（10）—（12）。

(10)

(11)

(12)

綜上，所有的評(píng)價(jià)指標(biāo)都表明支持向量回歸、神經(jīng)網(wǎng)絡(luò)算法都能達(dá)到很高的預(yù)測(cè)精度，而線性回歸算法預(yù)測(cè)可信度較低。

表1 3種機(jī)器學(xué)習(xí)算法模型在不同的數(shù)據(jù)集上的性能比較

Tab.1 Performance comparison of three machine learning algorithm models on different datasets

4 結(jié)語(yǔ)

文中基于機(jī)器學(xué)習(xí)理論，應(yīng)用線性回歸、支持向量回歸和神經(jīng)網(wǎng)絡(luò)3種機(jī)器學(xué)習(xí)算法構(gòu)建了3種機(jī)器學(xué)習(xí)模型，并利用所構(gòu)建的算法模型實(shí)現(xiàn)電噴印精度的預(yù)測(cè)。分析了4種參數(shù)與射流直徑的關(guān)系。結(jié)果表明，利用機(jī)器學(xué)習(xí)建立預(yù)測(cè)模型進(jìn)行能夠高效地預(yù)測(cè)射流直徑，相比傳統(tǒng)基于CFD模擬計(jì)算的方法，機(jī)器學(xué)習(xí)的預(yù)測(cè)效率提高了十幾倍，而且預(yù)測(cè)精度具有較高的精度和可信度。

1）通過(guò)支持向量機(jī)可以準(zhǔn)確預(yù)測(cè)電噴印精度，利用交叉驗(yàn)證的方法能夠有效提高預(yù)測(cè)的準(zhǔn)確性；激活函數(shù)為tanh的神經(jīng)網(wǎng)絡(luò)，可以準(zhǔn)確預(yù)測(cè)電流體噴射打印精度，而線性回歸算法只能預(yù)測(cè)線性模型，擬合效果差。

2）將電流體噴射打印技術(shù)研究從傳統(tǒng)的解析計(jì)算和數(shù)值模擬的方法轉(zhuǎn)為利用數(shù)據(jù)驅(qū)動(dòng)的建模方法，可提高電流體噴射打印設(shè)計(jì)效率，實(shí)現(xiàn)柔性電子、生物醫(yī)藥、光學(xué)器件等的精確打印。

3）機(jī)器學(xué)習(xí)預(yù)測(cè)模型的建立可為電流體噴射打印設(shè)計(jì)和優(yōu)化提供數(shù)據(jù)支持和指導(dǎo)作用。后續(xù)可以將機(jī)器學(xué)習(xí)建立的電流體射流精度模型與遺傳算法、灰狼優(yōu)化算法等智能算法相結(jié)合，從而找到多個(gè)約束條件下的噴射打印最優(yōu)解。

[1] JANG J, HYUN B G, JI S, et al. Rapid Production of Large-Area, Transparent and Stretchable Electrodes Using Metal Nanofibers as Wirelessly Operated Wearable Heaters[J]. NPG Asia Materials, 2017, 9(9): 1-8.

[2] KIM S Y, KIM K, HWANG Y H, et al. High-Resolution Electrohydrodynamic Inkjet Printing of Stretchable Metal Oxide Semiconductor Transistors with High Performance[J]. Nanoscale, 2016, 8(39): 17113-17121.

[3] IM H G, AN B W, JIN J, et al. A High-Performance, Flexible and Robust Metal Nanotrough-Embedded Transparent Conducting Film for Wearable Touch Screen Panels[J]. Nanoscale, 2016, 8(7): 3916-3922.

[4] JAYASINGHE S N, EDIRISINGHE M J, WILDE T. A Novel Ceramic Printing Technique Based on Electrostatic Atomization of a Suspension[J]. Materials Research Innovations, 2002, 6(3): 92-95.

[5] 高翔宇, 楊偉東, 王媛媛, 等. 微滴噴射工藝參數(shù)與液滴形態(tài)關(guān)系的數(shù)值模擬[J]. 機(jī)械科學(xué)與技術(shù), 2021, 40(3): 475-480.

GAO Xiang-yu, YANG Wei-dong, WANG Yuan-yuan, et al. Numerically Simulating Relationship of Process Parameters between Droplet Ejection and Droplet Morphology[J]. Mechanical Science and Technology for Aerospace Engineering, 2021, 40(3): 475-480.

[6] JEONG S, LEE S H, JO Y, et al. Air-Stable, Surface-Oxide Free Cu Nanoparticles for Highly Conductive Cu Ink and Their Application to Printed Graphene Transistors[J]. Journal of Materials Chemistry C, 2013, 1(15): 2704-2710.

[7] JANG-UNG P, MATT H, JUN K S, et al. High-Resolution Electrohydrodynamic Jet Printing[J]. Nature Materials, 2007, 6(10): 782-789.

[8] GE Y, LI X, LANG L, et al. Prediction of CNC Bending Quality of Tubes Based on Machine Learning[J]. Journal of Beijing University of Aeronautics and Astronautics, 2016, 42(8): 1691-1697.

[9] 錢江紅, 杜致遠(yuǎn), 杜召亮, 等. 柔性襯底的電流體噴射按需打印研究[J]. 機(jī)電工程技術(shù), 2020, 49(9): 40-41.

QIAN Jiang-hong, DU Zhi-yuan, DU Zhao-liang, et al. Research on Electrohydrodynamic Drop-on-Demand Printing of Flexible Substrate[J]. Mechanical & Electrical Engineering Technology, 2020, 49(9): 40-41.

[10] 張冬梅, 閆蓓. 對(duì)話周志華教授: 關(guān)于人工智能和機(jī)器學(xué)習(xí)[J]. 科學(xué)通報(bào), 2017, 62(33): 3800-3801.

ZHANG Dong-mei, YAN Bei. Professor Zhou Zhihua: About Artificial Intelligence and Machine Learning[J]. Chinese Science Bulletin, 2017, 62(33): 3800-3801.

[11] TEUVO K. An Introduction to Neural Computing[J]. Neural Networks, 1988, 1(1): 3-16.

[12] KIM H, SUI C, CAI K et al., Fast and Precise High-Speed Channel Modeling and Optimization Technique Based on Machine Learning[J]. Journal of Robotics & Machine Learning, 2019, 60(6): 2049-2052.

[13] ARLOT S, CELISSE A. A Survey of Cross-Validation Procedures for Model Selection[J]. Statistics Surveys, 2010, 4: 40-79.

[14] WAN Xing. Influence of Feature Scaling on Convergence of Gradient Iterative Algorithm[J]. Journal of Physics: Conference Series, 2019, 1213(3): 1-4.

[15] REN Y. Optimizing Predictive Maintenance with Machine Learning for Reliability Improvement[J]. ASCE- ASME Journal of Risk and Uncertainty in Engineering Systems, 2021, 7(3): 2-5.

[16] 亓欣波, 李長(zhǎng)鵬, 李陽(yáng), 等. 基于機(jī)器學(xué)習(xí)的電子束選區(qū)熔化成形件密度預(yù)測(cè)[J]. 機(jī)械工程學(xué)報(bào), 2019, 55(15): 48-55.

QI Xin-bo, LI Chang-peng, LI Yang, et al. Machine Learning Algorithms on Density Prediction of Electron Beam Selective Melted Parts[J]. Journal of Mechanical Engineering, 2019, 55(15): 48-55.

Machine Learning Based E-jet Printing Accuracy Prediction Method

YANG Jing-wen, CHEN Xiao-yong, ZHANG Jun-hua

(College of Mechanical & Electrical Engineering, Gulin University of Electronic Technology,Guangxi Guilin 541004, China)

The work aims to save time in predicting the accuracy of E-jet printing, solve the problems in selection of electrofluidic process parameters, and improve the design quality and efficiency of electrofluidic printing. A combination of finite element models and machine learning was proposed to predict the accuracy of E-jet printing. Based on machine learning algorithms such as linear regression, support vector regression and neural networks, a model on relationship between four parameters and jet diameter was established. The algorithm results showed that the determination coefficient2of the support vector regression and neural network prediction models could reach above 0.9, indicating that the models were highly credible; RMSE and MAE, which were indicators of model error, were both smaller than those of the linear regression prediction models. Machine learning algorithms enable effective prediction of E-jet printing accuracy, increasing prediction efficiency by more than a factor of ten and saving time on accuracy prediction.

machine learning; electrofluidic micro-nano printing; jet accuracy; prediction model

TS853+.5

A

1001-3563(2022)13-0203-06

10.19554/j.cnki.1001-3563.2022.13.026

2021?08?20

廣西自然科學(xué)基金（22GXNSFAA035616）；廣西制造系統(tǒng)和先進(jìn)制造技術(shù)重點(diǎn)實(shí)驗(yàn)室基金（2006540007Z）

楊靜文（1997—），女，桂林電子科技大學(xué)碩士生，主攻基于電流體動(dòng)力學(xué)的柔性電子3D打印技術(shù)。

陳小勇（1984—），男，碩士，高級(jí)實(shí)驗(yàn)師，主要研究方向?yàn)榛陔娏黧w動(dòng)力學(xué)的柔性電子3D打印、微電子互連技術(shù)。

責(zé)任編輯：曾鈺嬋