基于輕量化網絡和知識蒸餾的紗線狀態檢測

任國棟, 屠佳佳, 李 楊, 邱子安, 史偉民

(浙江理工大學 浙江省現代紡織裝備技術重點實驗室, 浙江 杭州 310018)

隨著紡織技術的發展,針織緯編生產線中的紗架上紗筒替換、紗筒間紗線打結、落布等工序都可以通過自動化程序完成[1]。其中紗筒間紗線打結工序利用導紗管吸取紗筒上頭尾端紗線,并將吸取的紗線送至打結機中完成打結[2]。此過程中打結成功的前提是導紗管中吸取到所需的紗線,而當導紗管內無紗線或單根紗線時,紗線打結工序失效,影響紡織品生產效率[3-4],因此需要對導紗管中的紗線數量以及種類進行準確識別,以保證后續工序順利進行。

目前,紗線狀態識別平臺有接觸式和與非接觸式[5-6]。接觸式主要以檢測紗線來判斷紗線狀態,該方法在檢測過程中紗線與檢測器件接觸,造成紗線產生磨損甚至斷裂,影響產品質量。相比之下非接觸式檢測平臺顯得尤為重要。非接觸式的光電檢測在面對極板間雜質干擾時會出現誤判的現象。也有學者采用圖像處理的方式進行紗線識別方面的研究,李東潔等[7]利用圖像閾值分割的算法進行紗線疵點檢測。張緩緩等[8]提出一種基于亞像素邊緣檢測的紗線條干均勻度檢測方法,來精確評價紗線的條干均勻性。馬珂等[9]采用貝葉斯閾值進行像素分割,再對毛羽進行細化并統計紗線毛羽各項指標。

以上研究主要針對單根紗線特征進行分析,面對目前市場上紗線種類繁多且導紗管內紗線易出現重疊、交叉以及紗線會在豎直方向產生振動等現象,傳統圖像處理方法難以有效地進行管道中紗線數量的檢測。本文采用深度學習中圖像分類的方法識別導紗管內不同種類紗線的數量。同時,為加快訓練速度與提高小型網絡的準確率,采用遷移學習與知識蒸餾的組合方式進行訓練,最終對小型網絡進行移動端部署應用,且為實現上述方法設計了一個紗線檢測裝置。實驗結果表明,本文檢測方法可用于實際生產,且可類比應用于圓緯機上的斷紗檢測等。

1 檢測流程與檢測平臺搭建

1.1 紗線打結與檢測原理

紗線檢測裝置固定在打結機上,用于打結機在工作過程中的紗線實時檢測。圖1中紗架上的紗筒尾端會裸露出不規則的線頭。打結機首先吸取即將用完的紗筒尾線,再去吸取滿筒頭線,最后執行打結動作。

紗線檢測裝置由上位機控制。首先,打結機器移動到頭線處,上位機發送信號吸取頭線后進行導紗管內紗線檢測,當檢測結果顯示為單根紗時,立即返回信號表示單根紗吸入完畢。當打結機器移動到尾線處時,再次發送信號進行二次檢測,此時判斷是否為雙根紗。若達到指定的要求,則打結機會執行打結動作。在檢測過程中一旦檢測不到指定紗線數目,將在當前步驟重新吸取判斷。紗線檢測主要流程如圖2所示。

圖2 紗線檢測流程示意圖Fig. 2 Schematic diagram of yarn detection process

1.2 檢測平臺搭建

依據上述檢測流程以及采用的紗線檢測方法,設計了如圖3所示的紗線檢測裝置。整個裝置體積小,成本低,且易于安裝與拆卸,主要分為圖像檢測模塊、圖像處理模塊以及圖像輸出模塊。具體功能模塊圖見圖4。

圖3 紗線檢測裝置Fig. 3 Visualization of yarn sample set

圖4 紗線檢測板卡功能模塊圖Fig. 4 Function module diagram of yarn detection board

2 數據制作與預處理

2.1 數據集制作

本文所使用數據集是由自搭建平臺采集獲得,考慮到實際檢測需要,設置分類標簽為無紗、黑色普通單雙根、白色毛羽單雙根、白色竹節單雙根,共7個類別。紗線樣本形貌如圖5所示。

圖5 紗線樣本集可視化Fig. 5 Visualization of yarn sample set.(a)Common single; (b)Common double; (c) Hairiness single; (d)Hairiness double; (e)Bamboo single; (f) Bamboo double

此外,本文將采集到的3 500張圖片按照8∶2的比例分為訓練集2 800張和測試集700張,再從訓練集中劃出560張做驗證集。具體的劃分類別信息:7種類別紗線樣本的訓練集數量均為320張,驗證集數量均為80張,測試集數量均為100張,樣本圖片格式均為.JPG。

2.2 數據預處理

鑒于本文訓練集樣本較少,會導致網絡訓練過程中可能會出現過擬合現象。為此在輸入網絡訓練前加入圖像增強的預處理模塊。具體方法為隨機裁剪、水平與垂直翻轉、以及亮度與對比度變化,由于構建分類模型的輸入圖像分辨率尺寸為224像素×224像素,因此須在預處理模塊中將原始數據集的尺寸1 920像素×1 080像素進行指定縮放。經過數據增強后的紗線圖像變化如圖6所示,圖中數字表示圖像的像素大小。

圖6 數據增強變化Fig. 6 Data enhancement changes

3 模型構建與訓練部署

3.1 模型構建

就常見圖像分類網絡而言,其自身的模型參數以及正向推理所需要的硬件資源都是巨大的,這使得在大部分嵌入式端難以有效運行。鑒于本文使用的是國產芯片V831,其內存大小64 MB,這使得在搭建網絡時,設置網絡的寬度以及層數受到了限制。為此需搭建一個小型輕量化網絡。

從目前經典的輕量化分類網絡中,存在一種深度卷積結構,可以認為是分組卷積的一種特例。是將每個卷積核的維度降為1,然后其卷積的核個數與輸入通道數相等。將標準卷積核替換成深度卷積核可以大大的降低參數量,間接減少模型正向推理的運算量。深度卷積可以縮減網絡模型的參數量與運算量,但深度卷積通過將每個卷積核去各自卷積相對應的輸入通道,會導致輸入通道之間信息缺乏交流,間接影響模型的泛化性能。消除這種缺乏通道之間交流目前有2種方法,一種在深度卷積后加1×1的卷積核進行通道融合;另外一種在分組卷積前使用channel shuffle[10]模塊加強通道間的信息交流。通道融合模塊參數量與運算量相較于點卷積較小,但考慮后期在嵌入式終端平臺部署時,其加速庫一般不兼容通道融合模塊算子。為此本文采取點卷積形式,搭配深度卷積組合形成的深度可分離卷積[11]結構。

將標準卷積和深度可分離卷積在參數量(不考慮偏置量bias)與運算量(不考慮正則化、非線性激活等計算情況)上進行比較。標準卷積和深度可分離卷積的參數量與運算量比值見下:

式中:CI為輸入通道數;CO為輸出通道數;DK×DK為卷積核尺寸;DF×DF為輸出特征圖尺寸。

公式中的分子部分為深度卷積與點卷積參數量與運算量之和,分母為標準卷積的運算量與參數量。本文使用的卷積核的尺寸為3×3,深度可分離卷積比標準卷積的參數量與運算量縮小了1/9左右,將近縮小了1個量級。

搭建的輕量化學生網絡結構示意圖如圖7所示,具體每層的卷積網絡結構參數如表1所示。可看出此網絡是由每個基塊串級而成,其中基塊單元即是上述所提到的深度可分離卷積結構。

表1 學生網絡結構參數Tab. 1 Student network structure

圖7 學生網絡結構示意圖Fig. 7 Schematic diagram of student network structure

3.2 模型訓練與部署

將上述自搭建的小型網絡進行組合訓練與部署。其整體訓練與部署流程如圖8所示。其主要分為以下3個部分:1)遷移學習,加快教師網絡的訓練速度與收斂;2)知識蒸餾,用來拉高學生模型的準確率;3)模型部署,實際將在PC端訓練好模型權重文件進行一系列格式轉換部署到嵌入式芯片上。

圖8 整體訓練與部署流程圖Fig. 8 Overall training and deployment flow chart

4 實驗與結果

4.1 實驗環境

本文PC端的軟件環境為Windows11(64)位操作系統下,采用Python3.8作為編程語言,深度學習框架Pytorch1.8GPU版,搭配Cuda11.2和Cudnn8.0加速包進行訓練。硬件環境中CPU采用AMD Ryzen5 5 600 H,主頻3.30 GHz;GPU采用NvidiaGeForce RTX3050,4 GB顯存。針對教師網絡和學生網絡進行訓練,涉及到通用的參數如表2所示。關于模型超參數設置是根據驗證集的結果來手動進行調整。最后將驗證集的準確率與訓練集的損失進行對比得出批大小為32、學習率為0.000 1最合適。限于篇幅原因,本文略去2個超參數的訓練過程。

表2 實驗參數設置Tab. 2 Experimental parameter settings

本文移動端軟件環境為Sipeed科技提供的SDK工具包MaxiPy3以及在線量化平臺MaixHub,進行模型的量化部署與測試。硬件環境CPU采用全志V831,主頻1 000 MHz;內存為64 MB,且CPU內置0.2 TOPS算力的AI加速器NPU。

實際情況下在導紗管內的紗線由于受到風機吸力的作用,導紗管內的紗線會被拉直且越靠近管口越貼緊管壁的上半部分。其狀態為軸向速度為零,豎直方向有些許振動。為此本文的實驗背景就是模擬紗線在導紗管內的狀態來進行重復性實驗。

4.2 遷移學習訓練

由于本文數據集為小樣本數據集,同時為加快網絡的訓練時間以及網絡可以迅速收斂,采用遷移權重[12]的學習方法。將官方在ImageNet數據集上訓練好的預訓練模型權重遷移到本文數據集上需要訓練的教師網絡。由于官方數據集與紗線原數據集特征相差較大,本文采取加載全部預訓練權重對教師網絡ResNet34進行遷移學習。

訓練結果如圖9所示。圖9(a)顯示使用遷移學習后的教師網絡在第1輪結束時,驗證集上的準確率就達到了90%以上,且在第5輪以后曲線趨于穩定。觀察圖9(b)發現使用遷移后的教師網絡訓練損失初始值低、收斂有明顯更快,證明了遷移學習的有效性。

圖9 遷移學習下的驗證集準確率以及訓練損失Fig. 9 Accuracy rate (a) and training loss (b) of verification set under transfer learning

4.3 知識蒸餾訓練

遷移學習是只能在同一種網絡結構才能進行的權重遷移,這就要求2個網絡在結構上必須相同,不然無法覆蓋權重。知識蒸餾可在不同網絡結構之間進行遷移,但遷移的不是權重而是對于同一個訓練集輸出的目標值。本文設計的自搭建輕量級網絡無法進行遷移學習,但可以使用知識蒸餾將網絡結構不同的ResNet34教師網絡來提高自搭建網絡的準確率。

針對學生網絡訓練時,手動設置的超參數部分與訓練教師網絡保持相同。在知識蒸餾[13]訓練過程中,損失權重α以及知識蒸餾溫度T,需依據實驗結果進行手動設定。通常情況下蒸餾損失系數占比較大,且上述所提知識蒸餾溫度T的選擇與網絡模型大小密切相關,網絡參數量較小時,對于比較低的溫度最好。因此將蒸餾溫度T和損失權重α設置為自變量,在驗證集上的準確率設置為因變量進行對比實驗,實驗對象為自搭建的學生網絡與遷移學習后的教師網絡ResNet34。具體實驗結果如表3所示。

表3 參數T和α對Top-1驗證準確率的影響Tab. 3 Influence of parameters T and α on top-1 accuracy

觀察表3發現,損失權重α與蒸餾溫度T的設置對網絡的驗證準確率并沒有什么規律可言,但相較于蒸餾前的學生網絡驗證準確率為95.7%有所提升。觀察發現驗證準確率最高為99.57%,且表3中對應此準確率的參數較多。最終將蒸餾溫度T設置為3,損失權重α設置為0.2。本文采取該組參數對學生網絡進行蒸餾訓練,其訓練結果如圖10所示。

圖10 知識蒸餾下的驗證準確率與訓練損失Fig. 10 Accuracy rate (a) and training loss (b) of validation set under knowledge distillation

觀察圖10(a)發現蒸餾后的學生網絡在第75輪訓練后驗證集準確率緊逼教師網絡,且整體蒸餾后的網絡準確率高于學生網絡。從圖10(b)看出訓練損失曲線不斷收斂,在第10輪損失逼近教師網絡,且蒸餾后訓練損失較蒸餾前訓練損失收斂明顯提前。實驗結果表明知識蒸餾的確是有效可行的。

4.4 模型性能分析

模型空間復雜度可通過參數量反映。模型部署到邊緣計算平臺板卡上,除模型參數量外,模型推理速度同樣是衡量網絡模型一項重要指標。通常使用Time類來測量模型推理時間,但GPU運行會存在預熱起步,因此此種做法顯得不太客觀。本文采取預熱加同步的方式對300 張圖片進行測試并取平均時間,此方法測量模型推理時間較為客觀合理。將學生網絡、KD加學生網絡、教師網絡,以及典型輕量型卷積網絡MobliNetV3_Small以及ShuffleNetV2_x0.5進行推理性能對比,結果如表4所示。蒸餾前學生模型測試準確率為96.00%,采用教師網絡進行蒸餾后,學生模型測試準確率十分接近教師模型為99.28%。且從表4可看出自搭建的輕量化學生網絡比目前典型的輕量化模型,就參數量與計算量而言都要少,間接地提高了模型的正向推理時間。

表4 網絡模型推理性能對比Tab. 4 Comparison of network model inference performance

4.5 模型部署

上述最后的得到的自搭建學生網絡是在PC端訓練以及驗證,但是最終需要實際部署到嵌入式端進行實際應用可能會出現些許不確定性。

鑒于目前成本考慮,選取國產全志V831芯片來進行模型部署。具體流程為:利用pytroch框架下自帶的計算圖轉換工具,將上述組合訓練好pth格式模型權重文件轉換以onnx格式計算圖文件,接著使用騰訊開源ncnn工具將以onnx格式文件轉換成一個bin和一個pararms格式文件。以上2個文件皆是在arm處理器上運行所需要的。且要使用全志芯片內部自帶的KPU權重量化與卷積加速器,因此還需將上述2個文件轉換成awnn框架下的所使用的模型文件awnn_int8.bin文件以及awnn_int8.params文件。且使用這2個文件在嵌入式終端進行部署。

最終在嵌入式端實際檢測的結果如圖11所示。觀察紗線檢測結果可知,單根紗線的概率皆高于70%以上,而雙根紗線的概率皆高于80%以上。接著對紗線檢測進行重復性實驗,得出實際紗線檢測準確率為98.86%,如表5所示,滿足實際應用需要。

表5 嵌入式端檢測準確率Tab. 5 Embedded end detection accuracy

5 結 論

本文使用知識蒸餾利用教師網絡輸出軟目標知識提高學生網絡測試準確率。蒸餾訓練時,需先載入訓練好的教師模型權重,由于本文數據集為小樣本數據集,即采用遷移學習策略對教師網絡進行訓練。構建學生網絡時,采用疊加深度可分離卷積塊的形式實現網絡輕量化。最終實驗結果表明,蒸餾后的學生網絡具有準確率高、模型小、推理速度快等優點,將在PC端訓練完成的學生網絡進行嵌入式端部署并檢測,其測試結果表明可以滿足實際應用需要。具體實驗結論如下。

1)使用遷移學習后的教師網絡在第1輪后驗證集的準確率達到了92%以上,且損失曲線的收斂速度也明顯加快。

2)采用知識蒸餾訓練學生網絡時,損失權重α設置為0.2、蒸餾溫度T設置為3時效果最好,其在驗證集上的Top-1準確率可達99.57%。

3)將蒸餾前后的學生網絡、教師網絡、以及現階段典型的輕量化網絡進行模型推理對比實驗。將原本在測試集上準確率為96.00%的學生網絡進行蒸餾后準確率提高到了99.28%。

4)將訓練好自搭建網絡部署在嵌入式終端上進行實際測試,單根紗線的概率皆高于70%以上,而雙根紗線的概率皆高于80%以上;對紗線檢測進行重復性實驗,得出實際紗線檢測準確率為98.86%。

5)由于PC端測試是之前拍攝好的圖片形式,而嵌入式端測試是實際的視頻形式;在模型量化加速與部署過程中可能會造成權重參數精度的些許丟失造成PC端與嵌入式終端的測試準確率不同。