基于神經網絡的復合材料光學顯微圖像孔隙的識別與統計研究

陳 健，肖 鵬

（中國商飛上海飛機制造有限公司，上海 201324）

復合材料孔隙是一種分布于復合材料層壓結構內的氣體孔洞型缺陷［1-2］，直徑一般在1 ～1 000 μm 范圍內［3］，是復合材料制件中最常見的一種內部缺陷。大量文獻和試驗數據顯示，孔隙對復合材料制件的層間剪切性能影響較為突出［4-5］。因此，孔隙含量分析對于復合材料制件內部質量評定、質量提升以及產品工藝的持續改進起著非常積極和重要的作用。

現階段，主要的復合材料孔隙含量檢測分析方法分為破壞性檢測法和無損檢測法。破壞性檢測法主要包括密度測量法、吸水法、光學顯微圖像法和酸溶解法。無損檢測法包括超聲檢測法和射線檢測法等［6-7］。

常見的復合材料光學顯微圖像分析方法有顯微鏡標尺測定法、放大網格計數法和圖像分析儀法。圖像分析儀法是根據光學顯微圖像孔隙區域與良好區域灰度不同的原理工作的一種自動化統計方法，受人為因素影響較小，但容易受到試樣表面質量的影響，統計誤差較大。顯微鏡標尺測定法和放大網格計數法主要通過人工判斷孔隙相對于輔助網格的大小，進而間接獲得孔隙含量結果，其統計數據量龐大，且不同的統計人員會引起統計結果的偏差，效率極低。此外，在各大高校和科研單位中也會使用ImageJ 等圖像處理軟件實現顯微圖像孔隙含量分析，但其適應力較差，對金相樣品制樣要求較高，適用性難以保證［7-8］。由于實際金相樣品通常會存在劃痕、附著物等特殊情況，而人工孔隙統計過程有著非常高的靈活性，會主動識別與規避以上特殊情況，因此顯微鏡標尺測定法和放大網格計數法為目前主流的孔隙含量分析手段。

傳統復合材料孔隙含量人工分析過程存在統計試樣多、統計周期長、人工統計存在差異等問題，目前國內暫時沒有準確高效的孔隙含量分析手段。近年來，神經網絡算法以其更接近人腦思考的特性廣泛應用于模式識別、圖像分割、智能控制等領域，具有大規模并行處理、分布式存儲和處理、自適應、自組織、自學習能力等特點［9-10］。其中，由卷積神經網絡（Convolutional Neural Network，CNN）模型發展而來的U-Net神經網絡算法已廣泛應用于醫療影像領域，如腫瘤圖像識別［11］、肺部圖像識別［12］、視網膜病變識別［13］等諸多方面，效果良好。U-Net 網絡結構如圖1 所示。鑒于醫療影像領域相較于視頻監控領域有著語義較為簡單、分割精度高、缺少公開數據集等特點，其與復合材料光學顯微圖像孔隙識別需求較為相近。因此，基于光學顯微圖像的特點和孔隙缺陷的特征，結合圖像識別技術與U-Net神經網絡算法，建立基于神經網絡的復合材料顯微圖像孔隙識別與統計系統，該系統已應用于筆者所在單位的復合材料相關科技研發工作中。

圖1 U-Net神經網絡示意圖

1 試驗方法

1.1 試樣制造與數據采集

采用熱壓罐成型工藝制備2 批次試板。第一批次為42 層準各項同性鋪層的某型T800 級單向帶材料層合板，試板厚度為7.9 ±0.1 mm；第二批次為24 層準各項同性鋪層的某型T300 級織物材料層合板，試板厚度為5.2 ±0.1 mm。在制造過程中，對于樹脂和碳纖維所組成的同一成分體系，通過控制壓力、溫度等工藝參數，獲得孔隙含量為0 ～4.75%范圍內的50 組試板。將試板根據GB／T 3365 的規定切割成20 mm×10 mm的小塊，并對其垂直纖維方向的斷面進行鑲嵌、打磨和拋光［6］。

表面處理完成后，使用奧林巴斯BX51M光學顯微鏡對試樣進行觀察、拍照和采樣。采用反射模式下放大100 倍的方法對試樣進行觀察，以保證對存在的孔隙進行清晰分辨。

1.2 孔隙含量統計

1.2.1 人工孔隙含量統計

考慮到實際光學顯微圖像中隨機出現的復雜情況，且孔隙含量的人工統計方法有著非常高的適應性與靈活性，因此，以GB／T 3365 中放大網格計數法對試樣進行孔隙含量統計的結果作為參照，進行效果對比。

由于在100 倍放大倍率的情況下進行人工統計時，統計人員只能觀察到一定尺寸等級的孔隙分布情況，如圖2 所示，通常輔助計數的網格邊長為25 μm。因此，人工統計的方法實際上為：以25 μm 為網格尺寸，網格浮動，記錄落在孔隙上的格子數目，以1／4 格為最小計數單位；大于1／4 格且小于1／2 格的記作1／2 格面積；大于1／2 且小于3／4 格的記作3／4 格面積；大于3／4 且小于1 格的記作1 格面積。統計完畢后，計算樣品孔隙區域的總網格面積與樣品總面積的比值，記為該樣品的實際孔隙含量。

圖2 傳統人工統計過程

1.2.2 基于神經網絡的孔隙含量統計

（1）孔隙圖像人工標注。

對采集到的光學顯微圖像進行圖像分割標注，提取出孔隙等區域。使用Labelme 標注軟件對采集的1 136 幅圖像進行人工標注，在標注時使用多邊形工具對孔隙邊緣進行精確分割，對復合材料纖維和樹脂區域未作標記，效果如圖3 所示。隨后將標注的文件批量轉化為masks標簽文件，同時批量轉換為二值圖像以備后續使用。

圖3 使用Labelme標注軟件精確標注孔隙邊緣

（2）數據增強。

神經網絡的構建離不開大量的訓練樣本數據，樣本數據的復雜性與多樣性直接關系到神經網絡系統的魯棒性。由于劃痕、附著物等特殊情況出現的頻率比較低，引起該類訓練樣本數據比較少。為更好地識別復合材料樣本顯微圖像中出現的劃痕、附著物等特殊情況，在已有的訓練樣本中通過增加噪聲、濾波處理、隨機旋轉和色彩抖動等方式模擬實際顯微圖像采樣過程中遇到的情形，從而進行圖像增強處理，以實現樣本數據的增強。

對訓練樣本數據進行增加噪聲、濾波、色彩抖動和隨機旋轉處理，如圖4 所示。雖然以上數據增強處理所引起的人的視覺觀感差別不大，依然屬于同一情況，但在算法的不斷學習中，其數據矩陣特征產生了較大的變化，達到了數據增強的目的，增加了訓練樣本數據量。

圖4 訓練樣本數據增強示例

（3）模型建立。

基于GB／T 3365 放大網格計數法的孔隙含量人工統計過程，結合圖像識別技術與U-Net 神經網絡算法，設計并開發了一套基于U-Net 神經網絡算法的復合材料光學顯微圖像孔隙識別與統計系統。該系統總體方案如圖5 所示。

圖5 復合材料光學顯微圖像孔隙識別方法總體方案

U-Net神經網絡是經過多個下采樣層和上采樣層實現圖像特征的像素級的分割過程。吳量、王磐、馬玉瑩、許東等［11-14］使用了U-Net神經網絡開展醫療影像領域圖像分割工作，既準確地實現了圖像分割，同時又保留了大量的圖像特征，結果理想。因此，基于復合材料顯微圖像中的纖維樹脂狀態和孔隙形態分布特征，對U-Net結構進行修改，以實現復合材料光學顯微圖像孔隙識別。

在CNN算法中，要想提取更深層次的特征，獲得更佳的圖像分割效果，就要加深神經網絡的層數，但單純的加深層數會引起梯度消失和退化等問題。因而殘差網絡（Residual Network，ResNet）應運而生。殘差網絡結構如圖6 所示，對于任意輸入的變量x，經由殘差網絡跳躍連接輸入變量，其實際輸出的結果為f（x）＋x，而實際需要輸出的結果為h（x），則h（x）＝f（x）＋x，即網絡學習的內容為殘差數據。

圖6 ResNet模型結構圖

通過觀察發現，U-Net 神經網絡算法的下采樣過程實際上就是VGG16 網絡特征部分。所以，將U-Net神經網絡的下采樣部分用ResNet18 殘差網絡部分來替代，從而完成U-Net 的修改。修改后的U-Net 神經網絡模型如圖7 所示，其中每層的下采樣過程使用ResNet18。在下采樣過程中，首先對輸入圖像進行7 ×7卷積和最大池化操作，將數據通道轉化為64，以識取復合材料顯微圖像孔隙的淺層信息特征。后續的每一個卷積塊均將圖像尺寸壓縮至卷積前的一半，進一步提取孔隙的特征，直至圖像尺寸縮減至輸入圖像的1／16，通道數為1 024。在上采樣過程中，每次上采樣操作后經過一個3 ×3 的卷積層，不斷提取孔隙深層特征，再與同高度的上采樣輸出進行通道合并，調整總體特征，對孔隙特征進行精確識別，最終輸出孔隙和背景分割后的圖像。改進的U-Net 結構如圖7 所示，橙色箭頭為3 ×3 卷積操作（conv 3 ×3）和歐拉激活函數（ReLU）轉換；綠色箭頭為數據復制（copy）操作；紫色箭頭為2 ×2 的上卷積（up-conv 2 ×2）。

圖7 修改后的U-Net模型結構圖

（4）孔隙率計算。

通常，顯微圖像采集過程中的放大倍率為100 倍，實際人工統計過程中只能觀察到約10 μm 級別的孔隙。而修改后的U-Net神經網絡算法提取到的孔隙特征區域已達到像素級別，遠超人工辨別的能力。因此結合1.2.1 節所述的統計方法和實際操作經驗，以1／8 格為起始計算單位。

基于修改后的U-Net 神經網絡算法孔隙分割結果，依據傳統人工統計方法的統計原則，實現人工統計過程的程序模擬。基于神經網絡的孔隙含量統計效果如圖8 所示。

圖8 基于神經網絡的孔隙含量統計效果

（5）模型更新。

為提升復合材料孔隙識別方法的適應性，同時提高孔隙率計算結果的準確度，開發了孔隙識別算法模型的更新模塊。當孔隙區域識別有誤時，可進入孔隙區域編輯模式，對識別錯誤的區域重新進行光學顯微圖像分割標注，提取出真實孔隙區域。當識別錯誤數量達到預設閾值時，程序會自動觸發模型更新，通過本文U-Net神經網絡算法更新模型，以達到提升適應性與準確度的目的。模型更新過程如圖9 所示。

圖9 模型更新過程

2 試驗結果

2.1 孔隙識別結果

采用建立的復合材料光學顯微圖像孔隙識別與統計系統對顯微圖像進行孔隙含量測試，給出不同狀態的特殊試樣檢測結果。圖10、圖11 為復合材料光學顯微圖像表面附著物的檢測結果。圖10 中附著物區域與孔隙區域存在較小的交集，但基于神經網絡的孔隙識別統計系統并未將附著物誤識別為孔隙；圖11 中附著物橫穿多處大面積孔隙區域，該系統依舊正確識別孔隙與附著物區域。圖12、圖13 為復合材料顯微圖像中表面自然劃痕的檢測結果。從識別結果中可觀察到，劃痕與孔隙的深度信息與灰度信息基本一致，但系統成功利用孔隙區域的形態特征差異正確識別。因此，從以上分析中可知：通過神經網絡算法模擬人工統計原則進行自動化統計是可以實現的，且泛化能力較強。

圖10 圖像表面附著物識別結果一

圖11 圖像表面附著物識別結果二

圖12 圖像表面劃痕識別結果一

圖13 圖像表面劃痕識別結果二

2.2 孔隙率統計結果

為測試該系統的泛化能力，隨機選取50 份不同材料牌號、不同增強體編織方式、不同孔隙含量的復合材料光學顯微圖像試樣進行測試。表1 和圖14 為該批樣品的計算結果。從該組中數據可以觀察到：系統統計結果的相對誤差范圍控制在±10%以內，系統統計時間在10 s以內，統計過程高效準確。

表1 程序統計結果與人工統計結果

圖14 隨機統計結果

3 結束語

基于時下熱門的圖像識別技術和U-Net神經網絡算法，首次將其應用到復合材料光學顯微圖像的孔隙識別工作中，建立了適用于復合材料光學顯微圖像孔隙識別的統計系統。通過對大量試樣的標注、學習和U-Net神經網絡的修改，證明了所提出的方法在復合材料孔隙含量分析應用中的可行性與可操作性。基于圖像識別技術和U-Net神經網絡算法的復合材料光學顯微圖像孔隙統計技術存在以下優點。

①利用神經網絡算法提取到的像素特征值經過函數擬合得到孔隙區域的邊緣，通過模擬人工依據GB／T 3365 中的網格分析方法，統計過程更接近人的思考方式，統計結果更準確。

②通過神經網絡算法，實現了對復合材料光學顯微圖像中諸如劃痕、附著物等特殊情況的區分，提高了孔隙檢測的準確度。

③當系統出現誤識別或識別不準確的情況時，可以使用系統的模型更新功能進行有監督的機器學習，更正系統的誤判，提高識別準確度。