基于深度學(xué)習(xí)的TA15 鈦合金顯微組織檢測(cè)

張向良

（沈陽(yáng)飛機(jī)工業(yè)（集團(tuán)）有限公司，遼寧 沈陽(yáng) 110850）

在航空制造中，鈦合金常用于飛機(jī)的主要承力構(gòu)件，需要對(duì)其組織形態(tài)進(jìn)行檢測(cè)，及時(shí)發(fā)現(xiàn)缺陷，保證材料的力學(xué)性能。顯微組織檢測(cè)是金相檢測(cè)的一個(gè)重要項(xiàng)目，通過(guò)使用金相顯微鏡對(duì)樣品進(jìn)行觀察，確定材料的結(jié)構(gòu)、組織形態(tài)和元素分布。長(zhǎng)期以來(lái)，鈦合金的顯微組織檢測(cè)都是靠人工觀測(cè)顯微鏡下的金相圖像，然后與標(biāo)準(zhǔn)圖樣、尺寸要求對(duì)比進(jìn)行的，效率低，對(duì)人員經(jīng)驗(yàn)依賴嚴(yán)重。

試圖解決該問(wèn)題的方法中，傳統(tǒng)圖像識(shí)別算法需要計(jì)算輪廓矩作為識(shí)別特征，而金相圖片很難提取到輪廓；傳統(tǒng)機(jī)器學(xué)習(xí)在面對(duì)像素形式的圖像數(shù)據(jù)時(shí)，無(wú)法克服平移不變性問(wèn)題；近年來(lái)興起的深度學(xué)習(xí)可以通過(guò)卷積和池化學(xué)習(xí)到具有平移不變性的特征，為解決問(wèn)題帶來(lái)了希望，但在實(shí)際應(yīng)用中仍面臨著一些困難。本文將以TA15 鈦合金為突破口，討論使用深度學(xué)習(xí)技術(shù)進(jìn)行鈦合金顯微組織檢測(cè)的方法。

1 數(shù)據(jù)采集

將需要檢測(cè)的各顯微組織形態(tài)的鈦合金試樣磨制到鏡面程度，熱鑲嵌到酚醛樹脂模具中，并使用金相顯微鏡拍取多個(gè)位置的組織圖片。由于深度學(xué)習(xí)本質(zhì)上是對(duì)像素值進(jìn)行數(shù)學(xué)運(yùn)算，所以需要考慮清晰度與視野的問(wèn)題，即圖片的像素?cái)?shù)與其表達(dá)的物理距離之間的關(guān)系。理論上，只要多張?jiān)紙D片之間像素?cái)?shù)與物理距離的比一定，即可通過(guò)簡(jiǎn)單的裁剪獲得訓(xùn)練圖片，本文所用的顯微鏡在500x 的視野下20μm 對(duì)應(yīng)的像素?cái)?shù)為143 左右，該值因設(shè)備的拍攝像素密度而異。圖片應(yīng)紋理清晰、亮度均勻（如圖1 左），不應(yīng)有黑邊、標(biāo)尺等其它內(nèi)容（如圖1 右）。

圖1 合格TA15 顯微組織原始圖片（左）與不合格圖片（右）

拍攝完成后，依照航標(biāo)11-CL-059D 對(duì)圖片進(jìn)行人工鑒定，并按鑒定結(jié)果分類保存。注意原始圖片中的組織形態(tài)應(yīng)盡量典型，避免將紋理介于兩個(gè)類別之間的圖片用于訓(xùn)練。

2 數(shù)據(jù)準(zhǔn)備

原始圖片如果直接用于訓(xùn)練，會(huì)存在以下問(wèn)題：

（1）旋轉(zhuǎn)/翻轉(zhuǎn)不變性，與一般圖像識(shí)別（如手寫數(shù)字）不同，鈦合金顯微組織圖像具有旋轉(zhuǎn)和翻轉(zhuǎn)不變性，如將一張TA15 合金A1 組織的圖片旋轉(zhuǎn)180°或水平鏡像，得到的仍是A1 組織，原始圖片的數(shù)量一般不足以覆蓋這么多種情況。

（2）圖片尺寸太大，以本文采集的原始圖片尺寸1008×768 輸入的話，要經(jīng)過(guò)非常多的層才能收縮到一個(gè)尺寸合適的特征圖，而這么多信息又不都是必要的。

這些問(wèn)題可以由數(shù)據(jù)增強(qiáng)解決。需要注意的是，圖片直接繞中心旋轉(zhuǎn)會(huì)導(dǎo)致四角處沒(méi)有像素值，即使使用反射填充也會(huì)留下一條明顯的“分界線”（如圖2 左下角），當(dāng)旋轉(zhuǎn)接近45°的奇數(shù)倍時(shí)，這一現(xiàn)象將非常明顯。這對(duì)于一般圖像識(shí)別問(wèn)題不大，但鈦合金顯微組織本身就像一種紋理，圖像變換后紋理不一致是不可接受的。

圖2 圖片旋轉(zhuǎn)后產(chǎn)生的紋理不一致

為解決上述問(wèn)題，可以使用根據(jù)旋轉(zhuǎn)角與目標(biāo)尺寸回推裁切尺寸的方法。即對(duì)于隨機(jī)的旋轉(zhuǎn)角α∈[0，360）deg，求其對(duì)90 的余數(shù)α'，計(jì)算：

式中d 為目標(biāo)尺寸，本文取512，ε 由下式確定：

將原始圖片灰度化后，在隨機(jī)位置裁切出形狀為（D，D）的正方形圖片，繞中心旋轉(zhuǎn)α，再?gòu)闹行奈恢貌们谐鲂螤顬椋╠，d）的小正方形，對(duì)小正方形做隨機(jī)水平、垂直翻轉(zhuǎn)，然后在樣本（圖片）范圍內(nèi)對(duì)像素值進(jìn)行標(biāo)準(zhǔn)化，得到增強(qiáng)后的圖片。對(duì)每一張?jiān)紙D片重復(fù)上述步驟以生成數(shù)據(jù)集。本文通過(guò)數(shù)據(jù)增強(qiáng)生成訓(xùn)練圖片3018 張，驗(yàn)證、測(cè)試圖片各626 張，以A1 類別為例，如圖3。

圖3 數(shù)據(jù)增強(qiáng)所得的圖片

3 設(shè)計(jì)與訓(xùn)練模型

由于缺乏明確可靠的理論指導(dǎo)，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)一直是深度學(xué)習(xí)中的一大問(wèn)題。結(jié)合金相檢測(cè)專業(yè)知識(shí)，本文的思路是：TA15 合金的顯微組織評(píng)級(jí)（分類）需要關(guān)注初生α、次生α、β 組織的大小和數(shù)量，注意到初生α 面積較大，而次生α、β 區(qū)圖像較細(xì)，所以神經(jīng)網(wǎng)絡(luò)在輸入后分成兩條路徑處理。其中一條支路使用了4×4 最大池化層，并在隨后使用了帶孔卷積塊，加速特征圖收縮且減少了池化的使用；另一支路則使用了傳統(tǒng)的卷積、池化層堆疊結(jié)構(gòu)。整個(gè)網(wǎng)絡(luò)在適當(dāng)?shù)奈恢檬褂昧伺鷺?biāo)準(zhǔn)化，最后兩條支路的張量展平合并，輸入全連接層進(jìn)行分類。

經(jīng)過(guò)了大量的嘗試與迭代優(yōu)化后，本文得出了一種性能較好的網(wǎng)絡(luò)結(jié)構(gòu)，如圖4。

圖4 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

確定模型結(jié)構(gòu)后，使用categorical_crossentropy 損失函數(shù)、adam 優(yōu)化器，使用準(zhǔn)確率作為性能指標(biāo)，訓(xùn)練30個(gè)輪次。本文第28 輪時(shí)模型的驗(yàn)證準(zhǔn)確率達(dá)到了98.52%，測(cè)試發(fā)現(xiàn)模型存在輕度過(guò)擬合，但性能已經(jīng)滿足要求，于是使用這個(gè)模型。

4 構(gòu)建管線

檢測(cè)新的試樣時(shí)，首先讀取待測(cè)試樣的顯微組織圖片，與訓(xùn)練時(shí)一樣將其轉(zhuǎn)換為灰度圖片。由于網(wǎng)路的輸入比原圖小，需要對(duì)原圖進(jìn)行裁切，為避免裁切隨機(jī)性導(dǎo)致的結(jié)果波動(dòng)，可以在圖片內(nèi)隨機(jī)位置裁出10 個(gè)形狀為（d，d）的子圖，并在之后綜合考慮它們的結(jié)果。將數(shù)據(jù)進(jìn)行張量化與樣本范圍的標(biāo)準(zhǔn)化，輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)，對(duì)輸出張量沿0 軸求均值，得到的結(jié)果可以視為該試樣屬于各個(gè)類別的概率。

考慮到模型驗(yàn)證準(zhǔn)確率約98.5%，意味著每100 次檢測(cè)預(yù)期會(huì)錯(cuò)1-2 次，此時(shí)需要對(duì)于合格類別（A-C 類）有高置信度，否則就需要對(duì)全部預(yù)測(cè)結(jié)果進(jìn)行人工復(fù)核，自動(dòng)檢測(cè)將失去意義。所以對(duì)于合并后的softmax 輸出，不使用argmax 得出類別索引，而是規(guī)定一個(gè)較大的閾值t（如0.8），僅當(dāng)模型的自信程度大于t 時(shí)才輸出這個(gè)類別，否則輸出“待定”，提醒操作人員人工檢查。

至此構(gòu)建了從原始圖片到顯微組織類別的預(yù)測(cè)管線，部署至合適的使用場(chǎng)景（如web 應(yīng)用）后即可使用。

5 結(jié)束語(yǔ)

本文介紹了一種基于深度學(xué)習(xí)的TA15 鈦合金顯微組織檢測(cè)方法，詳細(xì)說(shuō)明了實(shí)現(xiàn)步驟與過(guò)程中的主要問(wèn)題，包括原始數(shù)據(jù)采集需要注意的事項(xiàng)、數(shù)據(jù)增強(qiáng)方法、神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及后處理/管線構(gòu)建方法，最終實(shí)現(xiàn)了從原始圖片到顯微組織類別的端到端預(yù)測(cè)。本文方法的整體流程，如圖5。

圖5 本文檢測(cè)方法流程

最后，由于水平和精力有限，本文在模型結(jié)構(gòu)的嘗試上仍以傳統(tǒng)卷積層為主，諸如Inception 系列的膠囊網(wǎng)絡(luò)、ResNet 系列的殘差連接等熱門方法并未考慮，可能遺漏性能更好的網(wǎng)絡(luò)結(jié)構(gòu)；另外，其他的圖像預(yù)處理方法，如將灰度圖像二值化以突出有用信息，都值得進(jìn)一步研究。