線紋計(jì)量圖像超分辨率重構(gòu)技術(shù)研究

李淼，石羽南

（中國(guó)空空導(dǎo)彈研究院，河南洛陽(yáng)，471003）

0 引言

影像式計(jì)量設(shè)備被廣泛應(yīng)用于力學(xué)、幾何量、電子等專業(yè)的校準(zhǔn)檢定工作，通常由光照系統(tǒng)、伺服系統(tǒng)、采集系統(tǒng)、上位機(jī)判別系統(tǒng)等部分組成，圖1為市場(chǎng)常見(jiàn)的商用全自動(dòng)影像式計(jì)量設(shè)備。

圖1 常見(jiàn)的商用全自動(dòng)計(jì)量設(shè)備

雖然基于圖像采集的影像式計(jì)量設(shè)備的光照條件、圖像采集模塊分辨率、伺服機(jī)構(gòu)穩(wěn)定性、使用條件及環(huán)境穩(wěn)定性正逐步提升，且設(shè)備能夠按照用戶的需求設(shè)計(jì)及研發(fā)，理想狀態(tài)下計(jì)量全過(guò)程無(wú)需人員參與，能夠有效提升計(jì)量效率。但在實(shí)際操作過(guò)程中，由于光照、震動(dòng)、待測(cè)儀器形變或磨損等各種原因，在結(jié)果判別時(shí)常需要人工介入進(jìn)行中心線選取及確認(rèn)等工作，大大降低了自動(dòng)化工作的效率。

圖2為待測(cè)線紋量具在視場(chǎng)內(nèi)顯示效果欠佳、采集及處理后的圖像分辨率不足的視場(chǎng)圖像示意圖，可通過(guò)將所采集到的信息量較少的圖像經(jīng)過(guò)系列變換處理得到高信息量的圖像。

圖2 影像式計(jì)量系統(tǒng)采集結(jié)果示意圖

本文將基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重構(gòu)技術(shù)引入到計(jì)量圖像處理工作中。對(duì)影像式計(jì)量設(shè)備中所采集的自然單幅圖像進(jìn)行超分辨率復(fù)原，在提高超分辨率圖像的質(zhì)量的同時(shí)盡可能減少計(jì)算量，從而全面地提高算法性能。

1 國(guó)內(nèi)外研究現(xiàn)狀

圖像超分辨率重構(gòu)技術(shù)分為兩種，一種是從多張低分辨率圖像合成一張高分辨率圖像，另外一種是從單張低分辨率圖像獲取高分辨率圖像[2]，本文模擬影像式計(jì)量設(shè)備視窗內(nèi)采集的單幅圖像超分辨率重構(gòu)。

圖像超分辨率重構(gòu)主要分為淺層學(xué)習(xí)（主要包含基于插值的超分辨方法、基于重構(gòu)的超分辨率方法、基于學(xué)習(xí)的超分辨率方法）以及基于深度學(xué)習(xí)的方法[3]。

基于深度學(xué)習(xí)的方法是淺層學(xué)習(xí)方法的升級(jí)版，淺層學(xué)習(xí)中基于學(xué)習(xí)的多層次體系方法是以監(jiān)督學(xué)習(xí)的方法自動(dòng)化特征空間轉(zhuǎn)換，當(dāng)采用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建這種多層體系結(jié)構(gòu)時(shí)，稱為深度學(xué)習(xí)，采用卷積神經(jīng)網(wǎng)絡(luò)搭建對(duì)應(yīng)的多層體系結(jié)構(gòu)，不斷訓(xùn)練和擬合由低分辨率到高分辨率圖像之間的映射關(guān)系[3]。目前學(xué)界內(nèi)普遍認(rèn)可這一表述在實(shí)際的運(yùn)用過(guò)程中被證實(shí)能夠應(yīng)用于大多數(shù)場(chǎng)景，這也是深度學(xué)習(xí)目前在多個(gè)領(lǐng)域均得到廣泛應(yīng)用和傳播的原因之一。

由Dong等人首次提出SRCNN[5]。該方法使用了三個(gè)卷積層，其作用分別為圖像塊的提取和特征表示、特征非線性映射、最終的重構(gòu)。方法中對(duì)低分辨率圖像使用雙三次插值將其放大到目標(biāo)尺寸后，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)完成非線性映射的工作，這樣得到的處理結(jié)果便是高分辨率圖像。Dong等人對(duì)SRCNN的工作進(jìn)行了改進(jìn)，提出了一種加速卷積神經(jīng)網(wǎng)絡(luò)的超分辨率方法FSRCNN[5]。相比SRCNN，F(xiàn)SRCNN在整個(gè)模型的末端使用了一個(gè)反卷積層進(jìn)行尺寸的放大。因此，可以直接將未經(jīng)放大的低分辨率圖像輸入到網(wǎng)絡(luò)中，而不需要SRCNN中的插值預(yù)處理。Lai[5]等人提出了一種拉普拉斯金字塔超分辨率網(wǎng)絡(luò)(LapSRN)，該網(wǎng)絡(luò)可以在多個(gè)金字塔尺度下逐步恢復(fù)多尺度的高分辨率圖像。由于以上方法均基于有監(jiān)督的訓(xùn)練方法，需要大量的成對(duì)數(shù)據(jù)集來(lái)對(duì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，限制了這些方法在很多實(shí)際場(chǎng)景中的適用性。DBPN[45]通過(guò)設(shè)計(jì)迭代上下采層提出了迭代誤差反饋機(jī)制，使網(wǎng)絡(luò)實(shí)現(xiàn)了自校正過(guò)程，但采用單一大小的卷積核提取圖像特征并學(xué)習(xí)特征映射限制了網(wǎng)絡(luò)恢復(fù)高頻特征的能力。SRFBN利用具有約束的 RNN 中的隱藏狀態(tài)來(lái)構(gòu)造反饋模塊，以驅(qū)動(dòng)反饋流并生成強(qiáng)大的高級(jí)表示，但忽略了特征通道間的相互依賴性，約束了網(wǎng)絡(luò)學(xué)習(xí)高層表示的能力。2018年，Zhang等人提出深度殘差通道注意網(wǎng)絡(luò)RCAN，由幾個(gè)具有長(zhǎng)跳躍連接的殘差組構(gòu)成的結(jié)構(gòu)來(lái)構(gòu)建深度網(wǎng)絡(luò)，形成殘差注意力機(jī)制，但網(wǎng)絡(luò)訓(xùn)練相對(duì)較慢，且生成的高分辨率的圖像則會(huì)存在邊緣模糊等情況。

盡管上述模型能夠取得卓越的性能，但需要巨大的計(jì)算和訓(xùn)練能力。為了能應(yīng)用于更廣泛的真實(shí)計(jì)量應(yīng)用場(chǎng)景，需開(kāi)發(fā)一種快速的、注重邊沿細(xì)節(jié)優(yōu)化的和輕量級(jí)的網(wǎng)絡(luò)。

2 線紋計(jì)量圖像超分重構(gòu)方法

■ 2.1 圖像特點(diǎn)分析

通過(guò)對(duì)計(jì)量圖像的觀察，發(fā)現(xiàn)其通常構(gòu)成為簡(jiǎn)單、體量較小且多為單色值的圖像，所以在構(gòu)造超分網(wǎng)絡(luò)時(shí)，計(jì)量圖像很容易被解析為兩個(gè)次層次組件—邊緣有效值及內(nèi)像素。其中邊緣有效值對(duì)應(yīng)高頻信息部分，即在識(shí)別線紋或數(shù)字時(shí)，僅需對(duì)邊緣處圖像進(jìn)行超分辨率，內(nèi)像素對(duì)應(yīng)圖像低頻部分，理想狀態(tài)可丟棄或不做處理。

大多數(shù)超分辨率重構(gòu)算法是針對(duì)單張或多張圖片進(jìn)行重構(gòu)，即關(guān)注圖像中的每一個(gè)像素。但是，如將超分辨率算法引入到計(jì)量影像重構(gòu)中，背景區(qū)域的深度處理其實(shí)對(duì)于后續(xù)測(cè)量步驟沒(méi)有價(jià)值。因此，本文在SR2CNN算法[7]的基礎(chǔ)上進(jìn)行了優(yōu)化，提出超分計(jì)量影像分支重構(gòu)思想。

■ 2.2 超分計(jì)量影像分支重構(gòu)思想

由于計(jì)量影像的單一特性，除了輪廓等高頻信息外，其他視野內(nèi)信息大多為無(wú)效信息。本文特引入目標(biāo)檢測(cè)算法中常見(jiàn)的“前景目標(biāo)”的概念，設(shè)計(jì)了兩條并行路徑取處理不同的圖像信息。一條針對(duì)高頻有效信息數(shù)據(jù)（即前景）進(jìn)行重構(gòu)，一條針對(duì)低頻信息（即背景）。在并行處理的過(guò)程中，一方面強(qiáng)化有效信息，一方面選取輕量級(jí)基礎(chǔ)模型去減少對(duì)背景區(qū)域的計(jì)算量，提高圖像重構(gòu)速度，更好的滿足實(shí)際使用的實(shí)時(shí)性需求。示意圖如圖3所示。

圖3 超分計(jì)量影像分支重構(gòu)思想示意圖

第一步：解析并分割圖像，在此步驟中，不直接對(duì)LR圖像進(jìn)行上采樣。過(guò)多的像素將帶來(lái)過(guò)多的計(jì)算，根據(jù)圖像特點(diǎn)，摒棄深度學(xué)習(xí)的圖像分割方法，選取成熟且調(diào)節(jié)能力強(qiáng)的圖像分割方法來(lái)完成此項(xiàng)工作；

第二步：通過(guò)SR2CNN對(duì)圖像進(jìn)行高頻信息超分重構(gòu)，使用轉(zhuǎn)置卷積層來(lái)完成這部分工作。為了提高重構(gòu)細(xì)節(jié)的質(zhì)量，需要不斷地調(diào)整轉(zhuǎn)置卷積層的數(shù)量；

第三步:處理背景圖片，選取輕量級(jí)算法進(jìn)行圖像處理；

第四步:完成前景及背景圖像融合映射，輸出高分辨率圖片。

■ 2.3 實(shí)現(xiàn)步驟

2.3.1 基于閾值的圖像分割

圖像分割是指在一副圖像中，根據(jù)灰度、彩色、空間紋理、幾何形狀等特征把圖像劃分成若干個(gè)互不相交的區(qū)域，使得這些特征在同一區(qū)域內(nèi)表現(xiàn)出一致性或相似性，而在不同區(qū)域間表現(xiàn)出明顯的不同達(dá)到從背景中分離目標(biāo)的目的。

本文采用了圖像分割中的 OTSU方法（即“大津法”）。假定一張圖片共有n個(gè)像素，其中灰度值小于閾值的像素為n1個(gè)，大于等于閾值的像素為n2個(gè)（n1+n2=n）。w1和w2表示這兩種像素各自的比重。而所有灰度值小于閾值的像素的平均值和方差分別為μ1和σ1，所有灰度值大于等于閾值的像素的平均值和方差分別為μ2和σ2。于是，可以得到：

類內(nèi)差異 = w1(σ1)2+ w2(σ2)2

類間差異 = w1w2(μ1-μ2)^2

合適的閾值時(shí)讓類內(nèi)差異最小或者類間差異最大，從計(jì)算角度出發(fā)，本文選擇后者進(jìn)行計(jì)算，即 BSS：

分割后圖片如圖4所示。

圖4 圖像分割效果

2.3.2 基于高頻信息的密集深度卷積神經(jīng)網(wǎng)絡(luò)

本文采用了SR2CNN[7]卷積神經(jīng)網(wǎng)絡(luò)來(lái)提高SR圖像高頻部分的質(zhì)量,如圖5所示。該方法使用反卷積層來(lái)對(duì)圖像進(jìn)行放大，由于僅針對(duì)高頻信息處理，采用多對(duì)多的連接機(jī)制，大大減少了參數(shù)的數(shù)量，有效地解決了梯度消失問(wèn)題。

圖5 SR2CNN網(wǎng)絡(luò)結(jié)構(gòu)

在特征提取時(shí)，網(wǎng)絡(luò)之間采用多對(duì)多連接，可以增強(qiáng)特征的傳播，避免梯度彌散問(wèn)題，且可以大大減少參數(shù)的數(shù)量。在重構(gòu)中，考慮使用反卷積層，從而進(jìn)一步保證了重構(gòu)的質(zhì)量。為了提高模型的重構(gòu)速度的同時(shí)不影響其重構(gòu)質(zhì)量，使用多個(gè)卷積核大小為1×1的并行卷積網(wǎng)絡(luò)，來(lái)增強(qiáng)其非線性表達(dá)能力。

3 實(shí)驗(yàn)及驗(yàn)證

■ 3.1 數(shù)據(jù)集

由于線紋圖像數(shù)據(jù)信息較少，數(shù)據(jù)的代表性不夠、部分還包含太多的噪聲或者是被一些無(wú)關(guān)特征污染，這樣的模型對(duì)訓(xùn)練數(shù)據(jù)集的擬合程度不能指導(dǎo)泛化誤差。本文對(duì)數(shù)據(jù)集進(jìn)行了45°及90°的旋轉(zhuǎn)，并在開(kāi)始構(gòu)建模型之前將數(shù)據(jù)集進(jìn)行劃分，防止數(shù)據(jù)窺探偏誤，也就是說(shuō)我們避免了解太多關(guān)于測(cè)試集中的樣本特點(diǎn)，防止所挑選的圖像都是有助于測(cè)試集數(shù)據(jù)的模型。

降質(zhì)后，對(duì)數(shù)據(jù)集進(jìn)行了標(biāo)識(shí)及篩選，共1224張。根據(jù)訓(xùn)練集、開(kāi)發(fā)集、測(cè)試集6：3：1的比例，最終完成了本地線紋計(jì)量影像數(shù)據(jù)集庫(kù)，其中：

(1)訓(xùn)練集（Train set）:用于模型擬合的數(shù)據(jù)樣本,本數(shù)據(jù)集中存在800圖像；

(2)驗(yàn)證集（Validation set）:是模型訓(xùn)練過(guò)程中單獨(dú)留出的樣本集，它可以用于調(diào)整模型的超參數(shù)和用于對(duì)模型的能力進(jìn)行初步評(píng)估。 通常用來(lái)在模型迭代訓(xùn)練時(shí)，用以驗(yàn)證當(dāng)前模型泛化能力（準(zhǔn)確率，召回率等），以決定是否停止繼續(xù)訓(xùn)練，本數(shù)據(jù)集中存在284張；

(3)測(cè)試集（Test set）:用來(lái)評(píng)估模最終模型的泛化能力。但不能作為調(diào)參、選擇特征等算法相關(guān)的選擇的依據(jù)，共140張。

■ 3.2 數(shù)據(jù)預(yù)處理

本文選擇了三個(gè)不同的退化模型來(lái)合成低分辨率圖像，分別是：

(1)雙三線性下采樣退化（該退化模型簡(jiǎn)稱為BI）；

(2)先用大小為7×7的高斯模糊核對(duì)HR圖像進(jìn)行模糊處理，高斯模糊核的標(biāo)準(zhǔn)差為1.6，然后使用雙三線性插值對(duì)模糊圖像進(jìn)行3倍下采樣（該退化模型簡(jiǎn)稱為BD）；

(3)對(duì)HR圖像使用雙三線性插值進(jìn)行降采樣，然后再添加噪聲級(jí)別為30的高斯白噪聲（該退化模型簡(jiǎn)稱為DN）。

■ 3.3 實(shí)驗(yàn)結(jié)果分析

該算法在PSNR 和 SSIM 上表現(xiàn)如表1、表2所示。

表1 各型退化模型結(jié)果比較

表2 各算法應(yīng)用到公開(kāi)數(shù)據(jù)集上的結(jié)果比較

表1中，紅色表示最優(yōu)結(jié)果。從結(jié)果的整體來(lái)看，本文所提出針對(duì)計(jì)量線紋影像的算法相比幾類典型算法在重建精度的客觀指標(biāo)上更有優(yōu)勢(shì)，在 經(jīng)過(guò)BI、BD、DN退化函數(shù)處理的數(shù)據(jù)中結(jié)果顯得尤為明顯。

表2中，紅色表示最優(yōu)的結(jié)果。從結(jié)果的整體來(lái)看，本文所提出針對(duì)公開(kāi)數(shù)據(jù)集時(shí)，相比近年幾類典型算法在重建精度的客觀指標(biāo)上不具有優(yōu)勢(shì)。

根據(jù)圖6、圖7所示，能夠很明顯的察覺(jué)，與其他算法相比，本文在處理計(jì)量影像目標(biāo)圖像時(shí)，效果更好。但所提出針對(duì)公開(kāi)數(shù)據(jù)集時(shí)，相比幾類典型算法在重建精度的客觀指標(biāo)上不具有優(yōu)勢(shì)。

圖6 不同算法在同一測(cè)試集的圖像測(cè)試效果對(duì)比

圖7 不同算法在公開(kāi)測(cè)試集的部分圖像測(cè)試效果對(duì)比

4 總結(jié)與展望

本文建立了一個(gè)中等規(guī)模的線紋計(jì)量影像數(shù)據(jù)集，雖然暫時(shí)無(wú)法覆蓋所有可能會(huì)出現(xiàn)的線紋邊緣的特殊情況，但通過(guò)對(duì)數(shù)據(jù)集的劃分和降質(zhì)處理，已經(jīng)能夠成功驗(yàn)證算法性能.同時(shí)提出了一種超分計(jì)量影像分支重構(gòu)思想，對(duì)有效信高頻部分的信息進(jìn)行區(qū)域判別，減少背景區(qū)域的低頻特征的計(jì)算，極大的降低了計(jì)算成本。

盡管基于深度學(xué)習(xí)的圖像超分辨率算法取得了很高的成就，在本文中也得到了很好的體現(xiàn)，但應(yīng)用到真實(shí)應(yīng)用場(chǎng)景的過(guò)程中還存在著很多挑戰(zhàn)性的問(wèn)題。在超分辨率重構(gòu)領(lǐng)域，未來(lái)還有很多值得探討和研究的地方。

(1)圖像超分辨率任務(wù)作為一個(gè)經(jīng)典的圖像處理問(wèn)題，也是一個(gè)極具挑戰(zhàn)性的不適定的“病態(tài)”問(wèn)題，仍然有很多問(wèn)題有待研究人員進(jìn)行深入探索和解決；

(2)可以在此研究基礎(chǔ)上進(jìn)一步探討基于語(yǔ)義信息的圖像超分辨率重構(gòu)算法?？梢栽诜种Ф思虞d不同權(quán)重的過(guò)濾器，該問(wèn)題可在后續(xù)工作中持續(xù)補(bǔ)充；

(3)雖然形成了有一定規(guī)模的訓(xùn)練集，但超分辨率重構(gòu)對(duì)訓(xùn)練集參數(shù)量依賴性很高，目前數(shù)據(jù)集遠(yuǎn)不能覆蓋問(wèn)題域中所有已知可能出現(xiàn)的問(wèn)題，還有待完善，但可以考慮可以用該訓(xùn)練集訓(xùn)練好的模型嘗試著訓(xùn)練復(fù)雜圖像，并做好當(dāng)前算法與其他算法的比對(duì)以及分析；

(4)考慮是否能夠設(shè)計(jì)更加合理的評(píng)價(jià)指標(biāo)，是否可以加入直觀的可視化評(píng)估，使得結(jié)果能夠更為客觀的呈現(xiàn)，可以通過(guò)引入評(píng)估所生成的可視化圖像的質(zhì)量和或含義的指標(biāo)來(lái)實(shí)現(xiàn)。