面向開(kāi)環(huán)掃描系統(tǒng)的超聲圖像畸變校正方法?

張金英 史亦凡 吳先梅

(1 精密光電測(cè)量?jī)x器及技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室 北京理工大學(xué)光電學(xué)院 北京 100081)

(2 北京理工大學(xué)長(zhǎng)三角研究院 嘉興 314001)

(3 中國(guó)科學(xué)院聲學(xué)研究所 聲場(chǎng)聲信息國(guó)家重點(diǎn)實(shí)驗(yàn)室 北京 100090)

(4 中國(guó)科學(xué)院大學(xué) 北京 100049)

0 引言

超聲顯微成像技術(shù)利用物體的聲阻抗差異，通過(guò)探測(cè)回波信號(hào)實(shí)現(xiàn)對(duì)物體表面及亞表面結(jié)構(gòu)的三維成像，具有非侵入、無(wú)輻射、高分辨、穿透深等顯著優(yōu)勢(shì)，廣泛應(yīng)用于半導(dǎo)體、芯片封裝檢測(cè)、復(fù)合新材料、金剛石復(fù)合片、航空航天材料、低壓電器、新能源鋰電池和碳纖維材料等領(lǐng)域內(nèi)部缺陷檢測(cè)。由于高頻(>30 MHz)超聲陣列換能器的制備[1-5]及與高頻相控陣電路的集成[6-9]仍存在巨大挑戰(zhàn)，超聲顯微成像技術(shù)難以利用相控陣掃描技術(shù)，目前仍采用機(jī)械掃描方式。機(jī)械掃描主要包括閉環(huán)、半閉環(huán)、開(kāi)環(huán)3 種控制方式。閉環(huán)控制系統(tǒng)通常采用光柵尺或編碼器等運(yùn)動(dòng)檢測(cè)器讀取電機(jī)的運(yùn)動(dòng)位置信息，將其反饋至運(yùn)動(dòng)控制器和上位機(jī)，并根據(jù)該反饋位置信息做出調(diào)整使電機(jī)修正運(yùn)動(dòng)位置，實(shí)現(xiàn)最佳定位精度，但這種調(diào)整往往使得連續(xù)掃描成像難以實(shí)現(xiàn)，僅適用于逐點(diǎn)掃描成像。半閉環(huán)控制系統(tǒng)在硬件上與閉環(huán)控制一致，也是需要采用光柵尺或編碼器讀取電機(jī)的運(yùn)動(dòng)位置信息，將其反饋至運(yùn)動(dòng)控制器和上位機(jī)。不同的是，半閉環(huán)控制系統(tǒng)不會(huì)根據(jù)反饋位置信息對(duì)電機(jī)運(yùn)動(dòng)做出調(diào)整，因此可以實(shí)現(xiàn)快速連續(xù)掃描，但在利用位置信息和回波信號(hào)進(jìn)行圖像重建時(shí)需要謹(jǐn)慎采用插值算法以消除圖像畸變。開(kāi)環(huán)控制系統(tǒng)也叫“無(wú)反饋系統(tǒng)”，即沒(méi)有反饋功能來(lái)調(diào)節(jié)驅(qū)動(dòng)系統(tǒng)。與閉環(huán)、半閉環(huán)系統(tǒng)相比，開(kāi)環(huán)控制系統(tǒng)簡(jiǎn)單得多，無(wú)需光柵尺或編碼器，僅利用回波信號(hào)進(jìn)行圖像重建，可以實(shí)現(xiàn)快速的連續(xù)掃描成像，但存在非線(xiàn)性運(yùn)動(dòng)引起的圖像畸變。

開(kāi)環(huán)控制方式雖然不如閉環(huán)、半閉環(huán)控制方式的定位精度高，但由于結(jié)構(gòu)簡(jiǎn)單、易于調(diào)試、成本低廉，多年來(lái)在激光掃描、數(shù)控系統(tǒng)、外骨骼增強(qiáng)等諸多領(lǐng)域獲得了廣泛應(yīng)用。1994年，田雯等[10]研制了開(kāi)環(huán)控制的二維激光掃描動(dòng)態(tài)檢測(cè)系統(tǒng)，利用對(duì)系統(tǒng)隨機(jī)誤差的修正，很好地實(shí)現(xiàn)了工件超差的準(zhǔn)確判別。2004年，施群等[11]提出了應(yīng)用于開(kāi)環(huán)系統(tǒng)的高精度均勻插補(bǔ)算法，通過(guò)軟硬件結(jié)合的方式保證了開(kāi)環(huán)步進(jìn)電機(jī)控制脈沖的均勻性，提高了開(kāi)環(huán)系統(tǒng)的數(shù)控精度。2020年，Orekhov等[12]研制并對(duì)比了3 種人類(lèi)腳踝外骨骼輔助行走系統(tǒng)，證明了開(kāi)環(huán)控制方式不僅在扭矩追蹤能力等性能上優(yōu)于閉環(huán)控制，并且具有更低的能量損耗、噪聲及復(fù)雜度，具有更優(yōu)的商業(yè)前景。

在超聲顯微成像中，目前研究人員廣泛采用的機(jī)械掃描方式還是閉環(huán)、半閉環(huán)控制系統(tǒng)。2019 年，Shoukroun 等[13]利用自主搭建的閉環(huán)超聲掃描系統(tǒng)對(duì)新型的X射線(xiàn)CT系統(tǒng)的探傷檢測(cè)進(jìn)行評(píng)估和校準(zhǔn)驗(yàn)證，該超聲成像系統(tǒng)的聚焦聲斑為280 μm；2020 年，Svilainis 等[14]利用三維閉環(huán)機(jī)械掃描系統(tǒng)對(duì)高頻聚焦超聲換能器進(jìn)行C 掃描成像，聚焦聲斑為350 μm，還可對(duì)超聲換能器進(jìn)行性能測(cè)試和驗(yàn)證，指導(dǎo)新的換能器制造方法；2021 年，Lim 等[15]研制了一套超聲熱療檢測(cè)雙模式醫(yī)療設(shè)備，該設(shè)備應(yīng)用德國(guó)PHYSIC儀器的L-509半閉環(huán)掃描系統(tǒng)進(jìn)行C 掃描成像，分辨率為200 μm，在小鼠實(shí)驗(yàn)上取得了階段性成功。這些閉環(huán)掃描系統(tǒng)具有反饋機(jī)制，定位精度高、成像分辨率高，但是系統(tǒng)復(fù)雜、所需硬件成本高。

如果能采用開(kāi)環(huán)控制系統(tǒng)實(shí)現(xiàn)快速連續(xù)掃描，并將非線(xiàn)性運(yùn)動(dòng)引起的圖像畸變消除，就會(huì)顯著降低超聲顯微成像系統(tǒng)的成本和控制復(fù)雜度。本文提出一種面向開(kāi)環(huán)掃描系統(tǒng)的超聲圖像畸變校正方法，通過(guò)改進(jìn)圖像重建算法消除非線(xiàn)性運(yùn)動(dòng)引起的圖像畸變，具有校正簡(jiǎn)便、控制簡(jiǎn)單、成本低廉等特點(diǎn)，能夠適應(yīng)多種目標(biāo)檢測(cè)和成像需求。

1 圖像畸變校正原理

在超聲顯微成像中，通過(guò)A 掃描獲得待測(cè)樣品某個(gè)位置處的回波信號(hào)，反映了該處軸向的深度信息(圖1(a)～(b))；當(dāng)掃描系統(tǒng)按照直線(xiàn)方式運(yùn)動(dòng)時(shí)，可獲得多個(gè)A 掃描的回波信號(hào)，構(gòu)成B 掃描，反映了待測(cè)樣品沿該直線(xiàn)的剖面信息(圖1(c))；當(dāng)掃描系統(tǒng)按照蛇形或梳形方式運(yùn)動(dòng)時(shí)，可獲得多個(gè)A 掃描的回波信號(hào)，構(gòu)成C掃描，反映了待測(cè)樣品在某個(gè)深度的層析信息或表面形貌(圖1(d))。

圖1 超聲掃描方式示意圖Fig.1 Schematic diagram of ultrasonic scanning mode

在由B 掃描或C 掃描獲得超聲圖像時(shí)，必須保證超聲圖像中每個(gè)A 掃描回波信號(hào)對(duì)應(yīng)的像素點(diǎn)位置與掃描探頭的實(shí)際位置一致，這在閉環(huán)系統(tǒng)中容易實(shí)現(xiàn)，通常通過(guò)伺服電機(jī)的編碼器或利用光柵尺等將步進(jìn)電機(jī)掃描的精確位置反饋至上位機(jī)來(lái)實(shí)現(xiàn)(圖2(a))。

圖2 掃描系統(tǒng)工作原理框圖Fig.2 Scanning system working principle block diagram

在開(kāi)環(huán)系統(tǒng)中，由于運(yùn)動(dòng)控制器只負(fù)責(zé)發(fā)出掃描指令而無(wú)掃描探頭的位置信息反饋(圖2(b))，難以保證像素點(diǎn)位置與掃描探頭的實(shí)際位置完全一致。當(dāng)掃描系統(tǒng)按照連續(xù)直線(xiàn)方式運(yùn)動(dòng)時(shí)，即使運(yùn)動(dòng)控制器在每次直線(xiàn)掃描(B掃描)過(guò)程中發(fā)射驅(qū)動(dòng)脈沖數(shù)量相同，每次直線(xiàn)運(yùn)動(dòng)情況也不完全一致，主要是線(xiàn)性運(yùn)動(dòng)區(qū)的起始和終止位置不同。這是由于步進(jìn)電機(jī)轉(zhuǎn)子轉(zhuǎn)動(dòng)時(shí)，運(yùn)動(dòng)速度并不總是均勻的，其開(kāi)始和停止過(guò)程存在加速和減速運(yùn)動(dòng)，會(huì)引入空觸發(fā)等造成的位移誤差。因此，當(dāng)采用開(kāi)環(huán)系統(tǒng)連續(xù)直線(xiàn)掃描時(shí)，不論采用蛇形掃描(圖3(a))還是梳形掃描(圖3(b))，由于存在加速和減速過(guò)程誘導(dǎo)的非線(xiàn)性運(yùn)動(dòng)(圖3(c)～(d))，導(dǎo)致每個(gè)B 掃描的線(xiàn)性運(yùn)動(dòng)區(qū)起始位置和終止位置均存在隨機(jī)誤差(圖3(e))，從而使得感興趣區(qū)域(Region of interest,ROI)出現(xiàn)錯(cuò)位，引起圖像像素錯(cuò)位畸變。在開(kāi)始運(yùn)行一段時(shí)間后，速度趨于穩(wěn)定(即進(jìn)入線(xiàn)性運(yùn)動(dòng)區(qū))，此時(shí)位移誤差大幅降低，可忽略不計(jì)。

圖3 像素錯(cuò)位產(chǎn)生原因示意圖Fig.3 Schematic diagram of causes of pixel dislocation

因此，在開(kāi)環(huán)掃描中，需要解決的主要問(wèn)題是消除線(xiàn)性運(yùn)動(dòng)區(qū)起始和終止位置的錯(cuò)位誤差。一個(gè)簡(jiǎn)單的解決方法是將ROI 置于掃描系統(tǒng)的線(xiàn)性運(yùn)動(dòng)區(qū)。為了解決非線(xiàn)性運(yùn)動(dòng)引起的像素錯(cuò)位問(wèn)題，本文提出集最大值投影(Maximum intensity projection,MIP)法、最大類(lèi)間方差(Maximum between-cluster variance,Otsu)法和中心坐標(biāo)校正法(Central coordinate correction method,C3M)于一體的MIP-Otsu-C3M 方法，圖像畸變校正原理如圖4所示。首先采用MIP法獲得ROI表面散射形貌的灰度圖像(圖4(a))，其次利用Otsu 法獲得灰度圖像中每一行的ROI 邊緣像素位置(圖4(b))，進(jìn)而獲取每一行兩個(gè)邊緣像素的對(duì)稱(chēng)中心位置(圖4(c))，將每一行的像素整體進(jìn)行平移校正，直至將對(duì)稱(chēng)中心移動(dòng)到圖像對(duì)稱(chēng)軸所在的列(圖4(d))。由于兩側(cè)均為非ROI 區(qū)域，因此平移時(shí)可將一側(cè)溢出數(shù)據(jù)補(bǔ)充至另一側(cè)，無(wú)需考慮灰度圖兩側(cè)的校正問(wèn)題。平移校正后，即可獲得消除ROI 像素錯(cuò)位畸變的灰度圖像。需要說(shuō)明的是，除了Otsu 邊緣檢測(cè)算子法，也可利用圖像中背景像素與ROI 表面散射邊緣像素存在明顯灰度值差異，采用觀(guān)察法或其他邊緣檢測(cè)算子法來(lái)確定ROI 的邊緣像素位置。

圖4 MIP-Otsu-C3M 方法錯(cuò)位畸變校正原理示意圖Fig.4 Schematic diagram of MIP-Otsu-C3M method for dislocation distortion correction

圖5 對(duì)A 掃描超聲回波信號(hào)的預(yù)處理過(guò)程Fig.5 Preprocessing of ultrasonic A-scan signal

圖6 MIP 法獲得灰度圖像示意圖Fig.6 MIP method to obtain gray image schematic

2 圖像畸變校正算法

本文提出的MIP-Otsu-C3M 圖像畸變校正算法處理流程如表1 所示，主要包括數(shù)據(jù)預(yù)處理、MIP、Otsu、C3M等4個(gè)步驟。

表1 圖像畸變校正算法處理流程偽代碼Table 1 Image distortion correction algorithm process pseudo-code

3 結(jié)果與討論

本文采用如圖2(b)所示的開(kāi)環(huán)控制方式，利用三軸平移運(yùn)動(dòng)位移臺(tái)帶動(dòng)高頻聚焦超聲換能器(OLYMPUS V376-SU，30 MHz)對(duì)待測(cè)樣品(游戲硬幣、五角硬幣)進(jìn)行蛇形或梳形C掃描。位移臺(tái)由步進(jìn)電機(jī)(北光世紀(jì)SC100)驅(qū)動(dòng)，步進(jìn)電機(jī)通過(guò)運(yùn)動(dòng)控制器與上位機(jī)相連。超聲換能器與脈沖發(fā)射-接收器(JSR Ultrasonic DPR 500，帶寬300 MHz)連接，接收到的回波信號(hào)經(jīng)過(guò)脈沖發(fā)射-接收器的放大、濾波等前置電路處理，由示波器(R&S RTB2004)采集后以二進(jìn)制數(shù)據(jù)傳輸至上位機(jī)。

在連續(xù)直線(xiàn)掃描時(shí)，上位機(jī)發(fā)送指令至運(yùn)動(dòng)控制器，驅(qū)動(dòng)三軸位移臺(tái)按預(yù)設(shè)路徑進(jìn)行C掃描運(yùn)動(dòng)。為實(shí)現(xiàn)機(jī)械掃描、脈沖發(fā)射及數(shù)據(jù)采集的同步工作，運(yùn)動(dòng)控制器向步進(jìn)電機(jī)每發(fā)送N個(gè)驅(qū)動(dòng)脈沖，超聲換能器發(fā)射一次超聲信號(hào)并接收回波信號(hào)，同時(shí)示波器將該回波信號(hào)采集后傳輸至上位機(jī)。如果運(yùn)動(dòng)控制器向步進(jìn)電機(jī)每發(fā)送N個(gè)驅(qū)動(dòng)脈沖，位移臺(tái)能夠移動(dòng)相同的長(zhǎng)度，則經(jīng)過(guò)MIP 后獲得的灰度圖像應(yīng)無(wú)像素錯(cuò)位畸變。然而，如前所述，步進(jìn)電機(jī)的加速、減速過(guò)程引入的非線(xiàn)性運(yùn)動(dòng)，使得在加速、減速階段，不能保證位移臺(tái)移動(dòng)相同長(zhǎng)度，因此本文對(duì)如圖7(a)所示的游戲硬幣進(jìn)行蛇形C 掃描，經(jīng)MIP法獲得的灰度超聲圖像顯示了明顯的像素錯(cuò)位畸變，如圖7(b)所示。對(duì)五角硬幣進(jìn)行梳形C掃描，經(jīng)MIP 法獲得的灰度圖像及其邊緣圖像均顯示了明顯的像素錯(cuò)位畸變，如圖8(a)～(b)所示。采用本文提出的MIP-Otsu-C3M 方法對(duì)圖7(b)、圖8(a)所示的灰度圖校正后，得到如圖7(c)、圖8(c)所示的灰度圖，對(duì)圖8(c)灰度圖提取邊緣圖像如圖8(d)所示，可見(jiàn)校正后的圖像大幅消除了圖像像素錯(cuò)位畸變，準(zhǔn)確顯示了硬幣上的各種文字和圖案等信息。在Windows 10操作系統(tǒng)環(huán)境下，利用圖像處理軟件對(duì)本方法代碼進(jìn)行測(cè)試運(yùn)行，平均運(yùn)行時(shí)間約為1.9 s。

圖7 蛇形C 掃描的游戲硬幣時(shí)域MIP 法超聲圖像Fig.7 Snake C-scan game coin ultrasound image with MIP method

圖8 梳形C 掃描的五角硬幣時(shí)域MIP 法超聲圖像Fig.8 Raster C-scan coin ultrasound image with MIP method in time domain

本文提出的MIP-Otsu-C3M 方法不只適用于上述時(shí)域MIP 法超聲成像，也適用于飛行時(shí)間(Time of flight,TOF)法及頻域法超聲成像。圖9(a)為未采用MIP-Otsu-C3M 方法校正的TOF法二維灰度圖，圖9(b)為采用MIP-Otsu-C3M 方法校正后利用TOF法重建的灰度圖。TOF 法與MIP法類(lèi)似，區(qū)別是每個(gè)像素的灰度值來(lái)源于幅度最大值所對(duì)應(yīng)的時(shí)間信息。TOF 法以三維圖表示時(shí)更能反映ROI 的形貌信息，即TOF 反映物體表面的起伏程度或者厚度，如圖9(c)所示。圖10(a)為五角硬幣的正面、背面圖案照片，圖10(b)為對(duì)預(yù)處理回波信號(hào)進(jìn)行傅里葉變換后，利用頻域MIP 法重建的灰度圖。對(duì)預(yù)處理回波信號(hào)采用MIP-Otsu-C3M方法校正后再進(jìn)行傅里葉變換，利用頻域MIP法重建的灰度圖如圖10(c)所示。可以看出，采用MIPOtsu-C3M 方法校正后，不論是TOF 法灰度圖、三維圖，還是頻域法MIP 圖，均顯著消除了圖像像素錯(cuò)位畸變。

圖9 五角硬幣TOF 法超聲圖像Fig.9 Coin ultrasound image with TOF method

圖10 五角硬幣及頻域MIP 法超聲圖像Fig.10 Coin and ultrasound image with MIP method in frequency domain

與圖8(c)所示的時(shí)域MIP灰度圖不同，圖10(c)所示的頻域MIP 灰度圖除顯示了五角硬幣正面的圖案信息，也顯示了其背面的圖案信息。這是因?yàn)椋疚膶⒂矌欧胖糜?0 MHz 聚焦超聲換能器的景深內(nèi)，換能器發(fā)射的聲波可穿透硬幣，在正面、背面均產(chǎn)生回波或散射。超聲成像的對(duì)比度來(lái)源于聲阻抗差異，當(dāng)聲波由水入射至硬幣表面時(shí)，二者之間巨大的聲阻抗差異使得硬幣正面的反射回波很大。如果硬幣表面是平整的，反射回波會(huì)被換能器接收產(chǎn)生強(qiáng)回波信息；如果硬幣表面具有起伏的棱角，聲波會(huì)被散射而大幅降低被換能器接收的能量。因此超聲回波主要攜帶的信息為硬幣界面的散射形貌。在時(shí)域MIP中，硬幣正面的回波強(qiáng)度大大高于背面的回波強(qiáng)度，取最大值時(shí)僅選取了正面的回波幅值，因此僅呈現(xiàn)了正面的圖案信息。而在頻域MIP 中，當(dāng)正面、背面均產(chǎn)生反射回波時(shí)，其聲波頻率均為30 MHz左右，傅里葉變換中均對(duì)30 MHz附近的頻率成分產(chǎn)生貢獻(xiàn)，具有最大的頻域MIP 值；當(dāng)正面產(chǎn)生反射回波、背面產(chǎn)生散射無(wú)回波時(shí)，其30 MHz附近的頻率成分僅由正面回波貢獻(xiàn)，具有較大的頻域MIP 值；當(dāng)正面產(chǎn)生散射無(wú)回波、背面產(chǎn)生反射回波時(shí)，其30 MHz 附近的頻率成分僅由背面回波貢獻(xiàn)，具有較小的頻域MIP值；當(dāng)正面、背面均產(chǎn)生散射無(wú)回波，其30 MHz 附近的頻率成分具有最小的頻域MIP 值。因此頻域MIP 既包含了正面的圖案信息，也包含了背面的圖案信息，這表明該方法對(duì)探測(cè)超聲內(nèi)部結(jié)構(gòu)具有重要潛力和價(jià)值。

MIP法通常僅用于獲得灰度圖像，是血管造影等生物醫(yī)學(xué)領(lǐng)域常見(jiàn)的圖像重建方法[16]，而本文提出的MIP-Otsu-C3M 方法則是利用MIP 法不僅實(shí)現(xiàn)了MIP圖像的像素錯(cuò)位畸變校正，而且在校正MIP 圖像的同時(shí)，實(shí)現(xiàn)了C 掃描預(yù)處理數(shù)據(jù)的整體校正，為更靈活的TOF 法、傅里葉變換法及層析法等圖像重建處理提供了消除錯(cuò)位的數(shù)據(jù)。這拓展了MIP法的應(yīng)用領(lǐng)域。

需要指出的是：(1)本文提出的MIP-Otsu-C3M方法需要在ROI 所需掃描面積的基礎(chǔ)上預(yù)留非線(xiàn)性運(yùn)動(dòng)區(qū)，這會(huì)增大額外的C 掃描區(qū)域。不過(guò)目前商用步進(jìn)電機(jī)每個(gè)連續(xù)直線(xiàn)掃描的加速、減速過(guò)程很快，非線(xiàn)性運(yùn)動(dòng)區(qū)的長(zhǎng)度很短，因此預(yù)留掃描范圍很小，對(duì)C 掃描成像速度影響較小。(2) 本方法在圖像矯正方面利用了目標(biāo)物體的軸對(duì)稱(chēng)特性，即需要每個(gè)行掃描中物體占據(jù)的有效像素點(diǎn)具有共同的對(duì)稱(chēng)軸，僅需找到每行的對(duì)稱(chēng)軸，將原本錯(cuò)位的對(duì)稱(chēng)軸平移至同一列，即可實(shí)現(xiàn)所有行掃描的對(duì)齊。因此本文提出的MIP-Otsu-C3M方法僅適用于對(duì)圓形輪廓的目標(biāo)物體進(jìn)行超聲成像，而對(duì)非圓形輪廓的目標(biāo)物體，則需要借助圓形輪廓的模具，例如材質(zhì)為超聲可探測(cè)的圓環(huán)，采用圖11 所示方法放置。只要圓形輪廓模具和ROI 均位于線(xiàn)性運(yùn)動(dòng)區(qū)，則借助圓形輪廓模具實(shí)現(xiàn)錯(cuò)位畸變校正，即可獲得非畸變的ROI 超聲圖像。該方法在保證所提MIP-Otsu-C3M 校正算法的精確度和優(yōu)越性的同時(shí)，進(jìn)一步擴(kuò)大了校正算法的使用范圍。

圖11 圓形輪廓模具推薦放置方法Fig.11 Recommended placement method for the ring mold

4 結(jié)論

開(kāi)環(huán)掃描方式控制簡(jiǎn)單、硬件成本低，但無(wú)反饋機(jī)制會(huì)引起超聲圖像錯(cuò)位畸變。本文提出了一種面向開(kāi)環(huán)掃描系統(tǒng)的圖像畸變校正方法，集合了MIP、Otsu 和C3M 多種算法，從實(shí)驗(yàn)上驗(yàn)證了該方法對(duì)蛇形、梳形C 掃描圖像均有消除錯(cuò)位畸變的效果。利用校正后的C 掃描數(shù)據(jù)，獲得了五角硬幣的TOF 法和傅里葉變換法非畸變圖像。最后討論了所提校正方法兩個(gè)可能的應(yīng)用局限，均給出了相應(yīng)解決方案。本文提出的MIP-Otsu-C3M方法有利于開(kāi)環(huán)掃描系統(tǒng)應(yīng)用于超聲顯微成像，且拓展了MIP法的應(yīng)用。