光纖光柵與人工智能融合的形狀自感知穿刺針

李天梁，宋珍珍，陳發(fā)銀，蘇軼飛，譚躍剛

（武漢理工大學 機電工程學院，湖北 武漢 430070）

1 引言

近年來，中國已是世界范圍內(nèi)癌癥發(fā)病率增幅最大的國家之一，而例行篩查和早診早治可大大降低惡性腫瘤患者的死亡風險，已成為腫瘤預(yù)防的有效途徑［1-2］。在臨床診斷過程中，僅僅通過影像學檢查難以對病灶定性，活體組織的病理檢查才是診斷的金標準［3］。但傳統(tǒng)的穿刺活檢手術(shù)過程中穿刺針因與人體組織的交互作用會產(chǎn)生微量彎曲，從而導致穿刺針不能準確到達靶區(qū)或進針過程中損傷人體重要組織，穿刺精度與診療效果嚴重依賴醫(yī)生的經(jīng)驗［4］。手術(shù)機器人因為可以術(shù)前精確規(guī)劃路徑避免重要人體組織損傷以及有較高的操作精度而被廣泛應(yīng)用于穿刺活檢手術(shù)之中［5］。但現(xiàn)階段手術(shù)機器人進行穿刺手術(shù)主要依賴于醫(yī)學圖像和導航技術(shù)，主要有超聲成像、計算機斷層掃描（Computed Tomography，CT）以及磁共振成像（Magnetic Resonance Imaging，MRI）。但上述技術(shù)手段存在著以下不足：超聲成像在人體組織中對比度較差，小腫瘤幾乎不可見，CT 成像會使醫(yī)生長時間暴露于輻射下，嚴重影響醫(yī)護人員健康，MRI 掃描儀內(nèi)部器件的工作精度會受到掃描儀強電磁干擾的影響［6-7］。目前針對剛性穿刺針的穿刺力、柔性穿刺針的針體形狀準確實時獲得不足，無法實現(xiàn)穿刺過程的信息感知以及精準的靶點操作［8］。因此發(fā)展一種高精度、小型化且抗電磁干擾的穿刺針力形狀感知方法，為手術(shù)機器人輔助穿刺提供實時、準確的形狀信息，對于提高穿刺手術(shù)的安全性與準確性有著重大意義［9］。

近年來，光纖傳感器因具有抗電磁干擾、良好的生物兼容性和微型化尺寸等優(yōu)勢而引起國內(nèi)外學者的廣泛關(guān)注。它能克服電類敏感元件的大部分局限，實現(xiàn)狹小空間下手術(shù)器械變形的精準測量［10-11］。Li 等人［12］設(shè)計了一種帶有三光纖共三組光纖光柵（Fiber Bragg Grating，F(xiàn)BG）的穿刺針傳感器，并對得到的離散曲率數(shù)據(jù)用四階多項式進行擬合得到穿刺針整體形狀。Jin 等人［13］提出了通過穿刺針內(nèi)的三根光纖上的FBG傳感器獲得曲率測量數(shù)據(jù)，并基于彈性桿理論和李群理論進行穿刺針的形狀重構(gòu)。Khan.F等［14］利用刻有FBG 的多芯光纖制作傳感器來測量多段導管的姿態(tài)，并基于布拉格光柵的測量值轉(zhuǎn)換為應(yīng)變，再根據(jù)應(yīng)變數(shù)據(jù)推導出曲率，最后利用曲率和Bishop 框架方程重構(gòu)導管姿態(tài)。Zhang等［15］利用三光纖五組光纖光柵實現(xiàn)210 mm 長穿刺針的二維形狀重構(gòu)。但是文章所提出的重構(gòu)算法的形狀數(shù)據(jù)均是基于傳感器的標定轉(zhuǎn)換矩陣由FBG 的波長數(shù)據(jù)得到穿刺針的離散位置信息，而后對位置信息進行多項式擬合得到形狀的數(shù)學表達，數(shù)據(jù)處理過程繁雜。另外多項式擬合的次數(shù)越高，其對關(guān)鍵節(jié)點位置信息的準確度就要求越高，否則任何位置的信息偏差都會導致重建結(jié)果的巨大變化［16］，所以上述重構(gòu)方法不適合復雜變形重構(gòu)。

為了解決上述問題，本文提出了一種融合分布式FBG 傳感技術(shù)和人工智能的形狀自感知穿刺針。基于形狀自感知穿刺針彎曲變形與光纖光柵中心波長變化之間的映射關(guān)系，分別搭建了形狀自感知穿刺針的形狀標定實驗裝置與其動態(tài)性能測試試驗裝置，得到不同彎曲狀態(tài)下光纖光柵的中心波長數(shù)據(jù)與利用canny 邊緣檢測算子提取得到的穿刺針實驗圖片序列形狀曲線數(shù)據(jù)。融合反向傳播神經(jīng)網(wǎng)絡(luò)（Back Propagation neural network，BP），得到光纖光柵中心波長漂移量與形狀函數(shù)之間的映射模型，實現(xiàn)了形狀自感知穿刺針的三維形狀重構(gòu)。實驗結(jié)果表明：穿刺針針體的形狀重構(gòu)誤差值可達到0.90 mm 以內(nèi)，彎曲方向角的最大誤差為5.03°；在動態(tài)性能驗證實驗中，形狀重構(gòu)最大誤差值為0.84 mm，彎曲方向角的最大誤差為1.02°。因此，該光纖傳感方案與形狀重構(gòu)算法在穿刺針形狀實行精準感知與調(diào)控方面具有廣闊的應(yīng)用前景。

2 形狀自感知穿刺針傳感結(jié)構(gòu)

形狀自感知穿刺針由鎳鈦合金穿刺針基體、3 根分別刻有5 個FBG 的單模石英光纖構(gòu)成，其結(jié)構(gòu)尺寸與FBG 布置情況如圖1 所示。穿刺針基體懸置長度為150 mm，直徑為3 mm，沿其軸向刻有3 個間隔120°、深0.4 mm 的直角型凹槽。3 根直徑為125 μm 的單模石英光纖分別命名為Fiberi，（i=1，2，3），通過環(huán)氧樹脂膠粘貼在鎳鈦合金穿刺針基體上的凹槽中。每根光纖上的5 個FBG 柵區(qū)長度均為3 mm，相鄰FBG 中心間隔28 mm，從穿刺針尖端至尾端分別命名為FBG_ij，（j=1，2，3，4，5），初始波長依次分別為1 535 nm，1 540 nm，1 545 nm，1 550 nm，1 555 nm，穿刺針同一橫截面上的3 個FBG 作為一組傳感單元，共構(gòu)成5 組傳感單元。

圖1 形狀自感知穿刺針結(jié)構(gòu)Fig.1 Structure of shape self-sensing needle

3 基于BP 神經(jīng)網(wǎng)絡(luò)的形狀重構(gòu)算法

3.1 FBG 的傳感原理

根據(jù)耦合模理論，F(xiàn)BG 中心波長λB取決于其周期Λ和有效折射率neff，任何使這兩個參量發(fā)生改變的物理量，都會引起FBG 中心波長發(fā)生漂移：

穿刺針與組織交互時發(fā)生形變，帶動其表面的FBG 產(chǎn)生軸向應(yīng)變，進而引起FBG 中心波長的漂移。設(shè)FBG 初始中心波長為λB，當FBG 受到軸向應(yīng)變時εi，其中心波長漂移Δλ 可表示為：

其中，pe為有效彈光系數(shù)。

穿刺針在進針過程中受到的軸向載荷更大，而非受到集中載荷，假設(shè)變形曲線C可采用三次多項式簡化為：

其中，a，b，c，d分別為該三次多項式的各項系數(shù)值。通過文獻［12］可知，穿刺針形狀曲線C與FBG 中心波長漂移量Δλ 之間存在非線性的映射關(guān)系。BP 神經(jīng)網(wǎng)絡(luò)是一種按誤差反向傳播算法訓練的多層前饋網(wǎng)絡(luò)，能學習和存貯大量的輸入—輸出的映射關(guān)系，無需訓練前揭示描述映射關(guān)系的數(shù)學模型，在解決非線性回歸問題上應(yīng)用廣泛［17］，而且調(diào)用建立的模型可快速實現(xiàn)形狀重構(gòu)輸出，所以本次采用BP 神經(jīng)網(wǎng)絡(luò)算法重構(gòu)穿刺針形狀。

3.2 傳感器形狀感知標定實驗系統(tǒng)

為了獲取訓練神經(jīng)網(wǎng)絡(luò)模型所需的數(shù)據(jù)，設(shè)計并搭建了形狀自感知穿刺針靜態(tài)標定實驗系統(tǒng)，如圖2 所示。首先通過3D 打印制備的連接件將形狀自感知穿刺針固定在RS60 旋轉(zhuǎn)微調(diào)架上，實現(xiàn)穿刺針的定位，然后通過Z方向微調(diào)架安裝在試驗臺上。根據(jù)穿刺針小變形假設(shè)，設(shè)計并通過3D 打印技術(shù)制備了5 個曲率標定板，曲率值依次為 0.000 0 mm-1，0.000 2 mm-1，0.000 4 mm-1，0.000 6 mm-1和0.000 8 mm-1。采用光纖光柵解調(diào)儀（高斯光學有限公司，中國；型號：OPM-T1620；采樣率：105 Hz；分辨率：1 pm）作為接收FBG 反射光譜信息的裝置。

圖2 形狀感知標定實驗裝置Fig.2 Shape sensing calibration experimental device

通過Labview 編程在PC 端顯示并記錄形狀自感知穿刺針上15 個FBG 的中心波長數(shù)據(jù)。首先記錄15 個FBG 的初始中心波長數(shù)據(jù)，而后將形狀自感知穿刺針固定在曲率標定板的凹槽中，記錄所有FBG 的中心波長，調(diào)節(jié)RS60 旋轉(zhuǎn)微調(diào)架調(diào)整穿刺針的安裝角度θ，每次實驗角度間隔為10°，角度調(diào)節(jié)范圍為0～360°。進行了5 次實驗，共測得180 組數(shù)據(jù)，以其中157 組作為神經(jīng)網(wǎng)絡(luò)模型的訓練數(shù)據(jù)，33 組作為測試數(shù)據(jù)。

如圖3 所示，顯示了θ=0°時3 根光纖在5 種不同曲率下的光譜數(shù)據(jù)，為了更直觀地分析光譜變化趨勢，對原始光譜進行了濾波和歸一化處理。圖3（a）顯示的是Fiber 1 的反射光譜，理論上該實驗條件下，F(xiàn)iber 1 處于穿刺針中性層上，不會出現(xiàn)波長漂移現(xiàn)象，但是由于傳感器的制備與安裝誤差，導致在實驗過程中其產(chǎn)生了微量波長漂移；圖3（b）和圖3（c）分別是Fiber 2 和Fiber 3在5 種不同曲率下的光譜數(shù)據(jù)，實驗時兩者受力方向相反，所以兩者的波長變化趨勢相反，F(xiàn)iber 2 光譜整體右移，F(xiàn)iber 3 光譜整體左移，隨著曲率的增加，光譜移動的幅度也越大。另外可以看到，在同一曲率板作用下，F(xiàn)BG 的初始中心波長越大，產(chǎn)生波長漂移量也越大。這是因為同一光纖上沿穿刺針軸向曲率是相同，通過式（2）也可以推導出相同的結(jié)論。

圖3 3 根光纖在5 種曲率下的反射光譜Fig.3 Reflection spectra of three fibers under different curvatures

3.3 基于BP 神經(jīng)網(wǎng)絡(luò)的穿刺針形狀重構(gòu)算法

將標定實驗所得波長數(shù)據(jù)及形狀數(shù)據(jù)劃分為訓練樣本和測試樣本，訓練樣本用于訓練神經(jīng)網(wǎng)絡(luò)得到滿足設(shè)定迭代次數(shù)的模型參數(shù)，構(gòu)建神經(jīng)網(wǎng)絡(luò)預(yù)測模型。調(diào)用該模型對測試樣本進行預(yù)測，預(yù)測結(jié)果用來評價該模型。通過仿真調(diào)試，綜合考慮模型訓練時間和預(yù)測精度，最終確定的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖4 所示，包括1 個輸入層，2 個隱藏層，1 個輸出層。其中以形狀自感知穿刺針上5 組傳感單元中心波長漂移量Δλ作為輸入層輸入數(shù)據(jù)，該層有15 個神經(jīng)元節(jié)點；第一隱含層和第二隱含層神經(jīng)元節(jié)點數(shù)分別為31和10；輸出層包含5 個節(jié)點，即穿刺針變形曲線的多項式各項系數(shù)值及穿刺針變形平面與x-y平面的夾角θ。此外，激活函數(shù)、學習函數(shù)也是BP神經(jīng)網(wǎng)絡(luò)模型的重要組成部分，本次神經(jīng)網(wǎng)絡(luò)模型隱藏層、輸出層的激活函數(shù)均采用雙極性S函數(shù)（tansig），學習函數(shù)選取梯度下降的權(quán)值/閾值學習函數(shù)（learngdm）。

圖4 基于BP 神經(jīng)網(wǎng)絡(luò)的穿刺針形狀重構(gòu)算法Fig.4 Needle Shape reconstruction algorithm based on BP neutral network

輸入信號Δλ經(jīng)第一隱含層后的輸出p1可以表示為：

p1經(jīng)相鄰的第二隱含層后的輸出p2可表示為：

p2經(jīng)相鄰的第二隱含層后的輸出u可表示為：

其中：w1，w2，w3分別為輸入層與第一隱含層、第一隱含層與第二隱含層、第二隱含層與輸出層之間的權(quán)值系數(shù)，兩個隱含層的權(quán)值系數(shù)，b1，b2，b3分別為其對應(yīng)的偏置。

激活函數(shù)f（）采用tansig 函數(shù)：

本次針對穿刺針平面變形進行測量，重構(gòu)誤差分為穿刺針形狀曲線C上針尖處的絕對誤差和彎 曲方向角θ的絕對誤差［18］。上述33 組測 試樣本的兩類誤差如圖5 所示，形狀誤差最大值為0.90 mm，彎曲方向角最大誤差為5.03°。

圖5 測試樣本誤差Fig.5 Error of test set sample

4 形狀自感知穿刺針形狀測量與重構(gòu)

4.1 融合圖像處理技術(shù)的形狀重構(gòu)性能測試系統(tǒng)

為驗證上述神經(jīng)網(wǎng)絡(luò)模型的性能，設(shè)計搭建了融合圖像處理技術(shù)的動態(tài)形狀重構(gòu)性能測試系統(tǒng)。采用單目攝像機（索尼（中國）有限公司；型號：α7000；分辨率：3 840×2 160）記錄實驗過程穿刺針的整體形態(tài)，采用光纖光柵解調(diào)儀作為接收FBG 反射光譜信息的裝置。形狀自感知穿刺針通過3D 打印零件與X-Y方向微調(diào)架連接，調(diào)整微調(diào)架可對穿刺針針尖處施加偏移量。為驗證穿刺針的動態(tài)響應(yīng)性能，調(diào)整微調(diào)架以鋸齒波的變化趨勢變幅值施加位移，利用FBG 波長數(shù)據(jù)采集系統(tǒng)和攝像機分別記錄實驗過程中的FBG 波長和穿刺針的形狀信息，實驗裝置如圖6所示。

圖6 形狀自感知穿刺針動態(tài)測試實驗裝置Fig.6 Shape self-sensing needle dynamic test experimental setup

其中攝像機獲得的實驗視頻文件通過圖像識別算法可得到穿刺針的形狀數(shù)學表達。首先將視頻文件導入到MATLAB 中，實現(xiàn)視頻的分幀，得到每幀的實驗圖像；通過定區(qū)域剪裁去除部分背景，僅保留穿刺針所在的區(qū)域，以避免背景對下一步邊界識別的干擾，得到更準確的邊界曲線。由于實驗過程中照明情況不佳，導致穿刺針針體與背景（試驗臺）區(qū)分度較小，而canny 算子可充分考慮圖像梯度，具有較好的連續(xù)性和較準確的定位［19］，故選擇了該算子。

調(diào)用MATLAB 中edge函數(shù)，設(shè) 定canny 算子低閾值為0.1，高閾值為0.2，得到實驗圖片序列的穿刺針邊界，通過三階多項式擬合可得穿刺針變形曲線，具體算法流程如圖7 所示。

圖7 基于canny 算法的穿刺針形狀提取Fig.7 Edge extraction of needle shape based on canny edge detection algorithm

4.2 形狀自感知穿刺針重構(gòu)誤差分析

圖8 經(jīng)神經(jīng)網(wǎng)絡(luò)預(yù)測輸出的形狀重構(gòu)結(jié)果Fig.8 Shape reconstruction result by the neural network

圖8（a）是動態(tài)性能測試實驗過程中穿刺針形狀重構(gòu)曲線與攝像機捕獲的實際形狀曲線上針尖的偏移量。圖8（b）是取圖8（a）中一段波谷（139 s）至波峰（167 s）段顯示神經(jīng)網(wǎng)絡(luò)模型預(yù)測輸出的穿刺針空間形狀。圖8（c）分別顯示了動態(tài)性能測試實驗的形狀曲線誤差和彎曲方向角誤差，形狀曲線C最大誤差為0.84 mm，彎曲方向角θ最大誤差為1.02°。動態(tài)實驗結(jié)果說明所提出的神經(jīng)網(wǎng)絡(luò)算法可以實現(xiàn)實時的形狀輸出。

5 結(jié)論

本文提出了一種基于分布式FBG 傳感原理的穿刺針形狀感知傳感器結(jié)構(gòu)和封裝方法，構(gòu)建了穿刺針變形重構(gòu)的神經(jīng)網(wǎng)絡(luò)模型，用以監(jiān)測穿刺針的微量變形。通過實驗研究和數(shù)值分析，驗證了所設(shè)計的形狀自感知穿刺針可感知穿刺針微量彎曲變形、彎曲方向角，分析得到針尖處重構(gòu)相對誤差小于0.90 mm，彎曲方向角最大誤差為5.03°。在動態(tài)性能測試實驗中，針尖處重構(gòu)相對誤差小于0.84 mm，彎曲方向角最大誤差為1.02°，神經(jīng)網(wǎng)絡(luò)模型的運行時間也可滿足手術(shù)過程中穿刺針位置實時顯示的要求。綜上所述，所提出的形狀自感知穿刺針及其形狀重構(gòu)算法能夠?qū)崿F(xiàn)穿刺針微量變形的測量，在機器人輔助/自主穿刺方面具有潛在的應(yīng)用價值。但設(shè)計訓練得到的神經(jīng)網(wǎng)絡(luò)模型魯棒性還有待提高，理論上通過增加訓練樣本數(shù)據(jù)可以得到精度更高、魯棒性更強的神經(jīng)網(wǎng)絡(luò)模型。