基于深度學習的多模態氣管插管智能目標檢測

徐天意，夏 明，李 峰，常 敏，姜 虹

（1. 上海交通大學醫學院附屬第九人民醫院 麻醉科，上海 200011；2. 上海理工大學 醫用光學技術與儀器教育部重點實驗室，上海 200093）

氣管內插管是麻醉醫生對全麻狀態下患者進行氣道管理的重要手段，其在保持氣道通暢、通氣供氧、呼吸支持、維持氧合等方面起到了重要作用，而困難氣道則是麻醉醫生在氣道管理時遇到的極具挑戰性的一種臨床情況。困難氣道指接受常規訓練的麻醉醫師在面罩通氣或氣管插管時遇到困難的狀況，常見原因如顱頜面畸形、外傷、瘢痕粘連等。在接受全身麻醉的患者中，困難氣道的發生率約為0.5%～10%[1-2]。困難或者失敗的氣管插管會導致永久性腦損傷甚至死亡等不良結局[3-4]。為此，臨床上常采用纖支鏡引導的清醒氣管插管方式來最大程度地保障患者安全[5]。

近年來，隨著人工智能和深度學習的興起和發展，許多研究人員將人工智能技術應用到醫學圖像檢測領域，取得了顯著成果。在氣管插管裝置方面，插管輔助設備也在向智能化和自動化方向發展。2012年，Hemmerling等[6]研發了首個氣管插管機器人——開普勒系統（KIS），驗證了遠程操控氣管插管的可行性。瑞士蘇黎世大學的Biro等[7]在2020年研發了基于喉部影像識別的自動化內窺鏡下氣管插管裝置（REALITI），該裝置具有實時圖像識別和遠端自動定位功能，操作者手動控制內窺鏡彎曲和前進方向，當圖像識別檢測聲門開口后，可切換到自動模式，使內窺鏡前端自動向聲門開口的幾何中心點移動，直至進入氣道。盡管氣管插管技術取得了諸多的研究進展，但大多仍基于單一的內窺鏡圖像成像方式進行識別。在插管的過程中，內窺鏡圖像的視角相對較小，圖像對比度、目標距離、目標大小等都會發生變化，不利于醫生快速鎖定目標。另外，痰液及氣道分泌物遮擋氣管口、食道口等目標，對視覺圖像造成干擾。

1 基于深度學習的多模態氣管插管智能目標檢測算法

在氣管插管過程中，依據內窺鏡圖像識別聲門開口是確定氣管導管方向和位置的重要步驟。深度學習具有強大的目標圖像特征提取能力，可實現更精確的特征識別。利用深度學習的方法對內窺鏡圖像進行聲門開口的檢測，從而輔助氣管插管。

在深度學習網絡中，卷積神經網絡通過卷積核提取圖像的特征，其卷積核的大小決定了感受野的大小，不同感受野對不同尺度目標的檢測效果也不盡相同。YOLOv3是目前常用的目標檢測算法，可以在不降低檢測精確度的情況下，實現快速目標對象檢測。傳統YOLOv3骨干網絡中采用固定大小的卷積核，其感受野的范圍固定，無法有效地提取內窺鏡圖像中的信息。特別是在檢測尺度變化較大的聲門開口目標時，不可避免地會錯檢和漏檢。為此，本文提出了一種基于空洞卷積和特征融合的YOLOv3網絡。在此基礎上，根據多路CO2濃度差異，利用矢量化定位算法確定目標中心，以進一步校正YOLOv3得到的目標位置，提升目標檢測精度。

1.1 基于空洞卷積和特征融合的YOLOv3網絡

基于空洞卷積和特征融合的YOLOv3網絡，如圖1所示。首先，改進了YOLOv3骨干網絡Darknet53，設計權重共享并行多分支空洞卷積殘差模塊（multi-branch dilated convolution block, MDBlock），以提取更豐富的圖像特征, 如圖2所示。該模塊使用不同擴張率的空洞卷積核對不同尺度的目標特征信息進行提取，同時借助上采樣和張

圖1 基于空洞卷積和特征融合的YOLOv3網絡Fig.1 YOLOv3 network based on dilated convolution and feature maps fusion

圖2 權重共享并行多分支空洞卷積殘差模塊Fig.2 Weight-sharing parallel multi-branch dilated convolution block

量拼接技術增加特征圖的數量，提升檢測小目標的精度。將原來的殘差塊用3個并行的殘差塊代替，并在每個殘差塊的首部和尾部增加1×1的卷積核來確保通道數不變。同時，采用3個不同擴張率的3×3的空洞卷積代替原來的3×3的普通卷積，并且這3個并行的殘差塊中空洞卷積的權重是共享的。本研究將骨干網絡Darnet53中的殘差塊全部替換為所設計的權重共享的并行MD-Block。

其次，為進一步檢測更淺層的特征，在保持YOLOv3原來輸出層的基礎上，通過特征金字塔網絡生成另外兩個不同尺度的特征圖。具體過程如下：對輸出的52×52尺寸的特征圖進行上采樣，并與骨干網絡中的淺層104×104的卷積層輸出進行張量拼接，輸出104×104尺寸的特征圖。類似的，對輸出的104×104大小的特征圖進行上采樣，與骨干網絡中208×208大小的卷積層輸出進行張量拼接，輸出208×208尺寸的特征圖。

1.2 多路CO2濃度信號定位算法

依據測量得到的四路ETCO2濃度差異，通過矢量化定位算法確定目標的中心位置。具體算法如下：根據四路CO2傳感器的安裝位置，通過對每個傳感器進行位置標定，建立坐標系。根據所建立的坐標系按照如下式子可以計算出目標中心點的坐標位置（x0,y0）。

現代社會的競爭是科技、人才的競爭，歸根到底是教育的競爭。傳統的灌輸式教學方式，“你打我通、你說我聽”的教學方法已不適應新形勢的要求。教師對學生的教育作用，已不單單是知識的傳遞，而是教師對學生的思想觀念、文化素養、道德風尚的全面影響。對此，教師要從自身做起，不懈地學習知識，奮力更新觀念，潛心修身養性，以創新為導向，建立前瞻性教育思維，以適應新形勢的發展和要求。

式中：O1，O2，O3和O4分別為傳感器1、傳感器2、傳感器3和傳感器4測得的CO2濃度向量；θ1為O1和O3與x軸的夾角，θ2為O2和O4與y軸的夾角；δ為歸一化因子。

1.3 多模態定位算法的融合

建立圖像坐標系和ETCO2矢量化定位坐標系的轉化關系，將ETCO2矢量定位算法計算出的目標中心位置映射到圖像坐標系中，進一步將其與改進的YOLOv3網絡模型計算得到的邊界框的中心坐標進行加權融合，最終得到準確的目標中心坐標。

具體步驟是通過改進的YOLOv3網絡先為每個邊界框預測4個偏移量tx,ty,tw,th，這4個變量分別表示預測的目標對象的中心坐標、目標預選框的寬度和高度。此外，網絡也會輸出衡量預選框中存在目標對象的概率值和目標對象所屬的類別。假設目標對象所在的柵格從圖像的左上角作偏移，利用如下計算公式，得到網絡在圖像坐標下預測的目標邊界框的中心坐標(bix,biy)信息。

式中：dx,dy分別為偏移的長度和寬度；σ為sigmoid 函數。

進一步將網絡預測的目標邊界框的中心坐標與通過矢量化定位算法計算出的目標中心位置映射到圖像坐標系后得到的坐標進行加權融合，最終得到目標邊界框的中心坐標為

式中：bx,by,bw,bh分別為最終計算出的目標邊界框的中心坐標、寬度和高度；bcx,bcy為通過ETCO2濃度矢量化定位算法計算出的目標中心映射到圖像坐標系中的坐標；bix,biy為網絡在圖像坐標下預測的目標邊界框的中心坐標；pw,ph分別為預測框的寬度和高度；α,β分別為權重因子。

2 損失函數的設計

本文對網絡預測的邊界框的中心坐標、寬度和高度采用均方誤差損失。同時，在分類時將Softmax分類函數用多個logstic回歸代替，利用二值交叉熵函數來計算邊界框分類損失及置信度損失。假定得到的特征圖的大小為S×S，每個網格產生B個錨框，每個預選框經過網絡最終得到S×S×B個邊界框，最終的損失函數Lt包含檢測框中心坐標誤差損失Lmd、檢測框高度和寬度誤差損失Lmg、置信度誤差損失Lcf和分類誤差損失Lcl。定義某一個預選框和真實框的交并比大于其他的預選框，則采用這個預選框來檢測當前的目標。

3 訓練參數設定

在對改進的網絡進行訓練的過程中，對訓練參數進行了相應的配置，具體為：batch的大小設置為4，subdivisions設置為8，將采集到的80張圖像平均分配到8組分別進行訓練，權值衰減設置為0.000 5，動量設置為0.9。在訓練的后期，設置學習衰減策略為step，學習率變動因子設置為0.1，使用隨機梯度下降法（stochastic gradient descent,SGD）對網絡的參數進行更新。

4 模擬氣道訓練驗證

基于深度學習的多模態氣管插管智能目標檢測算法，上海交通大學醫學院附屬第九人民醫院麻醉科與上海理工大學光電學院共同研發了多模態氣管插管輔助裝置的初代樣機，并在模擬氣道中驗證其可行性。

4.1 材料與設備

模擬氣道訓練使用的設備和材料主要包括：a. 氣管插管裝置，見圖3，包括多模態氣管插管輔助裝置第一代樣機和纖支鏡；b. 模擬氣道裝置，見圖4，為高仿真氣管插管模擬人一套（上海柏教，BZ-51）；c. 其他材料包括石蠟油、頸托固定器、CO2產生裝置（內含CO2氣瓶）、模擬肺和連接管道。

圖3 氣管插管裝置Fig.3 Endotracheal intubation device

圖4 困難氣道氣管插管模型Fig.4 Endotracheal intubation model in difficult airway

困難氣道插管模型的構建是利用頸托固定器限制模擬人頸部活動度，以模擬困難氣道；然后通過連接管道將模擬肺與CO2產生裝置相連，按壓該裝置上方的按鈕可以釋放CO2，以模擬清醒插管狀態下呼氣末CO2從氣道內逸出的狀態。

4.2 研究內容

比較14名麻醉科住院醫生使用新型多模態氣管插管輔助設備和傳統纖支鏡在困難氣道模擬人中的應用效果。所有參與研究的志愿者均無相關設備的使用經驗。

首先由一名指導老師對參與研究的14名志愿者進行培訓，包括氣管插管的基礎知識和多模態氣管插管輔助裝置、纖支鏡的使用方式，同時在模擬人上進行操作示范。然后每位志愿者在該模型上分別使用纖支鏡和多模態氣管插管輔助裝置各完成5次經鼻氣管插管的操作，記錄每次操作的時間。

具體操作方式如下：石蠟油潤滑纖支鏡和多模態氣管插管輔助裝置前端，將引導裝置緩慢經鼻腔送入，調節手柄上的旋轉把手以控制引導裝置前端鏡頭的上下彎曲，旋轉操作手柄調節引導裝置的左右轉動，從而調節視野范圍。當使用纖支鏡時，根據內窺鏡下的視覺圖像尋找聲門位置。當使用多模態氣管插管輔助裝置時，助手按壓CO2產生裝置模擬清醒狀態下氣道內CO2的呼出，通過多模態算法定位，確定氣道的中心位置并同步在顯示屏上，根據屏幕箭頭指示方向調節引導裝置前端方向，向聲門口移動。如圖5所示，根據箭頭所指示的方向判斷聲門位置在右上方，則應向圖像右上方調整鏡頭。當引導裝置進入聲門后繼續向下推進直至氣管隆突，以此標志作為進入氣道內的評判標準。

圖5 多模態氣管插管輔助裝置的指示圖Fig.5 Indication diagram of multimodal endotracheal intubation assistant device

4.3 觀察指標

記錄每位志愿者每次的操作時間和結果，操作時間定義為引導裝置從鼻腔到氣管隆突的時間。若在120 s內將引導裝置成功置入氣道，則定義為操作成功，其余為操作失敗。

4.4 實驗結果

參與研究的14名志愿者共完成了70次多模態氣管插管輔助裝置和70次纖支鏡的操作，結果見表1。

表1 多模態氣管插管輔助裝置和纖支鏡的操作情況Tab.1 Operation assessment of multimodal endotracheal intubation assistant device and fiberoptic bronchoscopy

在70次多模態氣管插管輔助裝置的操作中，兩名志愿者分別有1次操作未進入氣道中，其余操作均進入氣道且操作時間小于120 s。在所有使用多模態氣管插管輔助裝置的成功操作中，操作時間中位數為15.5 s（13.0～19.0 s）, 最短時間為8 s，最長時間為58 s，操作成功率為97.3%（95%CI:90.7%～99.7%）。在70次纖支鏡的使用中，共有3次操作失敗，其余操作時間均小于120 s，操作時間中位數為15 s（12.0～20.0 s），操作時間的范圍為9～39 s，操作成功率為96.0%（95%CI:88.8%～99.2%）。兩種設備在操作時間（P=0.569）和操作成功率（P=1.000）上的差異均無明顯統計學意義。

4.5 實驗分析

困難氣道氣管插管模擬操作表明，這兩種設備在該模型中的操作時間（15.5 s 和 15 s）和操作成功率（97.3%和96.0%）之間的差異不顯著。

對困難氣道的管理一直是麻醉醫師關注的問題，根據2013年美國麻醉醫師協會指南推薦[11]，常見用于管理困難氣道的技術包括清醒氣管插管、盲探氣管插管、纖支鏡引導氣管插管、聲門上氣道工具、光棒以及視頻喉鏡。對于術前預期的困難氣道，保持患者自主呼吸狀態下纖支鏡引導的氣管插管是保障患者安全的有效方式。但是纖支鏡內鏡視角小，易受痰液、血液等分泌物的遮擋，以及在一些氣道結構出現改變的困難氣道中，難以辨認氣道方向[12]。雖然目前有不少國內外研究致力于通過人工智能算法輔助氣管插管，但多數仍是基于視覺圖像，仍有部分限制。

在氣管插管過程中，當氣管導管接近聲門口時，ETCO2分壓迅速達到15 mmHg以上，波形也愈發明顯，這對確定氣道方向具有一定的指導意義，也是本研究的理論基礎[13]。利用多路CO2濃度差異，通過矢量化算法確定濃度中心位置。同時，通過改進的YOLOv3網絡對小目標進行高精度的提取，將多模態的算法進行加權融合，最終確定氣道中心。本研究以此為基礎，完成了新型多模態氣管插管輔助裝置的研發。

同時，在模擬困難氣道中的操作效果分析上，與傳統的纖支鏡相比，多模態氣管插管輔助裝置在操作時間和操作成功率上均無顯著的統計學差異。相關在困難氣道訓練模型中的研究表明，纖支鏡進行氣管插管的時間約為56～72 s，成功率40%～85%不等[14-15]。Piepho等[16]在困難氣道模型中的研究結果表明，使用纖支鏡進行經鼻氣管插管時，纖支鏡暴露聲門的時間大約33 s，成功率可達81%。不同研究結果的差異與不同氣道模型以及對操作成功的不同定義相關。本研究中未置入氣管導管，這是因為本研究的主要目的是比較多模態氣管插管輔助裝置和纖支鏡在操作上的差異，而氣管插管過程會影響操作時間，干擾對多模態氣管插管輔助裝置應用效果的評估[7]。同時，氣道的識別和定位為氣管插管的關鍵步驟，對氣管插管的成功有著重要意義。因此，本研究中僅把將引導裝置正確置入氣道作為結局。與先前研究相比，本研究中的操作時間和操作成功率都取得了較為滿意的結果，可認為多模態氣管插管輔助裝置是纖支鏡的一種可行的替代方法。

另外由于本研究為僅在氣道模擬人上進行了初步驗證，無法完全模擬痰液、血液等真實的臨床情況，該新型氣管插管輔助裝置的優勢無法完全得到體現。同時，在模擬氣道中取得較滿意的應用效果并不能完全推廣至臨床應用中。今后，研究團隊將對該裝置進行下一步的改進和完善，實現在臨床操作中的運用和推廣。

5 結 論

為改善目前氣道插管過程中圖像視角較小、目標尺度變化大、相互遮擋等不足，提出了一種基于深度學習的多模態氣管插管智能目標檢測算法，融合內窺鏡的圖像信息和ETCO2濃度信息，輔助氣管口的檢測。首先，改進了傳統YOLOv3的Darknet53主干網絡，構建權重共享的并行多分支空洞卷積殘差模塊，提高了網絡獲取圖像特征的能力；其次，在保留YOLOv3原來的輸出層的基礎上，利用特征圖像金字塔生成另外兩種不同尺度的特征圖，并對特征圖進行上采樣和張量拼接，提升了對小尺寸目標的檢測效果。同時，利用四路ETCO2濃度差異進行矢量化算法定位目標中心位置。最終，將其得到的目標信息與圖像得到的目標信息進行融合，設計出多模態氣管插管智能目標檢測算法，并研發了多模態氣管插管輔助裝置。該輔助裝置在模擬人上進行氣管插管的輔助引導是可行的，具有比較滿意的操作時間和成功率。本研究證實了基于深度學習的多模態氣管插管智能目標檢測算法能夠有效輔助氣管插管操作，為多模態氣管插管輔助裝置的進一步發展提供了基礎。