基于人工智能的數字X線機自助檢查系統的設計

楊 欣,陳 碧,王 輝,羅 江,曾 軒,朱昱昊,陳麗惠,池顯辰

(徐州醫科大學 醫學影像學院，江蘇 徐州 221000)

0 引言

擺位作為影像攝片中的核心環節，一直以來都是醫學生學習的重難點，而擺位不當也一直是影響醫生診斷、導致誤診漏診的罪魁禍首[1]。近年來，影像科醫學生成長速度慢、臨床影像科醫生水平良莠不齊、臨床診斷對影像攝片的依賴性增高等問題逐漸凸顯，擺位不當、醫療資源緊張和影像科技術人員壓力大成為傳統擺位的三大弊端。因此，研究出一款能實現輔助受檢者擺位、提高攝影準確性、縮短攝影時間這三大功能的產品具有十分重要的現實意義。

近年來，新冠肺炎疫情在世界范圍內蔓延，發現并控制疫情傳染源至關重要，尤其是出現無癥狀感染者時，利用數字X線機精準篩查可疑人員就成為醫院排查的一項重要措施，但由于部分地區防疫物資的不足，醫護人員的保護不盡人意。2019年底全球大規模爆發的新型冠狀病毒肺炎(NCP)和2003年的非典型肺炎(SARS)，對人類生命和健康產生了重大的威脅，醫護人員也付出了沉重的代價[2]。此外，臨床上擺位不當還是影響X線攝片質量、造成非甲級片出現的主要原因[3]，非甲級片往往會干擾影像醫師做出準確判斷，有時甚至會誤導醫師，造成耽誤患者病情延誤治療時間的嚴重后果。另一方面，據不完全統計，影像技師每天的工作量平均60～80份磁共振或者120～150個超聲檢查[4]。由于數字X線機在醫院臨床任務重，同時又具有射線輻射，不適合用于醫學生實踐教學。由此造成相關醫學專業實踐教學效果并不理想，醫學生動手機會少，動手能力差，特別是在鄉鎮醫院里低年資醫師實際操作的機會較少，專科醫師培養周期較長[5]。據悉，每年國內放射科醫療工作量增速達18.8%，而放射科醫生增速為4.1%，兩者增長速率相差甚遠，醫療資源相對不足間接激化醫患矛盾[6]。

基于人工智能的醫用數字X線機自助檢查系統就是針對上述需求，把人工智能應用于在數字X線機檢查中，開發了體位識別裝置、體位判斷裝置和語音提示糾正裝置，對受檢者實現體位自動識別，自主糾錯，自我調整。而影像科工作人員只需在監視系統下按下曝光按鈕便可完成檢查，真正達到了方便、安全、高效的目的。

隨著我國積極推進醫療現代化的發展，目前醫用數字X線機的發展日趨完善，而人工智能與影像結合正在成為醫療檢測和診斷領域的新趨勢。AI技術在醫療領域的布局與應用一直受到國內外科技巨頭的高度重視，其中“醫學影像+AI”是未來人工智能醫學發展中最被看好部分，也是最有可能率先實現商業化的領域[7]。人工智能診斷在臨床上已有經開始了大面積應用，人工智能輔助擺位將成為下一個熱點。美國的五大頂尖醫院如梅奧、克里夫蘭等都開始與人工智能公司合作，希望人工智能為醫學影像技術助力，成為人工智能醫療應用領域的領跑者，實現疾病檢查、診斷、治療和管理的智能化。相比于美國等發達國家，國內企業在醫學AI發展上緊跟時代步伐。北京航空航天大學生物醫學工程的高精尖創新中心在熒光分子斷層成像方面應用了AI技術，研究了一種基于深度學習技術的可以高精度、超快速成像的方法[8]。深度學習技術在輔助診斷方面同樣可以發揮重要作用。利用大數據與人工智能的相關技術來輔助放射科醫生進行醫學圖像識別，不僅能提高醫學影像數據識別的準確率，還能減輕放射科醫生的工作壓力，以達到疾病早發現、早治療的目的[9]。隨著信息技術和知識經濟的快速發展，人工智能的成果已經得到越來越多的應用。可以預見，在不久的將來人工智能的發展和普及必將勢不可擋，未來人工智能將會成為醫務工作者的絕佳助手。這些智能化發展也為人類的就醫方式帶來了巨大的轉變，同樣，病情診斷和疾病治療的高效與準確也給人們的生活健康帶來前所未有安全感[10]。

1 “自助檢查”系統的結構及原理

1.1 “自助檢查”系統的結構

“自助檢查”系統由圖像采集裝置、體位識別裝置、體位判斷裝置和語音提示糾正裝置4個部分組成。整套系統可以快速準確輔助受檢者“自助檢查”，減輕影像科工作壓力。“自助檢查”系統結構如圖1所示。

圖1 “自助檢查”系統結構圖

1.2 “自助檢查”系統的原理

該系統采用軟硬件結合技術，首先利用攝像頭對受檢者進行圖像采集，接著利用基于堆疊沙漏模型的體位識別系統檢測受檢者姿態關鍵點，然后通過體位判斷裝置，將大數據中的正確體位與受檢者體位對比，通過語音提示裝置提示影像技術人員可以攝片或者提示受檢者糾正體位。

2 基于人工智能的數字X線機“自助檢查”系統的設計與實現

2.1 “自助檢查”系統的設計

“自助檢查”系統設計主要有一下幾個步驟：1)圖像采集：首先令受檢者在診斷床上或熒光板前就位，用PC端攝像頭對受檢者體位進行拍攝采集，最后將得到的圖像命名并存儲到特定文件夾。2)體位識別：提取采集到的圖像，利用添加了可變形卷積和注意力機制的堆疊沙漏模型檢測受檢者頭、頸、胸、腹及四肢等大約20個姿態特征點并反饋坐標信息。3)體位判斷：提取受檢者姿態關鍵點及坐標信息后，對比標準體位數據庫里的姿態關鍵點信息，在95%的容錯率下，判斷受檢者體位是否標準。4)語音提示糾正裝置將體位判斷的結果通過播放器播放，從而對患者的不當體位進行實時糾錯或者提示影像技師可以攝片。

2.1.1 圖像采集

采用一個正對診斷床或熒光板的PC端攝像頭對受檢者體位進行拍攝采集，利用OpenCV得到照片的灰度圖，以及再對灰度圖進行二值化處理和腐蝕處理，最后將得到的圖像命名并存儲到特定文件夾。

2.1.2 體位識別

人工智能體位識別系統采用添加了可變形卷積和自注意力機制的堆疊沙漏網絡(Stacked Hourglass Networks)，通過提取采集到的圖像，精確檢測受檢者頭、頸、胸、腹及四肢等大約20個X線攝片姿態特征點并反饋坐標信息。

1)堆疊沙漏網絡：

堆疊沙漏模型的目標是在推理階段就盡量在所有尺寸的特征圖上捕獲信息。首先通過若干個池化層和卷積層執行下采樣程序，并通過反卷積進行上采樣處理。然后將這兩個過程中尺寸相同的特征圖相加，正如ResNet中所做的相加一樣，重復這種“先下后上”的處理來建立“堆疊沙漏”網絡，并且在每個“沙漏”后進行中間監督訓練。

傳統的堆疊沙漏網絡結構如圖2所示，其中的每個沙漏形狀的結構即代表一個沙漏模塊(Hourglass Network)，多個這種結構堆疊起來，稱作堆疊沙漏(Stacked Hourglass)[11]。單個沙漏模塊的網絡結構如圖3所示，其中每一個方塊即代表了一個殘差模塊，方塊的大小代表著輸入特征圖的尺寸，殘差模塊網絡結構如圖4所示。沙漏模塊的特點是具有對稱的拓撲結構，其體現在下采樣使用卷積處理，而上采樣使用反卷積處理[12-13]。首先是下采樣過程中進行若干次卷積和最大值池化操作得到最小尺寸的特征圖。在每次最大值池化操作后網絡會產生一個包含著若干卷積的分支，用于下一階段的特征圖融合。此分支的輸入是最大值池化操作之前的特征圖[14]。得到最小尺寸圖之后，網絡開始進行上采樣和特征融合過程。上采樣使用反卷積操作，將上采樣后的特征圖與網絡分支上同尺寸的特征圖進行元素級的相加，即可得到融合的特征圖。殘差模塊使得1×1和3×3步長為1的卷積層不改變輸入特征圖的尺寸[14]。圖4表示輸出卷積核大小和特征緯度，其中跳層連接用虛線表示。中間監督(intermediate supervision)過程如圖5所示，虛線代表跳層連接，沙漏圖形代表了一個沙漏模塊[14]，右側深色的方塊代表著生成的HeatMap，訓練階段，將這些HeatMap和真實HeatMap計算損失MSE，并求和，得到損失；推斷階段，使用的是最后一個Hourglass的HeatMap[11]。

圖2 堆疊沙漏網絡模型

圖3 單個沙漏模塊

圖4 殘差結構

圖5 中間監督模塊

2)可變形卷積：

可變形卷積(deformable convolution)是指在常規的網格狀空間采樣中加入2D偏移(offset)，即在標準卷積的基礎上給每個卷積核的參數添加一個方向向量，使的我們的卷積核可以變為任意形狀，從而使采樣點分布到我們感興趣的區域，更好地提取輸入的特征，達到增強CNNs對于變形目標的建模能力[15]。

2D卷積包含兩個步驟，首先用常規的gridR在輸入特征圖上x進行采樣，接著將這些采樣結果以權重w進行歸并。gridR定義了空洞率和感受野的大小，如R={(—1，-1),(—1,0),..., (0,1),(1,1)}就定義了一個空洞率為1、感受野尺寸為3×3的核[16]。

在標準卷積中pn是R中有限個位置的枚舉，對于輸出特征圖y中的每一個位置的p0都有：

在可變形卷積中，常規網格R經過了偏移{δpn=n=1,…,N}，其中N= |R|后，對于輸出特征圖y中的每一個位置的p0都有：

(2)

因此采樣就在不規則且有偏移的位置pn+δpn上進行，由于存在偏差δpn，故可以通過雙線性差值實現，其中p表示任意的位置(公式(2)中p=p0+pn+δpn)，q是從特征圖x中選擇出的：

(3)

因為G(·,·)是二維的雙線性插值的核函數，故可以分成兩個核，其中g(qx,px)=max(0，1-|qx-px|)，g(qy,py)=max(0，1-|qy-py|)：

G(q,p)=g(qx,px)·g(qy,py)

(4)

如圖6所示，首先輸入圖像，利用標準卷積核提取特征圖，接著把得到的特征圖作為輸入，對特征圖再施加一個卷積層，從而得到可變形卷積的偏差，輸出的偏差域和輸入特征圖的尺寸相同，通道維度的2 N對應N的二維偏移，同時對生成偏移和輸出特征的卷積核進行訓練，從而實現更準確的姿態估計[16]。

圖6 可變形卷積

3)自注意力機制：

自注意力機制(self-attention mechanism)與人類觀察外界事物機制很類似，當人類觀察外界事物的時候，往往傾向于根據需要選擇性地去捕捉被觀察事物的某些重要部分，例如當看到圖7的大量水果時，人類往往能夠迅速找出某種特定的水果，這正是因為人類可以選擇性地捕捉信息，并對信息進行篩選[17]。同理，自注意力機制可以對輸入特征的不同部分賦予不同的權重，從關鍵區域中捕捉更重要的信息，從而減少了模型計算與儲存的開銷，同時使識別結果更為準確[18]。

圖7 水果堆

圖8 自注意力機制原理

2.1.3 體位判斷

體位判斷裝置在PC端提取受檢者姿態關鍵點及坐標信息后，調用標準體位數據庫里的姿態關鍵點信息，并將二者進行對比，在95%的容錯率下，判斷受檢者體位是否標準以及誤差糾正。其中標準體位數據庫是以MPII和LSP數據集為基礎，與多家醫院影像科達成合作、在專家的指導下自主研發。針對關鍵點信息的對比，本裝置利用動作相關關系模型、關鍵點相對位置模型[20]以及余弦角度模型進行錯誤姿勢判斷，整體算法基于改進后的堆疊沙漏模型，可以對照片中受檢者姿態進行正誤判斷以及誤差糾正。若姿態正確，則輸出“CORRECT”，若不正確，則輸出“ERROR”，并根據上述3個模型的判斷結果，對錯誤姿勢的糾正進行簡單說明。

2.1.4 語音提示糾正裝置

語音提示糾正裝置將體位判斷的結果通過播放器播放，從而在正式攝片前對患者的不當體位進行糾錯或者提示影像技術人員可以攝片。

具體過程如下：首先把語音文案轉成MP3格式語音文件，接著把語音文件提供給芯片方，定制語音；將焊接到單片機上，然后根據芯片規格書寫控制時序程序，每條語音都對應了一個地址；最后將地址數據寫入芯片，即可自動播放指定語音。

3 實驗結果與分析

3.1 實驗步驟

首先征集20名志愿者作為受檢者。令受檢者在診斷床上或熒光板前就位，擺出攝片體位，接著由圖像采集系統采集并儲存圖像，用堆疊沙漏模型采集受檢者姿態關鍵點，同時有可變形卷積優化關鍵點識別效果、注意力機制較少模型計算與儲存的開銷，然后用體位判斷裝置將受檢者姿態關鍵點與標準體位數據庫中姿態關鍵點進行對比，判斷受檢者體位是否標準以及誤差糾正，若受檢者體位不當，則通過語音提示裝置對受檢者進行糾錯指導；若受檢者體位正確，則提示影像技術人員可以攝片。圖9是自助檢查系統流程圖。

圖9 “自助檢查”系統流程圖

系統測試實驗結果主要包括兩部分，一部分是對甲級片出片率、攝片時間和院內感染3個指標定量的測試，另一部分是對診斷錯誤率、受檢者和醫生滿意度3個指標近似定性的測試。前三者的結果通過比較使用“自助檢查”系統前后的醫療數據得出，后三者的結果通過對醫生及受檢者進行問卷的形式得出。

3.2 實驗結果

根據實際情況，該系統只對部分實驗數據結果進行了展示。圖10展示了在應用數字X線機自助檢查系統后，某三甲醫院影像科在診斷錯誤率、甲級片出片和攝片時間等6項指標上的變化以及變化的幅度。

圖10 實驗結果

3.3 結果分析

實驗結果表明，該系統在診斷錯誤率、攝片時間、院內感染的發生方面較未使用“自助檢查”系統時均有減少；甲級片出片率、受檢者及醫生滿意度均有提升。攝片時間縮短了50%左右，將甲級片出片率從不足40%提升到將近80%，進而將誤診率減少了至少30%，同時能夠有效地減少醫患接觸，減低了院內感染的風險，系統實現了縮短攝片時間、提高攝影質量、降低院內感染以及提高醫生和受檢者滿意度的目標。

4 結束語

傳統攝片帶來的一系列問題隨著人們需求的不斷增長而日益顯現，擺位不當、醫療資源緊張和影像科技術人員壓力大是目前亟待解決的問題。基于人工智能的數字X線機體位識別系統，利用自主研發的人工智能體位識別裝置、體位輪廓投射控件和貼心的語音提示功能，幫助受檢者自助檢查，縮短攝片時間，同時提高攝片精確度，減少誤診漏診，還能避免院內感染，保護一線醫務人員。醫療設備的更新換代，可以挽救人們的生命；而醫療模式的智慧化、升級化，則可以改變人們的生活。