人工智能醫療器械企業質量管理體系構建關鍵指標篩選研究

劉毅 ，王浩，李澍，任海萍，樊瑜波

1. 北京航空航天大學 a. 生物與醫學工程學院； b. 生物醫學工程高精尖創新中心，生物力學與力學生物學教育部重點實驗室，生物與醫學工程學院；c. 醫學科學與工程學院，北京 100191；2. 北京北鈴專用汽車有限公司，北京 101500；3. 中國食品藥品檢定研究院 醫療器械檢定所，北京 102629；4. 國藥集團醫療器械研究院，北京 100028

引言

人工智能醫療器械（Artificial Intelligence Medical Device，AIMD）作為一個新興的產業，近幾年在圖像識別[1]、決策支持[2]、自然語音識別[3]和語言轉換[4]等研究領域取得了突破性進展。2018年，利用醫學影像人工智能（Artificial Intelligence，AI）實現視網膜病變篩查的研究成果在Cell雜志發表[5]，同年美國食品藥品監督管理局（FDA）批準了“IDx-DR”產品的上市申請，該產品為首個獲批的糖網篩查AIMD產品，其可對成人糖尿病患者進行糖尿病視網膜病變篩查。隨后，FDA先后批準多個AIMD軟件及科技項目，例如Imagen公司的“OsteoDetect軟件”，Aidoc醫療人工智能公司的“工作流程優化組合產品”及Subtle Medical深透醫療的“SubtlePET”等。

隨著我國政策紅利與科研創新加速的雙重驅動[6]，我國也陸續有一些AIMD產品獲批上市，截至2020年12月底，已經獲批上市的AIMD產品有9個，包括“冠脈血流儲備分數計算軟件”“心電分析軟件”“顱內腫瘤磁共振影像輔助診斷軟件”等，AIMD各個方向具有代表性的生產研發企業有40余家。但是，筆者通過深度走訪相關的生產企業，發現大部分生產研發企業更注重產品的適用性、輔助診/治療效果等方面的研發精力，而在AIMD產品的生產研發過程中，其質量管理體系尚不夠完備，且缺乏AIMD企業質量管理體系構建的參考標準。然而，產品的質量管理體系對產品的上市審批流程的加速以及產品上市后的質量控制均具有舉足輕重的作用[7]。

YY/T 0287-2017《醫療器械質量管理體系用于法規的要求》作為醫療器械質量管理體系的通用要求[8]，有其作為醫療器械必須要遵循的普適性。但是AIMD產品，除了有其作為醫療器械的普適性，還有其作為AIMD產品/軟件的特殊性。2019年7月，國家藥品監督管理局醫療器械技術審評中心在全球率先發布《深度學習輔助決策軟件審評要點》[9]，同時主持完成《醫療器械生產質量管理規范獨立軟件附錄》[10]（以下簡稱軟件附錄）。如何將YY/T 0287-2017[8]的要點與軟件附錄甚至《Xavier GMLP報告》[11]有機地結合起來，構建一套AIMD生產企業普遍適用的質量管理體系，目前尚無報道。本研究旨在YY/T 0287-2017的基礎上，通過專家咨詢法，篩選出與AIMD質量管理體系相關的關鍵指標，從而為進一步構建企業內部的AIMD質量管理體系提供參考依據。

1 對象與方法

1.1 調查對象

遵循權威性和代表性原則，本研究選擇醫學AI領域的首席專家、AI評審員、檢驗所及研究院專家、行業協會專家以及相關企業科研高管等共計15位AI領域研發評審權威專家，作為本研究的咨詢專家。

同時，結合專家咨詢法的專家權威程度計算公式：專家權威程度Cr=（專家判斷系數Ca+專家熟悉系數Cs）/2，科學判斷咨詢專家的權威程度。注：Cr值在0～1之間，值越大，說明專家的權威程度越高，Cr≥0.70則表明是一項比較好的專家咨詢[12]。專家權威程度采用自評方式，專家對AIMD產品質量管理體系的判斷系數量化值，見表1[13]；專家對AIMD產品質量管理體系的熟悉程度量化值：非常熟悉1.0，比較熟悉0.8，一般熟悉0.6，不太熟悉0.4，很不熟悉0.2[14]。

表1 指標體系判斷依據及影響程度

1.2 調查方法

采取兩輪專家咨詢的方式，首輪通過對YY/T 0287-2017《醫療器械質量管理體系用于法規的要求》[8]，根據AIMD產品的特殊性，結合軟件附錄、《Xavier GMLP報告》[11]和專家頭腦風暴后，篩選出與AIMD產品相關的指標；二輪專家咨詢根據首輪咨詢篩選出的相關指標，制定《人工智能醫療器械生產研發質量管理體系關鍵指標專家咨詢表》（圖1），對其采用Likert 5點法進行權重打分，根據評分的平均分值、標準差、變異系數（Coefficient of Variation，CV值）以及滿分率等篩選出AIMD質量管理體系構建的關鍵指標。

《人工智能醫療器械生產研發質量管理體系關鍵指標專家咨詢表》中候選指標是參考文件YY/T 0287-2017《醫療器械質量管理體系用于法規的要求》[8]，對AIMD產品質量管理體系構建過程中的質量管理體系、管理職責、資源管理、產品實現、測量、分析和改進等5個一級指標進行相關性評估。各一級指標的二級指標如下：① 質量管理體系：總要求和文件要求；② 管理職責：管理者承諾、以顧客為關注焦點、質量方針、策劃、職責、權限與溝通、管理評審；③ 資源管理：資源提供、人力資源、基礎設施、工作環境和污染控制；④ 產品實現：產品的實現與策劃、與顧客有關的過程、設計和開發、采購、生產和服務提供、監視和檢測設備的質控；⑤ 測量、分析和改進：監視和測量、不合格品控制、數據分析、改進。

1.3 數據分析方法

共發放15份調研問卷，回收15份問卷，回收率為100%。將所有數據整理錄入格式化后，應用IBM SPSS 21.0進行統計學分析，計算各指標的權重均值、標準差、CV值和滿分率。

2 結果

2.1 專家權威度

受邀參與咨詢的專家基本情況，見表2。從表2中可以看出：100%的專家具有副高級及以上職稱，63.33%具有碩士及以上學位，86.67%為科室主任及以上職務。結合專家咨詢法的專家權威度計算公式，本研究邀請的專家Ca=0.89、Cs=0.93，由此計算可得專家權威程度Cr值為0.91（＞0.7），證明此次調研是比較好的專家咨詢，專家組的權威度高。

表2 咨詢專家基本情況

2.2 指標篩選

首輪專家咨詢，通過對YY/T 0287-2017《醫療器械質量管理體系用于法規的要求》5個一級指標，22個二級指標、60個三級指標進行專家咨詢和頭腦風暴之后，一致認為10個二級指標、24個三級指標與AIMD產品的特殊性無關，刪除篩選之后，共得到5個一級指標、12個二級指標，36個三級指標。后續對篩選出來的36個三級指標進行二輪專家咨詢權重打分。問卷內容如圖1所示。

圖1 人工智能醫療器械生產質量管理體系關鍵指標專家咨詢表

2.3 指標權重咨詢結果分析

將回收的15份問卷的結果進行格式統一處理后，導入到SPSS 21.0，計算各指標的均值、標準差、CV值和滿分率，結果見表3。對各分析結果進行繪圖展示，見圖2。

圖2 針對各項指標二次專家咨詢結果匯總

表3 專家咨詢結果

可以看出，36個指標的平均分值介于3.40～4.93之間，標準差均小于1.00，CV值均小于25%。其中“設計和開發”部分的指標評分CV值均小于20%，滿分率均≥66.67%。對于各項指標對于AIMD質量管理體系構建的相關程度，專家的意見整體比較統一。

按照平均分、標準差、CV值和滿分率四項指標的綜合排名，可以發現：“設計和開發驗證”“設計和開發確認”和“設計和開發更改的控制”三個指標的得分均值分別為4.93、4.87和4.87，標準差分別為0.26、0.35和0.35，CV值分別為5.23%、7.23%和7.23%，滿分率分別為93.33%、86.67%和86.67%。排名前三的這三個指標，專家們的意見表現出了高度的一致性。

3 討論與結論

2020年是我國AIMD平穩發展的又一年，技術創新與落地轉化步伐持續加速，醫療器械審評部門也已逐步建立起AIMD技術臨床準入評審規范和標準，一些創新技術陸續經過評審進入臨床。然而，由于AIMD在我國落地的時間還不長，產品應用評估和質量控制體系總體處于起步與探索階段，AIMD產品的質量管理體系尚不夠完備[15]。相關政府部門也高度重視AIMD產量的質量管理，2019年10月，國家藥監局正式批復成立人工智能醫療器械標準化技術歸口單位，由中國食品藥品檢定研究院作為秘書處承擔單位。《人工智能醫療器械質量要求與評價 第1部分：術語》和《人工智能醫療器械質量要求與評價 第2部分：數據集通用要求》兩個醫療器械行業標準在中檢院的組織下，已進入報批階段[16]。標準體系的健康發展，需要夯實的產品質量作保證，生產研發企業的質量管理體系的建立，是確保產品順利通過上市審批并對產品上市后的質量強有力保障的基礎[7]。

本研究通過專家咨詢法，首次基于YY/T 0287-2017《醫療器械質量管理體系用于法規的要求》中的各項指標，篩選出與AIMD質量管理體系相關的指標，并進行權重評分。從分析結果可以看出，兩輪專家咨詢之后，一共篩選得到5個一級指標、12個二級指標，36個三級指標，所有指標的平均分值介于3.40～4.93之間，標準差均小于1.00，CV值均小于25%。這36個三級指標亦是架構AIMD生產研發過程中的質量管理體系需要重點考慮的一些指標，尤其“設計和開發驗證”“設計和開發確認”和“設計和開發更改的控制”三個指標專家意見表現出了高度的一致性，亦反映出這三個指標是AI專家認為最關鍵的三個指標，需要AIMD企業重點關注。

AIMD通過對現有的大數據，通過圖像識別、深度學習、神經網絡算法等計算機技術，從而實現參與疾病的篩查和預測[17]。AIMD產品的研發和生產，離不開使用者和生產者的深度溝通和配合：生產企業需要根據產品使用場景或者臨床需求定義產品的性能，針對臨床需求提出解決方案，從而進行產品的設計和策劃；產品研發過程中需要在臨床實際使用場景中收集訓練數據，并在臨床醫生的配合、指導或者幫助下完成數據的標注；產品在完成研發之后，需要進行實地進行性能驗證從而檢驗臨床效果，通過反復的驗證以發現產品潛在風險，并及時與研發企業的技術團隊溝通反饋，從而促進產品更好地改進；產品上市后，仍然需要生產研發人員與臨床使用者密切聯系，共同發現使用過程中可能出現的各種問題，并及時做好質量控制工作，做好上市后的質量管理工作。因此，在AIMD產品的設計和實現階段，是否針對目標應用場景進行定制化調參，臨床部署后是否使用新的數據再訓練從而驗證產品的性能，AIMD產品的性能驗證如何實施，怎樣進行AIMD產品的質量控制等等，這些對于AIMD產品的使用效能無疑是至關重要的，這就要求生產研發企業在進行產品策劃、設計和研發的過程中，充分做好產品的質量管理相關工作。

限于篇幅的關系，本研究只是闡述了對關鍵指標的篩選，也僅僅只是邁出了構建AIMD質量管理體系的第一步。后續計劃進一步調研目前主流AIMD企業質量管理體系的現狀，再根據生產企業在實際研發過程中的情況，細化并升級已篩選的關鍵指標，為AIMD生產研發企業構建普遍適用的質量管理體系提供參考依據。