人員管理對人工智能醫療器械用數據集質量的影響分析

王權，王浩，孟祥峰，劉艷珍，任海萍

中國食品藥品檢定研究院 光機電室，北京 100050

引言

人工智能近年來呈加速發展態勢，在各個領域不斷滲透，在醫學+人工智能領域也有著比較大的突破，尤其是在醫學影像與診斷方面涌現了許多算法和產品，聲稱計算機輔助診斷與探測，例如病灶檢出[1]、疾病分類或分期[2-3]、病灶分割[4]等功能。人工智能醫療器械已成為醫療器械的新生力量，產品的質量評價與管理體系是監管科學急需解決的問題。質量管理方面的一個重要問題是人員如何管理。

目前，該類醫療器械大多使用深度學習[5]、卷積神經網絡[6]等監督學習算法，決定了產業的發展需要高質量的數據集。數據集的建設需要在不同環節投入大量人力資源，比如原始數據的采集、數據入庫前的篩選與審核、數據標注和數據管理等方面。雖然不同數據集的內容、特點、用途各不相同，各個環節的人員職能和要求也不一樣，但人員管理對數據集質量管理的影響力是相似的，具有共性特征。

由于人工智能醫療器械行業的發展對數據集的需求很大，國內外臨床機構[7]、科研院所[8]、企業[9]、政府部門[10]等不同團體在廣泛開展數據集的建設，然而不同機構在人員資質、能力、組織、管理方面的差異容易導致數據集質量差異。這些差異可能使得同一產品在不同數據集上的性能表現差別巨大，對訓練、優化、評價造成困惑，制約產品研發和行業發展。因此需要在人員管理方面加強研究，提高認識，以促進規范的形成。本文的主要研究內容是分析人員對數據集質量的影響，討論加強人員管理的方法，從人員管理角度幫助提高人工智能醫療器械數據集的質量。

1 人員對數據集質量的影響

人工智能醫療器械用數據集的建設，按時間先后一般可分為四個階段。人員活動對質量的影響按階段分別描述如下。

1.1 數據采集階段

人工智能醫療器械用的數據集一般以采集臨床數據為主，其采集流程與臨床試驗相似，又可分為前瞻式和回顧式兩種路徑。前瞻式的數據采集路徑意味著專業人員實際操作各種數據采集終端或儀器，在臨床條件下采集未來患者的數據，例如醫學影像、電生理、臨床檢驗等。人員的操作能力、規范程度對數據質量有直接影響。以眼底圖像彩照的采集為例，前瞻式路徑需要專人操作眼底相機對招募的患者眼底進行拍照，由于臨床閱片對照片的分辨率、視野、成像位置、曝光度有明確的要求，人員能否正確執行拍照規范將決定圖像質量是否可接受。

回顧式的數據采集路徑意味著從過去的臨床試驗或臨床數據中抽取一部分成為數據集。參與抽樣的人員必須對抽樣方案、原始數據來源和特點有足夠的理解，最好有統計學背景或接受培訓，否則人員的隨意抽樣容易導致數據集的統計偏倚，危害數據集的質量。

1.2 數據審核

采集的臨床數據在被數據集接收之前，需要專人對數據進行審核與分析，以確認數據的合規性、質量、容量、多樣性、完整性等是否滿足數據集的要求。這要求數據審核人員充分掌握臨床法規、數據格式、統計維度、數據質量評價等要點。例如，對于胸部CT影像肺結節數據集的建設而言，如果數據審核人員不了解CT圖像的標準格式，不了解各字段含義，那么將無法對DICOM字段中的關鍵信息進行審核，容易把未脫敏的數據、不可用的數據納入數據集，從而帶來質量隱患。

1.3 數據標注

數據集必須建立參考標準，需要標注人員對臨床數據給出明確的疾病定性、分期、病灶位置、病灶區域分割、尺寸測量等信息。對于某些臨床領域而言，臨床金標準不容易獲得，而標注人員的判斷決定參考標準的質量。以胸部CT影像中的肺結節標注為例，由于臨床條件限制和患者的意愿，通過穿刺活檢獲得每一個結節的病理切片是不現實的，病理金標準難以收集，此時參考標準主要基于標注醫生對影像的分析。

人工智能醫療器械必須在標注正確的數據集上進行訓練和特征提取，才有可能給出符合臨床醫生判斷的輔助診斷結論。如果標注人員給出的參考標準偏離臨床實際，將直接導致參考標準的偏倚，產品的性能可能無法滿足臨床需求，甚至出現系統性的偏差、漏診、誤診等情況，這也是數據集質量的嚴重風險。

1.4 數據管理

數據集標注完成后，數據的歸檔、管理、分發等環節同樣需要專人進行操作，管理人員對于數據安全、數據可用性有重要影響。例如，如果管理人員錯誤地對數據進行歸檔、命名、分組，容易造成數據分類的錯誤，或與參考標準矛盾，影響數據的正常使用。如果管理人員在存儲方面操作混亂，缺乏溯源，有可能引起數據丟失或重復，也會造成數據集的質量隱患。管理人員的網絡安全意識如果淡薄，可能造成數據泄露，這對于封閉測試集、尤其是第三方評測數據集將產生嚴重后果。

以上列舉的種種問題，說明在數據集的建設過程中有必要重視和明晰人員管理，以保證數據集的質量。實際上，人員管理具有共性特征和要素，在下一節進行具體分析。

2 對人員管理要素的思考

由于人工智能醫療器械用的數據集較多使用臨床數據，數據集的建設過程與臨床試驗存在很多相似之處。同時，人員管理作為人工智能醫療器械質量管理的一個子命題，可以借鑒醫療器械監管法規與質量管理標準的思想。從這兩個角度出發，人員管理的要素可以概括為以下四個方面。

（1）合規管理。考慮到與臨床試驗（尤其是回顧式臨床試驗）的相似性，參與數據集建設的人員無論角色、分工、權限，都可能接觸患者數據，其活動應當符合醫學倫理、患者隱私保護、網絡安全和其他相關法規的要求。這關系到數據集的合法性與合規性，因此合規管理是人員管理的首要內容和強制內容。

（2）能力管理。在數據集的建設中，人員的能力決定了預期目標的實現程度和效率，與最終的數據質量有直接關系，例如標注醫生的能力會影響標注結果和參考標準的正確性，成像設備操作人員的能力會影響原始數據的可用性。人員的能力具體包含了人員的從業資質和執行任務的能力。人員能力管理是動態過程，貫穿于數據集建設的全過程，不僅要保證參與數據集建設的人員能力達到預設的要求，還要對人員能力的變化進行觀測和控制，并提供及時的指導和干預。

（3）過程管理。數據集的建設是一個有組織有體系的工程，人員活動的效果不僅需要個人能力達標，還需要有效的過程管理，形成戰斗力。在數據標注過程中，有效的過程管理尤為重要，能夠充分調動人力資源，彌補個體差異和能力限制帶來的影響，優化數據標注的決策過程和質量控制；反之會影響參考標準的正確性，降低數據集的使用價值。

（4）責任管理。根據醫療器械生產質量管理體系標準[11]ISO13485-2016的思想，人員管理還應該包含責任管理，使所有參與人員明確自身責任，并對所有人員的活動建立記錄。責任管理是過程管理的基礎，有助于保證人員活動的真實性和可追溯性，有助于對人員活動進行監控、反饋和糾正。

3 人員管理措施的實例分析

以上四要素概括了人員管理的共性特征，內容較為抽象，但在國內外數據集的建設實踐中得到了體現。本節結合具體實例，討論人員管理應當如何具體實施。

在合規管理方面，主要的措施包括對人員開展法律法規的教育、培訓、考核等內容，并以技術手段提供保障。合規管理應當在數據集建設的早期進行。這方面的實例是美國的各種臨床數據集建設。在美國，任何需要在工作中接觸臨床患者數據的人員首先會接受，健康保險攜帶和責任法案培訓，通過考核后方可上崗，并且定期重新溫習和考試，作為對患者隱私保護法規的強制培訓，目的是保證患者隱私和患者數據不被泄露。同時，涉及患者數據的存儲介質、網絡訪問也要求有嚴格的加密和權限約束。我國的網絡安全法[12]已經實施，國家藥監局在臨床試驗和計算機網絡安全方面也發布了相關的法規和指導原則[13-15]，建議用于數據集建設相關人員的合規性培訓，并根據法規要求配備必要的技術資源，保障合規管理的有效性。

在能力管理方面，主要的措施包括資質審核、考試選拔、規范培訓、工作表現監控和過程考核等內容。這方面的案例是英國，國家醫療服務體系）糖網篩查項目中對標注人員的能力管理[16]。英國是運用人工智能進行糖網篩查較早的國家，廣泛開展眼底圖像的標注，制定了標注質量管理規范。該規范在人員管理方面，要求參與標注的人員根據角色和分工考察職業資質，比如是否有醫師執照；報名人員必須接受考試和培訓，并討論了考題的設計；正常工作人員每年有工作量的最低要求，以保證熟練程度；同時，在標注過程中對個人的表現進行監控，例如要求一定量的重復標注；考核不達標的人員可以接受再教育。這些措施從不同角度保證人員的能力，值得借鑒。國內數據集建設實踐中，人員的能力管理應當綜合國內外臨床應用的標準、專家共識和其他指導文件進行設計。

在過程管理方面，主要的措施是明確角色、分工、組織和流程質控。英國的糖網篩查標注規范[16]在角色與分工方面同樣提供了良好的參考。該規范把標注任務分成了四個等級，分別是第一級、第二級、仲裁級和轉診級。第一級主要標注健康的眼底圖像；第二級主要標注能看到糖尿病視網膜病變的眼底圖像；仲裁級主要對第一級和第二級標注人員之間的爭議進行仲裁；轉診級主要對于糖網病變給出最終的轉診意見，是其中的最高級別。這種分級標注的機制考慮了不同標注人員在資質和經驗方面的差別，同時也允許經過考核的標注人員扮演更高級別的角色。另一個案例是美國肺部影像數據庫（Lung Imaging Database Consortium，LIDC）[17]。由于肺部CT每個病例的數據量較大且涉及三維，肺結節的標注相比眼底彩照復雜。根據臨床文獻報道，醫生標注肺結節的個體差異不容忽視[18]，因此LIDC的標注過程有四名醫生同時背靠背進行一輪標注，然后進行合并。四名醫生對合并之后的結果進行再次審核。這種交叉檢查與集體決策的組織方式能夠起到減少個體差異和提高病灶發現能力的作用。這兩個案例表明，過程管理要與數據標注的具體工作和難點相匹配。

在責任管理方面，主要的措施包括領導機制、溝通機制、授權機制和活動記錄的建立等。這些措施可以看作是對ISO13485-2016中關于責任、權力與溝通的大原則的細化。仍然以英國糖網篩查標注規范[16]為例，該規范從責任角度定義了四種重要角色，包括糖網篩查服務的提供者（類似于管理者代表，負責標注體系的建立和運行，對質量總體負責，對質量保證活動報告進行審核）、臨床/標注領導者（負責執行和維持質量保證活動）、項目委員會（定期開會，監督重要的內部質量活動）、質量審核員（來自外部，對內部質量保證活動進行審核和確認）。同時，這四種角色的日常工作、標注人員的活動、不同角色之間的溝通與反饋、年度考核、人員選拔與晉升等都會形成記錄以支持質量保證活動，也是重要的體系文件。其他數據集的建設，可以參照此方式進行人員責任的管理。

4 應用結果分析

上述措施中，能力管理工作較多依賴定量實驗，有必要直觀描述其過程和結果。本文以糖尿病視網膜病變（Diabetic Retinopathy，DR）標注為背景，舉例說明能力管理的實施。標注內容是100張來自國內臨床機構已脫敏的彩色眼底圖像，具體分類包括：無明顯異常、DR Ⅰ期、DR Ⅱ期、DR Ⅲ期、DR Ⅳ～Ⅵ期、其他眼底疾病和圖像質量不可接受。糖網圖像與其他圖像等比例分布，其中糖網分期的依據是2014年臨床診療指南[19]。參與比對的人員是47名臨床醫生，職稱為主治醫生及以上，來自全國的32家醫院。

試驗分為初測、培訓、復測等三個步驟。標注人員的任務是在規定時間內給出所有圖像的病種分類，當分類與專家團隊給出的參考標準一致時得分。考試成績以分類準確率來描述，定義為分類正確的圖像數量/總圖像數量。人員和數據之間保持雙盲。在初測階段，47名醫生的考試成績的直方圖，見圖1，可見人員之間的差異比較明顯。這里要注意，初測成績的差異實際上由分類能力和分類速度的差異共同決定，主要體現本試驗限定條件下的人員比對，不能完全代表醫生日常臨床工作狀態。

在培訓階段，由臨床讀片中心的專家對初測成績最好的21名醫生進行集中培訓。培訓內容包含標注軟件的操作以及糖網各分期細節特征的識別。在復測階段，對每個醫生的準確率重新進行評估。為降低記憶偏倚的影響，復測與初測時間間隔一周以上，且對其中20%圖像進行更新（主要是DR圖像的更新）。在DR圖像的分類準確率方面，復測結果與初測結果的比較，見圖2的箱線圖所示。使用t檢驗可以證明培訓后準確率有了顯著的提升（α=0.05）。平均準確率由81%提高至85%，說明了人員培訓對提升數據標注質量和進而提升數據集質量的必要性。

圖1 初測階段的分類準確率

圖2 培訓前后DR分類準確率對比圖

5 討論與總結

本文依托于國內外影像類人工智能醫療器械數據集建設和質控工作的實際，分析了人員對于數據質量的影響，提煉了人員管理的共性要素，并結合實例講解了人員管理的實施方式。由于人工智能醫療器械的多樣性和數據的多樣性，數據集的建設和質量管理具有很強的個性化。因此，人員管理工作要注意實事求是，根據具體預期用途和問題特征進行細節設計。另外，人工智能醫療器械數據集除了臨床數據之外，也可以引入仿真模型、體模、非臨床條件下的受試者試驗等多種來源，對人員的要求和管理可以參考本文的思路來進行，但臨床特色相對弱化，需要根據數據來源進行調整。

總的來說，本文的工作可看作是基礎共性意義上的參考，下一步有必要針對具體應用領域深入研究更多規范細節，以幫助人工智能醫療器械各專業方向上具體數據集的建設和質控。