基于深度學(xué)習(xí)算法的新一代人工智能獨(dú)立軟件研究的倫理審查重點(diǎn)

楊千粟，白 楠，曹 江，王 瑾

(中國人民解放軍總醫(yī)院醫(yī)療保障中心藥劑科，北京 100853)

近年來，人工智能技術(shù)已廣泛應(yīng)用到智能終端、智慧城市、智能交通等行業(yè)領(lǐng)域中[1]，大幅度提高了人們的生產(chǎn)效率和生活便利性。人工智能在醫(yī)療領(lǐng)域的應(yīng)用大多尚處在研究階段，其主要的使用形式為醫(yī)療器械獨(dú)立軟件(software as a medical device,SaMD)，即軟件本身就是獨(dú)立的醫(yī)療器械[2]。在卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)等深度學(xué)習(xí)算法驅(qū)動(dòng)的新一代人工智能技術(shù)應(yīng)用在醫(yī)療領(lǐng)域后，已有部分新一代人工智能醫(yī)療器械軟件通過藥品監(jiān)督管理局審查并獲得了醫(yī)療器械注冊證，如顱內(nèi)腫瘤磁共振影像輔助診斷軟件(注冊證號(hào)國械注進(jìn)20203210321)、糖尿病視網(wǎng)膜病變眼底圖像輔助診斷軟件(注冊證號(hào)國械注準(zhǔn)20203210686)等，在臨床診斷和疾病篩查中提高了診斷效率，并降低了誤診和漏診的發(fā)生，在醫(yī)務(wù)人員相對(duì)匱乏的基層醫(yī)療機(jī)構(gòu)中，可以輔助醫(yī)生對(duì)特定疾病進(jìn)行診斷。

越來越多的醫(yī)療器械公司、研究者進(jìn)行基于深度學(xué)習(xí)的人工智能獨(dú)立軟件的研究及臨床應(yīng)用。但由于這一類人工智能軟件在研發(fā)階段需要通過大量的臨床數(shù)據(jù)進(jìn)行訓(xùn)練，且需從診療實(shí)際應(yīng)用中通過數(shù)據(jù)積累不斷提高其性能，這些均區(qū)別于傳統(tǒng)的臨床研究，因此也給倫理審查帶來了新的問題。2022年3月國家藥品監(jiān)督管理局醫(yī)療器械技術(shù)審評(píng)中心發(fā)布《人工智能醫(yī)療器械注冊審查指導(dǎo)原則》[3]，填補(bǔ)了國內(nèi)對(duì)人工智能獨(dú)立軟件注冊管理的法規(guī)空缺，但倫理實(shí)際審查工作仍缺乏可操作化的審查標(biāo)準(zhǔn)和程序。本文結(jié)合醫(yī)院倫理審查情況，通過對(duì)相關(guān)法律法規(guī)、文獻(xiàn)等資料進(jìn)行研究，對(duì)涉及人工智能獨(dú)立軟件研究項(xiàng)目的倫理審查要點(diǎn)進(jìn)行分析。

1 資料和方法

1.1 資料

對(duì)北京市某三甲醫(yī)院2017年1月—2021年11月各科室提交的初始審查資料進(jìn)行分析，共篩選出人工智能獨(dú)立軟件研制或模型搭建的科學(xué)研究和注冊醫(yī)療器械臨床試驗(yàn)項(xiàng)目36項(xiàng)，其中縱向課題研究20項(xiàng)、研究者發(fā)起的研究12項(xiàng)、醫(yī)療器械臨床試驗(yàn)4項(xiàng)。

1.2 方法

按照《涉及人的生物醫(yī)學(xué)研究倫理審查辦法》[4]，倫理委員會(huì)應(yīng)當(dāng)審查研究的科學(xué)性和倫理性。參考國家關(guān)于人工智能醫(yī)療器械的法規(guī)和指導(dǎo)原則[3,5-6]，以及美國食品藥品監(jiān)督管理局發(fā)布的《基于醫(yī)療器械研發(fā)的機(jī)器學(xué)習(xí)訓(xùn)練指導(dǎo)原則》[7]中對(duì)基于機(jī)器學(xué)習(xí)的醫(yī)療器械提供的10條指導(dǎo)原則，考慮到人工智能為新興技術(shù)，研究者對(duì)技術(shù)的原理和應(yīng)用可能存在認(rèn)知較淺的情況，且人工智能獨(dú)立軟件相較于其他醫(yī)用軟件具有數(shù)據(jù)驅(qū)動(dòng)等特點(diǎn)。因此在滿足常規(guī)臨床研究的科學(xué)性和倫理性審查的要求外，對(duì)方案完整性(科學(xué)性)、權(quán)益保護(hù)(倫理性)、數(shù)據(jù)利用(數(shù)據(jù)驅(qū)動(dòng)特點(diǎn))3個(gè)重點(diǎn)因素作詳細(xì)分析。

2 結(jié)果

2.1 項(xiàng)目基本情況

項(xiàng)目基本情況主要包括研究類型、專業(yè)、用途共3個(gè)方面，結(jié)果見表1。

表1 項(xiàng)目基本情況(n=36)

2.2 方案完整性

方案完整性主要考察適應(yīng)證、入排標(biāo)準(zhǔn)、病例納入類型、數(shù)據(jù)來源、有效性評(píng)價(jià)指標(biāo)、算法可靠性驗(yàn)證、樣本量或其計(jì)算方式、版本更新的相關(guān)內(nèi)容等8個(gè)方面。適應(yīng)證主要是考察研究方案是否清晰描述了該研究的用途和適用范圍，包括疾病、特征人群、手術(shù)適應(yīng)證等。入排標(biāo)準(zhǔn)考察的是能否根據(jù)研究目的，通過有限條件篩選出符合算法適用條件的特征人群。病例納入類型可以幫助委員了解研究類型，如前瞻性研究或回顧性研究。數(shù)據(jù)來源主要是考察納入的病例或數(shù)據(jù)的方式和來源是否合規(guī)，主要是歷史病案、影像資料、招募受試者和公共數(shù)據(jù)庫等。有效性評(píng)價(jià)指標(biāo)是考察方案中是否有研究結(jié)果的驗(yàn)證指標(biāo)，如疾病的檢出率、準(zhǔn)確率等。算法可靠性驗(yàn)證是考察方案中是否有對(duì)研究成果可重復(fù)性和特異性的考量和方法。樣本量或樣本量計(jì)算方式是考察方案中是否有擬納入訓(xùn)練或驗(yàn)證的樣本量數(shù)量，以及根據(jù)統(tǒng)計(jì)學(xué)方法計(jì)算得出的測試集樣本數(shù)量或樣本量計(jì)算公式。版本更新的相關(guān)內(nèi)容主要考慮軟件的更新可能存在功能和性能的改變，從而影響醫(yī)療器械的安全性或有效性。結(jié)果見表2。

表2 方案完整性(n=36)

2.3 權(quán)益保護(hù)

權(quán)益保護(hù)主要考察知情同意、受試者直接獲益、經(jīng)濟(jì)補(bǔ)償、數(shù)據(jù)脫敏、數(shù)據(jù)安全和器械缺陷6個(gè)方面。知情同意部分主要考察申報(bào)材料是否提供知情同意書內(nèi)容和/或豁免知情同意申請(qǐng)是否合理。受試者獲益和經(jīng)濟(jì)補(bǔ)償主要考慮受試者是否有直接或潛在受益，受益相較于風(fēng)險(xiǎn)是否合理，何種人工智能獨(dú)立軟件應(yīng)對(duì)受試者進(jìn)行補(bǔ)償。數(shù)據(jù)脫敏主要是考察方案中是否有對(duì)醫(yī)學(xué)影像、患者病歷等有敏感信息的數(shù)據(jù)進(jìn)行脫敏處理。數(shù)據(jù)安全考察的是對(duì)于使用的電子數(shù)據(jù)是否有嚴(yán)密的數(shù)據(jù)流向、備份、存儲(chǔ)內(nèi)容，能否符合安全管理的相關(guān)要求。器械缺陷主要考察方案中是否有對(duì)軟件或模型等發(fā)生崩潰或失效等可能產(chǎn)生的器械缺陷的記錄和處理。結(jié)果見表3。

表3 權(quán)益保護(hù)(n=36)

2.4 數(shù)據(jù)利用

數(shù)據(jù)利用主要針對(duì)新一代人工智能軟件的算法特性，主要考察數(shù)據(jù)集劃分、校驗(yàn)方式、特征信息記錄載體、研究成果體現(xiàn)共4個(gè)方面。數(shù)據(jù)集劃分主要是評(píng)價(jià)方案中對(duì)收集的數(shù)據(jù)是否區(qū)分訓(xùn)練集、測試集、校驗(yàn)集等明確用途。校驗(yàn)方式主要是評(píng)價(jià)方案中是否對(duì)設(shè)計(jì)的軟件或模型進(jìn)行驗(yàn)證，目前主流的驗(yàn)證方式為獨(dú)立的驗(yàn)證集或者交叉驗(yàn)證方式。特征信息記錄載體主要是考察納入樣本的特征信息和經(jīng)算法或標(biāo)注處理的樣本特征信息的存儲(chǔ)或呈現(xiàn)形式，主要包括病例報(bào)告表(CRF)、病例報(bào)告表+醫(yī)學(xué)影像等。研究成果體現(xiàn)主要是考察研究的最終目的，主要是建立模型、建立數(shù)據(jù)庫、軟件系統(tǒng)研制、出具臨床試驗(yàn)報(bào)告等形式。由于參與統(tǒng)計(jì)的4項(xiàng)醫(yī)療器械臨床試驗(yàn)為完整的醫(yī)用軟件，已完成前期的標(biāo)注訓(xùn)練和驗(yàn)證，并通過醫(yī)療器械注冊檢驗(yàn)，收集的病例無需進(jìn)行訓(xùn)練、測試、校驗(yàn)，故數(shù)據(jù)集劃分、校驗(yàn)方式兩部分納為不適用。結(jié)果見表4。

表4 數(shù)據(jù)利用(n=36)

3 討論

3.1 目前人工智能獨(dú)立軟件的研究方案普遍成熟度偏低

本研究收集的審查資料以醫(yī)學(xué)影像輔助診斷、手術(shù)規(guī)劃軟件為主，分析發(fā)現(xiàn)大部分方案缺乏研究的基本要素，如入排標(biāo)準(zhǔn)不明確、沒有有效性評(píng)價(jià)指標(biāo)、沒有明確的納入樣本量、沒有測試集樣本量計(jì)算方式等。考慮主要原因有三點(diǎn)：①人工智能算法作為新興的應(yīng)用工具，研究者對(duì)其預(yù)期效能不明；②部分探索疾病與體征因素關(guān)聯(lián)關(guān)系的人工智能項(xiàng)目的研究缺少明確的理論基礎(chǔ)；③研究者對(duì)于這類研究的時(shí)效性要求高，急于開展研究。以上三點(diǎn)導(dǎo)致提請(qǐng)倫理委員會(huì)審查的項(xiàng)目方案不成熟，預(yù)期的社會(huì)和經(jīng)濟(jì)效益不明確，部分項(xiàng)目可能存在盲目探索的情況。

3.2 對(duì)研究病例權(quán)益保護(hù)、數(shù)據(jù)保護(hù)的認(rèn)識(shí)程度低

Python編程語言的普及和TensorFlow、Caffe等深度學(xué)習(xí)框架的完善，降低了人工智能算法應(yīng)用的技術(shù)門檻，醫(yī)務(wù)工作者可以更加容易地利用算法處理大量數(shù)據(jù)，挖掘疾病與各類指征的潛在聯(lián)系，或利用機(jī)器視覺技術(shù)對(duì)醫(yī)學(xué)影像等進(jìn)行分析標(biāo)注，輔助醫(yī)護(hù)人員高效、精確地進(jìn)行診斷和治療。但分析發(fā)現(xiàn)初審材料中存在知情同意不規(guī)范、未設(shè)計(jì)數(shù)據(jù)脫敏和數(shù)據(jù)安全保護(hù)措施的情況。且除醫(yī)療器械臨床試驗(yàn)項(xiàng)目外，其他研究均未設(shè)計(jì)器械缺陷的處理程序，這都體現(xiàn)了研究者對(duì)人工智能研究可能存在的倫理風(fēng)險(xiǎn)認(rèn)知不明確，對(duì)受試者信息保護(hù)和數(shù)據(jù)安全管理的不重視。

因?yàn)槟壳吧疃葘W(xué)習(xí)算法的局限性，諸如“算法黑箱”“算法歧視”等現(xiàn)象導(dǎo)致軟件使用者無法透析軟件自主性學(xué)習(xí)和計(jì)算的過程，以及因算法決策中數(shù)據(jù)抽樣偏差及其所設(shè)置的權(quán)重等原因?qū)е聦?duì)某些特征群體的不公平對(duì)待。

研究過程中涉及的第三方人員，如數(shù)據(jù)標(biāo)注員、算法工程師等均可能接觸研究數(shù)據(jù)。另外，因?yàn)閭鹘y(tǒng)硬件模式導(dǎo)致的算力不足等問題，部分研究將運(yùn)算過程平移至統(tǒng)一的數(shù)據(jù)計(jì)算中心或第三方云服務(wù)器。這些環(huán)節(jié)均可能因數(shù)據(jù)脫敏措施不嚴(yán)格、數(shù)據(jù)流轉(zhuǎn)安全性低，致使醫(yī)療信息存在泄露風(fēng)險(xiǎn)。

3.3 對(duì)數(shù)據(jù)的用途和使用方法不明確

分析發(fā)現(xiàn)，47.22%的研究方案中未對(duì)實(shí)驗(yàn)數(shù)據(jù)的用途(比如用于模型訓(xùn)練或測試)進(jìn)行明確劃分，66.67%的方案中未提及對(duì)建立的模型進(jìn)行校驗(yàn)，55.56%的方案未明確訓(xùn)練的結(jié)果將用哪種方式記錄。主要考慮是由于人工智能研究主要為回顧性研究，數(shù)據(jù)多來源于PACS系統(tǒng)、病案系統(tǒng)，特別是部分項(xiàng)目的研究資料為科室專有的數(shù)據(jù)庫，數(shù)據(jù)獲取難度較低。另外，目前臨床科學(xué)研究的人工智能項(xiàng)目大多不直接作用于受試者，對(duì)受試者的直接風(fēng)險(xiǎn)和損害較低，且都處于應(yīng)用的探索階段，這都導(dǎo)致了研究者對(duì)研究結(jié)果的有效性評(píng)價(jià)不明確，對(duì)研究涉及的倫理問題不容易引起研究者重視。同時(shí)，研究者對(duì)人工智能的知識(shí)儲(chǔ)備和開發(fā)工具的使用經(jīng)驗(yàn)不足，對(duì)人工智能技術(shù)潛在的倫理問題缺乏意識(shí)，也導(dǎo)致了在研究設(shè)計(jì)中對(duì)數(shù)據(jù)利用和保護(hù)不充分。

3.4 人工智能醫(yī)療器械軟件上市后的應(yīng)用風(fēng)險(xiǎn)將更加突出

此類軟件在研制過程中是通過有限的數(shù)據(jù)進(jìn)行訓(xùn)練，而這些數(shù)據(jù)往往是經(jīng)過病理證實(shí)和高標(biāo)準(zhǔn)采集得來的，與臨床實(shí)際工作情況有所不同。所以訓(xùn)練數(shù)據(jù)的代表性不足，軟件在大規(guī)模應(yīng)用后的算法偏見或算法歧視可能導(dǎo)致結(jié)果偏差情況持續(xù)出現(xiàn)，軟件在實(shí)際臨床應(yīng)用過程中能效降低。如影像類的人工智能輔助診斷軟件，訓(xùn)練集通常采用清晰、無偽影的醫(yī)學(xué)圖像進(jìn)行標(biāo)注，但在實(shí)際臨床診療中，患者常會(huì)因身體位移或攜帶金屬物品，產(chǎn)生圖像偽影，進(jìn)而影響軟件的識(shí)別能力。

4 建議

4.1 應(yīng)當(dāng)注意對(duì)人工智能研究項(xiàng)目方案的完整性

首先，方案中對(duì)研究背景、研究目的、數(shù)據(jù)來源、有效性指標(biāo)、驗(yàn)證方式和樣本量等內(nèi)容都應(yīng)當(dāng)有詳細(xì)的描述；其次，人工智能獨(dú)立軟件的風(fēng)險(xiǎn)評(píng)估應(yīng)當(dāng)考量其臨床使用情景中的風(fēng)險(xiǎn)[8]，需要重點(diǎn)關(guān)注在臨床中進(jìn)行輔助診斷時(shí)的研究對(duì)象及入排標(biāo)準(zhǔn)，避免因目標(biāo)人群與納入病例不符導(dǎo)致的臨床使用效果產(chǎn)生偏差，防止假陽性率和假陰性率等指標(biāo)過高，造成患者的漏診和誤診，影響其遠(yuǎn)期的診療效果[9]。測試集的樣本量計(jì)算可以參照臨床評(píng)價(jià)試驗(yàn)的樣本量計(jì)算要求[10-11]。

另外，軟件更新同樣是人工智能獨(dú)立軟件不可回避的問題。軟件更新的類型可分為數(shù)據(jù)驅(qū)動(dòng)型軟件更新和算法驅(qū)動(dòng)型軟件更新兩類。數(shù)據(jù)驅(qū)動(dòng)型軟件更新是指由于數(shù)據(jù)量增加或原有訓(xùn)練數(shù)據(jù)庫改變而產(chǎn)生的軟件更新，依據(jù)軟件更新后算法評(píng)估結(jié)果與前次倫理審查時(shí)提供的評(píng)估結(jié)果相比是否發(fā)生顯著性改變，可將數(shù)據(jù)驅(qū)動(dòng)型軟件更新區(qū)分為輕微軟件更新和重大軟件更新兩類。算法驅(qū)動(dòng)型軟件更新是指深度學(xué)習(xí)所用算法類型、算法結(jié)構(gòu)、算法輸入輸出或算法流程等改變而導(dǎo)致的更新。算法驅(qū)動(dòng)型軟件更新通常屬于重大軟件更新。

倫理審查過程中，輕微軟件更新和重大軟件更新均需許可事項(xiàng)變更，并且具備相應(yīng)的版本命名規(guī)則。針對(duì)輕微軟件更新，倫理審查過程中應(yīng)重點(diǎn)審查軟件更新內(nèi)容，以及更新后的適用范圍、數(shù)據(jù)庫構(gòu)成和產(chǎn)品性能等是否滿足質(zhì)控要求。針對(duì)重大軟件更新，倫理審查應(yīng)對(duì)軟件的更新內(nèi)容和程度等逐一進(jìn)行反復(fù)確認(rèn)，如果涉及臨床適用范圍的變更，理論上應(yīng)當(dāng)另行開展研究。

4.2 應(yīng)當(dāng)依據(jù)人工智能和醫(yī)用軟件特點(diǎn)加強(qiáng)權(quán)益保護(hù)和數(shù)據(jù)安全防范措施

目前，醫(yī)療行業(yè)是數(shù)據(jù)泄露較嚴(yán)重的領(lǐng)域之一[12]。醫(yī)療數(shù)據(jù)與患者的健康息息相關(guān)，具有特殊的敏感性。醫(yī)療器械軟件依賴于醫(yī)療數(shù)據(jù)，因此，對(duì)數(shù)據(jù)安全性進(jìn)行審查同樣重要。對(duì)于人工智能獨(dú)立軟件的數(shù)據(jù)收集和處理需要滿足《中華人民共和國個(gè)人信息保護(hù)法》[13]的有關(guān)要求，承擔(dān)信息保護(hù)義務(wù)。研究過程中，研究人員需要注重對(duì)敏感數(shù)據(jù)進(jìn)行脫敏和加密處理，尤其是相關(guān)數(shù)據(jù)需要通過公共互聯(lián)網(wǎng)進(jìn)行傳輸時(shí)，要做好數(shù)據(jù)安全和網(wǎng)絡(luò)安全的雙重防護(hù)。醫(yī)療數(shù)據(jù)應(yīng)當(dāng)設(shè)置訪問控制，并對(duì)數(shù)據(jù)進(jìn)行匿名化和加密處理，同時(shí)保證數(shù)據(jù)的可溯源性，做好數(shù)據(jù)備份工作。醫(yī)療數(shù)據(jù)理論上應(yīng)當(dāng)與互聯(lián)網(wǎng)進(jìn)行物理隔絕，數(shù)據(jù)傳輸應(yīng)當(dāng)盡可能地通過物理介質(zhì)進(jìn)行。如果數(shù)據(jù)傳輸必須通過公共互聯(lián)網(wǎng)進(jìn)行，醫(yī)院應(yīng)當(dāng)充分考慮軟件自身的網(wǎng)絡(luò)安全防護(hù)，避免因網(wǎng)絡(luò)漏洞導(dǎo)致數(shù)據(jù)泄露。

倫理審查時(shí)，要重點(diǎn)關(guān)注臨床試驗(yàn)方案是否涉及對(duì)數(shù)據(jù)脫敏、數(shù)據(jù)安全的監(jiān)管和預(yù)警。建議受理初始審查申請(qǐng)時(shí)，可根據(jù)項(xiàng)目情況要求提供1例測試樣本的輸入和輸出結(jié)果，查看數(shù)據(jù)中是否存在敏感信息。此外，如果研究過程需要使用云計(jì)算服務(wù)，臨床方案中建議明確服務(wù)模式、數(shù)據(jù)接口和第三方的網(wǎng)絡(luò)安全防護(hù)能力等指標(biāo)。

應(yīng)當(dāng)關(guān)注知情同意書中是否明確告知受試者數(shù)據(jù)的使用范圍和方式，并告知受試者可能存在的算法偏見、數(shù)據(jù)泄露風(fēng)險(xiǎn)。同時(shí)描述風(fēng)險(xiǎn)的算法黑箱、算法偏見等專業(yè)技術(shù)詞匯難以被受試者理解，所以人工智能軟件研究中知情同意書的可讀性和全面性更要受到重視。

4.3 加強(qiáng)研究的科學(xué)性和數(shù)據(jù)規(guī)范管理

人工智能算法在探索不同類型事件之間的關(guān)聯(lián)方面具有突出優(yōu)勢，但由于“算法黑箱”的存在，研究人員難以判斷輸入輸出關(guān)系，弱化了理論基礎(chǔ)和研究價(jià)值。尤其是對(duì)發(fā)病機(jī)制不明確，尋找疾病關(guān)聯(lián)特征信息的模型設(shè)計(jì)等研究更為明顯。所以方案設(shè)計(jì)應(yīng)當(dāng)建立在一定的理論指導(dǎo)基礎(chǔ)上，研究者應(yīng)尊重研究數(shù)據(jù)，避免對(duì)研究數(shù)據(jù)造成濫用或錯(cuò)用。同時(shí)，方案中應(yīng)當(dāng)對(duì)結(jié)果的有效性驗(yàn)證建立明確的標(biāo)準(zhǔn)。

用于訓(xùn)練、測試、校驗(yàn)軟件的數(shù)據(jù)應(yīng)當(dāng)建立恰當(dāng)類型的數(shù)據(jù)庫。數(shù)據(jù)庫中數(shù)據(jù)的質(zhì)量和可信度都應(yīng)滿足質(zhì)控要求[14]。

對(duì)于回顧性的研究，倫理審查過程中應(yīng)重點(diǎn)關(guān)注數(shù)據(jù)來源是否清晰和數(shù)據(jù)存儲(chǔ)是否規(guī)范。如果數(shù)據(jù)來源于醫(yī)院PACS、LIS等系統(tǒng)，臨床試驗(yàn)方案應(yīng)當(dāng)明確數(shù)據(jù)如何抽樣、抽樣時(shí)間段和抽樣總數(shù)等信息；如果數(shù)據(jù)并非來源于醫(yī)院信息系統(tǒng)，例如來源于研究者保管的前期課題積累的數(shù)據(jù)，臨床試驗(yàn)方案中應(yīng)當(dāng)說明科研課題名稱、數(shù)據(jù)總量和數(shù)據(jù)存儲(chǔ)方式等信息。

對(duì)于前瞻性的研究，倫理審查過程中應(yīng)當(dāng)重點(diǎn)關(guān)注知情同意過程。知情同意書應(yīng)遵循“完全告知”的原則，采用受試者能夠理解的語言和文字，在基本知情同意內(nèi)容的基礎(chǔ)上，告知受試者數(shù)據(jù)使用范圍和數(shù)據(jù)脫敏過程。此外，知情同意的獲取過程也應(yīng)當(dāng)符合標(biāo)準(zhǔn)，充分尊重受試者意愿，有完備的退出機(jī)制，包括需要考慮受試者退出研究后數(shù)據(jù)不再繼續(xù)使用的相關(guān)操作規(guī)程。

4.4 風(fēng)險(xiǎn)評(píng)估應(yīng)當(dāng)長期進(jìn)行，跟蹤審查模式可不局限于現(xiàn)有模式

針對(duì)算法問題應(yīng)當(dāng)長期監(jiān)管，在初期審查的基礎(chǔ)上做好跟蹤審查。人工智能的基本算法是在不斷發(fā)展的，由于認(rèn)知的限制，當(dāng)前最優(yōu)的深度學(xué)習(xí)方法在未來可能會(huì)出現(xiàn)缺陷。中國信息通訊研究院《人工智能數(shù)據(jù)安全白皮書(2019年)》指出，360、騰訊等企業(yè)安全團(tuán)隊(duì)曾多次發(fā)現(xiàn)TensorFlow、Caffe、Torch等深度學(xué)習(xí)框架及其依賴庫的安全漏洞，攻擊者可利用相關(guān)漏洞篡改或竊取人工智能系統(tǒng)數(shù)據(jù)[15]。因此，在人工智能獨(dú)立軟件的倫理審查中要對(duì)算法進(jìn)行長期跟蹤審查。如果出現(xiàn)算法漏洞等問題，應(yīng)當(dāng)及時(shí)上報(bào)此類器械缺陷問題。

因人工智能算法可在短時(shí)間內(nèi)處理大量的醫(yī)療數(shù)據(jù)，研究中實(shí)際的計(jì)算周期短，根據(jù)臨床試驗(yàn)經(jīng)驗(yàn)，研究開始后通常集中在1～3個(gè)月內(nèi)即完成所有的數(shù)據(jù)計(jì)算過程，按照倫理常規(guī)的審查頻率(如6個(gè)月、12個(gè)月等)無法做到對(duì)該類研究的監(jiān)管，應(yīng)根據(jù)項(xiàng)目特點(diǎn)調(diào)整跟蹤審查的模式和頻率。倫理委員會(huì)可根據(jù)項(xiàng)目風(fēng)險(xiǎn)情況，在首次標(biāo)注、脫敏、計(jì)算等操作時(shí)進(jìn)行跟蹤。

4.5 聘請(qǐng)獨(dú)立顧問和增加人工智能相關(guān)的培訓(xùn)

根據(jù)《涉及人的生物醫(yī)學(xué)研究倫理審查辦法》[4]對(duì)倫理委員會(huì)委員的組成要求，常規(guī)倫理委員會(huì)委員無法完全滿足人工智能醫(yī)療器械獨(dú)立軟件研究的科學(xué)性審查，建議在對(duì)人工智能項(xiàng)目進(jìn)行倫理審查時(shí)，聘請(qǐng)人工智能相關(guān)領(lǐng)域的專家作為獨(dú)立顧問。同時(shí)，可在對(duì)倫理委員和秘書組織的定期繼續(xù)教育時(shí)，增加人工智能醫(yī)療器械倫理審查要點(diǎn)的培訓(xùn)，有助于把好形式審查關(guān)和倫理審查關(guān)。

5 總結(jié)

人工智能是近幾年才逐漸興起的新型技術(shù)，尚未構(gòu)建完整的倫理審查體系，缺乏對(duì)倫理委員會(huì)審查此類項(xiàng)目的指導(dǎo)規(guī)范和政策標(biāo)準(zhǔn)。人工智能的研究涉及臨床醫(yī)學(xué)、計(jì)算機(jī)、工程學(xué)、醫(yī)學(xué)信息學(xué)等多個(gè)學(xué)科的專業(yè)知識(shí)[16]，且多元化的數(shù)據(jù)使用、儲(chǔ)存、傳輸方式也大幅提高了監(jiān)管難度，倫理委員的專業(yè)方向往往力有不逮，審查面臨一定的困境，針對(duì)人工智能項(xiàng)目的倫理審查標(biāo)準(zhǔn)和經(jīng)驗(yàn)仍有待探索。