反思與應對：AI醫療的倫理與法律風險*

吳 蓓 陸樹程

1 AI醫療現狀

近年來，人工智能(artificial intelligence,AI)以不可阻擋之勢引領科技潮流。隨著AI在各領域的廣泛應用，現代醫學也隨之出現深刻變革，AI輔助診療、護理、疾病風險預測、健康管理、醫院管理、藥物研發數據管理、AI融入腦科學，AI融入心理精神疾病研究等。AI在提升現有醫療體系性能和人類健康福祉上被寄予厚望。

早在20世紀70年代，人們就已開始嘗試將AI融入醫療。1972年，MYCIN系統研發成功，用于傳染性血液診斷和處方，這標志著AI邁入“專家系統”時期。20世紀90年代，計算機輔助診斷、影像病灶標記等技術應用不斷研發。21世紀初期，斯坦福大學研發出“卷積神經網絡技術(Convolutional Neural Network,CNN) ”診斷皮膚癌,將AI醫療推向了新高峰。2015年,IBM公司研究的沃森(Watson) 受到全世界關注，通過深度學習，為肺癌、前列腺癌等多種癌癥提供診治。而達芬奇手術系統則成為當今最知名的微創外科治療平臺。

2017年，國務院印發的《新一代人工智能發展規劃》提出探索智慧醫院建設, 推廣應用AI治療新模式新手段, 建立快速精準的智能醫療體系。國內AI醫療項目紛涌而出。騰訊“覓影”食管癌早期篩查系統落地廣西壯族自治區人民醫院。阿里健康發布醫療AI系統(Doctor You), 提供醫療影像檢測、醫生能力培訓等多項服務。截至2017年10月，中國內地有67臺達芬奇手術機器人進駐醫院[1]。總體上，我國對AI醫療在肺結節、眼底、乳腺癌、宮頸癌方面已有較為成熟的產品，但與發達國家利用的多樣性仍存在一定的差距。

從實際應用來看，盡管資本對AI醫療一片樂觀，但效果不盡理想。以被高估的Watson為例，建立在統計數據基礎上機器學習方式無法與當今醫療系統的復雜現實和醫生工作方式相匹配，尚未能圍繞醫院的痛點構建出具有更大實際應用價值的產品。在輔助診療方面，AI醫療只能用于診斷極特定類型的疾病，病情需要具備典型性，且每次出現的癥狀需有相似性。目前，AI醫療企業大多將訓練模型建立在各自數據庫基礎上，與醫療機構多以單點合作為主，訓練數據效果較好，可一旦遇到未知數據，效果則大幅下降，依賴模型做決策無法被信任。在印度，Manipal 綜合癌癥中心的醫生對638 例乳腺癌病例中，Watson 與專家治療建議的一致率為73%。Watson 在韓國Gachon 大學Gil 醫療中心表現更差，該醫院為656 名結腸癌患者提供的最佳建議，只有49% 與專家相匹配。此外，AI醫療算法對于找到多種信息源之間的聯系尚且力不從心[2]。

相比之下，學界對于醫學與AI交融之勢則持更審慎的態度。第一，目前國內大部分AI醫療項目仍處于科研階段，一旦進入商用，資本的逐利導向下如何確保技術不被濫用，確保AI醫療技術安全使用的落地模式和AI醫療企業監管制度問題有待探究。第二，使用中如何預防、應對AI醫療系統的錯誤、漏洞，甚至是系統崩潰？一般AI技術的錯誤或許會引起某些財產性損害，但AI醫療系統的這些問題卻可能影響人的人身權利乃至生命安全，相關風險如何防范？第三，強AI對現代醫學模式與醫患關系的解構，如何在提升醫生的主體性和促進患者健康利益之間找到平衡， AI醫療的目標定位關系到發展方向，須予明確。

總之，AI到底是現代醫療的福音還是會造成對人類潛在的威脅，從根本上取決于人是否能充分駕馭它，其前提則是人們對AI醫療倫理、法律邊界的厘清和充分把控，是醫者對于醫學本質的遵循。

2 AI醫療面臨何種風險

科技是把“雙刃劍”。AI技術高速推進過程中潛在諸多不確定性風險，既有其介入醫療領域因知識技術體系的不完備、預估不足所潛在的風險，也有AI研發人員尤其是相關企業在研發與應用過程中短視、功利性因素所造成的某些不必要開發或不良應用而埋下的潛在危險。

2.1 AI技術或將造成對醫療人員主體性的消解

赫拉利在其所著《未來簡史》中指出，在生命科學理論視域中，生物即算法。對于海量數據量，人腦無法處理，由此，AI似乎為人類的生命健康、疾病診治提供了某種更智能優化的選擇，也將醫者從部分繁重的工作中得以解放。然而，人是具有生存意義、價值的存在，在21世紀，AI時代數據主義導向下以人為中心走向以數據為中心，算法忽略或替代了人特有的情感、體驗和關懷，把人推向一邊，造成醫者價值的失落、剝奪感的滋生、主體性的消解。到底是AI輔助醫療還是部分醫者淪為AI技術的附屬，是經驗讓位于算法還是算法服從于經驗？一旦醫者過度依賴AI，其認知與獨立思考能力減弱，與患者溝通、關懷能力、醫學水準也可能因此降低。AI醫療不僅改變了現有醫療的存在方式，更沖擊了醫生的勞動價值觀，醫療人員必須重新審視自身定位和找到成長動力，尋求體現自身價值的方式，以克服AI技術對醫者的異化與非人改造。

2.2 AI對傳統醫患關系的解構或使醫學偏離其本質

醫療與AI結合的關鍵要素是“算法+有效數據+計算能力”[2]。AI重數據，但數據不等同于事實。AI為醫療決策所提供的證據雖然能為患者做出輔助判斷，尤其在醫生無法就診斷給出統一意見時提出方案，填補了不同醫生醫療經驗、水平參差不齊的缺陷，盡管這看似高效優能，但醫學活動有別于單純的科學活動。人體終究不是由數據堆砌出的生命體，人體的生態系統微妙而復雜，個體的差異性是不容忽視的特殊事實，個體的生活習慣、環境、人際關系、心理等因素對人體健康和疾病康復也有著各種關聯，而這是AI大數據難以覆蓋的。和諧醫患關系是在醫者悉心全面了解掌握患者情況等醫學事實的基礎上，基于醫患間信任與溝通、診療與關懷的生物心理社會醫學模式，而非簡單依賴算法的診斷。重診療方法的普適性、輕患者多樣性，重科學技術手段輕人文關懷的醫學發展并不可取。AI是從屬于計算機學科的一個分支，AI投資者、研發者以及制造者大多并不具備醫學專業素養，在風險監管和制度構建尚不完備的情況下，如何保證AI醫療技術研發與使用不偏離對生命健康保障的宗旨，不會出于逐利而造成對患者潛在傷害，這是AI醫療不得不思考的問題。

2.3 AI大數據對患者權益乃至國家安全構成潛在風險

“AI發展的原始助推力不是算法、不是推理, 更不是軟件系統, 而是大量的數據。”[3]我國醫療數據采集使用往往是由以營利為目的的AI研發企業和醫療機構開展，數據采集涉及面極廣，多樣化的數據尤其是敏感性的數據涉及多方利益。不同主體、不同學科領域、不同機構之間關于醫療大數據尚無統一認識和標準，這既影響數據解讀質量和算法準確性，也可能帶來安全隱患或侵權行為。當前，“醫療信息成為黑客攻擊的新熱點、醫學大數據的控制力在不斷被削弱、網絡安全成為醫學大數據安全的基石”[4]。以群體基因信息為例，一旦遭遇安全風險，可能嚴重威脅國家安全。此外，數據關系到AI醫療算法的精準性，一旦數據采集出現偏差，算法給出的模型和結果則可能出現偏誤，對患者權益造成損害。對于醫生而言，算法在本質上無異于黑箱，因其可能觸及商業、國家秘密以及自身的復雜性，算法并不透明，大數據、算法也極可能被用于某種非保障人類生命健康利益的不法目的，發生異化和畸變。

2.4 AI準入領域制度準則的空白或將造成法律責任界定模糊

與AI可能帶來的倫理挑戰相耦合的還有法律問題。目前就臨床中相對普遍使用的機器人輔助腹腔鏡手術——達芬奇系統而言，它還只是一種機械手，隨著AI技術的日益精進，將來完全可能由智能機器人獨立完成手術。盡管現階段學界主流觀點并不認同AI機器人的法律主體資格，智能機器人仍只是在醫生的指示控制范圍內輔助完成一部分精密手術。然而，一旦手術失敗或某些醫療風險發生，應由AI機器人研發者、制造商還是院方，甚至包括行使了知情同意權的患者承擔責任，以何種歸責原則認定，以及責任大小分配，責任界定的主體是誰，這些法律問題尚沒有明確界分。由于國外AI研發起步早于國內，在實踐中已出現相關案例，例如“姆來塞克訴布林茅爾醫院案”，最終法院判定適用生產者嚴格責任規則，盡管國內尚未出現相關案例，但學界顯然有必要對相關問題作出前瞻性思考。此外，隨著AI的觸角不斷延伸，如由IBM主導研發出“類人腦芯片TRUENORTH和類似的神經織網”技術，將人腦芯片或微小腦電極植入人腦，直接上傳和下載想法；另有智能眼球、機械臂、人工臟器等智能生物輔助設備，由此引發主體身份的法律界定以及智能設備的權益問題，相關探討尚不成熟。

3 如何應對AI醫療風險

風險是人類創造活動的動力。AI醫療能否有效造福人類，需要人們在機遇和風險之間謹慎平衡，從主體與制度層面不斷建構。惟有如此，才能揚長避短、發揮AI醫療的最大價值。

3.1 建構AI醫療倫理原則

“效率原則是技術社會構建的基石。然而，問題的關鍵在于到底是誰的效率?”[5]醫學與科學技術之間有一定的差別，醫學的發展催生了對科學技術的需求，但醫學服務于生命，而科學技術卻不盡然。因此，效率不應成為AI醫療的專有價值，醫療、生物科學領域的特殊性決定了該領域不具備反復試錯的機會，AI技術發展中“效率主義”應當得到反思，以防對AI醫療前景的過度美化和神化。對此，有必要為AI醫療的發展設定倫理原則，為其“能做什么”劃定倫理限度。

醫學的本質是為了生命。造福人類生命健康利益、提高醫療服務水平是AI醫療發展的初衷，AI醫療的發展仍應堅持生命倫理原則，強調公平性、透明性、公益性、合作性的倫理價值導向。這是基于，其一，生命健康利益應當是無差別的、平等的，然而不同國家、地區乃至同一國家不同地區的經濟、技術發展并不平衡，AI技術中算法關系到各種決策結果，為避免算法歧視，一切AI醫療行為應當基于公平性倫理原則，確保技術程序的正當性，而非在資本和利益導向下做出，增強AI醫療決策系統的透明性、可解釋性，避免算法黑箱，以防類似“魏則西”事件的悲劇也會在AI醫療中上演。其二，數據是AI醫療的關鍵，數據的量與質關系算法結果的準確性和AI醫療的真實效能，數據孤島阻斷AI醫療融合應用，由IBM制造的AI 產品Watson，因訓練中使用的非真實性數據，而給出錯誤甚至危險的方案。AI醫療要從弱AI階段得到突破，能真正造福于民，各醫療機構、企業、科研院所、患者等不同主體間應強調公益性、合作性原則，實現數據有效共享。

3.2 加強AI醫療人才建設

應對AI的挑戰與沖擊，首當其沖的是醫學工作者主體性的重構，既要有科技信息時代信仰的堅守，又要作出思維的積極轉向，保持自我提升的能力。

3.2.1 堅守職業信仰，重塑醫學人文精神

AI時代，醫務工作者應認清醫學發展的變與不變。2016 年，經濟合作與發展組織(Organization for Economic Cooperation and Development,OECD，簡稱經合組織)一項關于全球醫療問題的統計，在經合組織當時的34個成員國中，美國醫療開支處于各國之首，人均壽命卻處于倒數第八位，可見，高昂的醫療費用、先進的技術并不代表著更健康的人群[6]。AI融入醫療是醫學發展在新階段的變量，是思維與技術手段的變化，不變的是醫學的本質，醫學活動的本質仍然是人的問題，“關心人的本身，應當始終成為一切技術上的奮斗目標”[7]。醫務工作者仍需堅守“健康所系、性命相托”“醫乃仁術”的職業信仰，恪守 “有時去治愈，常常去幫助，總是去安慰”的職業準則，培育“大醫精誠”、“樂業奉獻”的職業精神，既有過硬的職業技能，更要始終保持同理心和敬畏心，不至于在功利主義、技術主義浪潮中迷失，能為AI醫療技術作出倫理和價值指引，引領其理性發展，致力于造福人類生命健康事業。

3.2.2 變革高等醫學教育，為AI醫療提供人才支持

人才是AI醫療發展的核心要素。國務院印發的《新一代人工智能發展規劃》提出要加快培養聚集AI高端人才。AI醫療是跨學科、跨行業、多部類，集產學研于一體的集體活動。AI與醫學兩大不同學科領域跨界融合，引領著新時代醫學與醫學教育變革。當前，我國AI醫療人才嚴重匱乏，醫學生在高等教育階段對AI醫療應用一知半解甚至一無所知。AI醫療應用產品的研發往往由企業開發，AI人才集中于計算機科學領域，AI醫療中往往通過培訓現有醫療人員，在臨床實踐中被動學習使用相關產品，這種模式并不滿足AI醫療發展根本之需。對此，應在高等教育階段推進醫學教育變革：一方面，支持有條件的院校推進“AI+X”復合專業培養新模式， 建立由不同學術背景或不同學科教師組成的學術共同體，推進高校、企業、醫院產教研結合，發揮各類協同創新組織的功能，聯合培養人才，注重更新醫學生知識結構、培養和形成跨學科思維模式，推動醫學生在該領域的參與，在理論學習、教學實踐與各類項目合作中發現問題、解決問題，挖掘AI醫療的潛在價值和可行方向，以需求為導向培育具有交叉學科背景的復合型人才。另一方面，借力AI技術，充分助力醫學教育，例如，清華大學醫學院建立“智慧現實虛擬臨床教學中心“，致力于推進臨床教學培訓新模式，面對未來AI醫療影響下醫患關系處理、臨床決策、技術運用等問題作出模擬探察。同時，注重將醫學人文精神與智能教學教育模式有效配合，在目前已有的醫學人文類課程中關注、探求相關問題，致力于引導醫學生建構技術與人文相整合的知識體系與價值觀。

3.3 完善AI醫療的制度規約

3.3.1 建構大數據規范使用和隱私權保護制度

健康醫療大數據領域標準體系是推動健康醫療大數據交換共享的基礎和前提, 是推進健康醫療大數據應用發展的有力保障[8]。美國、歐盟等國家在標準制定，安全管理以及平臺體系搭建方面都已相對成熟，美國2007年通過了《電子病歷系統功能模型》并使其成為國家標準,2011年責任醫療機構(Accountable Care Organizations,ACOs)最終法進一步對電子病歷管理作出設定、強調數字化收集33項指標數據,強化了電子健康記錄(Electronic Health Record,EHR)作為醫療質量度量工具的地位,構建準確、完整、及時的臨床質量指標數據報告制度和責任機制。為AI醫療數據的標準化采集和優質化使用奠定了基礎[9]。數據的價值在于使用，AI醫療數據安全的核心不是避免其使用，而是要實現數據開放與隱私風險之間的平衡。歐盟《通用數據保護條例》(General Data Protection Regulation,GDPR)在數字經濟的時代背景下，數據生產者權利能夠與GDPR中的各項“數據權利”協同，解決“非個人數據”和“個人數據”背后各主體的利益平衡問題[10]。該條例還規定了歐盟委員會有權對已證實違反條例規定的企業處以2 000萬歐元或其全球收入4%的高額罰款，監管機構在歐盟范圍內實現跨區域協作，賦予個人在隱私保護上更強大的話語權[11]。

我國健康醫療大數據標準研究起步較晚，國家衛生健康委員會于2018年9月正式發布《國家健康醫療大數據標準、安全和服務管理辦法(試行)》(以下簡稱《試行辦法》)，《試行辦法》對醫療大數據的定義、內涵和外延，以及自身的適用范圍、遵循原則和總體思路，各級衛生健康行政部門的邊界和權責，各級醫療衛生機構及相關應用單位的職責權利作出探索，但在系統化的法律建構依然處于缺失狀態。從國家層面對大數據予以統籌管理，推進構建完整的國家醫療數據體系并予以有效監管，以確保大數據的規范使用和總體安全的立法和技術安全標準亟待出臺。對AI醫療數據進行分級管理，設置保密等級與公開等級，兼顧協調患者的隱私權、企業的商業秘密權以及醫療的公益性等多方利益，合理逐步推動各類數據資源的共享，有效解決“數據孤島”問題。構建相應的數據共享規則和涉及患者及其他公民健康數據的同意規則，明確AI醫療中多方主體數據權利義務，建立大數據中關鍵信息基礎設施安全風險的監測、通報與信息共享機制和應急措施。

3.3.2 構建行業指導和監管制度

當前，我國AI醫療器械無論從監管層面、運用認證層面還是高性能的醫療器械標準制定方面, 相比美國、歐盟、日本等醫療器械國家法規與監管體系, 都仍存在一定的差距[12]。國務院提出對“AI+”發展的審慎監管原則。對于AI醫療風險防范治理，重在事先預防、實行分級管理。當前AI醫療總體上處于“弱AI階段”，集中于醫院管理、影像分析、流行病識別、保健和康復領域，這些領域風險不大，可通過制定行業準則實現對其進行規范化管理。建構對參與設計和研發的醫療機構、企業、醫療人員、技術人員等相關準入規范和質量管理規范體系，根據AI醫療器械、產品、技術的特殊性，制定臨床評價技術規范、技術標準和安全標準。

對發展中的“強AI”、“超強AI”則需保持高度警惕，制定重點監管目錄，實施算法代碼備案制度，完備覆蓋其技術產品研發、生產、流通、使用等全過程的生命周期監管制度，尤其是相關數據庫和信息追溯體系。鑒于“強AI”自身的技術復雜性與不確定性，其使用需在政府職能部門、行業組織、科研機構、醫療機構、企業、高校的共同參與和多方監管下開展。“由國內領軍型的大型公立醫院與企業、學術研究機構牽頭，成立第三方醫療AI倫理監管平臺，對醫療AI產品的研發、臨床應用注冊、多中心臨床研究、不良事件上報、開展合倫理性和適用性評價等，實現全流程多方位的倫理監管。”[13]

此外，AI醫療關系全體成員，應努力提高公眾對AI醫療的認知度、鼓勵公眾參與，為利益相關者提供對話平臺。總之，面對不確定性風險，只有有節制地對科技研發與應用進行有效控制，才能避免不負責任的、盲目的技術發展。

3.3.3 完善AI醫療責任法律法規

AI醫療的到來為醫學誤診以及醫療事故的責任分配提出了法律挑戰[14]。AI醫療侵權責任問題復雜。AI醫療致人損害主要表現為如下情形:一是不法者對智能系統進行非法入侵，進而控制所造成的損害。例如, 黑客、病毒等人為因素入侵智能系統, 由此導致危及他人生命健康權益的后果。二是AI醫療因自身產品缺陷瑕疵而造成的損害，如在英國2015年首例“達芬奇”心瓣修復手術中，機械手臂亂動打到醫生的手，還把患者心臟放錯位置，戳穿了患者的大動脈[15]。三是AI醫療系統操作者、使用者因自身不當使用所致的損害。四是在未來超強AI時代AI醫療系統可能超越原控制方案的“自身行為”所致損害。

對于第一種情形，侵權者理應承擔侵權責任，同時不排除相關監管者應承擔相應的行政責任。此外，基于受害人救濟原則, 在侵權者難以確定或無力承擔賠償責任時由AI醫療生產者、銷售者或使用者根據公平原則分擔責任。第二種情形所致損害類型，在“弱AI階段”，AI醫療產品往往被視作醫療器械的情況下，適用產品責任規定。第三種情形中由醫療主體承擔責任是自然選擇。但與第二種情形面臨共同的難題是，責任認定的關鍵在于AI醫療的安全標準和技術法規，沒有特定的安全標準，則難以判定損害是產品缺陷還是醫療主體主觀過錯所致。在第四種情形下，超強AI醫療擁有更強的獨立行為能力或以更復雜的形式助力生命健康事業，如大腦芯片等，屆時AI醫療或可擁有電子人身份，損害責任界定更加困難。鑒于立法的相對滯后性和科技發展的未知性，AI強制險十分必要，針對AI醫療發展中可能出現的各類風險，設置不同的責任險種，以確保對受損者的權利救濟。必須指出的是，盡管“制定一部總括性的‘人工智能法’在目前這個階段時機尚不成熟”[16]，但在現有法律體系內，厘清AI醫療的責任認定問題，以在公眾健康權益和技術創新之間保持平衡，對推進AI醫療具有重要意義[17]。

4 結語

人類對科學技術及生命健康的探索永無止境，風險與機遇并存，AI與醫療的深度融合充滿未知性，既不可裹足不前，也不能盲目狂熱。AI醫療要走向“善智”，倫理反思與法律設計應當走在技術前面，為技術發展的合理性、合法性作出前瞻性的考量。