人工智能、物聯網、機器人技術對安全和責任框架的影響

賽迪譯從

人工智能、物聯網和機器人技術為我們的經濟社會帶來機遇，同時也可能會損害使用者的合法利益。歐盟委員會于今年2月發布《人工智能、物聯網和機器人技術對安全和責任框架的影響》報告，報告介紹了新興技術的特征，深入分析了歐盟當前的安全和責任框架在哪些環節不能適用于這些新興技術，并建議采取適當的舉措對現行《產品責任指令》和《通用產品安全指令》等法規進行調整，以解決現有安全和責任框架的不確定性問題。賽迪智庫安全產業研究所對該報告進行了編譯。

歐盟委員會充分認識到新興數字技術的重要性和潛力，以及在該領域大量投資的必要性，進而致力于使歐洲獲得人工智能、物聯網和機器人技術領域的世界先進地位。為了實現這一目標， 需要一個清晰、可預測的法律框架來應對技術挑戰。

安全和責任框架概述

安全和責任框架的總體目標旨在保障所有產品和服務（包括集成新興數字技術的產品和服務）的安全、可靠、同步運行，并有效修復已發生的損失。雖然集成了新型數字技術的產品和系統具有很高的安全性，但安全和責任框架可以提供可靠的補救機制 來彌補發生的損壞，有助于更好地保護消費者。當人工智能、物聯網和機器人等新技術興起時，建立明確清晰的安全和責任框架勢在必行，這保護消費者和企業的合法權益。

歐盟擁有健全的安全和產品責任監管框架，以及完善的安全標準體系，在保障公民在單一市場上的福祉的同時，鼓勵創新和技術應用。但是，人工智能、物聯網和機器人技術正在改變許多產品和服務的特性。

2018年4月25日，歐盟委員會通過了《人工智能通信》，宣布將提交一份報告，以評估人工智能、物聯網和機器人技術對現有安全和責任框架的影響。本報告提出的目標以及《人工智能白皮書》僅供討論，重點關注安全和責任框架已確定的關鍵問題。

人工智能、物聯網和機器人技術的特征及機遇

（一）新興技術的特征。人工智能、物聯網和機器人技術有許多共同特征，包括連接性、自主性、復雜性和數據依賴性。配備人工智能的系統可以通過從經驗中學習來改善自身性能。其復雜性既反映在供應鏈涉及多個經濟運營商，又反映在構成新技術生態系統的組件、零件、軟件、系統或服務的多樣性。此外，隨著投放市場的變化，它們的開放性進一步提升。同時，由于涉及大量數據，導致算法依賴以及人工智能決策的不透明性，使得對人工智能產品行為更難預測，對造成損壞的潛在原因排查難度加大。最后，連接性和開放性也可能使人工智能和物聯網產品面臨網絡威脅。

（二）新興技術的機遇。人工智能、物聯網和機器人技術為人類社會創造了許多機遇。例如可以增加用戶對新興技術的信任和社會認可，提高產品質量、改善流程和商業模式，以及幫助歐洲制造商提高生產效率。同時，該技術還有望幫助人類解決一些重大挑戰：包括治療慢性疾病、預測疾病爆發、減少交通事故死亡率、應對氣候變化或預測網絡安全威脅等。

一方面，新技術通過提高產品的安全性從而使產品降低某些風險。例如，網聯汽車和自動駕駛汽車可以提高道路安全性，從而避免大多數人為錯誤引起的交通事故。另一方面，物聯網系統可以接收和處理不同來源的大量數據，提高產品召回的有效性，提醒用戶避免產品的安全問題。如果生產商發現物聯網產品在使用期間出現安全問題，可以直接與用戶溝通，警告其相關風險，或者直接解決問題。例如，2017年某智能手機生產商在召回設備時對軟件進行升級，把待召回的手機電池容量降為零，以便用戶停止使用危險設備。此外，這些新技術可以提高產品的可追溯性。例如，物聯網的連接功能可以使企業和市場監督機構跟蹤危險產品并識別整個供應鏈中的風險。

對現有安全框架的挑戰及應對

歐盟委員會關于《建立對以人為本的人工智能的信任》 指出，人工智能系統應綜合設計安全機制，以確保每一步的安全性都經受得住檢驗，確保所有相關人員的身心安全。

歐盟產品安全法規旨在確保投放到歐盟市場上的產品滿足高標準的健康、安全和環境要求，并且此類產品可以在整個歐盟內部自由流通。針對該行業的立法以《通用產品安全指令》為依托，要求即使不受歐盟立法監管的消費品也要保證安全。歐洲標準化是歐盟產品安全法規的重要組成部分。考慮到數字化和新興數字技術的全球化特征，標準化領域的國際合作對維持歐洲工業的競爭力至關重要。

歐盟產品安全框架的很大一部分是在人工智能、物聯網或機器人等數字技術出現之前制定的。因此，它并不完全包含解決這些新興技術挑戰和風險的明確規定。但是，由于現有產品安全框架是技術中立的，并不意味它不適用于采用了這些技術的產品。此外，在醫療設備或汽車等領域，該框架的后續立法已經明確將數字技術納入考慮范圍。

（一）新興技術的連接性對傳統安全概念提出挑戰。連接性已成為新興產品和服務的核心特征，對傳統的安全概念提出了挑戰。以冰島兒童智能手表的“歐盟快速預警系統”為例，該產品預期利用本地化來確保兒童安全，卻存在被用作接觸兒童工具的危險。而德國乘用車中的無線電設備如果存在軟件安全漏洞，允許未經授權的第三方訪問其互連控制系統并進行惡意攻擊，就會增加發生交通事故的風險。另外，工業應用缺乏必要的安全等級，也可能威脅員工的人身安全。例如針對工廠的關鍵控制系統開展網絡攻擊，可觸發導致死亡事故的爆炸。

歐盟產品安全法規中的安全性屬于公共政策目標，旨在確保產品安全。根據規定，產品的使用范圍包括預期用途、可預見用途，以及合理可預見的誤用。產品安全性概念涵蓋了各種風險的防護，包括網絡風險和與設備斷開連接的相關風險。

歐盟產品安全法規尚未針對影響用戶安全的網絡威脅制定特殊的強制性要求。不過，《醫療器械法規》《測量儀器指令》《無線電設備指令》和《整車型式批準法規》中包含了網絡威脅安全性的相關規定。《網絡安全法案》為信息和通信技術（ICT）產品、服務和流程制定了自愿性網絡安全認證框架。

（二）人工智能自主性與制造商期望存在偏差。人工智能產品和系統的自主性可能會使機器做出的決策與生產者的最初意圖，以及用戶的期望有所偏差。歐盟產品安全框架規定制造商在將人工智能產品投放市場之前需進行風險評估，為用戶提供明確的安全指示和警告。但是產品在全生命周期內都可能因自主行為對用戶造成風險，需要實時更新風險評估程序。

歐盟產品安全法規尚未明確如何解決人工智能自主性產品和系統中由于人為疏忽導致的問題，從產品設計到人工智能產品全生命周期都需要人工監督來保障安全。目前，歐盟法律框架中的安全性通常指人身傷害威脅。但是人工智能應用的類人行為可能會給用戶造成心理健康風險，應考慮將精神健康風險納入立法框架。同時要求生產商明確其產品可能對用戶（特別是弱勢用戶，例如被護理的老年人）造成的心理損害。

（三）數據依賴產生的安全風險需要保障機制。數據準確性和相關性可以確保人工智能系統按照生產者意圖做出決定。歐盟產品安全法規未明確解決由錯誤數據引起的安 全風險。根據產品的“用途”，生產商應在設計和測試階段預測數據的準確性及其與安全功能的相關性。例如，設計用于檢測特定對象的人工智能系統時，設計人員應收集在光線不足的典型環境中進行產品測試的數據。

歐盟產品安全法規應該作出規定，要求制造商在設計階段解決錯誤數據帶來的安全風險。確保在人工智能產品和系統的使用過程中有良好的機制來保障數據質量。

（四）人工智能的不透明性使決策過程難以跟蹤。人工智能產品和系統的不透明性可能會導致難以跟蹤系統決策過程，即所謂的“算法黑箱”。隨著人工智能算法變得越來越先進，并部署到關鍵領域，人類理解系統如何做出算法決策具有決定性的意義，這對于事后執行機制尤其重要。

歐盟產品安全法規目前尚未解決基于算法不透明所帶來的日益增長的風險。因此，有必要考慮制定更多對算法透明性、穩健性和問責制的相關法律規定。在發生事故的情況下，規定算法開發人員必須公開數據集的設計參數和元數據。這對于事后執行機制的完善、建立對新興數字技術的信任尤為重要。

（五）軟件更新對安全性構成風險。最終產品制造商有義務在產品投放市場時預見該產品中集成軟件的風險。某些歐盟產品安全法規明確包含了產品中集成軟件的規定。例如，《機械指令》要求控制系統軟件出現故障時，不會導致出現危險情況。

歐盟產品安全法規規定，出于安全原因，可以將軟件更新與維護操作進行比較，前提是不會對已經投放市場的產品進行重大更改，并且不會構成初始風險評估中未預見的新風險。但是，如果軟件的更新對已下載的產品進行了實質性修改，則整個產品可能會被視為新產品，并且在執行修改時必須重新評估是否符合相關安全產品法規的規定。但歐盟產品安全法規仍需要對獨立軟件做出特定和明確的要求，確保人工智能產品和系統中的獨立軟件具備安全功能。此外，應規定制造商承擔相關的強制性義務，以確保上傳的軟件不會在人工智能產品的生命周期內對安全性產生影響。

（六）新興數字技術受復雜的價值鏈影響。在歐盟產品安全框架下，產品的安全性責任由生產者承擔，包括產品中集成的各個部件。歐盟產品安全法規考慮了價值鏈的復雜性，并遵循“共同責任”的原則對多家企業施加了義務。

歐盟產品安全法規明確規定了價值鏈中的企業與用戶之間進行合作的條款，尤其是價值鏈中影響產品安全的每個企業（例如軟件生產者）和用戶（通過修改產品）都會承擔相關責任，并為價值鏈中的下一個行為者提供必要的信息和保護措施，以期為復雜的價值鏈問題提供法律依據。

對現有責任框架的挑戰及應對

產品安全和產品責任法規是歐盟的兩大互補機制，最大程度地降低新型技術產品和系統對用戶的傷害，國家則通過民事責任框架對各種原因造成的損害進行賠償，即與不同的責任人（例如所有者、經營者或服務提供者）溝通。民事責任法規在社會中起著雙重作用，一方面確保受害者獲得賠償;另一方面為責任方提供經濟誘因，以避免造成這種損害。責任法規必須始終在保護公民免受傷害與鼓勵企業創新之間維持平衡。

（一）新興技術降低責任框架有效性。人工智能、物聯網和機器人等新興數字技術的特征可能會在某些方面影響責任框架，并降低其有效性。《產品責任指令》規定生產商應對因產品缺陷造成的損壞承擔責任。發生人身或財產損失時，如果受害方能夠證明損失和產品缺陷（即產品沒有提供公眾預期的安全性）之間存在因果關系，則有權獲得賠償。根據嚴格的過錯和責任認定，國家賠償責任制度為產品和服務的受害者提供了幾項并行的索賠要求。投保適當的保險可以為受害者提供穩定的賠償，從而減輕事故帶來的負面影響。明確的責任規定可幫助保險公司計算風險，并向承擔損害最終責任的當事方要求賠償。例如，如果事故是由產品缺陷導致的，則汽車保險公司可以在賠償受害者之后再向制造商索賠。

與其他類似產品和服務相比，新興數字技術產品和服務事故的受害者無法享受根據國家侵權法獲得賠償的保護，可能會降低社會對新興技術的接受程度，增加應用阻力。此外還需要進一步評估新技術對現有責任框架的挑戰是否會導致法律適用的不確定性，可能會增加生產者和供應鏈中其他企業的信息和保險成本。

（二）產品、服務和價值鏈的復雜性增加索賠難度。人工智能應用通常集成在復雜的物聯網環境中，相應提高了使用者的索賠門檻。首先，由于軟件有多種類型和形式，因此不能簡單地將軟件歸類為服務或產品。盡管《產品責任指令》對產品的定義很寬泛，但可以進一步明確生產者概念，擴大責任范圍，對于軟件或其他數字功能導致產品缺陷從而造成的損失，明確賠償義務和責任范圍。這樣可以更好地根據相關法律規定判斷是否可以將經濟參與者（例如軟件開發人員）視為生產者，從而確定相關責任人。其次，由于技術的復雜性，擁有專業知識的經濟成本過高，受害者很難根據國家法律確定責任人并成功索賠。最后，人工智能產品和服務將與傳統技術交互，這就增加了責任追溯的復雜性。例如，在可預見時期內自動駕駛汽車將與傳統汽車并行。

可以通過修訂《產品責任指令》，減少人工智能相關受害者的舉證責任，進一步有針對性地統一國家責任規則。

（三）連接性和開放性對網絡安全義務提出挑戰。因產品網絡安全漏洞而造成的損害是否能得到充分的賠償問題尚沒有明確的法律規定。在現有的責任框架中，應該建立明確的網絡安全義務，使運營商明確自身義務從而避免承擔不必要的責任。

根據《產品責任指令》，在產品的合理可預見使用方面，生產者是否可以預見某些問題可能會變得越發突出。一是“后期缺陷抗辯”可能會有所增加。如果在產品投入市場時或在“開發風險抗辯”（當時的最新知識尚無法預見到缺陷）中不存在缺陷，則生產商不承擔責任。二是如果受害者未執行安全更新，則有可能將此視為共同過失，從而減少生產商的責任。三是由于可預見合理使用的概念和共同過失問題（例如無法下載安全更新）越發普遍，受害者可能會難以獲得產品缺陷造成的損害賠償。

（四）自主性和不透明性造成索賠困難。人工智能的“算法黑箱”效應，使得人工智能應用的自主性造成的損害，很難獲得賠償。理解人工智能所使用的算法和數據需要具有專業分析能力和技術專長，受害者可能會因此付出高昂的代價。此外，如果沒有潛在責任方的配合，就無法訪問算法和數據，因此導致受害者實際上無法提出責任索賠。

某些自主人工智能設備和服務的運行在責任方面可能具有特定的風險特征。這主要涉及在公共場所運行的人工智能設備（例如全自動駕駛汽車、無人機和包裹運送機器人），或具有類似風險的人工智能服務（例如引導或控制車輛的交通管理服務或配電管理）。嚴格的賠償責任可以確保一旦發生這種風險，無論過錯如何，都能給受害者提供賠償。

針對運行具有特定風險的人工智能應用，歐盟委員會正在尋求相關意見，以便有效補償潛在的受害者。此外，歐盟委員會還在征求關于將嚴格的責任認定與潛在義務相結合，以制定可用保險的意見，以確保不論責任方的償付能力如何，受害者都能獲得賠償。針對潛在責任方沒有記錄與評估責任有關的數據，或者不愿意與受害人分享數據的行為，歐盟委員會正在探討是否需要調整因果關系和過錯責任。

結論

人工智能、物聯網和機器人等新興數字技術的出現對產品安全和責任方面提出了新的挑戰，包括連接性、自主性、數據依賴性、不透明性、產品和系統的復雜性、軟件更新以及更為復雜的安全管理和價值鏈。當前的產品安全法規仍有待完善，特別是需要分別對《通用產品安全指令》《機械指令》《無線電設備 指令》和《新立法框架》進行修訂補充。根據現行法規，發生損害時的成本分配可能不公平或效率低下。為了解決該問題以及現有框架中的潛在不確定性問題，歐盟可以考慮采用針對性的、基于風險的方法，采取適當的舉措對《產品責任指令》和國家責任制度進行調整，即考慮人工智能系統應用所帶來的多重風險，以解決現有安全和責任框架的不確定性。