上海：立法促進人工智能產業發展

本刊特約記者 巨云鵬

10月1日起，《上海市促進人工智能產業發展條例》（以下簡稱《條例》）正式施行。作為人工智能領域在國內的首部省級地方性法規，早在制定階段，《條例》就受到了產業界、法律界等多方關注。

談起人工智能，很多人的最初印象是電影里的場景：具備超級智慧的計算機系統無所不知，“鋼筋鐵骨”的人形機器人無所不能，人類和人工智能產生巨大的矛盾……

而在上海這部法規中，明確《條例》所稱人工智能，是指利用計算機或者計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統；人工智能產業，則是指人工智能技術研發和應用所涉及的軟硬件產品開發和生產、系統應用、集成服務等，包括關鍵基礎元器件產業、智能軟件產業、智能終端產業，以及人工智能技術在經濟、生活、城市治理等領域融合應用帶動的相關行業。

從立法的角度看，這些定義是制定法律條文的必然邏輯要求，但透過這些條文也可以一窺立法者對人工智能及相關產業的未來期待：更好地為人類服務。

明確人工智能產業發展相關行為底線

在許多有關人工智能的文學、電影作品中，人工智能與人類的關系往往是推動情節發展的主要因素，如電影《終結者》系列中的人工智能防御系統“天網”，《黑客帝國》系列中的“矩陣”，它們對人類的統治和威脅成為許多影迷心中的夢魘。

當下的人工智能技術雖還不像電影中那樣“無所不能”，但智能家居、智能客服、人臉識別、廣告個性化推薦等應用早已“飛入尋常百姓家”，無人駕駛、智能機器人等技術也愈發成熟。

“上海此次立法不是為人工智能立法，而是促進人工智能產業發展的條例，立足點是促進產業發展”，上海市人大常委會財經委立法監督處處長張震說，針對人工智能，在國際上暫時沒有綜合性單獨的立法，因為人工智能太難、太新了，比如電子人格，能不能承認出現了“智能人”？比如高階段的無人駕駛，如果出了車禍，算運營商、制造商還是乘坐人的責任？“這些問題都很值得探討，對于地方立法來說可能超出了權限。”

雖然如此，但《條例》兼顧人工智能產業發展與安全可控，仍在條款中明確了人工智能產業發展相關行為底線，以保障人工智能產業健康、安全發展。

《條例》提出設立人工智能倫理專家委員會，履行6項職責，包括制定人工智能領域倫理規范指南，指導高校等開展人工智能領域倫理理論研究和探索，推動人工智能企業探索建立倫理安全治理制度，對涉及生命健康、公共安全等重點領域人工智能應用的潛在風險開展評估等。

“成立人工智能倫理專家委員會，制定倫理規范指南，開展倫理安全教育和宣傳，促進人工智能產業在規范中發展，在發展中規范。”上海市經信委副主任張英說。

《條例》還明確相關主體開展人工智能研發和應用，應當遵守法律、法規規定，增強倫理意識，并不得從事6類禁止行為，包括提供危害國家安全或社會公共安全的產品和服務，提供危害用戶人身或者財產安全、侵害個人隱私或個人信息權益的產品和服務，提供因民族、種族、性別、年齡、職業和宗教信仰等歧視用戶的產品和服務，利用算法技術實施價格歧視或者消費者欺詐等侵害消費者權益的行為，利用深度合成技術實施國家禁止的行為，以及其他違反有關法律、法規和公序良俗的行為等。

為我國人工智能治理貢獻“上海方案”“上海智慧”

集成電路、生物醫藥、人工智能，是上海正在著力打造的三大先導產業。2021年，上海人工智能規上產值3056.8億元，同比增長17.2%，是2018年的2.28倍，產業人才也從2018年的10萬人提升到23萬人。

“上海通過制度供給引領新發展，發布人工智能五年規劃、算法行動計劃、標準體系等政策舉措，建設人工智能創新應用先導區，開創了國內多個‘第一’”，張英說，此次《條例》的表決通過，既為上海人工智能發展提供了有力保障，也為我國人工智能治理貢獻了“上海方案”“上海智慧”。

從《條例》具體內容看，“上海方案”對人工智能產業發展有著清晰的路徑規劃和支持舉措。在“產業發展”一章，除一般性規定外，專設了“重點促進”一節，針對芯片、智能機器人、智能網聯汽車、無人機、無人船等領域設計了一系列促進措施：

——支持相關主體開展基于先進架構的高效能智能芯片設計創新，研制云端芯片和云端智能服務器，布局類腦芯片等，上海市發展改革、經濟信息化部門應當推動自主技術智能芯片在算力基礎設施等重大項目中的應用。

——推動智能機器人軟硬件系統標準化和模塊化建設，支持培育智能機器人系統集成商，鼓勵相關企業、產品使用方與金融機構采用產品租賃、服務采購等方式，拓展智能機器人應用場景。

——支持相關主體開展人工智能醫療器械關鍵技術研發，在智能輔助診斷算法、手術定位導航、融合腦機接口等方面加強攻關突破；加強人工智能醫療器械注冊審批相關指導服務，支持相關創新產品進入國家創新醫療器械特別審批程序；支持探索符合條件的人工智能醫療器械在臨床應用中的收費模式。

上海市人大常委會法工委主任閻銳介紹，《條例》還圍繞提高經濟發展質量、城市生活品質和現代化管理能力，進一步加強人工智能在經濟、生活、城市治理等領域的規模化應用，明確經濟信息化部門組織制定人工智能示范應用清單，并指導和督促相關各方予以落實；深化人工智能在制造、金融、商務、物流等經濟領域的應用；深化人工智能在互聯網、教育、醫療、養老等生活領域的應用；深化人工智能在城市治理領域的應用，加強智能感知、智能中樞和智慧司法建設，全面推進城市治理中的人工智能場景應用等。

注重促進創新與防范風險相統一，探索分級治理和沙盒監管

上海在此次《條例》的制定和出臺過程中，聽取了包括人大代表、政協委員、法學專家、企業代表等多方面的意見。

“‘人工智能+’是個好事情，但我們也要考慮到，如果走偏了對于行業的負面影響，所以在促進的同時，一定要劃出底線”，上海市政協委員、安杰律師事務所合伙人陳貴說，在產業扶持上，一定是扶持那些秉持“科技向善”的企業，而不是那些造成隱私泄露、危害人類安全的應用。

據新華社報道，在歐盟委員會于2021年4月提出的一套人工智能法律框架中，按照風險高低，將人工智能應用場景分為“最低、有限、高、不可接受”4個風險等級，等級越高的應用場景，受到的限制越嚴格。

報道稱，高風險應用場景指可能對人們生命、生活造成嚴重影響的場景，如交通設備、教育培訓、醫療輔助、信用評級等。歐盟委員會強調，所有遠距離生物識別系統都被認為具有高風險，禁止執法部門在公共場合使用這一技術，只有少數情況例外，如尋找失蹤兒童或防止個別恐怖襲擊、甄別犯罪分子和可疑人員等，這類應用需得到司法部門或獨立機構授權；而某些明顯威脅人們安全和生活以及侵犯人們權利的系統被劃為不可接受風險的場景，包括利用人類行為來誤導用戶、違反其自由意志的應用，如使用語音助手誘導未成年人做出危險行為的玩具等，這類應用須禁止。

在上海這部《條例》的具體條款中，同樣也出現了不同風險等級的表述：要求對高風險的人工智能產品和服務實行清單式管理，遵循必要、正當、可控等原則進行合規審查；對中低風險的人工智能產品和服務采用事前披露和事后控制的治理模式，促進先行先試。具體辦法由上海市人民政府另行制定。

張英說，圍繞《條例》提出的“以人為本、科技向善”發展原則，上海將進一步注重促進創新與防范風險相統一，探索分級治理和沙盒監管，針對技術創新探索柔性監管制度，研究出臺高風險人工智能產品和服務清單等。“《條例》的出臺，對上海加快打造人工智能世界級產業集群具有標志性意義。我們將在上海市人大的指導監督下，會同各部門抓好貫徹落實，也希望大家繼續關心人工智能產業發展。”張英說。