信息系統安全性的問題主要來自大型軟件設計漏洞或者缺陷,進而產生安全問題。中國科學院院士張鈸認為,發展人工智能技術時出現了全新的安全問題。這個安全問題主要來源于算法本身的不安全。因此,必須對算法做徹底的改變,才能完全解決安全問題。之所以這么重視人工智能的安全問題,主要原因是它的安全問題更加難以克服。人工智能的安全治理很重要,可以防止人工智能技術被誤用,主要是無意識的誤用,因為人工智能算法本身帶來的不安全問題是很難被預先發現的。如果我們在使用的過程中不注意這個問題,人工智能就會被無意識地錯用,造成嚴重后果。

發展第三代人工智能是一項長期而艱巨的任務,人工智能的安全和治理也是長期任務。解決人工智能安全性問題必須兩手抓,一手抓治理,一手抓創新發展,解決人工智能算法本身不安全的問題。