對人工智能的安全問題,人類歷來有弗蘭肯斯坦情結。英國小說家瑪麗·雪萊的小說《弗蘭肯斯坦》講述了一位理工科學生創造了一個科學生物,這個生物最終變成了殺人狂。人工智能會不會在超越人類智力后,與人類作對呢?美國奇點大學校長雷·庫茲韋爾預言,這個奇點會出現在2045年。但《人工智能》一書的作者多梅爾認為,不在于人類是否能設計出比自身好的東西,而在于政策是什么以及人們決定要用技術去做什么。2016年9月,英國標準化協會發布了《機器人和機器系統的倫理設計和應用指南》,希望以機器人倫理指南為突破口,探索規避這類風險。目前各國政府、企業也越來越重視這一問題。
對人工智能發展帶來的負面問題如何監管,是國際社會普遍關心的話題。美國前總統奧巴馬認為,在人工智能的早期發展階段,監管框架應當百花齊放。政府要盡量少干預,更多地投資科研,確保基礎研究和應用研究之間的轉化。隨著技術的開發和成熟,如何將其納入現有監管框架中,這是更難的問題,需要各國政府更多地參與探索。