從機器人“殺人”看嵌入式系統的可靠性與安全性設計

北京航空航天大學 何立民

近日有報道稱，大眾汽車位于德國Baunatal的工廠發生了一起意外事故，一名工人在工作時被機器人抓起并擠壓向一塊金屬板，最終導致死亡。隨后，機器人“殺人”事件成為社會熱點話題。雖然最后澄清原因為安裝機器人時，操作失誤產生的傷亡事故，但“機器人殺人”仍是一個值得重視的現實問題。

1978年9月6日，日本廣島一間工廠的切割機器人正在切割鋼板，突然發生了異常情況，機器人竟將一名值班工人當作鋼板切成了肉片，成為了世界上第一宗真正的機器人殺人事件。嚴格說來，在可以預見的將來，“機器人殺人”是一個偽命題，因為在傳統概念中，殺人要有預謀、要有動機，日前的人工智能還無法做到。但是，眼下擺在人們面前的一個十分現實的課題是，如何防止“機器人過失傷人”。

現階段機器人的一切智慧都是人類賦予的，人類是機器人的設計者與“監護人”，機器人的一切行為都應該由人類負責。嵌入式系統設計中，不可或缺的可靠性設計擔此重任，并由此延伸出運動系統安全性設計責任。

1 嵌入式系統可靠性設計的新課題

可靠性設計是電子系統設計中的一個古老問題。在傳統電子系統中，可靠性設計著眼于系統的功能可靠性，是“不好即壞”的二值可靠性。智能電子時代，由于集成電路的超長壽命、非絕對可靠的軟件，在諸多智能電子產品中，更多地體現在“出錯概率”的多值可靠性上。這種智能電子的多值可靠性設計，更多的是可靠性控制及可靠性管理的設計內容。

嵌入式系統是一個軟硬件融合的智能電子系統，軟硬件協同設計是嵌入式系統產品設計的一個重要特點，突出了系統功能性設計、低功耗設計、可靠性設計的相關與融合，以及軟件在低功耗系統設計、可靠性設計中的決定性地位。例如，嵌入式應用系統中，最終賦予系統最小功耗水平的是系統的實時功耗管理設計，即根據系統實時運行狀況，實施“多干多吃、少干少吃、不干不吃”的功耗管理策略。如今，智能電子系統硬件體系在集成電路超長壽命、系統模塊化、白系統化的高可靠性品質基礎上，“出錯概率”已成為系統可靠性的主要課題，也是可靠性控制設計的中心問題。

可靠性控制是一種軟件行為，例如，對一個數據采集系統實行數據采集的實時界限管理，剔除不合理數據后重新進行采集；最大限度地將系統設定在休眠、掉電、分區停電狀態，使系統對噪聲失敏，能有效地降低系統的出錯概率；使系統定時復位也是實現可靠性控制的一種很好的措施。

目前，嵌入式產品系統更多的是軟硬件設計的并行與分離，這種并行與分離狀態不利于系統的可靠性控制設計。在后硬件時代，嵌入式系統硬件工程師在可靠性管理與可靠性控制設計中，處于比軟件工程師更為有利的地位。

另外，防止黑客攻擊是嵌入式系統可靠性設計的一個新問題。本來，嵌入式應用系統對病毒具有天然的免疫能力，因為系統中的程序是固化在封閉的空間里運行。物聯網時代，嵌入式應用系統普遍具有網絡接入功能，以及與外部的交互功能，不少產品系統有與計算機的交互接口，從而打開了病毒可能入侵的渠道。2010年一種名為“震網”的蠕蟲病毒入侵了伊朗布什爾核電站，導致20%的離心機報廢，就是一個典型案例。

2 嵌入式系統可靠性設計的新觀念

軟硬件協同的可靠性設計是指硬件與軟件相融合，以及與功能性設計、低功耗設計綜合考慮的可靠性設計方法。筆者在1999 年總結了以減少出錯概率為中心的“MCU 應 用 系 統 的 可 靠 性 設 計 綱 要”［1］；2008 年 在《嵌 入式應用系統的可靠性設計初探》［2］一文中，指出了嵌入式系統獨特的可靠性概念，呼吁重視嵌入式應用系統的可靠性設計，并指出嵌入式應用系統軟硬件協同的三大任務——功能性設計、低功耗設計、可靠性設計。

嵌入式系統可靠性設計有兩大背景：一是集成電路超長壽命與超常可靠性，使嵌入式硬件系統不易損壞；二是“沒有絕對不會出錯的軟件”，導致系統可靠性向軟件可靠性傾斜。如今，人人都能體會到嵌入式產品這一“玩不壞，但會出錯”的可靠性特點。

嵌入式系統這一特點，給嵌入式應用系統帶來了全新的可靠性設計觀念。

（1）嵌入式系統的多值可靠性

傳統電子系統是一個“非好即壞”的二值可靠性系統，嵌入式應用系統常常表現為不壞，但會出錯，有的應用系統經常出錯，有的應用系統很少出錯，形成了不同出錯概率的多值可靠性。

（2）嵌入式系統的可靠性等級

用“出錯概率”來評定嵌入式應用系統的可靠性等級，并對不同的嵌入式應用系統設計提出不同的“出錯概率”要求。例如，衛星發射時，運載火箭中星箭分離的爆炸螺栓控制系統，環境惡劣、無人監管，一旦出錯后果嚴重，因此絕對不允許出錯；相比之下，我們允許手機出錯，對計算機經常出現的死機現象熟視無睹。這些不同的可靠性等級要求與可靠性不同的現實狀況和用戶的感覺相一致。

（3）可靠性控制的設計理念

嵌入式應用系統是一個智能電子系統，但我們可以充分利用軟件智力來實現系統的可靠性控制設計。可靠性控制設計，是一種軟件介入的可靠性設計方法。筆者在《嵌入式應用系統的可靠性設計初探》一文中，提出了基于可靠性模型的可靠性控制設計方法與內容，即建立嵌入式應用系統的可靠性模型，在可靠性模型基礎上制定出應用系統的可靠性設計原則。

3 嵌入式系統的可靠性設計

嵌入式應用系統的可靠性設計是減少出錯概率的軟硬件設計。既然嵌入式應用系統不可能不出錯，安全性設計便成為嵌入式應用系統高可靠性設計的一個重要內容，即系統出錯時的無害化設計。

圖1是嵌入式應用系統的可靠性模型。傳統電子系統是一個激勵－響應型系統，嵌入式應用系統由于軟件介入，在激勵端與響應端之間增加了一個軟件的時空運行過程。激勵端、運行空間、響應端構成了嵌入式應用系統的可靠性模型，保證正常激勵輸入、程序有序運行、正常響應輸出，是嵌入式應用系統可靠性設計的基本原則。

圖1 嵌入式應用系統的可靠性設計模型

圖2顯示了基于可靠性設計模型的應用系統的可靠性設計原則。激勵端的非正常激勵、程序運行過程中的干擾、響應端的非正常響應輸出，是嵌入式應用系統的非可靠性因素。

因此，可靠性設計原則是：激勵端對非正常激勵的消除或容錯，如按鍵輸入抖動的消抖動措施、數據采集過程中屏蔽無關按鍵輸入；在軟件運行過程中，要保證軟件的唯一運行路程，盡量減少軟件漏洞，防止程序跑飛，制定程序跑飛后的多種返回措施；在響應端，能及時判斷與排除異常狀態下的非正常響應輸出。

圖2 嵌入式應用系統的可靠性設計原則

4 嵌入式系統的可靠性等級分類

對傳統電子系統而言，可靠性越高越好，可靠性越高，越不容易損壞。以出錯概率為可靠性標志的智能電子系統，并不是可靠性越高越好，如對儀器精度、嵌入式系統實時性而言，能滿足精度、實時性要求即可。可靠性越高，投入的成本與精力越大，有時會成十倍、百倍地加大。因此，在嵌入式系統設計時，必須建立起可靠性等級分類概念，對不同可靠性等級要求，采用不同的應對性設計。

嵌入式可靠性等級的分類依據，是可靠性評定因子。最常用的可靠性評定因子有“環境因子”、“人機耦合因子”、“系統集成因子”、“基礎平臺因子”與“安全性因子”等。

“環境因子”是指系統運行環境對可靠性的影響因素，如系統的電氣環境、機械環境、氣氛環境，具體包括電氣環境中的電磁干擾環境，機械環境中的震動干擾，以及氣氛環境中的鹽霧、粉塵、溫度、濕度等。

“人機耦合因子”是指系統運行時有無操作者介入，或操作者的介入深度。有操作者介入時，有利于發現系統早期的出錯征兆，介入深度越大，越有利于出錯時的修正與安定性保證。

“系統集成因子”是指應用系統的整體化程度，如芯片的集成度、系統的模塊化水平、開發環境的集成度。系統集成度越高，可靠性也越高。

“基礎平臺因子”是指應用系統研發時基礎平臺占據的比例。基礎平臺包括半導體廠家提供的產品平臺、開發平臺，以及企業內部的通用技術平臺，這些平臺都經歷過實踐考驗。基礎平臺占據的比例越大，可靠性越高。

“安全性因子”是指系統出錯時出現威脅安全的因素。通用計算機死機后不會出現重大安全問題；自動生產線上機器人出現失控后會產生破壞因素；宇宙火箭星箭分離控制機構出現故障后，會造成極其嚴重的后果。

評定系統可靠性等級時，要將所有可靠性因子，按照對系統可靠性設計要求的程度高低，統一量化成上、中上、中、中下、下5級，或上、中、下3級的標準級別。如在溫度的環境可靠性因子中，80 ℃以上、－40 ℃以下為“上”，40 ℃以上、－20 ℃以下為“中”，40 ℃以下、－20 ℃以上為“下”。

將可靠性因子量化后，依可靠性要求的大小按5級或3級順序排列成表，然后將系統的可靠性要求對號入座。可靠性因子等級量化數值越大，系統的可靠性等級越高，表明該系統對可靠性的要求越高。如，無人值守、極端溫度環境、強振動、宇宙射線電磁環境、出錯后會導致重大安全事故的宇宙空間設備，可靠性等級最高；常溫下、有人值守、正常電磁環境、出錯后無重大安全隱患的家用電器，可靠性等級較低。

5 機器人的可靠性與安全性設計

回到本文的主題，看看機器人的可靠性與安全性設計。

機器人是無人操作下擬人的運動狀態機構，用于取代人類個體的腦力勞動與體力勞動。機器人有健壯的運動機構，具有足夠的動力和確定的運動軌跡。正常情況下，機器人忠實地為人類服務。目前，機器人正在以空前的速度，高效地替代勞動者的工作崗位，成為人類的好伙伴。

通常，機器人無人值守，有足夠健壯的運動機構，工廠里的機器人從事緊張、高效、精細的工作，任何失誤都會造成重大損失。因此，機器人設計時普遍有高可靠的技術保障，出錯概率遠小于原崗位勞動者。大眾汽車廠的機器人殺人事件是工作人員安裝機器人時操作失誤。大部分機器人在無人環境下能夠高可靠地工作，很少發生傷人事件。

按高可靠要求設計的機器人并不能達到零出錯要求，因此，機器人的安全性設計、安全性使用規范，是機器人設計、使用的重要內容。安全性設計是機器人出錯后的無害化處理，如劃定機器人運行時的虛擬空間與軌跡，當機器人運行越過規定的空間與軌跡時停機，或者有人進入該空間或軌跡時發出警告。在生產線上的機器人，有固定的空間與軌跡；倉庫、工位間行走的機器人小車，須劃定軌道與軌道寬度；機器人保姆應該有用戶可設定的安全界限與中止機器人行為的功能。

不少科技大片渲染的“機器人殺害人類”尚屬科幻。當人類進入到非自然人類時代，人類個體與智能化工具共享人類智慧時，什么事情都可能出現。但眼下真正對人類造成危害的，是無人化戰爭設備。眾多的殺人機器人士兵被制造出來，第一個真正殺害人類的機器人，應該是戰爭機器人。

［1］何立民.MCU 應用系統的可靠性設計綱要［J］.電子技術應用，1999（5）.

［2］何立民.嵌入式應用系統的可靠性設計初探［J］.單片機與嵌入式系統應用，2008（10）.

［3］何立民.知識學原理［M］.北京：北京航空航天大學出版社，2012.