一種基于 WebRTC 的網絡遙操作系統(tǒng)

倪 智

一種基于 WebRTC 的網絡遙操作系統(tǒng)

倪 智

遙操作系統(tǒng)能夠使人類在危險或者復雜的工業(yè)場景中進行實時操作。在當前的遙操作系統(tǒng)中，操作端的視頻質量對于操作者能否正常完成工作起著決定性的作用，而實時的視頻質量又會受到帶寬受限的網絡環(huán)境的影響，且不能實現便捷的移動設備的訪問。為此，設計了一種基于 WebRTC (Web with Real Time Communications)的網絡遙操作系統(tǒng)，利用 WebRTC技術來實現遠端到操作端的實時音視頻傳輸，并且利用 Websocket來傳輸操作端的控制指令，并且實現了遠端移動平臺的運動規(guī)劃。最后的實驗表明該系統(tǒng)能夠有效降低傳輸速率，提高視頻質量。

遙操作系統(tǒng)；WebRTC；Websocket；視頻質量

0 引言

隨著工業(yè)生產的發(fā)展和科技的進步，應用于復雜工業(yè)現場的遙操作系統(tǒng)逐漸成為當今學術界研究的一個熱點[1]。通常情況下由于遠端處于移動狀態(tài)，相機捕獲的視頻流運動劇烈，傳輸速率大；遠端和操作端的網絡帶寬也時時在發(fā)生變化，而傳輸速率過大就會帶來不同程度的視頻丟包，影響操作端的視頻質量。另外，由于操作者經常處于工業(yè)現場，這也使得研究基于移動設備的遙操作系統(tǒng)成為了一種趨勢[2]。如何能夠更加便捷的實現遠端監(jiān)控，而且能夠降低傳輸速率，保證視頻質量就成為了一項重要而且艱巨的任務，也成為網絡遙操作系統(tǒng)需要解決的一個突出問題。WebRTC[3]技術作為一種瀏覽器內部的實時音視頻交互技術，采用比較高效的音視頻編解碼算法和網絡自適應算法，支持跨平臺的調用，成為了新興高效的流媒體編解碼和傳輸方法；而Websocket[4]則是下一代的實時通信協(xié)議，效率高且占用資源較小。WebRTC 和 Websocket的出現，使得解決上述問題成為了可能。綜上所述，本文設計了一種基于 WebRTC 的網絡遙操作系統(tǒng)，傳輸遠端的實時音視頻信息；利用Websocket傳輸操作端的控制指令，并實現了遠端移動平臺的運動規(guī)劃。最后的傳輸速率測試和視頻 MOS(Mean Opinion Score)評分測試證明了該系統(tǒng)能夠有效降低傳輸速率，提高操作端的視頻質量。

1 系統(tǒng)結構

如圖1所示：

圖1 基于 WebRTC 的遙操作系統(tǒng)結構圖

為基于 WebRTC 的網絡遙操作系統(tǒng)的結構框圖。整個系統(tǒng)分為六個部分：操作端、遠端移動平臺、網絡、STUN Server、Web Server和 WebRTC Server。Web Server主要提供網絡中的 Internet服務，使得操作端和遠端可以使用 HTTP協(xié)議從 Web Server上下載網頁。WebRTC Server主要完成音視頻流的初始化工作，操作端和遠端首先向 WebRTC Server發(fā)送基于 Websocket協(xié)議的消息，其后 WebRTC Server便向兩端轉發(fā)對端的 ID 信息，這樣便能完成音視頻流的 P2P 傳輸。STUN Server 主要目的是使用戶數據報協(xié)議能夠穿越NAT 防火墻，使得不同網絡結構的終端可以進行通話。通過 STUN Server可以了解公網地址和網絡類型。對于控制指令而言，利用 Websocket協(xié)議傳輸控制指令，在遠端首先進行 Websocket的握手，然后實時解析控制指令，并根據遠端環(huán)境信息進行運動規(guī)劃。由于 andriod 和 IOS 系統(tǒng)的 Chrome瀏覽器具備 WebRTC 功能，所以該遙操作系統(tǒng)能夠兼容手機等移動設備，基于 WebRTC 的遙操作系統(tǒng)結構圖如圖1所示。

2 軟件設計

2.1 音視頻交互軟件設計

對于音視頻交互軟件來講，主要功能就是向操作端實時傳輸遠端的環(huán)境信息。該軟件主要采用 WebRTC 進行設計。在支持 WebRTC 功能的 Chrome 瀏覽器內部，已經集成了眾多與音視頻編解碼、音視頻傳輸有關的 API，使用 C++實現，Web 開發(fā)者僅需通過上層的 Javascript調用，便可以實現瀏覽器內部的實時音視頻交互。如圖2所示：

圖2 基于 WebRTC 的遙在系統(tǒng)結構圖

基于此，本系統(tǒng)采用如下軟件流程實現音視頻交互。該軟件主要分為客戶端軟件和 WebRTC Server軟件兩部分。對于客戶端軟件來講，首先通過 getUserMedia 方法捕捉本地的音視頻流 ， 其 次 ， 通過 webKitPeerConnection 方法與WebRTC Server建立連接并向 STUN Server請求 NAT 服務。連接建立成功后，向 WebRTC Server傳輸本地音視頻流初始化信息，并等待接收 WebRTC Server 傳回的 ID 信息。而WebRTC Server軟件主要監(jiān)聽服務器某個特定端口，一旦檢測到兩端的連接請求便進行 ID 信息的轉發(fā)。音視頻交互軟件流程圖和操作端為手機時的操控界面分別如圖3和圖4所示：

圖3音視頻交互軟件流程圖

圖4操作端界面

2.2 控制軟件設計

對于控制軟件來講，主要功能就是實現控制指令的傳輸以及機器人的運動規(guī)劃。控制指令傳輸之前，首先要進行的是 Websocket的握手。遠端首先檢測操作端的連接請求，并且解析其中的密鑰，經過安全的哈希算法和 base64 編碼后，得到解密鑰并向操作端發(fā)送，操作端判斷解密鑰是否正確，如果正確則傳輸控制指令，遠端接收控制指令并根據環(huán)境信息進行運動規(guī)劃，若不正確則通信關閉。握手階段的軟件流程如圖5所示：

圖5 握手階段的軟件流程圖

對于機器人的運動規(guī)劃算法，采用的是勢場法的避障算法[5]，其原理圖如圖6 所示：

圖6勢場法避障原理圖

認為環(huán)境和操作端的操作對遠端的移動平臺以力的形式產生作用，表現為目標點對于遠端移動平臺的引力和障礙物對于移動平臺的斥力。在原理圖中為引力為第個距離傳感器檢測到障礙物產生的斥力為合力為合力與移動平臺正方向的夾角為第個距離傳感器檢測到障礙物到移動平臺的距離，為障礙物有效影響距離區(qū)間。其算法流程圖如圖7所示：

圖7 運動規(guī)劃控制算法

3 實驗分析

為了驗證基于 WebRTC 的網絡遙操作系統(tǒng)能夠有效降低傳輸速率，并能夠提高操作端的視頻質量，現分別設計傳輸速率測試實驗和視頻質量測試實驗來驗證上述結論。遠端的人形移動平臺如圖8所示：

圖8 遠端人形移動平臺

其中，頭部裝有 Logitech 720p 攝像機，用戶可以控制攝像機達到期望的位置；距離傳感器感知角度為機器人正前方 270°，感知范圍為 3m。其底層移動平臺最大速度為1.1m/s。對于視頻質量的評價標準，目前廣泛采用的是國際電信聯盟（ITU）建議的“平均評估分值”法(MOS)[6]，它精確的描述了用戶的主觀感受。評價標準如表1所示：

表1 視頻 MOS 評分標準

本次實驗選擇了網絡中廣泛使用的 FLASH 的流媒體傳輸方法[7]作為對比，下面，將分別對兩個實驗進行介紹。

3.1 傳輸速率測試實驗

在傳輸速率測試實驗中，遠端移動平臺處于實驗室內部環(huán)境中，操作者操控遠端移動平臺，并接收遠端傳輸的音視頻流，記錄操作端接收的流媒體傳輸速率，一天內三個不同的時間段的測試結果如圖9所示：

圖9傳輸速率測試結果

其中，機器人端的視頻流參數為 640×480，幀率為30fps。

由圖9可以看到，在相同的遠端場景和相同的視頻流條件下，WebRTC 的傳輸速率要遠低于 FLASH 的傳輸速率，表明基于WebRTC的方法能夠比基于FLASH的方法效率高且?guī)捳加蒙伲谙嗤氖芟迬捪履軌虮ＷC視頻流的流暢傳輸。

3.2 視頻質量測試實驗

在視頻質量測試實驗中，遠端移動平臺處于實驗室內部環(huán)境中，選擇 5 名操作者(4 男 1 女)操控遠端移動平臺，操作者根據表1所示的視頻質量評分標準進行打分，統(tǒng)計操作者的打分情況并取均值，采用不同的視頻分辨率傳輸的結果如圖10所示：

圖10 視頻質量測試結果

從圖10中可以看到，在相同的遠端場景下，隨著視頻分辨率的升高，基于 FLASH 的視頻傳輸方法用戶的 MOS評分逐漸降低，特別是在 960×720 的分辨率條件下，FLASH的傳輸方法已經出現了較大程度的卡幀和延遲，表明了FLASH 的傳輸方法對于編解碼標清以上分辨率的視頻流存在卡幀和延遲；相比較而言，WebRTC 的視頻傳輸方法在任何的視頻流分辨率下，MOS評分均在4分以上，且視頻流暢，圖像清晰，可以保證操作端的視頻質量。

4 結論

本文首先討論了遙操作系統(tǒng)的主要問題，并據此提出了一種基于 WebRTC 的網絡遙操作系統(tǒng)，筆者詳細闡述了該系統(tǒng)的結構和軟件設計，并通過對比實驗驗證了該系統(tǒng)能夠有效降低傳輸速率，提高視頻質量。此外，該系統(tǒng)還能實現操作端的跨平臺調用，實現了更加便捷的遠端監(jiān)控，在實際應用中收到了良好的效果。

[1] Ross B, LaRose D, Wilde,etc. High performance teleoperation for industrial work robots[C]. Applied Robotics for the Power Industry (CARPI), Oct,2010:1-5.

[2] Park J H, Song T H, Jeon J H P A J W. Usability Analysis of a PDA-based User Interface for Mobile Robot Teleoperation[C]. The IEEE International Conference on Industrial Informatics, July,2008:1487-1491.

[3] Bertin, Cubaud E, Tuffin S, etal. WebRTC, the day after: What's next for conversational services?[C]. Intelligence in Next Generation Networks (ICIN), Oct,2013:46-52.

[4] 徐漫江, 陳天皓. 實時 Web 工業(yè)控制系統(tǒng)原型的設計與實現[J]. 化工自動化及儀表, 2013, 40(8):971-974.

[5] 吳鏡開, 黃遠燦, 王世興. 基于勢場法的移動機器人避障路徑規(guī)劃[J]. 微計算機信息, 2007, 23(5).

[6] 仇棟才, 趙國鋒, 薛飛. IPTV 測試[J]. 電信工程技術與標準化, 2007,20(2)

[7] Mohsin Khan, Jason Gu. Web based teleoperation architecture and h.264 video encoder[C]. Electrical & Computer Engineering (CCECE),April 2012:1-4

A Network Teleoperation System Based on WebRTC

Ni Zhi
(Department of Automation and key laboratory of System Control and Information Processing, Shanghai Jiao Tong University, Shanghai200240, China)

Teleoperation systems enable people to do real-time work in hazardous or dangerous industrial situations. In the current teleoperation systems, the video quality on the control side plays a decisive role whether the controller could finish the work smoothly. The real-time video quality is affected by the network environment such as limited bandwidth, and portable devices could not have access to the teleoperation system. To overcome this drawback, a network teleoperation system based on WebRTC is proposed in this paper. The system uses WebRTC to transmit real-time video and audio from the remote side to the control side, and uses Websocket to transmit control command from the control side, and the motion planning is realized in the remote motion platform. The final experiment shows that the system can reduce transmission rate and improve video quality.

Teleoperation System; WebRTC; Websocket; Video Quality

TP249

B

1007-757X(2014)2-0053-03

2014.01.09)

倪智（1987-），男，上海交通大學自動化系，碩士研究生，研究方向：網絡遙在機器人，上海，200240