可減少視頻制作者的負擔科學家?智能機器?操作攝影機

相信很多讀者都從各種長短視頻平臺上學到過一些有用的動手技能，比如烹飪、維修、美妝等。這些可能是點滴小事，但是做得好的話可以切實地提升生活質量。

另外，動手技能的培訓在很多職業的發展中也非常重要，例如在制造、護理、物理治療這些行業中，操作技能的高低與服務質量和生產質量息息相關。

傳統的動手技能培訓采用面對面教學的方式，受到時間空間上的諸多限制。通過視頻進行教學可以突破這些限制，讓更多人受益。

但是，如果大家有做教學視頻的經驗的話，會發現這是一個非常繁冗的工作。僅僅是調整攝影機、尋找好的攝影機角度這一部分，就可能需要多輪反復。

因此，加拿大多倫多大學李健楠和所在團隊希望通過智能機器人操作攝影機，減少視頻制作者的負擔。從交互研究的層面，這項研究希望探索機器人如何通過人類隱性的溝通信號，來理解人的意圖從而提高人與機器人合作的質量。

談到人和機器人的合作，大家更熟悉的還是一些顯性的溝通方式，比如通過代碼、圖形界面、或者自然語言，直接命令機器人去完成一項任務。

但是在緊耦合的合作中，比如由機器人拍攝人的表演，或者人與機器人一起組裝一個設備時，這類溝通方式對人類會產生負擔，因為我們必須暫時從手頭工作中抽離才能發出這些命令。

在視頻拍攝的情景之下，講解者在給觀眾示范動手技能的同時，還要給機器人下命令，那講解的過程就可能會變得支離破碎。

人類在合作和溝通方面，其實有很多細微的技巧。在合作中，我們不光會關注對方的顯性命令和建議，還會關注種種隱性的信號，比如對方身體的朝向、手勢，還有和其他人的對話，以此理解對方的目標。

因此，李健楠所在團隊希望探索能否讓機器人也擁有這種能力，從而減少人類在與機器人合作時在溝通上的體力腦力資源。

具體在視頻拍攝中，讓機器人關注講解者和觀眾的溝通信號，以此決定攝影機的位置和角度等參數。

事實上，當今市場上已經有云臺和無人機等攝影機器人。隨著機器人成本的降低和感知能力的提高，相信今后會有更多專門面向個人和小型工作室的消費級攝影機器人。但是，現在的攝影機器人依舊非常依賴人給出明確的指令，無法很好地應對變化的場景。因此，李健楠希望這項研究可以啟發攝影機器人的交互設計，讓它們去主動理解人類的意圖。

據介紹，李健楠一直關注如何通過機器人攝影，去提高動手技能教學的體驗。而關于本次研究的想法，則起源于他的上一個項目。

在上一個項目中，他和同事采用觀眾和講解者共同控制的機器人集群去拍攝教學視頻。實驗中，他們發現該方法的一個局限在于，觀眾和講解者還是要為控制機器人而分心，導致教學體驗受到影響。

因此，他們希望可以減少這些負擔。但是，視頻攝制涉及理解環境和視頻內容走向，如果沒有任何用戶輸入的話，依舊很難交給機器人進行自動執行。

在本次研究的前期，李健楠等人主要思考的是：如何能讓拍攝者快速制作分鏡頭腳本（故事板），然后輸入給機器人。

之后，他們意識到很多業余型內容創作者并沒有能力、精力、或意愿去制做故事板，而且在講解過程中會有一些自由發揮的部分。

所以這個項目在初期停滯了很久，大家一直在構思如何簡化故事板，但是不太順利。后來受到一些文獻的啟發，他們決定關注讓機器人理解人和人的溝通過程，也就是理解講解者和觀眾交流中的信號，比如姿態、手勢和語言，從而來控制機器人的行為。

為此，他們研究了動手技能教學視頻的內容，去了解創作者想要的攝影主體、角度等參數，之后選擇了一系列可以與這些攝影機參數結合的溝通信號。在這之后，他們邀請擁有視頻拍攝經驗的用戶參與試用和改善設計。

此外，李健楠表示：“我感興趣的一個方向是拓展機器人可以理解的溝通信號。目前，這款系統能夠理解的信號種類和內容還是有所局限，會對創作者的發揮造成限制。希望可以結合人工智能特別是大模型，來拓展機器人可以理解的信號范圍。”

另據悉，2023年下半年李健楠將入職新加坡管理大學計算與信息系統學院擔任助理教授。今后，他會繼續推進人和機器人交互的研究，專注于運用人工智能以及交互設計的方法，幫助機器人從隱性的信號解讀人的意圖，提高人與AI合作的成效。

另外，他也計劃將這類方法推廣到更多的智能系統問題中，比如增強現實環境，讓智能系統更好地理解用戶的愿望和偏好，在無需用戶輸入的情況下，為用戶提供及時且有效的支持。