基于圖像和語音聯合交互技術的人工智能機械臂平臺

唐成燁 高琪 李曼莉 唐瑞虎

摘 要：通過語音輸入與交互，實現機械臂系統功能的語音控制，使普通用戶能夠通過簡單的言語溝通，靈活地使用人工智能來處理一些事務。方便人們使用，使人與機器的溝通更加便捷。通過語音和圖像配合的輸入與輸出，能夠使機器更擬人化，使用者能更容易地操作機器。

關鍵詞：圖像；語音；聯合交互；人工智能；機械臂平臺

當前人工智能產品功能相對單一，為了發揮人工智能產品更大的便利性，越來越多的產品變的更加智能化、集成化，目前大多數主流開發商已經不再僅僅專注于某一領域，而是多領域開發，創造更多的價值。本作品就是基于人工智能技術研究語音、動作一體化機械臂，整合來自視覺、語音等多模態信息，利用語音識別與數據經驗積累，充分理解、記憶、預測和應對客戶的需求，方便人們的生活和工作。

一、機械臂應用群體范圍

自動化：行業中大多包括半自動化設備，且需要提供一定的人力資源滿足對半自動化設備的調試、使用、維護。人工智能機械臂作為一種靈活的自動化應用設備，能夠驅動企業中大多數半自動化設備，并且具有一定的監督功能，能夠在設備出現故障時發出警報。人工智能機械臂在企業自動化方面能夠為節省大量人力，并且能夠擁有更長的工作時間，也保證了工人的人身安全。

智能產品檢測：工業生產大制造，質量與形狀方面的不合格品能夠通過篩選剔除，但是產品表面是否達到合格，往往需要一定的人力提供幫助。人工智能機械臂在此領域的貢獻是，能夠自動地檢測產品的外觀與形狀，并把不合格的產品剔除并拍攝上傳到服務器用于統計，為企業產品量化提供方便。

助理服務：人工智能機械臂也是面向群體面向大眾的，能夠在日常生活中為使用者提供一定的便利，例如：物品分類、知識答疑等。經過改進后，完全能夠做到在醫學領域遠程行醫。

主要功能與特色：集遠程遙控、自主學習并執行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達到一體多功能效果。通過不斷實驗和實踐積累經驗改善并增加功能追求多方面功能集一身的特色。

二、模塊詳細介紹

視覺的開發方面依賴于攝像模塊，圖像識別算法上需要cv等模塊支持。在開發視覺功能前，為開發過程穩定，推薦選用NVIDIA旗下的圖像處理模塊。除此之外，還包括但不限于開發板、風扇、舵機模塊。圖像識別不僅僅是硬件上的組裝，主要還是需要在后期的算法上進行研究，特別是當一個項目在對于外界環境的識別要求具有一定的精準度時，就對軟件方面的開發要求更高。

在圖像處理上，通過卷積神經網絡來對開發人員的數據集進行訓練。反復訓練能夠提高對于同樣一個模型的角度的準確率。模型訓練過程中能夠自適應圖像的位置，能夠對于要識別物體的特征進行分析，同時屏蔽掉一些干擾，識別中通過調整對目標檢測的相似度來保證得到的訓練結果能夠更加精確。模型檢測中，在視頻輸入流下，攝像模塊在開發前已經相互兼容。視頻流的目標檢測是通過對于視頻中的每一幀進行單獨檢測輸出到屏幕從而實現視頻流檢測功能。

三、結語

人工智能機械臂平臺針對不同用戶的需求模式，完成用戶自定義模式，通過物品識別、動作調正等功能，為不同用戶提供方便，使機械臂在生活中發揮更加廣泛的應用。集遠程遙控、自主學習并執行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達到一體多功能效果。通過語音模塊，調用對應的方法，通過語音控制實現人機交互。對于給定的輸入圖像，系統不僅可以通過語音交互完成控制，系統也可以通過自動識別，對圖像進行自動處理。

人工智能機械臂平臺的研究針對于大多數產業及一些其他普通工作的智能自動化。項目采用了Python語言設計，內部嵌入式環境為Linux衍生的Ubuntu系統。項目開發之所以采用嵌入式，原因在于該方式可以極大程度上降低項目的開發周期，同時能夠在項目開發過程中出現問題時便于調試。