基于圖像和語音聯(lián)合交互技術(shù)的人工智能機(jī)械臂平臺

唐成燁 高琪 李曼莉 唐瑞虎

摘 要：通過語音輸入與交互，實(shí)現(xiàn)機(jī)械臂系統(tǒng)功能的語音控制，使普通用戶能夠通過簡單的言語溝通，靈活地使用人工智能來處理一些事務(wù)。方便人們使用，使人與機(jī)器的溝通更加便捷。通過語音和圖像配合的輸入與輸出，能夠使機(jī)器更擬人化，使用者能更容易地操作機(jī)器。

關(guān)鍵詞：圖像；語音；聯(lián)合交互；人工智能；機(jī)械臂平臺

當(dāng)前人工智能產(chǎn)品功能相對單一，為了發(fā)揮人工智能產(chǎn)品更大的便利性，越來越多的產(chǎn)品變的更加智能化、集成化，目前大多數(shù)主流開發(fā)商已經(jīng)不再僅僅專注于某一領(lǐng)域，而是多領(lǐng)域開發(fā)，創(chuàng)造更多的價值。本作品就是基于人工智能技術(shù)研究語音、動作一體化機(jī)械臂，整合來自視覺、語音等多模態(tài)信息，利用語音識別與數(shù)據(jù)經(jīng)驗(yàn)積累，充分理解、記憶、預(yù)測和應(yīng)對客戶的需求，方便人們的生活和工作。

一、機(jī)械臂應(yīng)用群體范圍

自動化：行業(yè)中大多包括半自動化設(shè)備，且需要提供一定的人力資源滿足對半自動化設(shè)備的調(diào)試、使用、維護(hù)。人工智能機(jī)械臂作為一種靈活的自動化應(yīng)用設(shè)備，能夠驅(qū)動企業(yè)中大多數(shù)半自動化設(shè)備，并且具有一定的監(jiān)督功能，能夠在設(shè)備出現(xiàn)故障時發(fā)出警報。人工智能機(jī)械臂在企業(yè)自動化方面能夠?yàn)楣?jié)省大量人力，并且能夠擁有更長的工作時間，也保證了工人的人身安全。

智能產(chǎn)品檢測：工業(yè)生產(chǎn)大制造，質(zhì)量與形狀方面的不合格品能夠通過篩選剔除，但是產(chǎn)品表面是否達(dá)到合格，往往需要一定的人力提供幫助。人工智能機(jī)械臂在此領(lǐng)域的貢獻(xiàn)是，能夠自動地檢測產(chǎn)品的外觀與形狀，并把不合格的產(chǎn)品剔除并拍攝上傳到服務(wù)器用于統(tǒng)計，為企業(yè)產(chǎn)品量化提供方便。

助理服務(wù)：人工智能機(jī)械臂也是面向群體面向大眾的，能夠在日常生活中為使用者提供一定的便利，例如：物品分類、知識答疑等。經(jīng)過改進(jìn)后，完全能夠做到在醫(yī)學(xué)領(lǐng)域遠(yuǎn)程行醫(yī)。

主要功能與特色：集遠(yuǎn)程遙控、自主學(xué)習(xí)并執(zhí)行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達(dá)到一體多功能效果。通過不斷實(shí)驗(yàn)和實(shí)踐積累經(jīng)驗(yàn)改善并增加功能追求多方面功能集一身的特色。

二、模塊詳細(xì)介紹

視覺的開發(fā)方面依賴于攝像模塊，圖像識別算法上需要cv等模塊支持。在開發(fā)視覺功能前，為開發(fā)過程穩(wěn)定，推薦選用NVIDIA旗下的圖像處理模塊。除此之外，還包括但不限于開發(fā)板、風(fēng)扇、舵機(jī)模塊。圖像識別不僅僅是硬件上的組裝，主要還是需要在后期的算法上進(jìn)行研究，特別是當(dāng)一個項(xiàng)目在對于外界環(huán)境的識別要求具有一定的精準(zhǔn)度時，就對軟件方面的開發(fā)要求更高。

在圖像處理上，通過卷積神經(jīng)網(wǎng)絡(luò)來對開發(fā)人員的數(shù)據(jù)集進(jìn)行訓(xùn)練。反復(fù)訓(xùn)練能夠提高對于同樣一個模型的角度的準(zhǔn)確率。模型訓(xùn)練過程中能夠自適應(yīng)圖像的位置，能夠?qū)τ谝R別物體的特征進(jìn)行分析，同時屏蔽掉一些干擾，識別中通過調(diào)整對目標(biāo)檢測的相似度來保證得到的訓(xùn)練結(jié)果能夠更加精確。模型檢測中，在視頻輸入流下，攝像模塊在開發(fā)前已經(jīng)相互兼容。視頻流的目標(biāo)檢測是通過對于視頻中的每一幀進(jìn)行單獨(dú)檢測輸出到屏幕從而實(shí)現(xiàn)視頻流檢測功能。

三、結(jié)語

人工智能機(jī)械臂平臺針對不同用戶的需求模式，完成用戶自定義模式，通過物品識別、動作調(diào)正等功能，為不同用戶提供方便，使機(jī)械臂在生活中發(fā)揮更加廣泛的應(yīng)用。集遠(yuǎn)程遙控、自主學(xué)習(xí)并執(zhí)行動作、手勢識別與互動、顏色識別追蹤與互動、人臉識別追蹤和垃圾智能識別分類等多功能于一體，達(dá)到一體多功能效果。通過語音模塊，調(diào)用對應(yīng)的方法，通過語音控制實(shí)現(xiàn)人機(jī)交互。對于給定的輸入圖像，系統(tǒng)不僅可以通過語音交互完成控制，系統(tǒng)也可以通過自動識別，對圖像進(jìn)行自動處理。

人工智能機(jī)械臂平臺的研究針對于大多數(shù)產(chǎn)業(yè)及一些其他普通工作的智能自動化。項(xiàng)目采用了Python語言設(shè)計，內(nèi)部嵌入式環(huán)境為Linux衍生的Ubuntu系統(tǒng)。項(xiàng)目開發(fā)之所以采用嵌入式，原因在于該方式可以極大程度上降低項(xiàng)目的開發(fā)周期，同時能夠在項(xiàng)目開發(fā)過程中出現(xiàn)問題時便于調(diào)試。