飛機自動駕駛機器人研究綜述

彭衛(wèi)東，蘇子欽

（中國民用航空飛行學院，四川廣漢 618307）

0 引言

隨著人工智能技術的快速發(fā)展，各種各樣的智能機器人已得到了廣泛應用，用于飛機自動駕駛的智能機器人也在研發(fā)中。一般來說客機、運輸機、轟炸機等通常都配備至少兩名駕駛員，如果飛機自動駕駛機器人研發(fā)成功將會取代傳統(tǒng)的人類副駕駛，實現單人制機組。飛機自動駕駛機器人不同于飛機自動駕駛系統(tǒng)，其主要通過視覺系統(tǒng)非侵入式地獲取飛機的運行參數和狀態(tài)消息，模仿人類的操作方式使用機械臂駕駛飛機，無需對現有飛機進行太多的改裝，也能適應不同機型，具有不會疲勞、可以隨時保持專注、不受個人情緒影響、面對大量繁瑣的重復性工作出錯率極低等人類駕駛員不具備的優(yōu)點，極強的環(huán)境適應能力使其在機艙失壓、供氧系統(tǒng)發(fā)生故障等極端條件下仍然能夠安全地駕駛飛機，在機長失去駕駛能力的時候也能迅速接替并采取相應措施，例如因人為操作失誤使客艙增壓系統(tǒng)不能自動加壓最終造成的太陽神航空522號班機空難，如果該班機配備了飛機自動駕駛機器人作為副駕駛則完全可以避免此類空難的發(fā)生。還能夠大大降低飛機飛行過程中駕駛員的工作負擔，并有效緩解當前我國航空公司面臨的飛行員緊缺問題[1]，戰(zhàn)時也能有效減少人員傷亡。由于飛機自動駕駛機器人是一個非常前沿的研究方向，相關方面的研究與文獻資料在全世界范圍尤其是國內都并不多，尤其缺少綜述性的文獻，因此本文將著重于在整體層面上研究飛機自動駕駛機器人的原理、系統(tǒng)組成結構以及技術難點等，并提出未來可能的發(fā)展方向與趨勢，能給未來的相關研究提供參考與新的研究方向。

1 國內外發(fā)展現狀

1.1 國外發(fā)展情況

2016年網絡上曾曝光美國國防部高級研究計劃（DARPA）的機組工作駕駛艙內自動化系統(tǒng)（Alias）項目正在研發(fā)由機械臂和基于平板電腦的控制系統(tǒng)組成的飛機自動駕駛機器人，極光（Aurora）和西科斯基（Sikorsky）兩家公司參與了該項目[2]。

圖1 Alias飛機自動駕駛機器人

目前，極光的機器人已經完成了“鉆石”DA42、塞斯納208“大篷車”、UH-1“易洛魁”、DHC-2“河貍”等型號飛機的駕駛，也在波音737-800NG型客機的模擬機上成功完成了飛行和著陸的演示[3]，西科斯基的機器人完成了在西科斯基S-76型直升機、UH-60A“黑鷹”直升機和塞斯納208“大篷車”型飛機上的自動駕駛測試工作[4]。

1.2 國內發(fā)展情況

目前國內在飛機自動駕駛機器人方面的研究還非常少，已知中國民用航空飛行學院人工智能飛行副駕駛團隊正在進行相關技術的研究[1]，目前取得了一定的成果，包括已經完成了針對飛機指針式儀表的自動識別與讀數[5]、飛機駕駛艙頭頂板字符識別[6]、機艙內環(huán)境感知[7]、語音識別[8]與標準喊話語音庫的建立[9]、機械臂控制方面的研究，并且后續(xù)的研究還在繼續(xù)進行中。

2 技術要點

飛機自動駕駛機器人是一種從工業(yè)機器人發(fā)展而來，基于機械臂、傳感器、處理器和人工智能技術的智能控制系統(tǒng)，由感知系統(tǒng)、動作系統(tǒng)、控制處理系統(tǒng)和交互系統(tǒng)組成，具體工作原理如圖2所示。

圖2 飛機自動駕駛機器人工作原理

2.1 感知系統(tǒng)

感知系統(tǒng)包含了視覺感知系統(tǒng)和壓力傳感系統(tǒng)，其中以視覺感知為主，通過視覺感知系統(tǒng)從飛機的儀表、指示器中讀取飛機的運行參數、姿態(tài)、位置，通過視覺定位的方式對各開關的位置進行準確定位，也能透過駕駛艙風擋對飛機外部環(huán)境進行觀察以及感知機艙內部的環(huán)境，在泊機的時候需要能夠正確識別地勤人員的指揮動作。

視覺系統(tǒng)需要具備三維空間視覺的能力，目前常用的立體機器視覺方式有雙目視覺和深度視覺兩種，其中深度視覺又可分為ToF（Time of Flight）深度視覺和結構光深度視覺。

雙目視覺因為具有近距離測量精度高、分辨率高、硬件成本低、不受駕駛艙內部玻璃器件反光影響、可以長時間連續(xù)工作的優(yōu)點[10]，所以視覺感知系統(tǒng)更適合選用雙目視覺的方式。

2.2 動作執(zhí)行系統(tǒng)

動作執(zhí)行系統(tǒng)的作用是直接操作飛機的具體設備，由多個機械臂組成。首先需要在副駕駛位置上安裝一個用來操作各開關的主機械臂，左右方向舵的腳蹬都各需要配備一個特殊機械臂（機械足），對于雙發(fā)和多發(fā)飛機而言，每個節(jié)流閥控制手柄都必須獨立配備一個可以完成推拉操作的機械臂，飛機的操縱桿或操縱盤也必須單獨配備一個控制機械臂，并且該機械臂也必須具備操作操縱桿或操縱盤上面按鈕的能力。

其中最為復雜的是主機械臂，需要對各操作面板上的不同開關以及部分控制桿（如襟翼控制桿）準確地執(zhí)行操作。飛機駕駛艙開關的種類包括按鈕開關、旋鈕開關、撥動開關以及按動開關等，因此主機械臂需要能夠完成抓取、按壓、旋轉和撥動的動作，而要具備完成這些動作的能力則必須配備爪形末端，并且機械爪也需要具備防滑的能力，爪的末端直徑也不能太大以避免出現誤觸現象。機械臂的抖振抑制也是必須要重點考慮的問題，抖振會嚴重影響機械臂操作的精度和可靠性。

2.3 控制處理系統(tǒng)

控制處理系統(tǒng)的功能是對視覺感知系統(tǒng)捕獲的視頻圖像進行圖像增強、圖像分割、目標識別與定位等圖像處理工作；對交互系統(tǒng)接收到的語音信號進行識別；根據飛行計劃和機長發(fā)出的指令規(guī)劃機械臂的運動路徑，指揮機械臂完成相應的操作動作；同時根據壓力傳感器反饋的壓力值、視覺感知系統(tǒng)讀取到的飛機姿態(tài)、位置、內外環(huán)境和飛行參數，以及操作后開關的狀態(tài)或者操縱桿的位置修正機械臂的動作以及執(zhí)行下一步的操作。

飛機自動駕駛機器人對實時性有很高的要求，必須快速完成以上流程，同時視覺感知系統(tǒng)也需要具有很高的分辨率和幀率，這也就決定了其控制處理系統(tǒng)必須具備很強的運算能力和圖形數據處理能力，以及良好的多任務處理能力。因此控制處理系統(tǒng)需要使用多核CPU作為處理器以保證系統(tǒng)運算處理能力能夠達到要求。當然，盡管CPU具有運算能力強大、性能全面、可以兼顧數值與指令運算的特點，但是卻并不適合處理并行的大規(guī)模數據，而GPU則與CPU不同，擁有更多并行處理的算術邏輯單元，具有很強的并行處理能力，尤其適合并行的浮點運算，在計算機視覺領域有明顯優(yōu)勢，也能用于通用計算，但是卻不擅長處理邏輯指令[11-12]。因此，將CPU與GPU結合起來，程序的串行部分主要在CPU上運行，當遇到運算量龐大的并行數值運算時使用GPU進行加速，這樣可以使CPU與GPU形成互補的關系，有效結合了兩者的優(yōu)點、克服了各自的缺點，這種互補結構目前已成為了現代計算機的發(fā)展趨勢[11]，飛機自動駕駛機器人的控制處理系統(tǒng)也非常適合采用這種結構。

2.4 交互系統(tǒng)

目前Alias機器人使用平板電腦與工程師進行交互，同時也具有一定的語音識別能力。飛機自動駕駛機器人必須要能夠正確識別塔臺的語音指令并給予語音回復，也可以將機器人的語音交互系統(tǒng)進行擴展，使機長能夠選擇平板電腦和語言兩種方式與機器人進行交流，能極大提升人機交互的效率。還可以對視覺感知系統(tǒng)進行擴展，使機長能夠通過一定的手勢與機器人交流，機器人也能夠監(jiān)測機長的狀態(tài)，并在機長出現過度疲勞、突發(fā)疾病、缺氧等不適合繼續(xù)駕駛飛機的狀態(tài)時發(fā)出提示信號和采取相應的措施。

3 難點分析

3.1 工作環(huán)境分析

首先運行中的飛機本身就是一個強振動的環(huán)境，在這樣快速抖動的環(huán)境下視覺感知系統(tǒng)捕獲的圖像很容易發(fā)生畸變，從而降低識別與定位的精度。相機防抖的方法可分為：光學防抖、電子防抖、模式防抖和多重防抖[13]。光學防抖主要是利用硬件設備來進行防抖，防抖的目標對象是鏡頭和傳感器[14]；當然，也可以將相機安裝在機械云臺上來實現防抖處理。電子防抖是一種基于數字圖像處理的防抖技術，工作原理可以用圖3所示的流程圖來表示[15]。模式防抖則是通過調整拍攝參數來減輕抖動造成的影響[13]。多重防抖是以上幾種防抖方式的綜合應用。此外，提升相機的幀率也能有效降低抖動造成的影響，當然幀率越高也就意味著信息的傳輸量越大，對硬件設備要求越高。

圖3 電子防抖的工作流程

除了抖動外，光照也是一個重要的影響因素。飛機駕駛艙屬于弱光照環(huán)境，同時在飛行過程中不可避免地要面臨逆光的問題，尤其是在早晨和傍晚時迎著太陽飛行。弱光照會導致目標紋理不夠清晰從而降低圖像分割、特征點的匹配、字符識別等環(huán)節(jié)的準確度，逆光則會使操作區(qū)域等非逆光區(qū)域亮度不足，如果只是簡單地提升該區(qū)域亮度則會出現圖像虛化、噪點增多等圖像退化的問題。針對弱光照問題可以考慮采取直方圖均衡化處理、使用人工智能進行增強[16]、使用牛頓迭代算法增強紋理[17]等方式。針對逆光的問題可以使用卷積神經網絡[18]的方式對目標區(qū)域進行增強，也可以使用閾值分割[19]的方式實現增強。

3.2 實時性問題

飛機自動駕駛機器人的實時性取決于硬件設備、算法和數據傳輸3個方面。首先，高性能的處理器可以提供更好的運算能力，從而減少完成圖像處理、目標識別與定位、數據分析與決策、機械臂路徑規(guī)劃等方面運算所需要的時間，即相當于減少反應的時間；另外，好的機械臂舵機可以使機械臂運動更穩(wěn)定、運動速度更快，從而減少運動過程中消耗的時間。在算法方面，可以根據飛機駕駛艙內環(huán)境的特點選擇適合的語音識別、目標識別、圖像處理以及機械臂軌跡規(guī)劃等算法并加以改進優(yōu)化，在不影響效果的前提下簡化其中的運算步驟，降低完成相關運算所需的時間，例如李兵等[20]就提出了一種強實時性和魯棒性的圖像匹配算法，可以很好地適應飛機自動駕駛這種對實時性和魯棒性要求都很高的應用場景；同時，將機械臂的運動軌跡進行優(yōu)化后也可以明顯地減少機械臂運動過程中消耗的時間。在傳輸方面，對于視覺感知系統(tǒng)這樣數據傳輸速率大的模塊，則可以采用并口通信的方式傳輸數據。

3.3 動作路徑規(guī)劃

主機械臂的運動軌跡如果經過了良好的規(guī)劃，那么可以大大節(jié)約運行的時間，提升機器人的操作效率；使軌跡相對平滑，避免速度和加速度出現抖動；同時還能合理地進行避障，避免因路徑規(guī)劃不合理造成的誤觸的現象，提升機器人操作的可靠性。機械臂的軌跡規(guī)劃需要對機械臂進行正逆運動學求解，求解的難度隨著機械臂自由度的提升而增大。現有的優(yōu)化算法也比較多，例如使用遺傳算法、快速隨機搜索算法（RRT）、蟻群算法等都能夠有效實現軌跡優(yōu)化及避障[21]。為了讓主機械臂能快速、精確、可靠地完成相應的操作動作，還需要為其選擇一種合適的控制方法來從控制方法方面達到優(yōu)化的目的，現有的機械臂控制方法有：PID控制、自適應控制、滑模控制、魯棒控制、分散控制等[22]，但是每種控制方法都有其固有的優(yōu)缺點，PID控制法具有參數簡單、實現難度低的優(yōu)點，但是這種控制方式忽略了非線性因素，也存在速度和控制精度都不高、穩(wěn)定性差、不能滿足復雜軌跡跟蹤需求的缺點，將傳統(tǒng)的PID控制與神經網絡相結合組成智能PID控制則可以有效利用智能控制方法的優(yōu)點來彌補PID控制的缺點，當然也對計算機性能有更高的要求[23]；自適應控制能夠很好地適應系統(tǒng)參數的變化，但是需要進行復雜的動力學性能分析[24]；滑模控制具有響應速度快、魯棒性強、結構簡單易實現、不受系統(tǒng)模型不確定性干擾的優(yōu)點，但是也存在抖振問題嚴重的缺點[25]；魯棒控制的控制結構和參數都不隨被控量或其他因素而改變[26]，因而具有很強的抗干擾能力，但是線性控制的本質也注定了其無法滿足機器人這類非線性系統(tǒng)的控制需求[25]；分散控制因為具有運算簡單、對硬件配置要求低的優(yōu)點而被現代機器人廣泛使用，但是也存在控制器之間通信滯后、應對隨機干擾的能力不強等缺點，自適應分散控制可以使跟蹤誤差漸進收斂，但是需要提前估計增益，這會給實際應用帶來不便，而完全自適應控制則無需任何先驗數據[27]。因此針對控制方法的優(yōu)化也是一個研究的重點。

3.4 應變能力

應變能力差是所有機器人都難以克服的缺點，例如曾有人在實驗中將一輛全自動駕駛的“特斯拉”汽車“困”在了正常道路上不可能出現的環(huán)形雙實線里面，而人類駕駛員則能夠很好地應變。在程序設定內的情況下機器人具有比人類更好的工作效率和準確度，尤其是對于長時間的重復性工作，而一旦出現了程序設定外的情況，機器人則無法做到像人類一樣靈活應變。因此，要想解決飛機自動駕駛機器人的應變能力問題，除了需要在開發(fā)的時候充分考慮飛行過程中可能會出現的各種狀況及處理流程，以及后期針對新發(fā)現的問題及時更新機器人的程序，更重要的是與機長緊密配合，取長補短。

4 展望

目前美國的Alias機器人是針對在現有的舊式飛機而開發(fā)的飛機自動駕駛機器人，這類飛機在設計的時候并未考慮使用人工智能系統(tǒng)對飛機進行自動駕駛，因此Alias機器人是基于人類飛行員的駕駛方式而設計的，這種非侵入式的設計具有一定的局限性，例如對外界環(huán)境的感知只依靠視覺會使視覺感知系統(tǒng)任務繁重，還必須要保證很強的實時性，導致這樣的機器人對控制處理系統(tǒng)的硬件要求非常高，機器人也無法通過激光雷達這樣精度更高、有效探測距離更遠、探測范圍更大、抗干擾能力更強的方式[28]感知外界環(huán)境，存在一定的觀察死角。

在飛機人工智能駕駛技術成熟之后，新式飛機在設計的時候安裝人工智能駕駛系統(tǒng)的問題就會被充分考慮到，因而整個機器人系統(tǒng)都將會被設置在電子艙或其他不占用機艙空間的位置，相關組件將直接與航電系統(tǒng)相融合而不是非侵入式的設計，從而能夠直接讀取飛行參數和操縱飛機，視覺感知系統(tǒng)將只用于監(jiān)控機外環(huán)境和機長的狀態(tài)而無需監(jiān)控飛行參數的變化和電門的情況，從而加快處理和操縱的速度，使其可以在更短的時間內完成復雜的操縱，也能降低硬件的成本。飛機自動駕駛機器人系統(tǒng)的環(huán)境感知方式也將不再局限于視覺感知，激光雷達、毫米波雷達等相對于視覺系統(tǒng)更加可靠的感知系統(tǒng)[29]將會被廣泛使用，這對飛機地面和低空運行的安全性有極大的提高，同時機器人系統(tǒng)也將能直接使用機載的GPS、IMU等系統(tǒng)用于定位，低能見度的氣象條件下也能使用紅外光電傳感器對機外環(huán)境進行觀察。

這樣的未來發(fā)展趨勢已經在美國西科斯基公司的Matrix技術上得到了部分體現，其控制處理系統(tǒng)被安裝在原副駕駛位置上，使用機電作動器來操控飛機而不是機械臂，能使用激光雷達和紅外傳感器，各組件遍布機體，當然改裝難度也更大[30]。目前全世界自動駕駛技術正處于由3級（有條件自動化）向4級（完全自動化）發(fā)展的階段[31]，各種具備自動駕駛能力的無人機得到了廣泛應用，未來也會有更多非載人的大型飛機采用無人駕駛的方式，但因為前文所述的種種原因以及安全問題、公眾接受度的問題，未來很長的時間內載人飛機都無法徹底實現無人駕駛。盡管未來的自動駕駛機器人可以完全替代人類副駕駛，人類機長大多數時候只是監(jiān)視自動駕駛機器人，但是人類機長仍將掌握對整架飛機的最高控制權和決策權，必要的時候還是會參與駕駛。

5 結束語

本文參照Alias機器人的特點，根據現有的文獻資料和研究成果結合作者自己的研究提出了飛機自動駕駛機器人的系統(tǒng)組成結構，從工作環(huán)境、實時性問題、動作路徑規(guī)劃、應變能力四個方面總結出了在研發(fā)過程中將會遇到的技術難點，針對這些難點列舉了目前可以采用的解決方法，對于機械臂控制方法這一重點研究內容還對比分析了現有控制方法及部分基于這些控制方法的改進型控制方法的優(yōu)缺點，最后提出了對飛機自動駕駛機器人未來發(fā)展方向和趨勢的展望。飛機自動駕駛機器人的設計初衷并不是徹底取代人類駕駛員，而是與人類機長配合，各自發(fā)揮優(yōu)勢形成良好的互補關系，也能夠有效彌補各自的缺點。飛機自動駕駛機器人具有一定的戰(zhàn)略意義，但是實現這樣的機器人也具有很高的技術難度，研發(fā)的過程中需要付出大量的資金和努力。