基于AR技術的南航維修新模式研究與應用

■ 李欣/中國南方航空股份有限公司工程技術分公司（機務工程部）

0 引言

國家“十四五”規劃和2035 年遠景目標綱要將數字化轉型提高到了國民經濟的高度。民航局提出智慧民航建設，以新一代信息技術為引領，對民航運行管理全流程進行數字化智能化發展。中南地區管理局同樣成立了民航維修新技術應用研究項目組，南航作為核心成員單位參與其中，旨在充分利用現有科技發展成果，研究推動新技術在民航維修業的應用。

基于上述要求，南航編制了數字化三年滾動規劃，打造以精細化構型管理為支撐的數字化維修工程管理平臺。通過研究和探索，南航選擇以增強現實（AR）作為數字化的“慧眼”，實現構型數據的實時采集與更新，同時達到增強維修品質，降低安全風險與維修成本的目的。

1 機務維修與AR 技術融合性發展分析

AR 技術是近年來熱門的新型技術手段，它可以將虛擬內容與現實世界相疊加，達到超越現實的感官體驗與應用效果。如何將AR 技術的獨特優勢，融合進傳統的機務維修場景，并與其高度契合是本節需要闡述的問題。

1.1 傳統機務維修局限性簡述

南航豐富的機型和廣布的站點，給公司帶來了很多的地緣優勢和技術儲備，但也同時帶來巨大的挑戰，安全保障要求高、維修對象復雜度高、資源調度難度大、人員技能要求高等問題一直伴隨著機務維修工作。具體到機務維修的某些場景中，會存在如下典型問題：

1） 工卡執行方面，很難做到完全的“看一步，做一步，簽一步”，存在工作中斷的風險，且發生過因人為因素方面的錯、忘、漏現象，給飛機帶來了安全隱患。

2） 飛機排故方面，經驗不足或技能欠佳的工作者時有發生排故質量不高的現象，在增加維修成本的同時還有可能造成飛機延誤，給公司帶來極大的損失。

3） 航空器損傷檢測方面，此項工作對人員和儀器設備要求較高，如何采用更加有效的技術手段確保精準探測航空器損傷是需要解決的難題。

4） 人員培訓方面，通過培訓可提高員工技能水平，激發員工的工作熱情，從而增強飛機的維修品質。如何采用更加高效合理的培訓手段是機務培訓部門需要持續考慮的問題。

南航一直在創新性采用更先進的管理理念與技術手段來解決上述問題，其中對于AR 技術的應用則有顯而易見的改善效果。

1.2 人+AR 新模式探索

人+AR 的模式是維修業發展史上一個革命性的變革。AR 的引入打通了人與機器連接的最后一米，結合多種主體數字化后，將會實現針對不同場景下多個數字化主體協同合作，實現基于全新人機交互的維修方式變革。隨著智能維修的不斷發展，維修現場將由以人為主的“單兵作戰”，慢慢向以“人+AR眼鏡”為主轉變，實現完全的數據互聯互通，以及“輕裝備，重場域” 的數字化智能維修方式。

“駱都督膽子其實不大，但是他也不蠢，今日司禮監為閣老出面，是犯了錦衣衛的大忌——錦衣衛絕不會放任內閣與司禮監聯手的。”方從云苦笑一聲，“而且錦衣衛監視朝臣這種事……也算是駕輕就熟了，我敢保證，他們派出的監視人手，絕對讓你抓不到任何把柄！所以閣老，千萬要暫且忍耐，不能輕舉妄動！”

2 AR 技術環境設備搭建研究

如何能將AR 技術的優勢最大化地賦能傳統維修方式，直接的“拿來主義”并不可取，南航對此做了一系列充分的準備，研究出適合南航的環境需求及設備規范，并采取針對性方案措施。

2.1 5G 環境搭建

AR 眼鏡系統能否順暢運行，高速率低時延的網絡環境搭建是重中之重的基礎工作。今年南航與中國電信在廣州正式簽約“智慧機務”5G 專網，標志著全國首個民航維修領域5G 專網正式啟動。中國電信充分發揮“云-網-安”高度融合的數字化能力優勢，為南航提供了一張廣域接入、云邊協同、安全可信的全國5G 定制專網，并且部署了1 萬多臺終端設備，將5G 網絡信號全面覆蓋南航22 家維修單位。

2.2 硬件標準

AR 眼鏡系統最核心的就是顯示及相關技術，包括透過率、透視偏差、亮度對比度、分辨率顯示角度等需要滿足工作者對于現有工作場景的需求；結構設計規范方面，安全性、舒適性和擴展性都是需要考慮的指標；高擴展性，可以快速連接如測距模組、雷達模組、測溫模組、便攜探頭等多種設備，適應不同的維修檢查環境；電源要求對AR 眼鏡同樣非常重要，通過優化芯片、顯示等提升續航能力，確保可以足夠完成一定的作業量；嘈雜的航空維修現場需要設備有噪聲抑制和后聲音還原能力；頭戴式攝像頭必須要解決防抖、防眩暈的問題，降低暈動癥等。

2.3 軟件標準

軟件是AR 眼鏡系統的核心價值點。如果沒有精準的圖像識別和人工智能（AI）算法，就不能給工作者提供精準有效的輔助信息，眼鏡的價值就大打折扣。

圖像識別一般需要包括圖像采集、圖像處理、特征提取和圖像識別。首先采用AR 眼鏡對圖像進行采集，然后通過圖像增強、降噪、圖像分割、邊緣檢測等手段處理圖像識別過程中的關鍵步驟，然后將關鍵的信息利用計算機圖像信息進行特征提取，最后針對飛機上的每個維修項目建立開發識別模型，形成一套完整的飛機維修智能圖像識別算法。

圖像識別之后，就需要通過后臺的AI 算法進行分析，自動給出輔助建議提示。構建AI 算法的核心則是構建面向飛機維修的知識圖譜。首先要進行知識庫的構建，通過樣本數據學習建立關系抽取模型；然后進行知識庫的存儲，抽取和存儲各故障信息及關系，逐步構建飛機維修知識圖譜，并通過可視化方式展示；最后利用構建的故障維修智能化平臺進行維修信息智能查詢和知識問答，根據查詢到的信息輔助故障原因分析和維修決策，與AR 眼鏡相結合，直接為AR 眼鏡提供決策信息支持。

3 基于AR 的工作新方式

完成了AR 技術環境設備搭建的準備工作后，就可以使用AR 眼鏡改善機務維修四個方面的典型問題。

3.1 AR 工卡

執行AR 工卡的步驟大致如下，首先從結構化系統中獲取工卡信息，按照需要下載執行的工卡，在智能眼鏡和手持終端上顯示并引導完成相關任務，然后針對關鍵流程（滑油口蓋等）進行AI識別，最后作業執行完成后進行電子簽名確認，將作業全程產生的資料上傳到系統。在工卡下載和執行時，以消息形式通知到平臺或相關人員，對執行過程中的視頻添加水印，例如時間、航班號、執行人等，將工卡執行情況、視頻等形成一份簡單報告。重點流程示意圖如圖1 所示。

圖1 AR 工卡執行示意圖

使用AR 工卡還具備如下亮點特色，例如工作程序中的風險點梳理嵌入到了AR 眼鏡的使用中，實現工作中的即時提醒。通過建立模型算法，還能夠對重要安全節點的場景進行AI 識別訓練，輔助人的檢查，將安全關口前移。當狀態異常時會發出提醒，并拒絕后續步驟的繼續執行。例如識別飛機滑油口蓋狀態，當滑油口蓋未正確蓋好時發出提醒，經過南航多次測試驗證，目前識別率可以達到98%以上，AI 識別過程達到毫秒級。工作者還可以自行對施工中的疑似點進行標記，所有的風險點和疑似點都會被記錄并列入復查清單，確保維修安全。施工中的文字、圖片或視頻多種信息流也會被實時記錄，提供更加豐富的維修記錄形式，或生成多維綜合性施工報告。

現如今，南航的AR 工卡項目已經在南航河南維修廠完成了三百余次的使用，完全滿足正常的航線業務需求。

3.2 AR 排故

AR 排故，可分為個人排故與后臺支援兩部分。個人排故是利用AR 眼鏡識別飛機故障信息，后臺同步調用知識庫，推送排故指導方案，輔助工作者進行高質量的排故。后臺支援則是建立機務AR 遠程協助平臺，通過AR 眼鏡把現場人員的視覺傳達給遠程專家，同時把遠程專家的專業知識帶到現場，讓遠在千里之外的專業指導近在眼前，很好地解決了企業需求痛點。

現在南航AR 遠程協助平臺已經與商飛進行了密切的合作，這是南航AR技術平臺初次嘗試開放接口與飛機制造廠商合作，將系統嵌入商飛全科急診室遠程會診系統。借助AR 眼鏡實現ARJ21 飛機廠家以第一視角介入排故工作，以三方實時協作的方式大大降低了溝通的時間，縮短了飛機停場時間。與商飛合作服務平臺示意圖如圖2 所示。

圖2 南航與商飛合作服務平臺工作流程示意圖

3.3 AR 航空器損傷檢測

通過AR 眼鏡系統可實現飛機表面缺陷的檢測，并將缺陷的位置進行標記；將缺陷結果上傳到數據中心，并按缺陷類別存儲，按需推送至AR 終端，飛機檢修人員根據缺陷數據進行缺陷處理。

在飛機機庫四周分為上下兩層，布局若干圖像采集單元。每個圖像采集單元由攝像機和二維旋轉臺構成，二維旋轉臺可以改變攝像機圖片拍攝的方位角和俯仰角，同時利用攝像機的電動變焦鏡頭，獲取一個區域內的飛機表面圖片，通過方位、俯仰角度和鏡頭變焦參數，以及事先標定得到的采集單元，確定圖片拍攝空間參數。數據處理系統通過5G 網絡獲取測量系統的測量數據，利用圖像處理方法，對飛機表面圖片進行處理，對飛機表面缺陷特征，如劃傷、刻痕、凹坑、腐蝕等進行提取、定位和判別，實現圖片中缺陷結果輸出。結合圖像拍攝的圖像采集單元序號以及拍攝空間參數，在飛機機身上完成缺陷特征定位。最后通過5G 網絡回傳判斷結果至AR 終端，對飛機表面缺陷的異常結果進行人工核查。

3.4 AR 培訓

談起輔助培訓的高科技手段，第一印象首先會想到VR（虛擬現實）技術。機務工程師利用該技術，逼真模擬飛機維修的現實場景，從而進行繞機檢查、部件位置識別、航線例行工作和發動機維修等相關工作的交互性培訓。實際上，使用AR 技術對提升一線人員教學品質同樣非常明顯，AR 技術重點可用于進行飛機機型的實操培訓中。一般機型的實操項目會包含部件位置識別、功能測試/操作測試、拆卸/安裝、模擬排故等，工作者接近真實飛機進行實操培訓時，AR 眼鏡可以識別含實操內容要求的飛機關鍵位置，并給出實操要點和注意事項，使工作者在進行實操時思路更清晰，步驟更標準，實操質量更加有保證。

4 結束語

基于AR 系統的工作方式對航空維修領域帶來的提升非常明顯，不僅可以顯著降低飛機維修成本、提高飛機維修的質量、效率和航空安全水平，而且實時客觀的數據采集存儲還可作為航空公司的寶貴數據資源，用于精準化飛機構型管理、例行飛機維護與排故等多個方面。南航機務一直不斷致力于打造基于AR 技術的維修新模式，并與中國電信、中國商飛、亮亮視野科技有限公司、清華大學等眾多合作伙伴一起持續進行相關技術的探索研究與驗證升級。因此筆者相信，在未來的民航機務維修領域的各項工作中，AR 技術將會以更廣闊的專業崗位覆蓋、更全面的維護應用、更深入的維護體驗得以呈現，給每位航空維修機務人員帶來不一樣的絕妙體驗。