穆浩澤 陶欣 王曉輝 王健 劉鳳陵 劉青 劉曉疆







摘要:隨著國(guó)內(nèi)民航業(yè)的迅猛發(fā)展,為應(yīng)對(duì)日益提高的業(yè)務(wù)量和運(yùn)營(yíng)管理要求,機(jī)場(chǎng)業(yè)務(wù)系統(tǒng)的數(shù)量和復(fù)雜度呈爆炸式增長(zhǎng),系統(tǒng)的運(yùn)維管理壓力劇增,傳統(tǒng)的運(yùn)維方式已無法滿足當(dāng)前的運(yùn)維需求。本文論述了針對(duì)民航業(yè)務(wù)的智能運(yùn)維監(jiān)控系統(tǒng)的設(shè)計(jì)及實(shí)現(xiàn),通過對(duì)機(jī)場(chǎng)各業(yè)務(wù)系統(tǒng)運(yùn)行產(chǎn)生的各類指標(biāo)、日志、鏈路數(shù)據(jù)進(jìn)行收集、融合、統(tǒng)計(jì)和分析,結(jié)合運(yùn)用自動(dòng)化數(shù)據(jù)采集、大數(shù)據(jù)存儲(chǔ)、云計(jì)算、人工智能算法等熱門技術(shù),實(shí)現(xiàn)對(duì)機(jī)場(chǎng)各業(yè)務(wù)系統(tǒng)全方位、多層次、全流程的智能化監(jiān)控與運(yùn)維支撐,提供實(shí)時(shí)監(jiān)控、事前預(yù)警、事中輔助、事后追溯的輔助運(yùn)維手段,提升運(yùn)維工作效率,降低整體IT運(yùn)維服務(wù)成本。
關(guān)鍵詞:運(yùn)維監(jiān)控;人工智能算法;事前預(yù)警;事中輔助
中圖分類號(hào):TP311.1? ? 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2023)36-0087-04
開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID)
0 引言
民航業(yè)作為現(xiàn)代交通運(yùn)輸?shù)闹匾M成部分,直接關(guān)乎人民出行和國(guó)家經(jīng)濟(jì)發(fā)展。機(jī)場(chǎng)各業(yè)務(wù)系統(tǒng)是保障民航業(yè)有序、高效、安全運(yùn)行的基礎(chǔ),因此保障機(jī)場(chǎng)各業(yè)務(wù)系統(tǒng)的穩(wěn)定運(yùn)行是重中之重[1-2]。
隨著國(guó)內(nèi)民航業(yè)的迅猛發(fā)展,我國(guó)機(jī)場(chǎng)尤其是大型機(jī)場(chǎng)的運(yùn)量逐年遞增,在帶來可觀經(jīng)濟(jì)效益和顯著社會(huì)效益的同時(shí),超大型機(jī)場(chǎng)由于航班時(shí)刻編排緊密,機(jī)場(chǎng)資源長(zhǎng)期飽和,系統(tǒng)、設(shè)備長(zhǎng)時(shí)間滿負(fù)荷甚至超負(fù)荷運(yùn)轉(zhuǎn),加之接近使用年限,故障率開始增多,機(jī)場(chǎng)運(yùn)行的各類系統(tǒng)和設(shè)備的故障問題開始凸顯,傳統(tǒng)的運(yùn)維方式難以滿足機(jī)場(chǎng)安全生產(chǎn)要求,主要表現(xiàn)在:
1) 資產(chǎn)管理混亂,缺少對(duì)業(yè)務(wù)系統(tǒng)、設(shè)備、軟件、基礎(chǔ)設(shè)施等資產(chǎn)進(jìn)行集中、規(guī)范管理的手段。
2) 監(jiān)控覆蓋度低,部分業(yè)務(wù)系統(tǒng)未采取監(jiān)控措施,或僅針對(duì)本系統(tǒng)進(jìn)行零散監(jiān)控,缺少集中、全面的監(jiān)控手段。
3) 故障難預(yù)警,缺少故障預(yù)警機(jī)制,故障發(fā)生率高。
4) 故障處置難,缺少故障處置輔助手段,出現(xiàn)故障依賴特定技術(shù)人員人工排查,過程復(fù)雜且耗時(shí)長(zhǎng)。
5) 巡檢任務(wù)重,缺少自動(dòng)化巡檢手段,依靠人力巡檢,工作量巨大且易遺漏、出錯(cuò)。
6) 運(yùn)維管理信息化程度低,運(yùn)維任務(wù)依靠人工線下溝通和紙質(zhì)記錄方式,人員協(xié)同度低、任務(wù)閉環(huán)難、流程追溯難。
針對(duì)以上問題,機(jī)場(chǎng)業(yè)務(wù)智慧運(yùn)維監(jiān)控系統(tǒng)提供完備的解決方案,可以提高運(yùn)維工作效率,降低服務(wù)成本,對(duì)機(jī)場(chǎng)的安全運(yùn)行具有十分重要的意義。
1整體架構(gòu)研究與設(shè)計(jì)
系統(tǒng)自下而上劃分為監(jiān)控資源層、數(shù)據(jù)采集層、業(yè)務(wù)能力層、深化應(yīng)用層四個(gè)層級(jí)。
監(jiān)控資源層為納入系統(tǒng)監(jiān)控的目標(biāo)資源,包含基礎(chǔ)設(shè)施[3]、硬件設(shè)備、操作系統(tǒng)、組件服務(wù)、業(yè)務(wù)應(yīng)用、業(yè)務(wù)系統(tǒng)等多類監(jiān)控目標(biāo),針對(duì)監(jiān)控目標(biāo)類型定義監(jiān)控對(duì)象模型,由資產(chǎn)中心統(tǒng)一管理。
數(shù)據(jù)采集層負(fù)責(zé)對(duì)監(jiān)控目標(biāo)運(yùn)行相關(guān)數(shù)據(jù)進(jìn)行采集,如指標(biāo)、日志、鏈路、行為、異常、業(yè)務(wù)數(shù)據(jù)等,通過多種接入方式將監(jiān)控?cái)?shù)據(jù)匯聚至平臺(tái)進(jìn)行統(tǒng)一存儲(chǔ)及進(jìn)一步加工、分析,作為業(yè)務(wù)能力層的數(shù)據(jù)基礎(chǔ)。
業(yè)務(wù)能力層按運(yùn)維業(yè)務(wù)領(lǐng)域劃分為資產(chǎn)中心、監(jiān)控中心、告警中心、運(yùn)維中心、數(shù)據(jù)中心等五個(gè)中心,提供運(yùn)維監(jiān)控系統(tǒng)核心業(yè)務(wù)能力。
該系統(tǒng)以資源為核心、監(jiān)控為基礎(chǔ)、流程為導(dǎo)向、客戶為中心,打造一套機(jī)場(chǎng)特色的智慧IT運(yùn)維管理平臺(tái),為機(jī)場(chǎng)注入全面的IT資產(chǎn)管理能力、資產(chǎn)數(shù)據(jù)采集與監(jiān)控能力、主動(dòng)故障預(yù)警能力、智能化的故障與風(fēng)險(xiǎn)分析能力、全生命周期的運(yùn)維流程信息化能力,以下將從資產(chǎn)中心、監(jiān)控中心、告警中心、運(yùn)維中心等核心能力維度分別論述。
1)資產(chǎn)中心
資產(chǎn)中心負(fù)責(zé)對(duì)機(jī)場(chǎng)資產(chǎn)進(jìn)行統(tǒng)一建模與實(shí)例管理,包括資產(chǎn)的全生命周期管理及資產(chǎn)間的邏輯、物理關(guān)系,構(gòu)建一套統(tǒng)一、權(quán)威的資產(chǎn)數(shù)據(jù)源。
2)監(jiān)控中心
監(jiān)控中心負(fù)責(zé)管理監(jiān)控目標(biāo)的監(jiān)控模型,并通過統(tǒng)一采集、統(tǒng)一管理、統(tǒng)一視圖、統(tǒng)一分析,將機(jī)場(chǎng)所有業(yè)務(wù)系統(tǒng)及相關(guān)資源納入監(jiān)控,并提供統(tǒng)一、多維的監(jiān)控視圖,幫助運(yùn)維人員隨時(shí)隨地掌握應(yīng)用和資源的健康狀態(tài),保障業(yè)務(wù)穩(wěn)定安全運(yùn)行。
3)告警中心
告警中心負(fù)責(zé)管理監(jiān)控目標(biāo)的告警模型,基于監(jiān)控?cái)?shù)據(jù)進(jìn)行告警模型分析,推送告警通知并進(jìn)行閉環(huán)管理。支持多種數(shù)據(jù)源的監(jiān)控?cái)?shù)據(jù)分析與靜態(tài)規(guī)則、動(dòng)態(tài)規(guī)則預(yù)警模型的靈活設(shè)定,并提供多種通知渠道實(shí)現(xiàn)預(yù)警及時(shí)通知,幫助運(yùn)維人員提前預(yù)知問題,從而規(guī)避故障的發(fā)生。
4)運(yùn)維中心
運(yùn)維中心負(fù)責(zé)日常運(yùn)維工作,如運(yùn)維任務(wù)工單管理、值班管理、交接班管理、系統(tǒng)自動(dòng)巡檢等。系統(tǒng)對(duì)運(yùn)維日常工作進(jìn)行信息化管理,提高了工作效率,規(guī)范了管理流程。
5)數(shù)據(jù)中心
數(shù)據(jù)中心是系統(tǒng)所有數(shù)據(jù)的管理中心,匯聚監(jiān)控、告警、運(yùn)維業(yè)務(wù)等全量數(shù)據(jù),提供集中治理、關(guān)聯(lián)分析、共享交換等能力。針對(duì)監(jiān)控、告警、運(yùn)維業(yè)務(wù)產(chǎn)生的海量數(shù)據(jù),系統(tǒng)提供多樣化的數(shù)據(jù)存儲(chǔ)方案,同時(shí)對(duì)數(shù)據(jù)質(zhì)量和標(biāo)準(zhǔn)進(jìn)行把控,保證數(shù)據(jù)的標(biāo)準(zhǔn)化及權(quán)威性。基于海量數(shù)據(jù),從多維度進(jìn)行關(guān)聯(lián)分析,提取深層價(jià)值,應(yīng)用于運(yùn)營(yíng)管理決策支撐。支持?jǐn)?shù)據(jù)共享,提供接口、文件、報(bào)表等多種途徑的共享交換方式,為上層應(yīng)用和各級(jí)用戶提供靈活、高效、安全的數(shù)據(jù)支撐。
2 關(guān)鍵技術(shù)研究與設(shè)計(jì)
2.1多源監(jiān)控?cái)?shù)據(jù)采集
系統(tǒng)集成prometheus、zabbix[4]、elk、skywalking等現(xiàn)有監(jiān)控平臺(tái),利用其數(shù)據(jù)采集能力,并結(jié)合自研探針、自定義協(xié)議、Webhook上報(bào)等方式,實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)、應(yīng)用服務(wù)、中間件、操作系統(tǒng)、硬件設(shè)備[5]、基礎(chǔ)設(shè)施等資源的運(yùn)行數(shù)據(jù)進(jìn)行全面的采集匯聚[6]。其整體流程如圖2:
監(jiān)控中心針對(duì)資產(chǎn)實(shí)例定義監(jiān)控模型。采集平臺(tái)從監(jiān)控中心拉取監(jiān)控模型,針對(duì)監(jiān)控模型生成各類監(jiān)控工具的監(jiān)控配置,同步給監(jiān)控工具。各類監(jiān)控工具按照監(jiān)控配置執(zhí)行監(jiān)控?cái)?shù)據(jù)采集任務(wù),去監(jiān)控目標(biāo)終端采集監(jiān)控?cái)?shù)據(jù),返回采集平臺(tái)。采集平臺(tái)接收監(jiān)控工具采集的數(shù)據(jù),進(jìn)行匯聚,存儲(chǔ)入數(shù)據(jù)中心,用于監(jiān)控呈現(xiàn)或后續(xù)應(yīng)用。
1)自研探針
自研探針分前端探針和后端探針兩類,前端探針包括Web端SDK、Android端SDK、IOS端SDK、JavaFx端SDK、.Net端SDK5類,分別適配不同語言、平臺(tái)下的前端應(yīng)用,接入方式為侵入式,須在代碼開發(fā)階段引入探針SDK,SDK將自動(dòng)采集客戶端頁面性能、前端頁面異常、用戶行為等數(shù)據(jù),上傳至監(jiān)控服務(wù)端;后端探針主要針對(duì)Java語言程序,接入方式為無侵入性,在Java程序啟動(dòng)時(shí)以java-agent形式掛載探針,agent將自動(dòng)采集Java程序內(nèi)的線程、線程池、內(nèi)存用量、CPU用量等數(shù)據(jù),上傳至監(jiān)控服務(wù)端,服務(wù)端支持通過agent對(duì)Java進(jìn)程執(zhí)行特定的操作,如線程棧轉(zhuǎn)儲(chǔ)、堆內(nèi)存轉(zhuǎn)儲(chǔ)等,流程如圖3:
2)自定義協(xié)議
針對(duì)攝像頭、門禁、傳感器等現(xiàn)有監(jiān)控平臺(tái)無法接入的設(shè)備,采用自定義協(xié)議的方式進(jìn)行數(shù)據(jù)采集,系統(tǒng)支持常見協(xié)議的定義與擴(kuò)展,如SNMP、ICMP、TCP/UDP等,由采集平臺(tái)向監(jiān)控目標(biāo)發(fā)起相應(yīng)的協(xié)議請(qǐng)求,解析返回?cái)?shù)據(jù),清洗后存入數(shù)據(jù)中心。
3)Webhook
針對(duì)已有監(jiān)控系統(tǒng),本系統(tǒng)支持外部監(jiān)控?cái)?shù)據(jù)的接入。支持自定義Webhook接口,外部監(jiān)控系統(tǒng)按其數(shù)據(jù)格式定義上傳數(shù)據(jù)參數(shù),本系統(tǒng)自動(dòng)生成Webhook接口,提供數(shù)據(jù)接收服務(wù)。
2.2智能故障自愈控制
系統(tǒng)具備靈活的告警自愈能力,針對(duì)服務(wù)級(jí)別的告警系統(tǒng)將定時(shí)自巡檢,實(shí)時(shí)探測(cè)服務(wù)的最新狀態(tài),并自動(dòng)恢復(fù);針對(duì)故障級(jí)別或來電上報(bào)的告警,此類需要人工確認(rèn)事件的影響范圍后再處理的告警,系統(tǒng)支持通過配置的形式設(shè)置告警恢復(fù)周期和恢復(fù)方式,以便運(yùn)維人員確認(rèn)告警的影響。
在運(yùn)維監(jiān)控系統(tǒng)的告警集成中,也可以通過配置告警恢復(fù)規(guī)則,當(dāng)告警內(nèi)容中某個(gè)字段的值滿足條件時(shí),視為恢復(fù)告警。根據(jù)該告警的其他字段的內(nèi)容尋找對(duì)應(yīng)的告警進(jìn)行恢復(fù)。
2.3 智能呼叫中心和一體化事件管理
有別于傳統(tǒng)運(yùn)維模式下工單管理存在的派單效率低,工作過程不透明問題,智慧運(yùn)維監(jiān)控系統(tǒng)可以采用來電彈屏[7]、工作流、智能派工算法等技術(shù),實(shí)現(xiàn)IT事件工單的全流程管理和可視化分析,覆蓋從異常事件的發(fā)生到歸檔的全生命周期。
1)來電彈屏技術(shù)
通過在運(yùn)維監(jiān)控系統(tǒng)中集成呼叫中心,基于websocket和sip協(xié)議與呼叫中心服務(wù)器進(jìn)行交互,結(jié)合業(yè)務(wù)系統(tǒng)中預(yù)存的用戶數(shù)據(jù),實(shí)現(xiàn)用戶來電快速獲取客戶個(gè)人信息和所在位置,幫助運(yùn)維人員快速創(chuàng)建工單。
2)工作流引擎
工作流是實(shí)現(xiàn)運(yùn)維事件管理的先決條件,有效的事件管理計(jì)劃是一個(gè)端到端的處理流程,workflow引擎的集成,可以幫助運(yùn)維監(jiān)控平臺(tái)具備個(gè)性化定制工單處理流程的能力,通過模板化定制多個(gè)不同的工單類型,覆蓋部門、工種和派單流轉(zhuǎn)方式,能夠保證系統(tǒng)功能和工單模板與負(fù)責(zé)部門精確匹配,從本質(zhì)上帶來服務(wù)效率的提升。
3)自動(dòng)派工算法
運(yùn)維監(jiān)控系統(tǒng)具備自動(dòng)派工的能力,客戶派單人員可按照問題的緊急程度,快速對(duì)工單進(jìn)行分級(jí)處理,以便更好地調(diào)配人力資源和有針對(duì)性地執(zhí)行任務(wù),系統(tǒng)可以根據(jù)故障問題的需求和優(yōu)先級(jí),自動(dòng)地將工單請(qǐng)求分配給最適合的運(yùn)維人員,同時(shí)檢索故障案例庫,推薦最合適的解決方案,減少人工判斷和操作,提升整體工單流轉(zhuǎn)的效率。
2.4 一鍵生成巡檢報(bào)告
運(yùn)維日常的設(shè)備和系統(tǒng)巡檢皆人工或者半自動(dòng)化的方式進(jìn)行,每次例行巡檢往往需要專人去登錄相關(guān)設(shè)備,手動(dòng)輸入巡檢指令,根據(jù)命令的執(zhí)行結(jié)果手動(dòng)捕獲關(guān)鍵信息,將結(jié)果記錄到巡視本中,設(shè)備多的情況下往往重復(fù)上述工作,耗時(shí)長(zhǎng)且不利于巡檢報(bào)告的流轉(zhuǎn)。
運(yùn)維監(jiān)控系統(tǒng)提供了自動(dòng)化的巡檢技術(shù)[8],對(duì)10+種型號(hào)300多個(gè)設(shè)備進(jìn)行巡檢,覆蓋常見的10項(xiàng)指標(biāo),每日巡檢3次,單次巡檢耗時(shí)由1h+,減少到20min;針對(duì)6大平臺(tái)200+主機(jī)的20+指標(biāo)進(jìn)行應(yīng)用巡檢,單應(yīng)用單次巡檢耗時(shí)由45min縮短到5min。
1)設(shè)定巡檢規(guī)則和計(jì)劃
系統(tǒng)結(jié)合promtheus、zabbix等開源監(jiān)控工具,基于metric級(jí)別的監(jiān)控指標(biāo),通過可視化的方式,提供巡檢規(guī)則的配置和啟用,支持PQL語法格式。巡檢規(guī)則的配置是系統(tǒng)實(shí)現(xiàn)自動(dòng)化巡檢的前提條件,巡檢規(guī)則的內(nèi)容包含巡檢項(xiàng)、閾值、通過條件、PSQL語句等,完整的配置結(jié)束后,系統(tǒng)會(huì)進(jìn)行語法格式的轉(zhuǎn)換,以兼容監(jiān)控工具配置文件的格式,對(duì)異常配置會(huì)進(jìn)行實(shí)時(shí)的提醒。
2)一鍵實(shí)施巡檢
巡檢人員根據(jù)設(shè)定的巡檢計(jì)劃,執(zhí)行巡檢任務(wù),業(yè)務(wù)后臺(tái)將通過HTTP API的形式進(jìn)行監(jiān)控接口的訪問和巡檢結(jié)果集的抓取,并對(duì)json返回值進(jìn)行格式化重新封裝,對(duì)巡檢結(jié)果結(jié)合巡檢規(guī)則進(jìn)行自動(dòng)分析和失敗判定,如上述流程圖所示,最終將巡檢結(jié)果反饋給前端運(yùn)維人員。
3)分析巡檢報(bào)告并采取措施
運(yùn)維監(jiān)控系統(tǒng)會(huì)自動(dòng)上傳采集到的數(shù)據(jù),并生成相應(yīng)的PDF報(bào)告。對(duì)于采集到的數(shù)據(jù)和報(bào)告,管理人員進(jìn)行分析,并根據(jù)分析結(jié)果采取相應(yīng)的措施。這可以包括設(shè)備維護(hù)、故障修復(fù)或更換等,確認(rèn)之后進(jìn)行電子簽名上傳,最終完成整個(gè)巡檢過程的閉環(huán)。
3 系統(tǒng)開發(fā)與成效
系統(tǒng)部分核心業(yè)務(wù)包含告警大屏,一鍵巡檢等。
1)告警大屏
告警大屏以中型機(jī)場(chǎng)IT規(guī)模為例,報(bào)警及時(shí),可以快速接收故障通知或提前預(yù)警,可實(shí)現(xiàn)300+服務(wù)器的運(yùn)行態(tài)勢(shì)監(jiān)測(cè);實(shí)現(xiàn)單服務(wù)器200+指標(biāo)項(xiàng)的數(shù)據(jù)抓取,500+類型的告警實(shí)時(shí)監(jiān)控。
2)一鍵巡檢
自動(dòng)巡檢按照運(yùn)維人員日巡檢10個(gè)系統(tǒng)30臺(tái)服務(wù)器,巡檢2次為例,通過系統(tǒng)的自動(dòng)化巡檢導(dǎo)出報(bào)告,替代人工巡檢。原來每個(gè)系統(tǒng)巡檢5分鐘,采用工具巡檢,巡檢時(shí)間約為10s,效率提升50倍。
通過本系統(tǒng)的應(yīng)用案例統(tǒng)計(jì),上線本系統(tǒng),能夠減少90%以上的人工運(yùn)維工作量;80%以上的故障可以通過預(yù)警提前規(guī)避;報(bào)警準(zhǔn)確率、告警響應(yīng)率均為100%,故障處理時(shí)間降低80%。初步計(jì)算可以節(jié)約客服處工作人員2人、區(qū)域內(nèi)巡視4人、故障處理員2人,每天8人,三班倒共計(jì)節(jié)約24人,再加上正常休假等情況可節(jié)約27~30人,節(jié)約大量人力成本,極大提升IT運(yùn)維效率。
4 結(jié)束語
本項(xiàng)目研究的機(jī)場(chǎng)業(yè)務(wù)運(yùn)維監(jiān)控系統(tǒng)是集成一體的平臺(tái)化產(chǎn)品,是集預(yù)警告警、故障處置和運(yùn)維體系管理于一體的一站式管控平臺(tái),實(shí)現(xiàn)多維度數(shù)據(jù)共享,全流程高度協(xié)同,業(yè)務(wù)流閉環(huán)管控,打造面向智慧機(jī)場(chǎng)的專業(yè)化運(yùn)維平臺(tái),經(jīng)過在青島膠東機(jī)場(chǎng)和烏魯木齊機(jī)場(chǎng)投產(chǎn)驗(yàn)證,并取得了較好的效果,主要表現(xiàn)在:①資產(chǎn)可視化,可以快速查看資產(chǎn)當(dāng)前使用情況。②能輔助定位故障,便于快速排查故障。③實(shí)現(xiàn)工單閉環(huán),提升運(yùn)維管理能力。④能集中監(jiān)控、巡檢系統(tǒng),減少運(yùn)維工作量。綜上,機(jī)場(chǎng)業(yè)務(wù)智慧運(yùn)維監(jiān)控系統(tǒng)能極大提高機(jī)場(chǎng)運(yùn)維效率及質(zhì)量。
參考文獻(xiàn):
[1] 王漢宸.關(guān)于機(jī)場(chǎng)運(yùn)維設(shè)備的智能在線監(jiān)測(cè)探討[J].機(jī)場(chǎng)與航班,2019(14):77-78.
[2] 梁毅.大型機(jī)場(chǎng)運(yùn)維管理模式優(yōu)化與應(yīng)用[J].民航管理,2017(11):65-67.
[3] 韓榮飛.大興機(jī)場(chǎng)數(shù)字化運(yùn)維平臺(tái)IT運(yùn)維監(jiān)控管理體系研究報(bào)告[J].中國(guó)航班,2022(34):12-14.
[4] 陳穎.基于ZABBIX的空管數(shù)據(jù)中心運(yùn)維監(jiān)控系統(tǒng)[J].科學(xué)與生活,2021(17):23-25.
[5] 韓嘉騮.機(jī)場(chǎng)智能化設(shè)備的運(yùn)維管理[J].中國(guó)航班,2021(16):35-36.
[6] 顧佳歡.聚焦:H機(jī)場(chǎng)空管設(shè)備運(yùn)維管理系統(tǒng)建設(shè)方案[J].機(jī)場(chǎng)與航班,2021(1):12-23.
[7] 曹陽.機(jī)場(chǎng)綜合運(yùn)維管理系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].微電子學(xué),2020,50(4):24-26.
[8] 曾瑩.信息技術(shù)在機(jī)場(chǎng)運(yùn)維管理中的應(yīng)用[J].信息技術(shù)與信息化,2020(3):55-56.
【通聯(lián)編輯:梁書】