蔣 鵬,劉 斌,聶利超,許新驥,劉征宇,陳 勐,曾 瓊
(1.山東大學 齊魯交通學院,山東 濟南 250002;2.山東大學 巖土與結構工程研究中心,山東 濟南 250061;3.山東大學 軟件學院,山東 濟南 250101;4.山東大學 計算機科學與技術學院,山東 青島 266237)
隨著經濟社會的發展,我國城市軌道交通、高鐵、高速公路等基礎設施建設進入快速發展時期。以軌道交通工程為例,截至2011 年我國有28 個城市獲得規劃批準,線路總長超2 500 km;至2020 年已建成軌交運營線路177 條,運營總里程6 100 km,產生大量地質數據、掘進參數數據、施工日志以及運營檢測等數據。同時,地下倉儲、地下管廊、地下綜合體等地下空間工程蓬勃發展,我國已成為地下空間工程的建設和開發大國,預計未來地下工程產業規模達每年上萬億元。
城市地下空間開發和工程建設面臨著“復雜地質條件、多發災害事故、脆弱生態環境、敏感公共安全”等重大挑戰,亟需借助人工智能等新一代信息技術手段幫助勘查、施工和運營人員對工程的情況進行全面掌握,提供基于大數據的風險評估、施工進度估計和輔助決策。這些智能算法依賴對于過往大數據的分析,而這些重大工程從勘察、設計、建造到運營積累的地質數據、掘進參數數據、施工日志以及運營監測等數據正好提供了足夠的大數據支撐。因此,基于工程大數據的智能算法普及與推廣不僅是“安全、高效、優質”的工程建設和運營的必然要求,也是人工智能算法發揮優勢體現價值的絕佳渠道。
目前,人工智能算法課程已在地下空間工程等工程學專業開設,人工智能已經成為基礎課程。但是,人工智能算法處理高維復雜數據時背后的原理很難直觀理解。此外,人工智能算法理論研究還不完善,例如深度學習,人們一般依賴于可視化交互式手段探究其背后的規律原理。因此,根據人工智能算法課程的特點,在課堂教授時除了教授算法流程、公式等固定知識,還應該引入交互式可視化的手段,幫助學生快速理解背后的原理。這對課堂授課效果,特別是對于非信息類專業背景學生的理解尤為重要。本文重點研究面向工程大數據智能算法的交互式教學方法,探討適合城市地下空間工程專業人才培養的智能化算法教學模式。
以往TBM 操作主要依靠人為經驗,一旦遭遇不良地質和巖性突變,難以及時合理應對,易造成異常損毀、效率低下甚至卡機等嚴重災害等。通過分析過往大量的TBM 掘進參數、地質巖體條件信息,可以有效合理優化、調整TBM 掘進參數,使之與地質、巖體條件良好匹配。因此,引入人工智能算法對這些工程大數據分析,成為TBM 智能掘進的關鍵,這是連接地質巖體信息與TBM 安全高效掘進的“橋梁”,并且可以揭示掘進參數隨巖體地質條件的變化規律,對于TBM 安全、高效掘進具有重要指導意義。
隧道超前地質預報是一種多采用地球物理勘探,探測隧道、隧洞等地下工程的巖土體開挖面前方的地質情況,力圖在施工前掌握前方的巖土體結構、性質、狀態等地質信息的手段。地球物理勘探最常采用的技術是地球物理反演,試圖通過觀測到的有限數據重建地質結構,是一種高度非線性和病態的問題。目前大多采用線性方法去求解該問題,因此存在初值敏感、多解性、不準確等問題。事實上,過去幾十年不同地區的歷史勘探數據和開挖揭露能為反演提供足夠大數據約束,有效緩解以上問題。為有效利用工程大數據,目前深度學習方法已被引入地球物理反演并成為研究熱點,在實際問題中也展現了強大的非線性映射能力。
地質素描是以野外地質物象為對象,用素描技法描繪出地質客觀實體的空間形態及相互關系,用一張素描圖往往可以把復雜的地質現象描述清楚,這對提高工效和工作質量起著重要作用。地質素描的繪制過程較為復雜,利用人工智能算法,挖掘以往實際照片與地質素描的關系,有望達到自動地質素描。
目前工程大數據已成為最重要、最有價值的資源。尤其我國經歷了十幾年建筑工程的高速發展,在各種工程中已積累了海量數據。但是,目前人工智能算法在工程大數據上的應用案例等課程內容匱乏。因此,學生往往在學習人工智能算法后,面對實際工程數據仍不知從何著手。人工智能算法和傳統工程數據處理手段只是作為獨立的內容供學生學習,未能做到前沿方法與課程和實際案例的有效結合。此外,前置課程的缺失也影響了學生對于前沿知識的理解。這些不足嚴重制約了學生用新思想新方法來利用工程大數據,創新地解決實際工程中的問題。鑒于此,本項目提出建立工程大數據人工智能算法課程群。
首先,重新梳理工程大數據和人工智能的課程體系,例如分析城市地下工程教學中引入智能化課程所需要的基礎知識點,研究如何把這些知識點匯總融合并設計課件材料,形成工程大數據人工智能算法前置課程,從而使學生快速掌握智能化的基礎知識。其次,分析傳統工程數據處理和人工智能課程中的相同知識點,把人工智能的前沿內容引入到工程大數據的教學當中。例如針對地球物理勘探,該門課程同樣涉及優化方法、人工神經網絡等涉及人工智能的知識,但是這些內容已相對老舊,因此可以把人工智能課程中的這部分的最新內容及時引入,形成工程大數據人工智能算法基礎課程,使學生接觸最前沿的基礎知識。最后,緊跟人工智能的前沿,匯總人工智能與其他學科結合創新事例,從而結合前沿理論和最新應用,形成工程大數據人工智能算法創新課程,啟發學生用前沿方法創新解決實踐工程中的問題。表1 中列舉了工程大數據人工智能算法課程群。
表1 工程大數據人工智能算法課程群
不同學科的教學有不同的特點。例如城市地下工程學科,一般涉及巖土工程、工程力學、勘探等課程,這些課程的教學內容相對固定,教學主要是課堂講授為主課后練習為輔的模式。而對于人工智能學科,算法往往處理的是高維海量數據,算法背后的原理很難通過課本上的文字內容描述明白。此外,人工智能很多知識內容的應用已走在了理論研究的前面。例如深度學習,該技術在很多領域有了成功的應用,但是其理論研究還非常滯后。根據人工智能算法的特點,其課堂除了教授算法流程、公式等固定知識,還應引入交互式可視化的手段,幫助學生快速理解背后的原理。這對課堂授課效果,特別是對于非信息類專業背景學生的理解尤為重要。
具體做法包括:首先,研究將現有的人工智能學科課堂中的可視化手段,應用到前置課程的相關內容教學中,方便學生直觀理解。其次,對基礎課程中的理論概念設計交互式的仿真實驗和編程練習,及時讓學生鞏固和驗證學習到的理論知識。最后,針對創新性的培養,在創新實踐課程中,研究人工智能應用于工程大數據若干范例的動機、思路和方法,在課堂教學中啟發學生如何發現問題解決問題??偨Y來說,利用可視化、交互式技術直觀展示人工智能算法計算流程,幫助學生理解算法原理,使學生可以靈活應用人工智能解決工程大數據問題。
工程大數據處理分析的目的是解決實際工程中存在的問題,同時新的人工智能算法也需要在實際工程實踐中驗證。盡管智能化方法的研究對象是數據,是一種數字信息,但是目標仍然是服務實際工程建設,脫離工程實踐檢驗的智能化只是自娛自樂。只有不斷探索利用智能化手段挖掘工程大數據中的知識信息,并且在實際工程中驗證和改進,才能使智能化方法在未來大型化、復雜化的工程中真正發揮作用。
對于工程大數據人工智能算法課程中理論和實踐并重的要求,也要求我們在教學中創新地提出課堂教學和實際工程實踐的雙向互動機制。具體來說,對于一些課程,我們將研究如何把大部分教學內容留在課下,從而使課堂教學聚焦在關鍵知識點,并把課堂延伸到實際工程實踐當中,加深學生對于知識的理解,從而建立“基礎自學-課堂拔高-實踐鞏固”的“翻轉課堂”教學形式。此外,研究設立反饋機制,收集工程實踐中的難點問題,匯總分類形成專題課程,改進課堂教學內容,使學生所學可以真正應用于工程實踐當中。通過課堂教學和實際工程實踐的雙向互動,錘煉鞏固基礎知識,提高科研學習興趣,切實提高學生實際創新能力。
考慮到工程學科學生算法基礎較薄弱的問題,需適當補充線性代數和最優化的知識,特別是求解線性方程組、矩陣特征值特征向量、矩陣求導、梯度下降等內容。此外,深度學習算法與傳統機器學習算法相比,工作機制不易解釋,實現上有非常多的細節。如果純粹從公式推導的角度進行講解,很難直觀講清楚。因此,在講解中應溯源到深度學習的由來,從生物神經系統的工作機制出發,引出人工神經網絡的設計。具體來說,首先講解人工神經元-感知機的定義和作用,然后提出多層感知機和它的特性及適用的問題,最后給出人工神經網絡,展示其強大的非線性擬合能力,并且對于每一步都給出豐富的可視化實例。通過以上步驟,把深度學習這一復雜原理和面向的問題,逐層次地、直觀地講授給學生,有利于傳統工程學科學生的快速掌握。
在實現層次,深度學習也有非常多的問題需要解決,主要問題包括梯度的高效計算和參數的有效更新,基于此各種各樣的解決方法被提出。猛一看上去,這些知識非常不成體系雜亂無章,并且作為一個正在發展的學科,之前的很多方案和認識經常發生巨大的變化甚至是被推翻,所以有必要把這些方法進行梳理,從背后的動機、起源、發展和現在的應用情況進行說明,有利于學生真正掌握深度學習發展脈絡、了解深度學習目前存在的問題和主要的解決思路,達到靈活的實際應用。
1.基礎原理的直觀解釋交互式教學實例
感知機(圖1),即人工神經元,通過模擬生物神經元的機制可以具備二分類的能力,進行邏輯與或非的運算。疊加多個感知機可以進行非線性運算,如異或門,進一步疊加更多的神經元,可以形成多層感知機MLP,具有強大的非線性映射能力,如圖2(a)所示。根據萬能逼近定理,對于含一層隱藏層的多層感知機,只要有足夠多的人工神經元,可以擬合任意復雜的函數,如圖2 所示。其中圖2(b)是一個可交互的小程序,每兩個人工神經元組合成一個小Bump,適當調整參數可以使每個Bump 擬合函數的一部分,當有足夠多的人工神經元時可以很精細地擬合任意復雜函數。圖2 中的素材部分來自于文獻[6-7]。
圖1 感知機直觀解釋實例
圖2 多層感知機的交互式教學實例
進一步擴展多層感知機,形成一個6 層的人工神經網絡,并針對一個具體問題(雙螺旋線的分類)開展交互式教學實驗,通過交互與可視化可以發現不同神經元所響應的特征以及權重更新的過程,幫助學生直觀理解人工神經網絡的工作機制,如圖3 所示。
圖3 人工神經網絡的交互式教學實例(來源于文獻[1])
2.梯度反向傳播的直觀解釋交互式教學實例
梯度反向傳播是深度學習成功的重要技術,依賴反向傳播深層的人工神經網絡梯度得以有效更新。因此,梯度反向傳播的理解是深度學習過程的重要環節。梯度反向傳播的學習有兩種模式,純基于數學推導和利用計算圖的推導,后者在表述上更直觀,因此更適合工程背景學科的學生。利用計算圖的梯度反向傳播方法有兩個關鍵點,計算圖和鏈式法則。鏈式法則是復合函數求導的基本性質,這在高數中已有講授,因此這里不需要再詳細說明。
計算圖是一種將計算過程用圖表示出來的方法,把所有操作用節點表示,把所有中間結果寫在節點之間的有向邊上,如圖4(a)表達了這樣一個計算“在超市買了2 個蘋果、3 個橘子。其中,蘋果每個100 元,橘子每個150 元,消費稅是10%,請計算支付總金額”。進一步通過鏈式法則可以計算梯度,即每個輸入變量對總金額的影響程度,梯度寫在反向邊下,如圖4(b)所示。
圖4 利用計算圖和鏈式法則的梯度反向傳播方法
通過引入計算圖和利用鏈式法則,包含復雜操作的神經網絡計算所對應的各層梯度可以很方便高效地進行自動微分求解。目前多種深度學習程序庫都已經繼承了auto-grad 自動微分機制,這大大方便了用戶搭建深度神經網絡應用深度學習。用戶在使用時只需要關注如何定義網絡層結構和從輸入到輸出的操作,不需要再關注梯度計算。圖5 表示了幾種復雜網絡層操作對應的梯度反向傳播運算,素材源于文獻[6-7]。
圖5 幾種典型深度學習操作的計算圖和反向傳播梯度
如前所述,深度學習是一種集成了多種課程知識的新興前沿技術,盡管實現每個功能不需要學習特別深奧的數學知識,但是把這些模塊實現高效集成并能適用于百萬千萬級的大數據尤為困難。因此,從零開始實現每一個基礎模塊對于非專業背景的學生顯然不現實。目前,深度學習的基礎模塊已有非常高效的實現,如TensorFlow、PyTorch、MXNet 等。基于這些成熟的深度學習庫,非專業背景學生也可以比較易于上手使用深度學習處理各類問題。特別是考慮到工程學科學生編程基礎較薄弱的問題,依托本研究開展課程時,我們搭建了基于Jupyter 的在線交互式可視化編程環境,準備了相關教學程序,通過交互式可視化的方式大大提升了學生用深度學習解決工程大數據問題的能力,如圖6 所示。
圖6 基于Jupyter 的在線交互式可視化編程環境
依托本項目研究,我們在城市地下空間工程專業開設了深度學習微專業課程、人工智能通選課課程;并且改造了傳統勘探地球物理課程,新加入了基于深度學習的反演方法。這些課程的開設,大大拓展了學生對于人工智能最新技術和基本理論的了解,并且有效幫助學生快速掌握應用深度學習解決工程大數據的能力。在2021-2022 年的本科畢設和各類競賽活動中,涌現出了大量的應用深度學習的案例。
例如本科畢設《基于深度學習方法的隧道地震波超前探測的反演方法》把深度學習應用于隧道超前探測中,在仿真數據上表現出了遠超過傳統地球物理反演的結果,如圖7 所示。該學生目前正進一步研究生深造,仍繼續這一課題。分析利用工程大數據是工程學科未來的熱門方向,相關課程的開設能培養本科生的研究興趣,幫助順利銜接到研究生階段。近年來,深度學習相關畢設每年近十項,這說明了工程學科對利用工程大數據有強烈的需求以及學生們有極大的興趣。
圖7 深度學習隧道地震波超前探測結果
此外,在本科生競賽活動中也展現出了一批應用深度學習解決各類問題的優秀作品,例如參加中國國際“互聯網+”創新創業大賽的作品——《隧道掘進機智能掘進平臺領航者》(圖8(a)),以及掌子面智能素描項目(圖8(b))。
圖8 本科生競賽活動優秀作品
發展新工科、打造產業升級、交通強國戰略等一系列理念政策推動著傳統工程學科人才培養的變革,當前各大院校傳統工科專業無不從課程、教學模式、培養方案上進行大力的改造更新,積極引入前沿的信息技術、人工智能、物聯網等解決工程領域的固有問題。其中面向工程大數據的智能算法有望充分利用中國近年來積累的大量工程數據,幫助企業達到“安全、高效、優質”的工程建設和運營。本項目以地下空間工程專業為例,研究了工程大數據智能算法的需求,工程大數據智能算法教學模式,工程大數據智能算法課程。通過引入交互式可視化的各類人工智能教學示例、編程環境和案例,打造升級相關的課程,可以有效地幫助傳統工程學科背景的學生理解應用最新的深度學習相關理論。近年來依托開設的微專業課程和通選課程,城市地下空間專業學生在畢設和各類競賽中涌現出了大批結合最新人工智能技術的成果。除切實解決了工程問題外,還提升了專業的吸引力,為未來打造智能建造智慧交通等新工科專業奠定了基礎。