面向工程應用的大數據技術實踐教學探索

田入運， 曹一涵

（南京信息工程大學自動化學院，南京 210044）

0 引 言

隨著信息技術的飛速發展和互聯網智能化的不斷深入，大數據技術在工程應用中扮演著日益重要的角色［1］。大數據以其高速度、大容量、多樣性和價值密度高的特點，正在引領著全球各行各業的變革和創新［2］。作為大數據技術的核心，數據科學已經成為培養學生的關鍵要素之一。然而，數據科學與大數據技術實踐教學仍面臨一些挑戰和問題，傳統的大數據實驗教學模式往往以理論知識或簡單實踐為主，忽視了對工程應用能力的培養。僅僅靠理論學習已經不足以滿足工程應用的需求［3］。因此，需要重新思考面向工程應用的數據科學與大數據技術實踐教學的方式和方法，培養學生具備解決實際問題能力和思維。

如何確保教學內容與工程實踐緊密結合，培養學生具備數據科學和大數據技術的綜合能力，是當前亟待解決的問題［4-6］。本文聚焦于將理論知識與工程應用緊密結合，培養學生在工程場景下的數據科學應用能力，提出一種結合問題導向學習（Problem-based Learning，PBL）、探究式學習（Inquiry-based Learning，IBL）和學習成果導向（Outcome-based Education，OBE）相結合的PIO（Problem-Inquiry-Outcome）綜合學習方式［7］。

PIO綜合學習方式可以將不同的學習方法和理念結合起來，以提供更全面和綜合的教育體驗。PBL、IBL和OBE方法可以相互融合，以達到更好的學習效果［8］。本文旨在利用PIO 綜合學習方式，探索面向工程應用的數據科學與大數據技術實踐教學的改革策略。探討如何設計與實際工程應用問題相關的教學內容和案例，以引發學生的興趣和培養他們的實踐能力；研究如何利用創新的教學方法和工具，提高學生在大數據技術領域的學習效果和應用能力；關注評估和反饋機制，以確保教學過程的持續改進和學生能力的有效提升。

1 工程應用問題案例

以工程項目“基于邊緣計算的微動勘探橫波速度結構即時成像系統”為例，從中提煉出“基于負載預測的負載分配與計算資源優化”問題設計成學生的實踐內容。為完成橫波速度結構即時成像，首先選取合適的橫波速度結構成像算法。空間自相關法從微動信號的垂直分量中提取瑞利波相速度頻散曲線，通過對瑞利波頻散曲線的反演估算介質橫波速度結構，是目前快速有效確定沉積層橫波速度結構的方法之一［9］。本項目采用的基于空間自相關法的微動探測橫波速度結構成像的任務處理，其總體結構如圖1 所示。

圖1 基于空間自相關法的微動探測即時成像結構示意圖

由于微動勘探所采用設備的計算能力和計算資源有限，需要采取措施來避免邊緣計算節點負載過重，從而導致計算任務在邊緣計算節點排隊等待的嚴重延遲情況。邊緣計算節點承載的負載遠高于感知節點，在面對負載變化時，固定數量的邊緣計算資源可能會面臨過供應和欠供應的問題，進而影響成像的即時性和穩定性（PBL），為了降低任務排隊延遲，需要合理分配計算資源，而計算資源的分配依賴于負載，因此，首先需要探究邊緣網絡的負載動態變化規律（IBL），根據負載的變化規律，實現對計算任務負載的預測，從而根據負載分配計算資源，完成橫波速度結構的即時成像（OBE）。

在確定好項目架構后，按模塊關聯項目任務，以任務關聯相關課程。如表1 所示，“基于負載預測的負載分配與計算資源優化”項目包含的3 項任務分別關聯到數學建模、大數據采集與預處理、機器學習、Python程序設計、深度學習和最優化理論與方法課程［10］，這些課程都是大數據類專業必修的專業課，對學生進一步加深對于專業的認識和理解，鞏固專業基礎有較好的促進作用。同時，通過任務之間的關聯，學生能夠在項目中形成全局的視角和思維，使得項目的目標和任務更加協調和高效。

表1 工程項目驅動的大數據類專業課教學設計

2 實踐教學過程設計與實施

2.1 教學過程設計

項目“基于負載預測的邊緣計算負載分配與計算資源優化”包含3 個模塊，引入6 門課程，在教學設計過程實施中按課程展開，通過項目驅動的課程教學設計，學生能夠在具體項目的實踐中學習和應用數學建模、機器學習、Python 程序設計、最優化理論與方法和深度學習等專業知識和技能，專業課教學過程設計如表2 所示。

表2 工程項目驅動的大數據類專業課教學過程設計

2.2 教學過程實施

（1）數據采集與預處理。邊緣網絡負載原始數據來源于微動勘探設備，利用勘探設備中邊緣節點和傳感節點處理一定計算任務的響應時間作為負載指標。如果條件不允許，也可利用多臺電腦處理一定的計算任務進行測試和收集數據，本文收集的數據集有2 個維度（本地響應時間和外地響應時間），各有70 000 多條實測數據，部分數據集展示如圖2 所示。

圖2 部分原始數據集

獲取原始數據后，需要對原始數據進行預處理，選取本地響應時間作為指標，對于大量無序的數據集，包括清洗、轉換和準備數據，以便后續的分析和建模。負載數據預處理的步驟如圖3 所示。

圖3 負載數據預處理

（2）負載動態變化規律探究。由于邊緣計算節點匯聚和處理各個感知節點卸載而來的任務，若系統中邊緣計算節點的任務隊列向量Q（t）保持穩定，即

式中，

同時，負載隊列向量也需保持穩定，即

式中，

則系統保持穩定［11］。為了避免邊緣計算節點負載過重而導致任務在邊緣計算節點的嚴重排隊延遲情況，邊緣計算節點的任務隊列和負載隊列應該首先保持穩定。邊緣計算節點承載的負載遠高于感知節點，在面對負載的變化時，固定數量的邊緣計算資源可能會面臨過供應和欠供應的問題，進而影響成像的即時性和穩定性，如圖4 所示。

圖4 計算資源的過供應和欠供應

觀察成像服務的網絡負載變化趨勢發現，其負載呈現出周期性變化，雖然某些時刻仍具有一定的隨機性和突變性，但可直觀地按照其變化趨勢與特點將該負載劃分為爬升和下降兩種類型，根據此特點，需進一步進行負載分類。

（3）負載分類及負載預測方法設計。根據圖4 的負載變化趨勢，擬采用無監督機器學習K-means 算法作為訓練數據集分類和標注處理的首選方法。該算法以歐幾里得距離為衡量目標，根據設定的類別數量，經過一定次數的迭代后，距離相近的數據會被劃分到相同類別中。然而，研究中發現僅使用原始的網絡負載數據和K-means算法難以按照設定類別對訓練數據集進行有效劃分。假設在負載訓練數據集中有3 組數據S1、S2 和S3，其中S2 為下降類型，S1 和S3 為爬升類型，如圖4 所示。S1 和S2 的最大歐幾里得距離小于S1 和S3 的最大歐幾里得距離。因此，K-means 算法存在很大的概率將S1 和S2 劃分為相同的類型，而S1和S3 劃分為不同的類型。觀察到這兩種類型的網絡負載數據變化趨勢，可發現一階梯度特征能有效地表征爬升和下降類型網絡負載數據的變化特點。因此，本文采用一階梯度特征和K-means 算法相結合的方式訓練一個分類神經網絡模型進行分類。

計算資源按需分配與彈性調度優化的關鍵是提高邊緣計算節點網絡負載的預測精度。本文采用基于自適應LSTM神經網絡模型設計一種負載預測方法，該方法根據輸入網絡負載數據的變化趨勢對負載分類，并根據分類結果自適應地將輸入的負載數據調度到與之類型相匹配的LSTM負載預測模型中進行預測。自適應LSTM 神經網絡模型訓練和預測方法如圖5所示。

圖5 自適應LSTM神經網絡模型的（a）負載訓練和（b）負載預測

在訓練自適應LSTM 負載模型過程中，選擇了1 000 輪的迭代次數，以保證模型可以充分學習時序序列中的規律。每進行100 輪迭代，都會記錄訓練誤差和驗證誤差，并進行監測，如果發現模型的訓練誤差和驗證誤差達到了平穩狀態，就可以終止訓練。為了減小誤差，實驗采用了反向傳播算法來更新模型的參數，使用隨機梯度下降法進行參數更新，以提高訓練效率。同時，也采用了dropout 技術來減少過擬合的影響。最終，在進行1 000 輪迭代后，得到了一個自適應LSTM負載預測模型。訓練過程中，不斷調參重新訓練，對于梯度下降算法的選取，最終確定了adam 自適應梯度下降法。經多次訓練，確定初始學習率為0.005 與學習率下降因子0.1，得到了較好的訓練效果，訓練集與測試集預測結果如圖6 所示。

圖6 訓練集和測試集預測結果

對于負載預測，可以通過向本研究所提出的LSTM模型輸入一定長度的歷史數據，來預測接下來一段時間內的未來數值。同時，也可以通過遞歸方式，對模型的預測結果進行迭代，從而得到多個時間段的預測結果。圖7 展示了本模型的預測結果，在原始數據的基礎上對未來的500 個數據值進行了預測。

圖7 負載預測結果

（4）計算資源優化。計算資源的優化依賴于計算任務的分配［12］，根據圖1，假定計算任務卸載模型為二進制卸載，即可以在普通傳感節點上進行處理，也可以卸載到邊緣計算節點處理，可表示為：

式中，

分別表示待處理計算任務在時隙t時分別在本地執行和邊緣計算節點執行的情況。假定時隙t的集合為T=｛0，1，2，…｝，并且每一個時隙的長度為τ，用隨機變量A（t）表示時隙t內到達傳感節點的計算任務，由任務處理系統的性質假定A（t）滿足獨立同分布，并且E［A（t）］=λ ＜∞，其中λ 已知。設時隙t內CPU 周期頻率為f（t），那么時隙t中的傳感節點在本地執行的計算任務量可以表示為

式中，L為傳感節點上處理1 bit的數據需要的CPU周期數量，那么傳感節點在時隙t執行計算任務的時間可以表示為：

假設邊緣計算節點上有足夠的資源進行計算任務。當選擇卸載待處理任務至邊緣計算節點進行處理時，需要考慮待處理任務上傳到邊緣計算節點的傳輸時延以及將處理好的數據反饋的傳輸延遲，由于反饋的傳輸延遲遠小于上傳的傳輸延遲，所以忽略其執行延遲及反饋的傳輸延遲［13］。假設傳感節點通過正交頻分多址（OFDMA）的方法接入邊緣計算節點，信道帶寬是固定的，即采用無干擾的信道模型［14］，則傳輸速率計算公式如下：

式中：P（t）為普通傳感節點的傳輸功率；W為系統的帶寬；N0為噪聲的功率譜密度；H（t）為普通傳感節點到邊緣計算節點的信道功率增益，

g0為路徑損失常數；ε 為相關比例參數；d0為參考距離；θ為路徑損失函數；d為普通傳感節點到邊緣計算節點的距離。在時隙t內傳感節點卸載到邊緣計算節點上的任務量可以表示為

普通傳感節點在時隙t卸載計算任務到邊緣計算節點的傳輸時間可以表示為

采用在預定義的優化成像時延的方式。定義傳感節點在時隙t時的能耗

式中：Elocal（t）為傳感節點在t時隙內本地執行的能耗；Etrans（t）=P（t）·τ在時隙t內計算任務卸載到邊緣計算節點的傳輸能耗。傳感節點在時隙t時離開隊列的數據量

協同計算任務的時延主要包括計算時延和傳輸時延。可以用T（t）表示時隙t內任務的時延，具體表示為

式中，To（t）表示數據量在邊緣計算節點的等待時延和計算時延。因為邊緣計算節點有充足的計算資源，設其計算周期頻率為定值fmax。引入Et表示時隙t內的平均能耗，在每時刻滿足獨立同分布且引入Eavg平均能耗的最大值，則普通傳感節點在時隙t的能耗均值滿足：

基于以上約束，任務時延的最小化問題可以建模為如下最小化問題：

式中：約束式（14a）為輸出能量約束，在每個時隙輸出能耗不能超過Emax；約束式（14b）和（14c）分別為允許發射功率和CPU周期頻率約束；約束式（14d）為計算任務卸載決策的0—1 整數規劃約束。

時延最小化問題屬于隨機優化問題，即需要確定每個時隙中傳感節點的最優計算資源分配才能最小化時間延遲。李雅普諾夫優化理論是處理隨機優化問題的有效方法［15］。由于計算任務的到達時刻及任務隊列的長度是隨機且不可預測的，所以卸載決策的選擇只能取決于當前隊列積壓情況以及節點計算資源分配等信息。而該優化理論僅使用當前網絡中節點計算資源和當前隊列長度，并且不需要計算卸載或節點計算資源狀態的先驗知識，能夠在保證隊列系統穩定性的前提下同時實現卸載優化與李雅普諾夫漂移優化，漂移優化過程就是求解最優資源分配過程，因此可以實現在線決策。

按照李雅普諾夫優化理論的需要，用兩條排隊隊列分別表示傳感節點與邊緣計算節點的任務隊列緩沖區，到達但還沒有執行的任務將會進入一個隊列緩沖區。Ql（t）為時隙t內傳感節點的隊列，Qo（t）為時隙t內邊緣計算節點的隊列。初始條件為0，即Q｛l，o｝（0）=0。Qo（t）隊列的更新公式為：

式中，Ao（t）表示時隙t中到達邊緣計算節點的數據量。針對上述問題，本項目通過對負載進行提前預測，根據負載預測結果對計算資源進行分配和調度，避免計算資源分配與調度滯后于負載變化問題。

在求解過程中獲得的值表示最優計算卸載和計算資源分配。該算法利用深度神經網絡（DNN）實現邊緣計算資源分配。根據輸入的參數和常量初始化仿真場景和算法參數。創建一個DNN 對象來存儲和處理神經網絡。采用的李雅普諾夫優化的計算資源分配算法如下：

?

根據上述算法，對計算資源分配算法進行測試，如圖8（a）所示。計算模式選擇的趨勢大致可以分為兩個階段。第1 階段涵蓋時隙0 ～200，其中算法仍處于初始迭代階段，隊列尚未收斂，導致處理任務的計算模式選擇出現較大波動。該階段本地執行的任務比例高于邊緣計算節點。第2 階段涵蓋時隙200 ～5 000。隨著時隙數量的增加，邊緣計算節點執行計算任務的比例逐漸增加，計算選擇模式的曲線趨于平滑，表明在這一階段傾向于將任務卸載到邊緣計算節點執行，從而最大限度地減少系統模式下的能耗。圖8（b）顯示了在相對距離為200 m的普通傳感節點和邊緣計算節點的前1 000 個時隙期間所選計算模式選擇的詳細視圖，可看出早期階段計算模式選擇的變化更為明顯。在這個階段，本地執行的計算比例高于邊緣計算節點執行的計算，并且隨著時間的推移保持穩定。當計算任務選擇的概率為0.6 時，所需時隙的數量達到最大值120。

圖8 （a）計算任務的節點選擇和時隙數量和（b）前1 000個時隙期間所選計算模式

對傳感器節點和邊緣計算節點的任務隊列積壓是評價計算資源分配算法的重要指標。隨著時隙數的增加，隊列積壓不斷變化，隊列積壓波動越小，表示隊列越穩定。圖9（a）說明了當相對通信距離為200 m時，傳感器節點、邊緣計算節點的平均隊列長度和整體隊列積壓的變化。平均隊列長度最初隨著時隙的推移而增加，然后逐漸達到一定值，并表現出周期性波動，表明隊列達到了穩定狀態。

圖9 （a）200 m通信距離處傳感器節點、邊緣計算節點的平均隊列長度和總積壓（b）不同距離處傳感器節點的隊列積壓的比較（c）不同距離的邊緣節點的隊列囤積的比較

圖9（b）和圖9（c）展示了傳感器節點在3 個不同距離（200、300 和400 m）的隊列積壓的比較。從圖中可以明顯看出，傳感器節點和邊緣計算節點的隊列積壓在200 m的距離上都表現出輕微的波動，雖然波動隨著距離的增加而增加，但即使在400 m的距離上，隊列積壓也保持穩定，體現了處理器和內存性能的影響。

影響微動探測即時成像的最重要因素是執行延遲，平均隊列長度是執行延遲的指標。由圖可知，平均隊列長度的最小收斂值出現在200 m 處，表明該計算資源算法在執行延遲方面具有更好的性能。隨著距離的增加，節點執行計算任務的延遲也會增加。圖10 提供了3 種不同距離上延遲大小的比較，每個距離處的延遲最初隨著間隔的數量而增加，最終降低到穩定值。當相對距離為200 m時，時間延遲約為9 ms。在相對距離300 m處，時延最初增加到18 ms，略有增加，然后逐漸接近15 ms。同樣，當相對距離為400 m 時，時間延遲首先上升到20 ms，然后慢慢接近17 ms。延遲大小表明，200 m的相對距離是最佳位置，延遲的穩定性驗證了計算資源分配算法的可行性。

圖10 不同距離執行延遲的比較

3 實驗教學效果評價

表3 展示了面向工程應用的大數據專業實踐教學考核內容、評價內容、考核能力和評價指標可用于對學生在實踐教學中的表現進行評估和反饋，以促進他們的學習和能力發展。

表3 面向工程應用的數據科學與大數據技術實踐教學考核

基于PIO理念，面向工程應用的實踐教學可實現以下目標：

（1）在綜合學習的環境中，學生可以通過問題導向學習方法來引發好奇心和主動學習的動力。隨著問題的提出，學生可以利用探究式學習的方法，深入研究問題、收集信息、進行實證和分析。同時，學習成果導向的方法可以幫助學生明確學習目標和成果，將問題導向和探究過程與學習成果相結合，形成具體的學習成果和評估標準。

（2）綜合學習方式強調學生的主動參與和自主學習，培養學生的解決問題的能力、批判性思維和創造力。學生通過參與問題解決和探究活動，不僅能夠掌握必要的知識和技能，還能夠培養解決實際工程問題和應對復雜情境的能力。

（3）教師在綜合學習環境中的角色是指導者和支持者。教師一方面可以設計有挑戰性和啟發性的問題，提供工程應用問題的材料，支持學生的探究活動，根據學生的需要和學習進展提供個性化的支持和反饋，確保學習目標和評估標準的清晰和可衡量性。另一方面，教師也要關注個體差異和學生需要，進行充分的規劃和組織，創造多樣化的學習機會和環境。

（4）綜合學習方式可以為學生提供更具意義和深度的學習體驗，并培養他們在不同情境下的綜合能力和學習技能。適應性強的綜合學習方式更加貼近現實需求，并促進學生的長期發展和成就。

以工程項目驅動的大數據類課程教學改革自運行以來，目前已有2 屆本科生開展競賽驅動的課程教學，學生在阿里云天池大賽、CCF 大數據與計算智能大賽、全國人工智能大賽等省級以上學科競賽獲獎70 余項，參與教師橫向科研工程項目30 多項，發表中文核心期刊論文6 篇，授權實用新型專利和軟件著作權多項。學生在工程項目應用和學科競賽中取得的成就也展示了其解決實際問題的能力，這些成果不僅是教學改革的成功范例，也為今后的課程教學提供了寶貴的經驗和啟示。

4 結 語

本文探討了在面向工程應用的數據科學與大數據技術實踐教學中，以工程項目為背景設計的實踐課程內容。通過針對工程項目“基于邊緣計算的微動勘探橫波速度結構即時成像系統”的學生實踐，設計了負載動態變化規律探究、負載預測模型設計和實施、計算資源分配方案設計和優化3 個項目內容。項目內容不僅考察了學生的數據科學與分析能力、模型建立與應用能力、問題解決與創新能力和團隊合作與溝通能力。在教師的角色轉變方面，本文提出了從知識灌輸者轉變為學習指導者的轉變，這種轉變將促進學生的實踐能力和創新思維的培養，使其能夠更好地適應工程應用的需求，并為社會和行業的發展做出貢獻。