大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練項目群建設(shè)探討

張 靜，蔡志成，孟順梅，李千目

(南京理工大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，江蘇 南京 210094）

0 引言

大學(xué)生的科研能力訓(xùn)練和創(chuàng)新能力培養(yǎng)是當(dāng)前大學(xué)本科教學(xué)的重點(diǎn)[1]。在當(dāng)今新技術(shù)高速發(fā)展的大環(huán)境下，本科生科研訓(xùn)練作為本科生“實(shí)踐”教育中不可或缺的環(huán)節(jié)，其重要性愈發(fā)凸顯。國內(nèi)不少高校，特別是入選“雙一流”建設(shè)的高校，都已經(jīng)構(gòu)建出了適合自己學(xué)校人才培養(yǎng)特點(diǎn)的本科生科研訓(xùn)練創(chuàng)新實(shí)踐的長效機(jī)制[2]。在這種長效機(jī)制下，本科生團(tuán)隊和指導(dǎo)教師實(shí)行雙向選擇，導(dǎo)師和課題確定后，學(xué)生自主完成研究課題立項、項目設(shè)計、項目實(shí)施、報告撰寫和成果交流等工作的實(shí)踐創(chuàng)新教學(xué)環(huán)節(jié)。通過科研訓(xùn)練培養(yǎng)學(xué)生提出問題、分析問題和解決問題的能力，進(jìn)而強(qiáng)化創(chuàng)新思維與創(chuàng)新意識。

經(jīng)過多年的探索和踐行，本科生科研訓(xùn)練無疑在本科生能力素質(zhì)培養(yǎng)方面起到了正面作用[3]，但也必須指出，這種以導(dǎo)師研究課題為核心的訓(xùn)練方式仍存在不少亟待解決的共性問題，如科研訓(xùn)練與現(xiàn)有課程體系相容性差、課題質(zhì)量參差不齊等[4]。近年來，教育部“新工科”建設(shè)要求工科高校立足于社會發(fā)展重大創(chuàng)新前沿建設(shè)，以培養(yǎng)學(xué)生創(chuàng)新能力為出發(fā)點(diǎn)的工科教育新體系和新方法[5]。這無疑對本科生科研訓(xùn)練工作提出了更高的要求。具體落實(shí)到計算機(jī)相關(guān)學(xué)科方面，新工科建設(shè)迫切需要聚焦大數(shù)據(jù)和人工智能兩大熱點(diǎn)技術(shù)創(chuàng)新方向。

1 存在的問題分析

與國內(nèi)大多數(shù)高校本科生科研訓(xùn)練模式類似，軟件工程系的科研訓(xùn)練為每個課題配備1名指導(dǎo)教師負(fù)責(zé)提供選題，訓(xùn)練團(tuán)隊成員為2～3人（設(shè)課題組長1名，組員1～2名）。課題的執(zhí)行時間為2年，需經(jīng)歷完整的科研周期，包括立項、設(shè)計、實(shí)施、評價、總結(jié)、成果申報（投稿）、答辯等必要環(huán)節(jié)。課題的成果包括學(xué)術(shù)論文、專利、軟件著作權(quán)、實(shí)物等。不少本科生通過參與科研訓(xùn)練完成了屬于自己的論文、專利、軟著，為其后續(xù)發(fā)展奠定了堅實(shí)的基礎(chǔ)。然而，通過梳理和分析軟件工程系近幾年來的科研訓(xùn)練情況，作者發(fā)現(xiàn)存在如下亟待解決的問題。

問題1：本科生科研訓(xùn)練項目的選題沒有突出“工程”特性，沒有從系統(tǒng)化設(shè)計的高度體現(xiàn)軟件工程學(xué)科特點(diǎn)。近年來，縱向科研課題大多數(shù)圍繞數(shù)據(jù)挖掘、云計算、信息檢索、自然語言處理、機(jī)器學(xué)習(xí)等人工智能熱點(diǎn)方向展開，布置給學(xué)生的課題大多是“建模”和“算法”類課題。學(xué)生經(jīng)過訓(xùn)練能夠掌握一些人工智能研究的方法和技術(shù)，但所取的成果距離實(shí)際工程應(yīng)用尚遠(yuǎn)，學(xué)生無法從智能系統(tǒng)設(shè)計的角度考慮現(xiàn)實(shí)問題的工程化解決方法，無法掌握大數(shù)據(jù)智能系統(tǒng)全棧設(shè)計開發(fā)思路，系統(tǒng)集成能力和代碼開發(fā)能力也無法有效提升。

問題2：在智能計算和大數(shù)據(jù)工程前沿技術(shù)方面，科研訓(xùn)練課題未建立有效聯(lián)系。現(xiàn)有的科研訓(xùn)練選題往往理論性過強(qiáng)，過于偏向?qū)W術(shù)研究層面。學(xué)生通過閱讀論文、理論推導(dǎo)、模型設(shè)計、算法仿真、實(shí)驗(yàn)驗(yàn)證等手段對某一問題提出新的解決方法。考慮到絕大多數(shù)本科生未來工作主要集中在工業(yè)界，科研訓(xùn)練的選題應(yīng)該瞄準(zhǔn)工程應(yīng)用難題，對企業(yè)級技術(shù)熱點(diǎn)進(jìn)行深入研究。具體來說，工業(yè)界為了對海量數(shù)據(jù)進(jìn)行處理，一方面需要開發(fā)高效的處理算法，另一方面會選擇低成本的開源大數(shù)據(jù)處理平臺（如Hadoop、Spark、Flink等）。因此，作為科研訓(xùn)練選題，不僅要訓(xùn)練學(xué)生將這些平臺搭建起來進(jìn)行應(yīng)用開發(fā)，更重要的是在這些平臺上高效實(shí)現(xiàn)常用的人工智能（機(jī)器學(xué)習(xí)）算法，切實(shí)提高技術(shù)創(chuàng)新水平。

問題3：科研訓(xùn)練選題系統(tǒng)化程度低，未形成具有特色的教學(xué)團(tuán)隊和持續(xù)的高質(zhì)量課題輸出。不可否認(rèn)，軟件工程系近年來引進(jìn)的年輕教師擁有較高的學(xué)術(shù)水平，他們工作在學(xué)科前沿，每年都會發(fā)表高質(zhì)量的學(xué)術(shù)論文。然而，在教學(xué)上教師往往喜歡“單打獨(dú)斗”，這種狀態(tài)顯然不能有效解決上述兩個問題。當(dāng)前以結(jié)果為導(dǎo)向的工程教育，本質(zhì)上要求以系統(tǒng)化的團(tuán)隊支撐穩(wěn)定的教學(xué)資源輸出[6]，團(tuán)隊中必須具備多個領(lǐng)域的專家，在統(tǒng)一的框架下合作，形成有效的課題開發(fā)機(jī)制。目前，科研訓(xùn)練教學(xué)團(tuán)隊的建設(shè)是大多數(shù)院系的短板。只有形成了有機(jī)統(tǒng)一的教學(xué)團(tuán)隊，形成一套自我改進(jìn)的閉環(huán)課題開發(fā)機(jī)制，才能源源不斷地貢獻(xiàn)高質(zhì)量的科研訓(xùn)練選題，才能培養(yǎng)出帶有學(xué)校品牌印記的學(xué)生。

最后，希望形成一種教研相長的良性發(fā)展態(tài)勢。由于大數(shù)據(jù)工程化技術(shù)和人工智能（機(jī)器學(xué)習(xí)）技術(shù)的結(jié)合本身就是非常有挑戰(zhàn)性的研究課題，每年兩大方向的頂級國際學(xué)術(shù)會議中都會報告兩者結(jié)合的最新研究成果，因此，在科研訓(xùn)練過程中，本科生們不僅要成為合格的被訓(xùn)練者，更希望他們以開拓者的姿態(tài)發(fā)現(xiàn)新問題、提出新觀點(diǎn)、找到新解法、產(chǎn)生新知識，最終讓教學(xué)反哺科研。

2 項目群建設(shè)思路

為了解決上述三大問題，作者團(tuán)隊正在開展“大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練項目群建設(shè)”教學(xué)改革研究項目，嘗試建立一套面向產(chǎn)出的工程化科研訓(xùn)練課題生產(chǎn)模式，形成一批高質(zhì)量的本科生科研訓(xùn)練選題。

2.1 總體目標(biāo)

面向新興人工智能企業(yè)對高素質(zhì)研發(fā)人才的需求，我們統(tǒng)一梳理軟件工程系多位教師的研究成果，形成面向大規(guī)模分布式機(jī)器學(xué)習(xí)算法的本科生科研訓(xùn)練項目開發(fā)框架指南；在此指南指導(dǎo)下，逐步創(chuàng)建多個大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練項目并付諸實(shí)施，同時在新的教學(xué)大綱上對本科生科研訓(xùn)練涉及的理論知識體系進(jìn)行支撐；對新設(shè)立的科研訓(xùn)練項目過程和結(jié)果進(jìn)行充分評價，并將評價的結(jié)果反饋到新的科研訓(xùn)練項目開發(fā)過程中，最終形成項目群閉環(huán)生產(chǎn)。

2.2 建設(shè)內(nèi)容

在總體目標(biāo)的指導(dǎo)下，筆者擬從框架指南、具體項目、教學(xué)大綱調(diào)整3個方面進(jìn)行建設(shè)。框架指南既是具體項目開發(fā)的指導(dǎo)性文件，又是整個項目開發(fā)團(tuán)隊合作工作的基礎(chǔ)框架；教學(xué)大綱調(diào)整則是為保證具體項目實(shí)施效果的必要支撐。

2.2.1 本科生科研訓(xùn)練項目開發(fā)框架指南

科研訓(xùn)練項目開發(fā)框架指南是建立本科生科研訓(xùn)練項目群的先決條件。良好的框架指南能夠使相關(guān)教師持續(xù)穩(wěn)定地開發(fā)出具有品質(zhì)保證的科研訓(xùn)練項目。框架指南的建立首先瞄準(zhǔn)企業(yè)需求，項目群建設(shè)小組與院系長期合作的國際領(lǐng)先IT研發(fā)機(jī)構(gòu)專家進(jìn)行持續(xù)深入溝通，收集企業(yè)對于畢業(yè)生在知識結(jié)構(gòu)、能力水平、職業(yè)素養(yǎng)等方面的現(xiàn)實(shí)需求。項目群建設(shè)小組針對這些需求，梳理系內(nèi)教師的科研課題和技術(shù)能力，確定首批科研訓(xùn)練項目的技術(shù)選型，同時制定科研訓(xùn)練項目開發(fā)框架指南。該指南包括項目群建設(shè)小組工作過程、技術(shù)選型和融合、項目設(shè)計和管理、項目過程監(jiān)督和控制、項目結(jié)果評價、項目反饋和持續(xù)改進(jìn)等幾個部分。該指南作為本科生科研訓(xùn)練項目群開發(fā)的指導(dǎo)性文件將貫穿整個科研訓(xùn)練項目開發(fā)和實(shí)施過程，并在此過程中持續(xù)修訂。

2.2.2 大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練首批示范項目

項目群建設(shè)遵循循序漸進(jìn)的原則，重在評價示范項目的執(zhí)行效果。首批擬建設(shè)2～3個示范性項目，下面以兩個正在進(jìn)行的項目對項目設(shè)計原則進(jìn)行示例。

示例1：基于Hadoop與Spark混合平臺的高性能推薦算法。

采用Hadoop與Spark混合平臺的目標(biāo)是結(jié)合兩者在存儲和計算上的各自優(yōu)勢。Hadoop具有一個分布式存儲系統(tǒng)存放海量數(shù)據(jù)。傳統(tǒng)上使用Hadoop平臺時，上層應(yīng)用系統(tǒng)用MapReduce框架進(jìn)行大規(guī)模分布式計算。在此課題中，將使用Spark平臺的并行計算技術(shù)代替MapReduce。Spark是一個圍繞速度、易用性和復(fù)雜分析構(gòu)建的大數(shù)據(jù)處理框架。它效率高于MapReduce且支持更靈活的編程模型[7]。

本項目擬讓學(xué)生在從部署混合平臺出發(fā)，逐步在這個平臺上建立一個大規(guī)模分布式關(guān)聯(lián)規(guī)則挖掘算法，實(shí)現(xiàn)通用的購物籃分析。該算法首先將大量數(shù)據(jù)進(jìn)行切割，并分配到Spark平臺的各Slave節(jié)點(diǎn)上，每個節(jié)點(diǎn)進(jìn)行頻次分析；隨后，Slave節(jié)點(diǎn)與Master節(jié)點(diǎn)交換頻次信息，各節(jié)點(diǎn)建立局部的關(guān)聯(lián)依賴有向無環(huán)圖；接著再與Master節(jié)點(diǎn)通訊，交換局部有向無環(huán)圖信息，建立全局依賴圖；最后，各Slave節(jié)點(diǎn)在全局圖的不同區(qū)域挖掘自己所需的關(guān)聯(lián)規(guī)則。該算法將使用Spark提供的API進(jìn)行實(shí)現(xiàn)。

學(xué)生在此過程中不但可以學(xué)會大數(shù)據(jù)平臺的部署和工程開發(fā)方法，而且能將傳統(tǒng)的關(guān)聯(lián)規(guī)則挖掘算法進(jìn)行分布式并行化以及適當(dāng)擴(kuò)展，最后還將使用海量數(shù)據(jù)評估算法的性能。

示例2：基于Map-Reduce模型的興趣感知服務(wù)推薦方法。

興趣感知型服務(wù)推薦方法，包含歷史評論信息爬取和存儲、基于關(guān)鍵詞列表的用戶興趣提取、目標(biāo)用戶與候選服務(wù)歷史用戶相似度評分、目標(biāo)用戶對于候選服務(wù)個性化評分4個關(guān)鍵步驟。

學(xué)生需要在Map-Reduce分布式編程環(huán)境中對上述4個步驟分別進(jìn)行并行化處理。其中對于步驟1的并行化較為簡單，可以用現(xiàn)有的分布式爬蟲工具實(shí)現(xiàn)。對于步驟2，要求將所有候選服務(wù)的評論轉(zhuǎn)化為歷史用戶興趣關(guān)鍵詞集合，并對該過程進(jìn)行并行化處理。對于步驟3，要求將候選服務(wù)的歷史用戶的所有評論轉(zhuǎn)化為評論關(guān)鍵詞集合，并對該過程進(jìn)行并行化處理，同時將利用TF-IDF方法計算候選服務(wù)的歷史用戶興趣關(guān)鍵詞集合的權(quán)重向量過程進(jìn)行并行化處理。對于步驟4，要求將為目標(biāo)用戶計算對每個候選服務(wù)的個性化評分的過程進(jìn)行并行化處理。上述4個步驟均具有多個不同的算法可以選擇，學(xué)生需要利用TripAdvisor網(wǎng)站上香港酒店預(yù)訂數(shù)據(jù)測試這些算法的性能。

學(xué)生在設(shè)計并行化算法過程中，不但可以體會到對于不同的任務(wù)類型，處理框架和算法的技術(shù)要求不盡相同，而且能夠使軟件體系結(jié)構(gòu)中的多種體系風(fēng)格和設(shè)計模式得到很好的運(yùn)用。最后，學(xué)生還將學(xué)會如何將這些算法作用于實(shí)際大規(guī)模數(shù)據(jù)并產(chǎn)生有意義的結(jié)論。

總之，未來的科研訓(xùn)練項目均要實(shí)現(xiàn)面向?qū)嶋H應(yīng)用且在已有的通用分布式機(jī)器學(xué)習(xí)庫（如Apache Mahout、Python sickit-learn等）中沒有的算法。學(xué)生將利用分布式平臺提供的編程模型和接口函數(shù)在系統(tǒng)工程的框架下從頭設(shè)計實(shí)現(xiàn)相關(guān)機(jī)器學(xué)習(xí)方法。同時，要求小組成員在組長的領(lǐng)導(dǎo)下，運(yùn)用工程管理方法，對項目的運(yùn)行情況進(jìn)行控制；要求組員采用先進(jìn)的分布式配置管理工具（如Github等）按照軟件工程過程的相關(guān)要求進(jìn)行項目管理并形成階段性文檔。最后，項目群建設(shè)小組將在項目結(jié)束后持續(xù)評估該科研訓(xùn)練的效果。訓(xùn)練效果包括近期成果和長遠(yuǎn)效應(yīng)。近期成果不僅包括科研訓(xùn)練的產(chǎn)出（如論文、專利、軟著、系統(tǒng)實(shí)物等），還包括參與學(xué)生的主觀體驗(yàn)（調(diào)查問卷）。“長遠(yuǎn)效應(yīng)”包括科研訓(xùn)練學(xué)生能否在未來的實(shí)踐性課程中獲得更高的成績，能否在未來的面試過程中獲得更多公司的青睞，甚至能否在畢業(yè)5年內(nèi)成長為公司技術(shù)骨干。這與“工程認(rèn)證”的培養(yǎng)目標(biāo)評價標(biāo)準(zhǔn)相一致[8]。項目群建設(shè)小組將會依據(jù)評估結(jié)果進(jìn)行持續(xù)改進(jìn)形成閉環(huán)機(jī)制。

2.2.3 相關(guān)教學(xué)大綱的修訂

新科研訓(xùn)練課題的難度有所增加，為保證科研訓(xùn)練產(chǎn)生良好效果，本科生在基礎(chǔ)知識上必須做好充足的準(zhǔn)備。項目群建設(shè)小組擬對軟件工程教學(xué)大綱進(jìn)行進(jìn)一步修訂，形成“軟件工程+大數(shù)據(jù)+人工智能”等新格局。首先，縮減傳統(tǒng)軟件工程的課程課堂教學(xué)學(xué)時數(shù)，例如傳統(tǒng)的軟件過程模型、傳統(tǒng)軟件測試方法、基礎(chǔ)面向?qū)ο缶幊痰龋髮W(xué)生利用網(wǎng)絡(luò)媒體自學(xué)。其次，進(jìn)一步強(qiáng)調(diào)軟件在各種系統(tǒng)構(gòu)建中的基礎(chǔ)性作用，增加“軟件定義XX”的課程，拓展學(xué)生視野、提高學(xué)生軟件開發(fā)能力。再次，強(qiáng)調(diào)數(shù)學(xué)類課程在大數(shù)據(jù)和人工智能中的基礎(chǔ)性作用，增加最優(yōu)化方法、統(tǒng)計建模等數(shù)學(xué)類課程。最后，增加云計算調(diào)度和資源管理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理等人工智能選修課程，緊扣時代脈搏。

2.3 創(chuàng)新之處

大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練項目群建設(shè)是一項創(chuàng)新性非常強(qiáng)的工作。新的科研訓(xùn)練項目采用系統(tǒng)化、工程化的科研訓(xùn)練課題開發(fā)和管理模式。與傳統(tǒng)模式相比，這一模式強(qiáng)調(diào)課程開發(fā)過程管理和持續(xù)穩(wěn)定的成果輸出，以適應(yīng)新工科的要求。項目瞄準(zhǔn)大數(shù)據(jù)人工智能時代市場需求，緊扣技術(shù)發(fā)展前沿，以其先進(jìn)性吸引廣大學(xué)生主動參與。項目并不一味強(qiáng)調(diào)理論基礎(chǔ)的艱深和技術(shù)方案的復(fù)雜，而是以產(chǎn)出為導(dǎo)向，注重工程開發(fā)能力和研究創(chuàng)新能力相結(jié)合，強(qiáng)調(diào)以教師團(tuán)隊協(xié)作為基礎(chǔ)、以課題融合為特色，重視對參訓(xùn)學(xué)生的短期成果和長期效應(yīng)評價反饋和持續(xù)改進(jìn)。

2.4 配套政策

各個層面的配套政策是保證科研訓(xùn)練項目群建設(shè)成敗的關(guān)鍵。在學(xué)校層面，已經(jīng)建設(shè)一整套科研訓(xùn)練管理體制，確立了國家級、省級、校級三級資助體系，為科研訓(xùn)練的開展提供了有力的資金支持。在學(xué)院層面，已經(jīng)安排專門的管理人員進(jìn)行項目監(jiān)管，對項目各階段的完成質(zhì)量進(jìn)行監(jiān)督。在學(xué)系層面，系主任和學(xué)科（專業(yè)）秘書加入項目群建設(shè)小組，為項目開發(fā)提供“工程認(rèn)證”達(dá)成度模型指導(dǎo)，同時綜合各方面的反饋，為專業(yè)培養(yǎng)方案的調(diào)整提供支持。

3 結(jié)語

大規(guī)模分布式機(jī)器學(xué)習(xí)本科生科研訓(xùn)練項目群建設(shè)是一個長期的創(chuàng)新性教改過程。在這一過程中，筆者希望從現(xiàn)實(shí)應(yīng)用需求出發(fā)，以導(dǎo)師的最新研究課題為依托，以大數(shù)據(jù)處理框架為基礎(chǔ)，設(shè)計實(shí)現(xiàn)大規(guī)模分布式并行化機(jī)器學(xué)習(xí)算法，解決當(dāng)前存在的前沿性、系統(tǒng)化、工程化不足的問題。同時，通過頂層設(shè)計將導(dǎo)師的科研訓(xùn)練納入統(tǒng)一的技術(shù)框架和管理模式，通過積極的反饋評估，形成質(zhì)量穩(wěn)定的科研訓(xùn)練選題輸出，促進(jìn)特色教學(xué)團(tuán)隊形成。