基于Docker的大數據AI教學與實驗系統

游向東，徐圓圓，歐陽松

?

基于Docker的大數據AI教學與實驗系統

游向東，徐圓圓，歐陽松

（北京郵電大學 信息與通信工程學院，北京 100876）

大數據AI教學與實驗系統是一個基于Docker容器技術研發的大數據人工智能在線教學、實驗和科研的云平臺。該云平臺支持主流深度學習框架Tensorflow，能快速部署深度學習的訓練環境，共享GPU計算資源，支持多人同時在線學習和實驗。云平臺還支持大數據hadoop實驗，提供hadoop的安裝和應用實驗。在云平臺上，老師可展開大數據、人工智能領域的教學與科研，學生可完成相關課程的學習、實驗。本系統能有效降低大數據AI教學和科研的難度，利于高校大數據、人工智能的人才培養和科研創新。

人工智能；大數據；在線實驗；機器學習；docker

0 引言

2017年8月，在國務院印發的《新一代人工智能發展規劃》中明確提出：推動人工智能領域一級學科建設，把高端人才隊伍建設作為人工智能發展的重中之重[1]，完善人工智能教育體系等內容。《北京市加快科技創新培育人工智能產業的指導意見》也指出：搭建人工智能創新平臺，支持國內外人工智能優勢企業、高等學校、科研機構等開展合作，搭建開源技術創新平臺，探索開放式協同創新模 式[2]。開發面向人工智能的開源開放平臺、完善人工智能領域學科布局，推動設立人工智能專業，推動人工智能領域一級學科建設，加快人工智能相關學科方向的研究生培養。

另一方面，我們看到，人工智能的教學實驗和科研創新，是一個綜合性較強的新興的領域。深度學習的實驗成本高，通行的提供并行運算能力的Nvidia GPU對學生來說價格不菲；人工智能算法對數學要求高，需要較強的概率與統計、矩陣論等數學基礎[3]；涉及的計算機基礎知識多，要求學生掌握Linux、Python、Java等計算機基礎；平臺搭建繁瑣，需要將眾多的開源軟件、硬件資源結合與集成；實踐性強，需要教學與實驗結合，需要理論和實踐的結合，需要將人工智能的算法在計算平臺上去運行、驗證，才能達到實驗的目的。因此展開人工智能的教學實驗和科研創新具有一定的門檻，對于普通高校的學生來說具有一定的學習難度。

因此針對高校在人工智能的教學與科研上述問題，本文研發一套“大數據AI教學與科研云平臺”，為老師和學生解決人工智能在線教學與實驗環境缺乏的現實問題。

1 系統原理和設計

1.1 系統的原理

系統包括物理層、容器層和平臺層，如圖1所示。

圖1 系統結構圖

“大數據AI教學與實驗系統”是基于Docker容器技術，可快速創建隨時可運行的實驗環境，利用docker-API部署應用、維護、擴展機制等，方便地管理容器化的應用。系統預先針對人工智能實驗內容構建一系列基于linux和深度學習框架的特定鏡像，通過Docker鏡像構建容器，為每個使用平臺的用戶開辟獨立的實驗環境。

系統分為如下三層：

平臺層：應用軟件和管理軟件，主要有教學管理子系統、在線IDE子系統；

容器層：包含docker引擎、鏡像、容器，docker編排管理；

物理層：CPU、GPU、存儲設備、網絡設備等。

1.2 系統分層結構

分層結構介紹：

（1）平臺層（web管理）：教學和實驗管理、用戶管理、容器管理界面、軟硬件資源管理。

（2）平臺層（IDE實驗）：在線IDE、git、gitlab、各種實驗程序、數據集、算法庫。

（3）容器層：含docker引擎、鏡像、容器。利用Docker技術封裝Tensorflow、caffe等深度學習計算框架；利用Docker技術封裝mysql、redis數據庫；利用docker-API進行配置、管理docker容器。

（4）驅動層：Linux操作系統的硬件驅動；Nvidia顯卡GPU驅動CUDA。

（5）物理層：CPU 、GPU 、存儲設備、網絡設備等硬件模塊，構成深度學習單服務器一體機或服務器集群。

表1 系統分層結構表

Tab.1 System hierarchy table

1.3 系統方案設計

1.3.1 系統硬件方案設計

硬件采用GPU+CPU混合架構，實現對數據的高性能并行處理；

服務器CPU選用英特爾E5-2600系列至強處理器；

每臺服務器最多可插入4塊英偉達GPU卡，可選配NVIDIA TITAN X、Tesla、GeForce

等各檔次英偉達GPU卡，最大可提供每秒萬億次的單精度計算能力。

1.3.2 系統軟件方案設計

軟件采用B/S結構，SaaS服務模式。系統軟件包括如下模塊：

web后臺模塊，包括后端框架、web服務器、數據庫、web接口的設計和開發。

web前端模塊，包括前端框架、前端UI、前端編程，采用bootstrap、jquery和ajax等技術。

數據庫模塊：數據庫采用Mysql，Redis。

深度學習模塊：深度學習框架采用Tensorflow、Caffe。

機器學習模塊：基于Python的機器學習，包括機器學習算法，如分類、聚類。

并行運算技術模塊：包括GPU、CUDA、CuDNN、Nvidia docker，GPU資源的調度使用、實驗排隊，GPU的共享。

容器技術模塊：Docker鏡像制作、容器的生成、容器的調度。

在線IDE模塊：用戶可以通過在線IDE創建項目的工作空間，進行在線開發，調試等操作。在線IDE集成了git代碼版本控制，用戶可以選擇GitHub、BitBucket、GitLab等任意的代碼倉庫。

1.4 系統平臺應用軟件子系統設計

A 用戶管理子系統

包括用戶注冊管理、信息管理、權限管理、資源分配、使用情況管理模塊。

B 容器管理子系統

對容器進行管理，包括Docker鏡像制作，容器的生成、調度和編排。有容器列表、啟動、停止、重啟、刪除、log查看等功能。

C 教學管理子系統

包含課程體系管理模塊、課程管理模塊。

D 學習管理子系統

含課程上機實驗環境，有實驗課程選擇、文件管理、代碼編輯、執行窗口。

E AI并行計算子系統

包括CUDA、CuDNN等GPU并行運算系統，GPU資源的調度、共享模塊。

F hadoop應用子系統

包含hadoop的安裝模塊、hadoop的應用模塊。

1.5 實驗流程設計

（1）添加體系或模塊

登錄—教學管理—體系管理—添加或編輯—體系或模塊，指定模塊的鏡像和相關參數。

（2）添加課程

登錄—教學管理—課程管理—新增實驗—填寫內容。

（3）在線實驗

登錄—學習管理—上機實驗—選擇體系和模塊—選擇課程—開始學習—啟動自己的容器—按說明做實驗—退出登錄—停止容器。

（4）上課教學

登錄—學習管理—大數據教學或AI教學—在線ppt教學。

2 教學管理子系統的設計與實現

開發環境和開發工具：ubuntu14.04,Python2.7, Django1.9.9, Sublime。

關鍵技術：Django框架，js，jquery等。

Django是一個MVC框架，MVC是一種主流 的軟件設計模式，其全名是Model View Controller，分別表示模型(model)、視圖(view)、控制器(con-troller)[4]。MVC是通過編寫業務的處理邏輯、將數據與界面分離顯示，進而實現將眾多業務的處理邏輯聚合到同一個部件里。通過這樣的方式，使得在改進和優化界面促進用戶體驗時，不用重新編寫業務處理邏輯。在Django 中MVC模式表現形式是模型（Model）、模板(Template)和視圖（Views），因此稱為 MTV模式。

各模塊工作流程如圖2所示。

模型Model：數據存取層，用于與數據庫進行交互，一個表對應一個model類，表里面的字段同時對應model類的屬性。

模版Template：業務邏輯層，處理與表現層相關的邏輯，定義在頁面或其他文檔中如何顯示出來。

視圖View：表現層，主要實現存取模型和調取相應模版的邏輯，一個視圖是一個可調用對象, 不僅僅局限于一個函數[5]。

2.1 添加體系或模塊

課程體系管理模塊：可水平擴展的課程體系管理，本平臺設計的體系包括：

人工智能實驗：包含機器學習、深度學習、TensorFlow；大數據實驗：hadoop安裝、hadoop應用、R語言；基礎實驗：Linux、Python、數據庫Mysql。

圖2 MVC各模塊工作流程圖

添加基本流程如下：

登錄—教學管理—體系管理—添加或編輯—體系或模塊，指定模塊的鏡像和相關參數。

該模塊前后端實現原理：用戶點擊“添加”按鈕，輸入相關名稱、描述、鏡像，點擊提交，前端通過ajax的post方法將數據傳輸給后端，后臺在view.py中寫入函數獲取前端傳輸的數據，進行相應處理后存入數據庫。用戶訪問體系或模塊，通過url跳轉到view中對應的邏輯函數，從數據庫中獲取數據，進行一定處理以達到前端需要的格式后加載前端界面，即完成展示功能。

交互流程圖如下：

圖3 添加體系/模塊交互流程圖

本模塊中體系和模塊信息共用一個數據庫，在數據庫設計中通過設置parent_id字段來定義父節點和子節點。為了更好的表現層級關系，前端采用treeview框架，這是一款多級列表樹插件，實現以簡單和優雅的方式來顯示一些繼承樹結構[6]。

實現效果圖如下：

圖4 體系/模塊界面圖

2.2 添加、編輯課程

課程管理模塊：在每一個課程體系的具體模塊下，可水平擴展教學和實驗課程內容，教學課程內容基于markdown格式編寫，用HTML格式展示[7]。課程內容包含實驗目的、實驗步驟，有演示代碼和代碼說明。實驗內容包括，選擇實驗體系、實驗模塊，填寫實驗名稱、實驗簡介、實驗時長、實驗描述，其中實驗描述為markdown格式。

基本流程如下：

登錄—教學管理—課程管理—新增實驗—填寫內容

課程管理模塊主要包括以下功能：課程添加，課程編輯，課程刪除，markdown格式轉換，分頁展示，關鍵詞搜索等。

課程添加編輯功能基于django web的前后端交互實現，通過ajax局部刷新進行數據交互，利用django的過濾標簽linebreaksbr將markdown格式轉換為瀏覽器識別的html格式。通過pagelist類來定義當前頁面、總頁數、每頁顯示內容數實現分頁顯示。關鍵詞搜索功能是基于Django的Q對象進行復雜查詢，通過使用符號&或者|將多個Q()對象組合起來傳遞給filter()，exclude()，get()等函數，Django會將多個Q()對象的關系主動理解成“且(and)”關系。將多個Q()對象組合起來后，Django會自動生成新的Q()，從而對條件進行分組組合成更加復雜的查詢邏輯[8-9]。

頁面實現效果如下圖。

3 學生學習管理子系統

學生在線實驗流程為：登錄—學習管理—上機實驗—選擇體系和模塊—選擇課程—開始學習—啟動自己的容器—按說明做實驗—退出登錄—停止容器。

交互流程圖如下。

學生選擇課程后，點擊開始學習，前端通過ajax將實驗id，模塊id，實驗詳細信息傳輸給后臺，后臺獲取相關數據后通過django的數據查詢獲取相應鏡像信息，包括imagehost, index_port, repository等，根據自定義的容器名稱命名規則為每個學生匹配對應的容器。后臺調用docker-API的接口，通過startcontainer函數開啟對應容器，前端啟動上機實驗界面。當學生學習完畢退出時，后臺調用docker- API的killcontainer函數關閉容器進程，結束本次實驗課程，釋放占用的資源。

圖5 課程編輯界面效果圖

圖6 實驗展示界面圖

圖7 學生在線實驗交互流程圖

實現界面如下圖。

圖8 實驗課程界面圖

4 結語

本文針對在高校的人工智能的教學與科研的問題，研發了一套“大數據AI教學與科研云平臺”，為老師和學生解決人工智能實驗入門難、社會培訓機構費用高、人工智能計算資源短缺、實驗和科研環境配置復雜難度大、實驗數據缺失、實訓項目較少、資源管理缺失等問題[10]。平臺提供了一個開放的、開源的、互利共享的人工智能學習和研究環境，提高廣大師生的研究興趣和水平。

本文研發的教學與科研的云平臺，對加快AI專業的課程建設，對開展高校人工智能的教學與實驗、科研和創新，對加快人工智能的人才培育和科技創新具有一定的意義。

[1] 張婷嫣, 桂騰昕, 鄧萬風. 課堂管理軟件的對比與分析[J]. 軟件, 2018, 39(1): 191-194.

[2] 閆實, 付佳, 石莉. 大數據環境下基于智慧校園的教學改革[J]. 軟件, 2018, 39(2): 208-211.

[3] 國發〔2017〕35號. 新一代人工智能發展規劃[S].北京: 國務院, 2017.

[4] 汪子堯, 賈娟. 人工智能的前生、今世與未來[J]. 軟件, 2018, 39(2): 223-226.

[5] 騰訊研究院. 人工智能[M]. 北京: 中國人民大學出版社, 2017.

[6] 劉鵬. 深度學習[M]. 北京: 電子工業出版社, 2017.

[7] 朱福喜. 人工智能[M]. 北京: 清華大學出版社, 2017.

[8] 李凡長, 錢旭培, 謝琳, 何書萍. 機器學習理論及應用[J]. 計算機工程與科學, 2012, Vol.34(09).

[9] 嚴冬梅. 數據庫原理[M]. 北京: 清華大學出版社, 2011.

[10] 劉思堯, 李強, 李斌. 基于Docker 技術的容器隔離性研究[J]. 軟件, 2015, 36(4): 110-113.

Big Data AI Teaching and Experiment System Based on Docker

YOU Xiang-dong, XU Yuan-yuan, OU Yang-song

(Beijing University of Posts and Telecommunications, Institute of Information and communication, Beijing 100876, China)

The Big Data AI Teaching and Experiment System is a cloud platform for online teaching, experimentation and research of big data artificial intelligence based on Docker container technology. The cloud platform supports the mainstream deep learning framework Tensorflow, which can quickly deploy a deep learning training environment, share GPU computing resources, and support multi-person simultaneous online learning and experimentation. The cloud platform also supports big data Hadoop experiments, providing Hadoop installation and application experiments. On the cloud platform, teachers can carry out teaching and research in the field of big data and artificial intelligence. Students can complete the study and experiment of relevant courses. The system can effectively reduce the difficulty of big data AI teaching and scientific research, and is conducive to the talent training and scientific research innovation of university big data and artificial intelligence.

Artificial intelligence; Big data; Online experiment; Machine learning; Docker

TP311.1

A

10.3969/j.issn.1003-6970.2018.08.040

游向東，男，高級工程師，主要研究方向：移動互聯網與嵌入式多媒體系統；徐圓圓，女，研究生在讀，主要研究方向：移動互聯網與嵌入式多媒體系統；歐陽松，男，研究生在讀，主要研究方向：移動互聯網與嵌入式多媒體系統。

本文著錄格式：游向東，徐圓圓，歐陽松. 基于Docker的大數據AI教學與實驗系統[J]. 軟件，2018，39（8）：192-197