《圖像處理與機器視覺》課程動態(tài)案例教學研究與實踐

楊大偉,張汝波,張 濤

(大連民族大學 機電工程學院,遼寧 大連 116605)

案例式教學法在高等教育中一直備受青睞,但對于自動化類工科專業(yè)課程來說,由于案例樣本需要達到一定數(shù)量才會對課堂教學、實驗教學產(chǎn)生積極作用[1]。故此,在《圖像處理與機器視覺》課程中應用案例式教學法,需要解決如何生成大量相關(guān)圖片的技術(shù)難點,才能為教學法提供必要的案例基礎(chǔ)。

當前,國內(nèi)大多數(shù)高校圖像處理類課程案例教學主要還是以經(jīng)典案例教學為主,教學案例主要來源于互聯(lián)網(wǎng)上獲得的固定和少量圖片[2-5]。經(jīng)典案例教學在課程培養(yǎng)的限定條件下非常有效,對于文科類專業(yè)來講,它們的案例非常之多,能夠使學生在課程當中充分了解知識本身并進行有效學習;而在工程實踐當中,很多案例卻受到專利法保護,工件造型和外觀尺寸等均屬于實用新型等保護范疇之內(nèi)。這也使得經(jīng)典案例僅能提供固定形狀的工件照片。為了能讓學生更加了解生產(chǎn)一線工程實際案例樣本,同時滿足產(chǎn)學合作和區(qū)域經(jīng)濟發(fā)展的市場需求,在專業(yè)課程中,設計翻轉(zhuǎn)課堂、實驗實踐、課程設計等教學環(huán)節(jié),可利用人工智能創(chuàng)造大量工件圖像,為課程涉及的理論和實驗內(nèi)容,提供案例式教學基礎(chǔ)資源保障。

信息時代的發(fā)展,使得人工智能走入課堂,各種課程教學案例中的照片呈現(xiàn)出如日中天爆發(fā)式的增長狀態(tài)[6-8]。動態(tài)案例教學利用人工智能,能夠生成從光線變化、條理變化、背景顏色等各方面都貼近產(chǎn)業(yè)中真實的工件圖片。人工智能的發(fā)展使得擴散模型、chatGPT等一系列技術(shù)工具應運而生,在課程應用當中逐漸凸顯它們的重要地位,動態(tài)案例教學借助人工智能技術(shù),使得課堂更加活躍,同時提高教學質(zhì)量和教學反饋速度。例如:人工智能技術(shù)突破了傳統(tǒng)和信息化課堂教學行為分析的局限,實現(xiàn)了分析的自動化和智能化,使得課堂教學行為分析更加精準、全面、真實[9];人工智能優(yōu)勢在于整合了研究、開發(fā)用于模擬、延伸和擴展,將人工智能帶進藝術(shù)設計學科課堂則很好地彌補了人力洞察學生綜合理論與實踐學習的不足,從而高效給予學生更適合的教育內(nèi)容,做到因材施教[10]。目前,已經(jīng)有動態(tài)案例教學課程利用chatGPT等人工智能工具為課堂輔助,但是這些工具明顯缺少產(chǎn)業(yè)上的應用指導功能,既無法生成可控的動態(tài)案例,更無法用圖片指導生成合理的工件圖片為案例式教學使用[11]。

大連民族大學機電工程學院自動化專業(yè),《圖像處理與機器視覺》課程,引入智能制造領(lǐng)域的工業(yè)機器視覺動態(tài)案例,幫助學生理解和應用各種圖像處理手段和方法,理論聯(lián)系實際,教會學生學習真實工件的檢測與識別工藝流程。這種動態(tài)式案例教學方式,借助于工控企業(yè)現(xiàn)實場景中出現(xiàn)的工件、零配件的外觀和造型,在不違反知識產(chǎn)權(quán)保護限制的前提下,結(jié)合人工智能的深度學習生成模型技術(shù),用真實的工件、零件為參照物,大量可控地衍生出授課、實驗所需的課程案例的多樣化圖片結(jié)果。這樣的優(yōu)勢是,既保護了產(chǎn)業(yè)對知識產(chǎn)權(quán)的保護要求,又合理地提供了多種多樣地課程案例動態(tài)樣本。這種教學方式能夠?qū)F(xiàn)實場景中,與課堂教學需求相近似的部分引入到課堂教學、實踐教學中來,讓學生能夠做到人在課堂、心在實踐的教學感受,不僅可以提高學習的興趣,更可以根據(jù)實踐中的近似真實案例的模擬來完成教學過程。

1 《圖像處理與機器視覺》課程動態(tài)案例教學建設特色

目前課程項目式教學中引入的教學案例存在與工程實際脫軌,而且大部分為靜態(tài)案例的情況,這嚴重影響案例式教學的實施效果和學生學習的積極性,缺乏對學生探索性思維的刺激和學生在復雜工程應用中研究問題和解決問題的環(huán)境。因此在國家不斷加強高等學校工科專業(yè)應用型建設水平和普遍開展工程教育認證和新工科建設的背景下,課程建設中引入工程實際案例開展項目式教學已經(jīng)成為一種趨勢。

《圖像處理與機器視覺》課程動態(tài)案例教學建設摒棄傳統(tǒng),利用人工智能AI技術(shù)工具建設動態(tài)案例,提供海量且應用于不同場景的動態(tài)案例。為配合課程的產(chǎn)學建設目標,以工程實踐中出現(xiàn)的實際工件為案例庫建設核心,采用動態(tài)案例教學方法,利用人工數(shù)字圖像處理手段,對現(xiàn)有工程實踐中,受到發(fā)明專利和實用新型專利等法律保護的工件樣本進行數(shù)據(jù)集增廣擴充。動態(tài)案例教學的開展,能夠在本專業(yè)的實驗實踐中,貼近工程實際需要的同時,不違反企業(yè)單位對產(chǎn)品外觀的法律約束和保護限制,提高學生實踐動手的真實性和工程性,更增加了學生對實踐問題的解決能力。

同時動態(tài)案例考慮實際應用條件,保證教學與工程實際的一致性。從自動化專業(yè)建設的基本需求來看,大四的選修課程應該支撐起學生就業(yè)能力的培養(yǎng)和工程實踐動手能力的鍛煉。在這樣的背景下,結(jié)合產(chǎn)學合作基地的產(chǎn)業(yè)化需求,本課程依照工程實踐中實際加工、生產(chǎn)的工件為藍本,通過人工智能數(shù)字圖像所需的生成手段,不斷產(chǎn)生貼近真實工件,但又不違反外觀專利約束的合理工程樣本,為學生授課、實踐環(huán)節(jié)提供大量的不重復應用圖片。這些圖片本身就是基于真實工件的隨機生成樣本,這些樣本可以通過文字信息加以修正和變形,但其歸根結(jié)底的基礎(chǔ)雛形不變,仍具有工程實踐的真實性,能夠作為自動化專業(yè)學生的動手實踐所需的輸入圖像來使用。同時,更加真實的案例圖片,會激發(fā)學生極大的學習熱情,促進學生動手能力的培養(yǎng)。

從解決實際工程問題出發(fā)建設動態(tài)案例,鼓勵學生根據(jù)應用條件設計個性化解決方案。對于《圖像處理與機器視覺》課程來說,最大的難題是要搜集海量的樣本作為學生練習課堂方法的基礎(chǔ)準備。但是,任何一張圖片的紋理、顏色等特征都是獨一無二的,對于通常的圖像處理方法來說,一旦了解到這個特征的特殊性,處理起來就會得心應手。不過,這種現(xiàn)象到了課堂實踐反而成了一種桎梏。因為這種特殊性的存在,使得大部分同學都傾向于使用單一手段去處理這個固定圖片的內(nèi)容,而忽略了解決工程問題的手段和途徑。更讓每一次的工程實踐課題,變成了同學們抄襲借鑒思想的陣地,徹底失去了工程實踐案例的建設初衷。所以,能讓每個參與課程教學的同學,擁有專屬工程案例,才成為了動態(tài)案例教學課程建設的目標。

2 利用人工智能AI技術(shù)建設《圖像處理與機器視覺》課程動態(tài)案例

《圖像處理與機器視覺》課程涵蓋,圖像表達、圖像預處理、圖像分割、物體識別和圖像理解等五個部分,共32學時,24學時理論,8學時實驗。該課程目標對畢業(yè)要求的支撐點有兩個,一是對自動化復雜工程問題能夠進行分析和評估;二是掌握自動化領(lǐng)域工程設計和產(chǎn)品開發(fā)流程,熟悉基本設計方法。

以往課程采用的經(jīng)典案例教學內(nèi)容,對于工業(yè)、產(chǎn)業(yè)結(jié)合的課程需求來說,照片陳舊,而且出現(xiàn)所需工件等圖片無法獲得及時更新,而致使所針對問題與現(xiàn)實需求完全脫鉤,不能直觀地讓學生及時掌握自動化領(lǐng)域?qū)嵺`中存在的檢測和識別難題。

由于圖像處理本身就屬于人工智能AI當中的熱門應用之一,隨著圖像風格遷移[12]和圖像生成[13]等技術(shù)的迅猛發(fā)展,以工業(yè)生產(chǎn)實踐中的零部件為原型,創(chuàng)造大量的、接近生產(chǎn)所需的圖片,照片的生成有指導依據(jù),符合課程需求,又能貼近于工程真實樣本及實際工件,能夠做到非常少量的工業(yè)樣本就能生成大量且不同外觀形式和材質(zhì)的工件圖片,其邏輯示意圖如圖1。

圖1 基于GAN指導的擴算模型樣本工件案例生成系統(tǒng)邏輯示意圖

本課程為保證工業(yè)零部件圖片的生成外觀,接近于原始形狀但又不會泄露實用新型專利形狀,創(chuàng)新性地采用基于GAN指導的擴散模型(后簡稱GDM模型),來生成動態(tài)工件樣本案例。其中,圖像GAN生成模塊的目的是,解決外觀風格遷移變化的約束問題,而擴散模型則可以在改變后的外觀上,進行隨機擾動生成出形態(tài)各異的新型零部件結(jié)構(gòu)來滿足學生的課堂和實驗需要。為改變外觀和背景等參數(shù)的便利,GDM模型借鑒文本到圖像的Text-to-Image模式,可以通過參數(shù)選項來改變外觀形態(tài),使得生成的圖片結(jié)果不僅能夠滿足自動化專業(yè)學生,工程實踐動手能力培養(yǎng)的需求,還能調(diào)動學生的趣味性且提高學生的專業(yè)能力。

利用GAN動態(tài)案例教學法的GDM模型,既不影響各公司相關(guān)制度規(guī)定,又能擴充數(shù)據(jù)庫,讓學生有豐富的實踐能力。這種方法可以使用少量實際工件為指導依據(jù),形成可控的動態(tài)案例輸出,不憑空捏造,能夠做到源于工程實踐,運用于案例教學,貼近一線生產(chǎn),有目的、有依據(jù)地模擬了工件在實際生產(chǎn)線上的環(huán)境和背景。這對于學生和教師來講,不僅縮短了產(chǎn)學之間的距離,縮短培訓周期,還能夠有助于他們貼近需求、貼近服務、貼近產(chǎn)業(yè)。動態(tài)案例教學激發(fā)創(chuàng)新,提高興趣,激發(fā)學生自主學習能力,引導學生自主學習,這也是課程學習的目的與意義。由于GDM系統(tǒng)具有隨機擾動的初始化條件存在,即便輸入同一張初始圖片,系統(tǒng)輸出也會有明顯的差異。也就是說,該系統(tǒng)不會兩次生成同一個輸出結(jié)果,能夠保證每次運行,其結(jié)果都會存在明顯差異。這也有效地保證了動態(tài)案例教學的應用需求。

這里,GDM的輸入還有一定的語義約束參數(shù)可選,其中工件語義約束條件見表1。這里的三個語義約束屬性分別為:光照、紋理和背景顏色屬性,而且,每個屬性中的3個約束條件,每次只能選擇1個。工件語義約束案例如圖2。

表1 工件語義約束屬性和對應的約束條件

圖2 工件語義約束案例

圖2中,利用GDM模型分別生成長方形托盤類工件、三角刀具工件和圓形墊片等三個動態(tài)教學案例。在表1的語義約束下,得到不同形式的案例樣本。

3 《圖像處理與機器視覺》課程動態(tài)案例教學實施策略

《圖像處理與機器視覺》課程動態(tài)案例GDM模型,通過架設在校園網(wǎng)內(nèi)服務器進行遠程訪問,每次可以根據(jù)需求循環(huán)生成需要數(shù)量的圖片,來滿足課上、課下的使用需求。服務器硬件是一臺雙網(wǎng)卡2U科學計算服務器,核心計算任務由8塊Nvidia 2080TI顯卡構(gòu)成。建立校園網(wǎng)和工件樣本生成服務器之間連接,隨時為課堂和實驗環(huán)節(jié)提供圖片樣本服務。

課程動態(tài)案例可以在理論教學中構(gòu)建項目式教學,由教師事先準備恰當?shù)陌咐齺磔o助課程教學。為保證教學效果,根據(jù)課程教學內(nèi)容的安排,提前選擇工件原型,幫助同學們理解檢測、分割、識別等理論內(nèi)容。同時也可以利用動態(tài)案例來設計翻轉(zhuǎn)課堂,在老師講授完原理知識之后,把課堂交給學生,利用豐富的動態(tài)案例讓學生熟練掌握理論知識的不同和應用條件,自己摸索動態(tài)案例的解決方案,在實踐中理解工程知識的應用。

同時,課程動態(tài)案例也可以應用到實驗教學中,由教師給出受保護工件圖像作為實驗課程的輸入,該圖片學生對學生不可見。由學生訪問案例數(shù)據(jù)庫服務程序,通過從表1中選擇不同的約束條件,來生成所需要的案例樣本,作為實驗課程的標準輸入使用。由于GDM模型隨機擾動的初始化存在,其輸出圖片能夠滿足人人都是全新的工件樣本圖片,不會存在任何兩個人具有相同的工件案例。這樣利用動態(tài)案例實驗就可以有效避免學生的抄襲問題,也為遠程開放實驗設計提供了可能。

另外,課程動態(tài)案例也可以用來給學生布置個性化設計作業(yè)。以往設計作業(yè)由于全體同學題目相同,不可避免地會發(fā)生解決方案設計一致,學生抄襲的問題。利用動態(tài)案例就可以給每一位學生布置應用條件各不相同的個性化設計作業(yè)題目,提高設計作業(yè)的差異性,讓學生主動學習,積極思考個性化工程問題的不同解決方案,培養(yǎng)學生依照不同條件完成工程設計的能力。

以上是課程動態(tài)案例教學三種教學實施策略,基本涵蓋了課程教學的全部過程,無論在課堂教學、實驗實踐環(huán)節(jié)和課程考核評價中,都可以應用動態(tài)案例提高案例的變化性,培養(yǎng)學生善于思考、積極動腦,主動學習的良好學習態(tài)度和分析解決問題的工程能力。

4 《圖像處理與機器視覺》課程案例教學效果評價

課程教學評價形式主要有課程目標達成情況評價、學生教學效果調(diào)查問卷、同行評價和教學督導評價等。課程的課程目標達成情況評價主要由學生翻轉(zhuǎn)課堂成績、課程實驗成績和課程設計作業(yè)成績?nèi)糠纸M成,其中課堂教學、課程實驗和設計作業(yè)均利用動態(tài)案例完成。

本課程開展動態(tài)案例教學三年以來,除了完成課程教學目標達成情況評價外,為保證學生在動態(tài)案例教學獲得良好教學效果,對連續(xù)3屆選修課程學生進行跟蹤調(diào)查,以課前問卷、結(jié)課調(diào)查、畢業(yè)生反饋跟蹤抽樣的方式進行。收到反饋共計72份,均獲得良好以上的滿意度認可。調(diào)查問卷中發(fā)現(xiàn),動態(tài)案例教學方式的引入,對畢業(yè)生工程應用的理解和工程視野的開闊提供了積極推動作用。近三年課程教學效果結(jié)果統(tǒng)計參見表2。

表2 近三年課程教學效果評價結(jié)果統(tǒng)計

從評價結(jié)果分析,動態(tài)案例教學在近三年的教學實踐過程中,課程目標達成度一直穩(wěn)步提升,學生(含畢業(yè)生)滿意度調(diào)查問卷中,95%以上的學生能夠認可本課程的改革方式,同時,督導評價和同行評價也一直為優(yōu)秀。由此說明,本課程的動態(tài)案例教學,具備積極推動課程教學進程的作用,有效調(diào)動課堂氣氛,激發(fā)學生參與實踐動腦思考的興趣,能夠幫助學生掌握工程復雜問題的分析方法,提高學生理論的應用能力,有利地支撐了課程教學目標的達成。

5 結(jié) 論

《圖像處理與機器視覺》課程教學采用動態(tài)案例教學方式,以人工智能AI手段輔助課程教學,生成大量符合工程實踐又不影響實際工程生產(chǎn)專利保護的零部件圖片,為學生提供有效的課堂參考和實踐應用案例樣本,讓課程教學融入具有挑戰(zhàn)性的工程問題。同時,在動態(tài)案例教學的實施過程中,不僅讓學生參與翻轉(zhuǎn)課堂,根據(jù)工程實際提出個性化解決方案,還通過問題差異性,有效監(jiān)督學生獨立思考,探索創(chuàng)新。經(jīng)教學評價反饋,動態(tài)案例教學的應用,讓學習成為了學生的興趣,讓更多學生敢于大膽地動手實踐,激勵了創(chuàng)新思維的萌發(fā),有效培養(yǎng)學生分析和解決問題的能力。