淺談提升凸優化教學效果的策略

董巧麗

【摘要】凸優化是一門有很多抽象概念性質的數學理論性極強的課程，也是很多學校計算數學專業研究生的學科專業課.為使計算數學專業研究生掌握凸優化的基本理論與方法并快速參與科研，筆者結合近幾年的教學認識和實踐，根據凸優化的課程特點從五個方面給出了提升凸優化教學效果的策略，旨在優化凸優化課程的教學內容，提升教學效果.

【關鍵詞】凸優化；教學效果；極大單調算子；迭代算法

凸優化是指目標函數和約束為凸函數或凸集合的優化問題，它在很多學科領域有廣泛的應用，譬如自動控制系統、信號處理、通訊和網絡、電子電路設計、數據分析和建模、統計學（最優化設計）、金融和機器學習.許多優化問題都可以轉化成凸優化（凸最小化）問題.凸優化問題有三方面的優勢：凸優化問題的局部最優解就是全局最優解；很多非凸問題都可以被等價轉化為凸優化問題或者被近似為凸優化問題（例如壓縮感知問題）；凸優化問題的研究較為成熟，當一個具體問題被歸為一個凸優化問題，基本可以確定該問題是可被求解的，因此凸優化問題一直是優化領域的研究重點.基于一階優化條件（即費馬引理），易于設計求解凸優化問題的迭代算法，而利用非線性分析工具可以容易地分析方法的收斂性.

目前，國內外很多高校的計算數學專業開設凸優化課程，目的是使計算數學專業的研究生掌握凸優化的基本理論、算法構造和收斂分析技巧.學生學完凸優化課程后將了解凸優化的重要概念性質，掌握構造基本迭代算法及分析算法收斂性的技巧，可以無障礙地閱讀凸優化理論與算法方面的論文，了解凸優化研究的學術前沿動態.凸優化因為其內容具有抽象性、復雜性、嚴密性，難學也難教，而計算數學專業的研究生如果沒有學好凸優化，沒有開好頭，后繼參與科研也會受到很大影響.為了更好地提升凸優化的教學效果，下面筆者將從五個方面出發詳細介紹提升教學效果的建議.

一、充分利用現代教育技術，提升教學效果

在課堂中使用現代教育技術有利于課堂教學結構、課堂思維訓練、課堂操作形態等方面教與學的優化.首先，凸分析不僅知識點繁多而且概念抽象，比如，在講解上方圖、極大單調算子、共軛函數以及次微分等抽象概念時，若教師僅僅是從語言的角度講解，學生很難理解這些抽象定義，但是若教師利用信息技術向學生展示這些概念的幾何直觀圖，學生就會很快理解這一抽象概念并深刻記憶.其次，凸分析中許多定義、命題、定理和推論都較為冗長，譬如教材[9]中的定理18.15有9條結論，命題26.1有一頁書的內容.若將其謄寫在黑板上，不僅會浪費大量時間，而且在這個過程中學生會走神、說話，最后在一定程度上影響教學質量.而以信息技術呈現既方便教師講解，也方便學生學習.最后，凸分析中很多重要的知識，也需要信息技術結合板書形式的教學.比如在講解鄰近算子時，教師將鄰近算子的定義以及相關結論通過信息技術展示，隨后將重要的分析和推導過程通過板書的形式給學生細講、慢講，讓學生真正明白結論的由來.考慮到凸優化課程具有內容較多但課時有限的特點，為達到開設此課程的目的，教師需要精選一些內容（比如最新論文），通過線上方式分享給學生，擴展學生的知識視野，讓學生盡可能地了解學術前沿動態.

二、注重新舊知識的銜接，培養學生邏輯思維

凸優化的前續課程是迭代分析，學生在迭代分析課程學習中已掌握了非線性算子的基本概念性質、不動點問題、迭代算法的分析基礎和一些重要引理，尤其是非擴張算子不動點問題的Krasnosel？Skii-Mann迭代算法、Halpern迭代算法和粘滯迭代算法等經典迭代方法和收斂分析，掌握了一些證明技巧.迭代分析也簡單介紹了凸優化問題、單調包含問題和線性方程組的迭代算法和收斂結果.凸優化課程首先講解凸函數、（次）微分算子、共軛函數、鄰近算子、（極大）單調算子和預解式的定義性質以及費馬引理，然后基于這些概念性質說明（分裂）單調包含問題、變分不等式問題、鞍點問題和（結構型或約束）優化問題等問題與非擴張算子不動點問題的關系，進而著重介紹Krasnosel？Skii-Mann迭代算法與鄰近算法、Douglas-Rachford分裂方法、Peaceman-Rachford分裂方法、向前向后分裂算法等算法的等價性.在進行算法的收斂性分析時和學生回憶迭代分析課程中學到的相關基礎知識和證明技巧，并說明方法之間的區別，比如講解凸優化問題的鄰近算法時，介紹利用次微分算子和預解式分析收斂性時得到的結果不同，前者更好.這樣不僅可以鞏固學生的舊知識，也能進一步建立起新舊知識之間的聯系，加強學生對知識點的掌握，同時有利于學生牢固掌握非線性分析和凸優化的基本理論與分析方法，建立完備的知識體系.

三、豐富課程內容，開闊學生視野

凸優化和后續科研銜接緊密，為了盡快進入科研狀態，計算數學專業研究生不僅需要掌握凸分析教材的內容，而且需要擴大專業知識面，了解學術前沿動態.為此，教師不僅要將課程所用教材中的重點知識點著重講解，還需要將有聯系的知識在課堂上展示給學生.比如在講述可微函數的凸性與梯度的單調性之間的關系時，教師可為學生介紹函數滿足凸性及其梯度Lipschitz連續條件下的一些等價結論，通過這些結論，讓學生更好地體會不同條件下結論的差異性.教師可將學術前沿動態融入課堂.比如在給學生講解梯度下降算法、鄰近算法、Douglas-Rachford分裂等算法時，提及方差縮減的隨機梯度下降算法、隨機鄰近交替線性極小化算法、隨機Douglas-Rachford分裂算法等近十年的熱點算法，說明這些算法在解決大規模問題時的優勢以及在機器學習中的廣泛應用；在講述結構單調包含問題和結構凸優化問題的算子分裂方法時，介紹向后向前分裂方法、Davis-Yin分裂方法、向前—向后—半向前分裂方法、向前-反射向后分裂算法等方法，說明這些算法之間的關系，讓學生了解分裂算法的最新進展；在講解鄰近算法時，說明增廣拉格朗日方法、原始對偶混合梯度算法、線性交替方向乘子法和Douglas-Rachford分裂等算法都可以看作鄰近算法，并給出推導，以加深學生對這些關系的印象.最后，為使課程內容更豐富，教師可以在班級微信群里面發送相關綜述類論文及學術報告視頻，滿足學生的求知欲.總結過去的教學經驗，筆者發現豐富的課程內容可以使學生更快地進入科研狀態，也可以鼓勵學生看清問題本質，從源頭上進行創新.

四、精心布置思考題，提升學生科研能力

思維和解題過程密切相關，著名數學教育家波利亞曾說：“掌握數學意味著什么呢？這就是說善于解題，不僅善于解一些標準的題目，而且善于解一些要求獨立思考的、思路合理、見解獨到的和有發明創造的題目.”在課堂上，教師精選一些思考題對學生進行訓練，可以提高學生的創造性思維能力.比如，在講解鄰近算法時，讓學生思考鄰近算法與Krasnosel？Skii-Mann迭代算法、增廣拉格朗日方法、Chambolle-Pock原始對偶方法和Douglas-Rachford分裂算法的關系；講對偶時，讓學生推導結構型線性約束優化問題的對偶問題；講包含問題和優化問題的關系時，給幾類特殊極小化問題，讓學生利用費馬引理思考對應的包含問題.除了課堂上給學生布置思考題，教師也可以給學生留些作業題，比如證明鞍點問題可以轉化為結構包含問題，給出約束優化問題對應的鞍點問題，將Douglas-Rachford分裂算法應用于（兩個凸集合交集的）凸可行問題，給出收斂性結果.這樣就可以通過設置類似的開放性思考題，啟發學生多角度尋找解決問題的方法，不僅使知識的應用有很大的覆蓋面，而且能夠滿足不同層次學生的求知需求.學生在解題的過程中也逐漸學會獨立思考，運用知識解決問題，同時提高了數學思維能力和獨立搜索文獻的能力.

五、關心鼓勵學生，幫助學生樹立學習數學的信心

凸優化課程在研究生二年級上學期開課，相對于其他基礎性學科，本課程采用英文教材授課，且課程含有大量抽象的數學專業概念和性質定理，因此有些學生對本課程有一些畏難情緒.對此，教師需要及時引導學生，鼓勵學生參與課堂討論，以幫助學生克服畏難情緒.譬如在課堂講授過程中啟發學生思考，并逐漸地增加知識難度，逐步提升學生自信心；也可以留些有實際應用背景的數值實驗，譬如圖像、信號處理和機器學習中的實驗，讓學生了解本課程在解決實際問題時的重要作用，以激發學生的學習積極性和熱情.

教師可以在課堂上講一些數學名人的故事，比如拉爾夫·泰瑞爾·洛克菲勒（RalphTyrrell Rockafellar），他的博士論文與Jean-JacquesMoreau的相關研究一起被認為是凸分析的奠基性工作.雖然當時哈佛大學的老師對凸性和最優化沒有什么興趣且洛克菲勒的導師伯克霍夫既不參與研究，也不熟悉這個課題，但是洛克菲勒卻在這一領域獲得巨大成就，他對鄰近梯度算法的發展做出了重要的貢獻.教師可以以拉爾夫·泰瑞爾·洛克菲勒的事跡為例，鼓勵學生要善于自己發現問題、提出問題和解決問題，鼓勵學生樹立學習和掌握凸優化課程內容的信心.教師還可以介紹年輕優化數學家印臥濤，他在算子分裂方法、并行和分布式計算、分散優化、壓縮感知和變分圖像處理領域是世界上最有影響力的研究人員之一.他和學生提出了著名的Davis-Yin分裂方法，對結構單調包含問題采取分而治之的策略，對算子分裂的發展做出了突破性貢獻.由于這些貢獻，他獲得了NSF CAREER獎、Sloan獎、晨興應用數學金獎、EgonBalas獎等，目前在阿里巴巴達摩院工作，主持創建了決策智能實驗室，致力于將優化算法應用于解決實際問題.教師還可以向學生介紹中國著名優化學者何炳生，他利用普通的大學數學知識和一般的優化原理，以變分不等式為工具做出的一系列出色的工作，給出原始對偶問題、線性約束優化問題等問題與變分不等式的關系，從而以變分不等式算法出發，分析了Chambolle-Pock原始對偶方法、交替方向乘子法等方法的收斂性及參數選擇，相關工作得到了國際同行的高度評價.通過介紹這些名人故事，尤其是華人數學家在優化領域的突出貢獻，鼓勵學生不畏艱難，積極進取，在優化領域做出國際領先的原創性工作.

結 語

凸優化是計算數學專業研究生的重要數學基礎課程，但是這門課的概念抽象、性質定理繁多，因此學生學起來很困難.為提升凸優化課程的教學效果，筆者從教學內容和教學方法等方面出發給出了五點建議，以幫助計算數學專業的研究生掌握凸優化的基本理論、構造迭代方法和分析技巧，使學生了解學術前沿動態，也為學生的后續科研打下堅實的基礎，提高他們發現問題、提出問題和解決問題的能力.

【參考文獻】

[1]魏倩，白可，金勇，等.面向研究生的凸優化課程教學設計與實踐[J].軟件導刊，2022，21（7）：236-239.

[2]黃宏博，潘淑文.數據智能類專業最優化類課程教學研究[J].高教學刊，2020（21）：113-115.

[3]李衍杰.誘導式教學在優化與最優控制中的運用[J].教育教學論壇，2018（33）：112-114.

[4]宋雯彥.應用經濟學與人工智能結合的研究生課程設計[J].科技視界，2020（27）：18-19.

[5]何松年，張翠杰.迭代分析基礎[M].北京：科學出版社，2023.

[6]G·波利亞.怎樣解題.[M].涂泓，馮承天，譯.上海：上海科技教育出版社，2002.

[7]李航.統計學習方法（第2版）[M].北京：清華大學出版社，2019.

[8]BOYDS，VANDENBERGHEL.Convex Optimization[M].London：CambridgeUniversity Press，2004.

[9]BAUSCHKEHH，COMBETTESPL. ConvexAnalysisandMonotoneOperatorTheoryin HilbertSpaces（2nded）[M].NewYork：Springer-Verlag，2017.

[10]RYUEK，YINW.Large-ScaleConvex Optimization：AlgorithmsandAnalysesviaMonotone Operators[M].London：CambridgeUniversity Press，2022.

[11]SéBASTIENB.ConvexOptimization：AlgorithmsandComplexity[M].Netherlands：Publishers ofNowFoundationsandTrends，2015.

[12]MALITSKYY，TAMMK.AForward-BackwardSplittingMethodforMonotoneInclusions withoutCocoercivity[J].SIAMJournalonOptimization，2020（30）：1451-1472.

[13]BRICE？O-ARIASLM，DAVISD.Forward-Backward-HalfForwardAlgorithmforSolvingMonotone Inclusions[J].SIAMJournalonOptimization，2018（28）：2839-2871.

[14]RYUEK.UniquenessofDRSasthe2 OperatorResolvent-SplittingandImpossibilityof3 OperatorResolvent-Splitting[J].Mathematics Programming，2020（182）：233-273.

[15]DAVISD，YINW.AThree-OperatorSplitting SchemeanditsOptimizationApplications[J].Set-ValuedandVariationalAnalysis，2017（25）：829-858.

[16]HEBS，YUANX.AClassofADMM-Based AlgorithmsforThree-BlockSeparableConvex Programming[J].ComputationalOptimizationand Applications，2018（70）：791-826.

[17]TIBSHIRANIR.RegressionShrinkageand SelectionViatheLasso[J].JournaloftheRoyal StatisticalSociety：SeriesB（Methodological），1996（58）：267-288.

[18]XING-JUCAI，KEGUO，FANJIANG，etal. TheDevelopmentsofProximalPointAlgorithms[J]. JournaloftheOperationsResearchSocietyofChina，2022（10）：197-239.