云南大學信息學院視覺媒體與文化計算學科平臺

云南大學信息學院

“視覺媒體與文化計算學科平臺”是定位在計算機圖形學、圖像處理、計算機視覺、機器學習等基礎應用學科的理論方法研究之上，深度上向學科新（興）、經（典）、交（叉）的問題領域深入探索，夯實學科基礎、提升學科地位；廣度上突顯云南地域特點，推動圖形圖像、虛擬現實、視覺媒體技術等向民族文化、數字媒體、智慧城鎮、科學計算及可視化等應用領域擴展、形成有特色、有影響、有效益的學科增長點。

平臺在基礎理論和技術研究方面，覆蓋3D掃描和建模、基于圖像的建模和繪制、非真實繪制；圖像分析與理解、圖像融合和修復；視覺計算、情感分析；基于機器學習和深度學習的分類識別、風格遷移和圖形圖像生成等學科方向的研究。歷經20年的積累和拓展，有良好的基礎架構和學術儲備，團隊不斷地向更高的學術目標邁進。平臺在社會服務與產學研用方面，主要面向文化資源的數字保護和利用開發、民族文化數字合成、VR&AR漫游、大規模3D掃描與3D動作捕獲，以及天文、醫學、交通等交叉學科的視覺計算與可視化應用。平臺定位符合國家和云南省的戰略發展規劃。

在師資隊伍/專業建設、人才培養方面，平臺努力培養和打造云南省乃至國內 “視覺媒體與文化計算”領域一流的師資隊伍和科研團隊。通過多年來實踐 “圖形圖像課程群” 的本科培養模式，以及“項目為依托、問題為導向”的研究生培養模式，向浙大、復旦、川大、東南大學、香港中文大學、澳門科技大學等著名高校，以及百度、騰訊、華為、阿里等著名企業輸送許多優秀的本領域人才。本平臺已為云南省培養了中青年學術帶頭人4人、云南省高層次人才培養支持計劃“云嶺學者”1人、“青年拔尖人才”5人以及各高校青年學術骨干若干人。

平臺努力提升云南大學信息學科在國際國內的影響力，推進云南大學“計算機科學與技術”和“信息與通信工程”兩個一級學科博士點的整體水平，促進云南大學“雙一流 ”建設。同時，平臺建設促進不同領域學科的協同創新與縱深發展，研究成果的應用將促進旅游、文化、服務、網絡等商業的發展，有利于將云南省建設成為旅游大省、生態大省、文明大省，有利于弘揚云南少數民族文化，宣傳民族文化優秀成果，增強民族凝聚力和文化認同感，有利于維系邊疆穩定、促進民族團結。

主要研究方向及簡介

1 民族文化數字化

開創性地對云南民族風格視覺藝術的數字合成方法進行探索研究，構建了云南重彩畫圖形元素庫、云南絕版套色木刻刻痕庫、云南蠟染圖形元素庫；收集整理了云南少數民族繪畫、中西方繪畫作品；建立了東巴畫圖案素材庫、圖像美感品質評價等多個數據集，提出一系列關鍵技術和算法，實現了云南重彩畫繪制系統、云南絕版套色木刻版畫的數字模擬合成系統、云南烙畫藝術仿真系統、云南蠟染數字合成系統，東巴畫圖案白描系統，刺繡藝術風格模擬合成系統，對民族文化的數字保護和傳承起到重要作用。

代表性成果如下：

① 木刻版畫風格轉換的深度學習算法，計算機輔助設計與圖形學學報, 2020 , 32 ( 11 ): 1804-1812.

② 蠟染冰紋生成與染色模擬，中國科學:信息科學, 2019, 49(02):45-57.

③ 重要度引導的抽象藝術風格繪制, 計算機輔助設計與圖形學學報, Vol.27(5), 2015.5 pp:915-923.

④ CNN Based Embroidery Style Rendering, International Journal of Pattern Recognition and Artificial Intelligence, 2020, 34(14).

⑤ Aesthetic Art Simulation for Embroidery Style, Multimedia Tools Application, 2019, 78(1): 995-1016.

2 圖像情感分析與美感評價

提出了基于深度度量學習的圖像情感分析方法，充分考慮情感類別之間的關系，使模型學習到更加具有鑒別能力的深度嵌入特征。通過域自適應方法，建立一致性約束，實現對目標域情感數據集的分類。提出了基于共享參數和循環注意力多層次特征融合的多模態情感分析框架；構建了包含圖像美感分值與情感分布的數據集Flickr_EA，設計了基于圖像全局、分類和情感美感分層特征融合的美感識別算法網絡框架。通過大量的實驗證明了所提情感分析框架在多模態情感識別上的有效性；驗證了情感輔助圖像美感識別的可行性。

代表性成果如下：

① 基于深度學習的少數民族繪畫情感分析方法[J]. 中國科學:信息科學, 2019, 49(02):90-101.

② 基于多特征描述的雙模式學習圖像情感識別. CAD&CG,2019.

③ Image emotion analysis based on category distance relation via deep metric learning. Computer Graphics International 2021.

④ Weakly Supervised Learning of Image Emotion Analysis Based on Cross-spatial Pooling. Biometric Recognition. Lecture Notes in Computer Science, 2019, 11818: 116-125.

⑤ Multi-Feature Fusion for Multimodal Attentive Sentiment Analysis[C]// MMAsia '19: ACM Multimedia Asia. ACM, 2019.

3 計算機視覺與圖像融合

對生成對抗網絡以及其變體進行了結構上的改進，提出了一個內容-風格自適應規范化函數。將改進的結構應用在肖像風格化繪制、妝容遷移、圖像上色、圖像翻譯、字體風格遷移和虛擬試衣等研究領域。通過對不同視覺成像設備機理分析，研究不同視覺效果下的高效目標表征方法，提出了基于顯著性目標檢測的圖像增強模型及基于視覺貢獻度估計的多源圖像融合模型，為進一步的圖像視覺任務提供依據。

代表性成果如下：

① Virtual Try-on Network with Attribute Transformation and Local Rendering," in IEEE Transactions on Multimedia, 2021.

②基于多特征融合的多尺度服裝圖像精準化檢索, 計算機學報, 2020, 43(4): 740-754.

③ Regions Preserving Edge Enhancement for Multisensor-Based Medical Image Fusion. IEEE Transactions on Instrumentation and Measurement, vol.70, pp.1-13, 2021.

④ Non-Local Texture Optimization With Wasserstein Regularization Under Convolutional Neural Network, IEEE Transactions on Multimedia, vol. 21, no. 6, pp. 1437-1449, June 2019.

⑤ FuseGAN: Learning to Fuse Multi-Focus Image via Conditional Generative Adversarial Network. IEEE Transactions on Multimedia, vol.21, pp.1982-1996. 2019.

4 圖像的修復和復原

針對圖像修復易受紋理信息影響的問題，提出基于圖像結構成分計算樣本塊優先級的圖像修復方法，以及基于多損失函數訓練的深度學習圖像修復方法，這些工作不僅提高了被修復圖像的視覺質量，也為解決小樣本下壁畫的虛擬修復、超分辨率以及圖像復原等問題提供了新的思路。

代表性成果如下：

① 利用圖像結構成分的優先塊匹配圖像修復方法，計算機輔助設計與圖形學學報，2019 ,31 (5 ):821-830.

② 聯合語義邊緣與有向全變分的紋理-結構分解, 計算機輔助設計與圖形學學報, 2019, 31(10): 1786-1794.

③ Covariance-based total variation optimization for structure-texture decomposition, Multimedia tools and applications, 2018，77(13): pp 16985-17005.

④ A Single Historical Painting Super-Resolution via Reference-based Zero-Shot Network, International Journal of Computational Intelligence Systems, 2021.

⑤ Adaptive color restoration and detail retention for image enhancement， IET Image Process. 2021:1-13.