多媒體數(shù)據(jù)的知識關(guān)聯(lián)與理解專題前言*

蔣樹強,劉青山,孫立峰,李 波

1(中國科學院 計算技術(shù)研究所 智能信息處理重點實驗室,北京 100190)

2(江蘇省大數(shù)據(jù)分析技術(shù)重點實驗室(南京信息工程大學 自動化學院),江蘇 南京 210044)

3(清華大學 計算機科學與技術(shù)系,北京 100084)

4(北京航空航天大學 計算機學院,北京 100191)

近年來,不同來源的多媒體數(shù)據(jù)產(chǎn)生量劇增,成為用戶信息獲取、信息交換與信息消費的主要對象,多媒體數(shù)據(jù)具有廣泛的應(yīng)用需求和重大的應(yīng)用價值.相對于其他數(shù)據(jù)類型,圖像、視頻等多媒體數(shù)據(jù)具有關(guān)系繁雜、冗余性強、信息隱藏深、全面理解困難等特點,因此,全面和準確地分析和理解多媒體內(nèi)容是一個非常重要和具有挑戰(zhàn)性的問題.最近,基于知識關(guān)聯(lián)與理解的多媒體計算正逐漸得到研究者的關(guān)注,呈現(xiàn)出新的發(fā)展動態(tài),這項研究可以使得多媒體內(nèi)容的分析與理解更加深入,建立從多媒體內(nèi)容感知到全面認知理解的橋梁.

本專題公開征文,共收到投稿13篇,其中,12篇論文通過了形式審查,內(nèi)容涉及圖像/視頻等多媒體內(nèi)容的識別、理解和描述的各個方面.特約編輯先后邀請了30多位專家參與審稿工作,每篇投稿至少邀請3位專家進行評審.稿件經(jīng)初審、復審、ChinaMM 2018論文交流和終審4個階段,歷時5個月,最終有7篇論文入選本專題.

《視覺場景描述及其效果評價》對現(xiàn)有視覺場景描述及相關(guān)技術(shù)進行綜述,介紹主要方法、模型及研究進展,梳理評價方法的各項指標,對視覺場景描述技術(shù)面臨的問題與挑戰(zhàn)進行了分析,并討論了未來的應(yīng)用前景.

《跨媒體深層細粒度關(guān)聯(lián)學習方法》提出了跨媒體循環(huán)神經(jīng)網(wǎng)絡(luò)及聯(lián)合關(guān)聯(lián)損失函數(shù),用以挖掘媒體內(nèi)和媒體間的多層面關(guān)聯(lián),支持高效的跨媒體檢索.

《基于區(qū)域敏感生成對抗網(wǎng)絡(luò)的自動上妝算法》提出了一種掩模控制的自動上妝生成對抗網(wǎng)絡(luò),能夠重點編輯上妝區(qū)域,保持主體信息,實現(xiàn)特定區(qū)域上妝.

《基于仿射不變離散哈希的遙感圖像多目標分類》在監(jiān)督離散哈希(SDH)目標函數(shù)中引入仿射不變因子約束,構(gòu)造仿射不變離散哈希,并應(yīng)用于遙感圖像的多目標分類.

《基于條件隨機場的深度相關(guān)濾波目標跟蹤算法》面向魯棒的目標跟蹤,將基于深度學習的判別式相關(guān)濾波和條件隨機場模型結(jié)合,設(shè)計了一個端到端的深度卷積神經(jīng)網(wǎng)絡(luò).

《基于小波域的深度殘差網(wǎng)絡(luò)的圖像超分辨率算法》將小波變換的思想與深度殘差網(wǎng)絡(luò)相結(jié)合,并利用圖像空間損失和小波系數(shù)損失約束網(wǎng)絡(luò)訓練,并將該方法用于圖像的超分辨率重構(gòu)問題.

《利用可分離卷積和多級特征的實例分割》在全卷積實例感知分割網(wǎng)絡(luò)的基礎(chǔ)上,面向圖像中的實例分割,設(shè)計了一個具有邊界細化模塊和多級特征的復雜分割分支.

本專題主要面向多媒體技術(shù)、圖像處理、人工智能等多領(lǐng)域的研究人員和工程人員,反映了我國學者在多媒體內(nèi)容分析與理解領(lǐng)域最新的研究進展.感謝《軟件學報》編委會和中國計算機學會多媒體技術(shù)專委會對專題工作的指導和幫助,感謝專題全體評審專家及時、耐心、細致的評審工作,感謝踴躍投稿的所有作者.希望本專題能夠?qū)Χ嗝襟w及相關(guān)領(lǐng)域的研究工作有所促進.