中國(guó)古畫人工智能修復(fù)方法研究與實(shí)踐

由筆者主持的國(guó)家社科基金藝術(shù)學(xué)青年項(xiàng)目“基于神經(jīng)網(wǎng)絡(luò)算法的古畫圖像還原修復(fù)方法研究”課題組在采訪中國(guó)古畫修復(fù)專家、調(diào)研分析人工智能虛擬修復(fù)特點(diǎn)的基礎(chǔ)上，提出中國(guó)古畫數(shù)字圖像AI算法修復(fù)的科學(xué)方法，其中包含修復(fù)流程、評(píng)價(jià)標(biāo)準(zhǔn)和算法選擇。與此同時(shí)，課題組通過(guò)算法篩選、訓(xùn)練、優(yōu)化，最終得到適應(yīng)中國(guó)古畫修復(fù)的人工智能深度學(xué)習(xí)算法ACP-LaMa。該算法成果適用于較高清晰度的復(fù)雜古畫圖像修復(fù)，且可以較理想地還原中國(guó)古畫的藝術(shù)特色。2023年，筆者申報(bào)中國(guó)藝術(shù)研究院科研項(xiàng)目“中國(guó)古畫圖像算法修復(fù)研究”，進(jìn)一步優(yōu)化修復(fù)流程和算法表現(xiàn)，并將算法應(yīng)用拓展到書(shū)法作品和工藝美術(shù)圖像修復(fù)等領(lǐng)域。目前，項(xiàng)目成果得到了多位古畫修復(fù)領(lǐng)域?qū)＜业年P(guān)注和認(rèn)可，現(xiàn)已申報(bào)國(guó)家發(fā)明專利，并與修復(fù)機(jī)構(gòu)開(kāi)展合作。

一、古畫人工智能修復(fù)的意義

（一）輔助傳統(tǒng)古畫修復(fù)

古畫圖像人工智能虛擬修復(fù)可以在短時(shí)間內(nèi)為修復(fù)工作者提供多種可視化的虛擬修復(fù)結(jié)果作為修復(fù)參照。這種將原來(lái)抽象的修復(fù)目標(biāo)具體化、明確化的方法，可有效縮減修復(fù)準(zhǔn)備工作的投入，最終提高實(shí)物古畫修復(fù)工作的時(shí)效性、準(zhǔn)確性和可靠性。

（二）輔助古畫文物保護(hù)

數(shù)字圖像虛擬修復(fù)不接觸原作，能避免對(duì)文物的接觸和傷害。同時(shí)，虛擬修復(fù)過(guò)程中完成的修復(fù)報(bào)告和標(biāo)注，也可以作為學(xué)術(shù)資料更廣泛地運(yùn)用于文物保護(hù)輔助工作。

（三）服務(wù)我國(guó)優(yōu)秀傳統(tǒng)文化推廣

氣息殘破、古舊的國(guó)畫通過(guò)數(shù)字化修復(fù)，轉(zhuǎn)變?yōu)榉洗蟊妼徝老埠玫膱D像作品，能夠得到更廣泛的傳播和展示，是傳承中華優(yōu)秀傳統(tǒng)文化的有益方式。

二、古畫人工智能修復(fù)的難點(diǎn)

（一）高清圖像修復(fù)

現(xiàn)有技術(shù)多針對(duì)低清晰度照片類別的圖像，而古畫掃描或拍照的圖像清晰度較高、文件較大 。

（二）大面積圖像修復(fù)能力

修復(fù)算法能理解畫面全局的圖像信息，而非僅基于缺損周邊的少量像素推理缺損，易實(shí)現(xiàn)對(duì)大面積缺損部位的準(zhǔn)確填充。

（三）更好地表現(xiàn)中國(guó)古畫藝術(shù)特征

修復(fù)算法能夠較好地表現(xiàn)畫面紋理、質(zhì)感、色彩過(guò)渡，線條修復(fù)需符合國(guó)畫用筆，修復(fù)區(qū)域能表現(xiàn)出中國(guó)古畫的藝術(shù)特征。

（四）修復(fù)結(jié)果的客觀性

用于訓(xùn)練的數(shù)據(jù)是否充足和數(shù)據(jù)是否具備專業(yè)性、收斂性，直接影響修復(fù)結(jié)果是否能在客觀上優(yōu)于人工判斷。

（五）算法過(guò)程優(yōu)化

運(yùn)算過(guò)程要求高效、資源優(yōu)化，避免運(yùn)算時(shí)間過(guò)長(zhǎng)、運(yùn)算資源使用過(guò)多等問(wèn)題。

（六）簡(jiǎn)單易操作

修復(fù)過(guò)程要便于非計(jì)算機(jī)技術(shù)人員學(xué)習(xí)、使用，這樣才有利于在文物保護(hù)和美術(shù)研究工作者中推廣和使用。

三、中國(guó)古畫

人工智能修復(fù)方法系統(tǒng)構(gòu)建

傳統(tǒng)的人工古畫修復(fù)是一個(gè)流程完備、標(biāo)準(zhǔn)清晰的系統(tǒng)性專業(yè)，有獨(dú)立的學(xué)術(shù)位置。因此，古畫算法修復(fù)應(yīng)該參照人工修復(fù)的歷史經(jīng)驗(yàn)，總結(jié)出一套具有科學(xué)性、系統(tǒng)性、可靠性且符合數(shù)字圖像虛擬修復(fù)邏輯的技術(shù)方案、修復(fù)流程和評(píng)價(jià)準(zhǔn)則。

本課題組采訪了十余位文物修復(fù)保護(hù)領(lǐng)域的專家學(xué)者，基于中國(guó)古畫修復(fù)工作的現(xiàn)狀和需求，梳理出適合于中國(guó)古畫數(shù)字化圖像智能修復(fù)的實(shí)施方案。深度學(xué)習(xí)算法是當(dāng)下最具潛力的AI圖像修復(fù)方法，因此課題組將其作為課題研究和實(shí)驗(yàn)的核心目標(biāo)。

（一）數(shù)據(jù)準(zhǔn)備工作

傳統(tǒng)古畫修復(fù)工作主要依靠資料、經(jīng)驗(yàn)和學(xué)養(yǎng)，人工智能算法的表現(xiàn)則依賴大量的相關(guān)數(shù)據(jù)訓(xùn)練。本課題選取中國(guó)古代繪畫作為數(shù)據(jù)訓(xùn)練基礎(chǔ)。

1.數(shù)據(jù)收集并建立數(shù)據(jù)集

課題組共整理了中國(guó)古畫圖像2萬(wàn)余張，通過(guò)定制的軟件將圖像拆分為30萬(wàn)張古畫圖像，并且持續(xù)進(jìn)行更新補(bǔ)充。

2.數(shù)據(jù)分類處理

將全部數(shù)據(jù)分為6個(gè)子數(shù)據(jù)庫(kù)，具體如下（表1）：

以上所列舉的子數(shù)據(jù)庫(kù)都涉及數(shù)據(jù)對(duì)比圖像組，以便算法更容易收斂，如圖所示（圖1）。

（二）修復(fù)流程設(shè)計(jì)

1.流程設(shè)計(jì)依據(jù)

若想讓算法在古畫修復(fù)的實(shí)際工作中充分發(fā)揮作用，就需要參考傳統(tǒng)古畫的人工修復(fù)流程與原則，設(shè)計(jì)完備的算法修復(fù)步驟或軟件工具。

（1）“洗”：通過(guò)圖像“去噪”算法，去除畫面上細(xì)小的斑駁、污漬。

（2）“揭”：通過(guò)圖像編輯軟件將畫面中錯(cuò)位、沉降和碎片等情況進(jìn)行復(fù)位。

（3）“補(bǔ)”：通過(guò)中國(guó)古畫圖像修復(fù)算法，修復(fù)畫面的大斷裂和大面積缺失。

（4）“全”：通過(guò)中國(guó)古畫圖像修復(fù)算法，修復(fù)小的病害、變色和線段缺失。

2.修復(fù)實(shí)施流程

為實(shí)現(xiàn)對(duì)古畫數(shù)字圖像的最優(yōu)修復(fù)，需多個(gè)修復(fù)步驟協(xié)同完成，也需確定每個(gè)步驟的評(píng)價(jià)標(biāo)準(zhǔn)。首先，修復(fù)古畫前，需進(jìn)行破損標(biāo)注、色彩采集和制定修復(fù)策略。復(fù)雜病害應(yīng)分層次修復(fù)，逐步實(shí)現(xiàn)從紋理、色彩到線條的匹配填充。其次，修復(fù)過(guò)程中，每個(gè)步驟需對(duì)比修復(fù)標(biāo)準(zhǔn)，未達(dá)標(biāo)處需進(jìn)行多次算法修復(fù)。最后，進(jìn)行結(jié)果分析、問(wèn)題總結(jié)和報(bào)告撰寫，對(duì)修復(fù)不夠理想的區(qū)域可以采用繪圖軟件加以輔助。本課題組根據(jù)實(shí)際實(shí)驗(yàn)經(jīng)驗(yàn)歸納了修復(fù)流程圖（圖2）：

（三）中國(guó)古畫修復(fù)的視覺(jué)標(biāo)準(zhǔn)和評(píng)價(jià)方案

通過(guò)對(duì)照傳統(tǒng)書(shū)畫修復(fù)標(biāo)準(zhǔn)，并結(jié)合專家指導(dǎo)意見(jiàn)和進(jìn)行課題組討論研究，我們將“洗”“揭”“補(bǔ)”“全”確定為中國(guó)古畫數(shù)字化修復(fù)的評(píng)價(jià)標(biāo)準(zhǔn)。傳統(tǒng)書(shū)畫修復(fù)工藝講究達(dá)到“四面光”，因此數(shù)字化修復(fù)同樣應(yīng)做到高度匹配、渾然一體。修復(fù)目標(biāo)方面要求“修舊如舊”；而修復(fù)程度則可劃分為“輕度修復(fù)”“中度修復(fù)”和“高度修復(fù)”。

（四）中國(guó)古畫智能修復(fù)算法系統(tǒng)整體規(guī)劃

本課題組從學(xué)科性、系統(tǒng)性、應(yīng)用性出發(fā)，綜合數(shù)據(jù)準(zhǔn)備、算法篩選、流程設(shè)計(jì)和評(píng)價(jià)標(biāo)準(zhǔn)，做出中國(guó)古畫智能修復(fù)算法系統(tǒng)的基本規(guī)劃，具體內(nèi)容如下（表2、圖3）：

四、中國(guó)古畫修復(fù)算法研究和實(shí)驗(yàn)分析

（一）算法篩選

課題組對(duì)近60種算法方案進(jìn)行調(diào)研、分析和實(shí)驗(yàn)，分析過(guò)程如下：

首先，篩選過(guò)程先排除不具備學(xué)習(xí)能力的傳統(tǒng)算法，這類算法修復(fù)精度較低。

其次，深度學(xué)習(xí)算法中，大部分可處理圖像的像素水平低，運(yùn)算能力不足，不符合古畫掃描或拍照?qǐng)D像的數(shù)據(jù)特征。

最后，淘汰圖像理解能力較差，且不具備大面積缺損修復(fù)能力的算法。

（二）算法優(yōu)化與訓(xùn)練

課題組基于大量的算法調(diào)研和實(shí)驗(yàn)，篩選采用了適用于大面積圖像缺損的“基于傅里葉卷積”的大型掩碼修復(fù)方法，通過(guò)優(yōu)化算法中的LaMa掩碼策略，以前文所述“中國(guó)古畫數(shù)據(jù)集”作為算法訓(xùn)練對(duì)象，得到理想的修復(fù)方法—ACP LaMa。該算法具有以下優(yōu)勢(shì)：

第一，項(xiàng)目采用快速傅里葉卷積（FFC）的修復(fù)網(wǎng)絡(luò)，允許運(yùn)算獲得覆蓋整個(gè)圖像范圍的感受野，使網(wǎng)絡(luò)能夠泛化到可以處理高分辨率圖像。第二，使用基于高感受野語(yǔ)義分割網(wǎng)絡(luò)的感知損失函數(shù)，可以讓算法較好地理解全局圖像信息，可以有效推理大面積缺損區(qū)域信息。第三，優(yōu)化原有掩碼策略，新增符合中國(guó)古畫圖像缺損和病害特點(diǎn)的裂紋掩碼策略和多點(diǎn)掩碼策略，提高了訓(xùn)練后的算法對(duì)修復(fù)對(duì)象的理解。第四，中國(guó)古畫人工智能修復(fù)方法（ACP-LaMa）單階段運(yùn)算可以達(dá)到較為理想的效果，節(jié)省運(yùn)算資源，運(yùn)行效率高。第五，設(shè)計(jì)將面向用戶開(kāi)發(fā)“傻瓜式”算法操作系統(tǒng)，操作界面友好，功能簡(jiǎn)約、靈活性高，非技術(shù)人員也能快速掌握。

經(jīng)過(guò)實(shí)際案例實(shí)驗(yàn)，ACP-LaMa人工智能圖像修復(fù)算法基本達(dá)到了以上五點(diǎn)要求。以下為案例展示（圖4）：

由算法修復(fù)效果對(duì)比圖可以看出，ACP-LaMa可以很好地理解中國(guó)畫的線條信息和藝術(shù)特色，可以較為準(zhǔn)確地還原被破壞的圖像。另外兩種對(duì)比算法修復(fù)表現(xiàn)優(yōu)秀、修復(fù)邏輯貼近古畫修復(fù)需求的算法，但線條修復(fù)能力不足。

五、中國(guó)古畫算法圖像修復(fù)實(shí)例

（一）圖像修復(fù)流程

1.病害標(biāo)注和數(shù)據(jù)采樣

課題組以四川寶梵寺壁畫作為修復(fù)對(duì)象，選取《達(dá)摩朝貢圖》的局部數(shù)字化掃描圖像開(kāi)展人工智能算法修復(fù)，修復(fù)前圖像如圖5-1所示，病害種類較多，病害情況復(fù)雜，并且影響到對(duì)人物形象的辨識(shí)，主要病害類型如圖5-2所示，小面積病害由課題組標(biāo)注如圖5-3所示。下圖（圖5）來(lái)源于《寶梵寺壁畫數(shù)字化勘察測(cè)繪報(bào)告》，報(bào)告詳細(xì)記錄了勘測(cè)壁畫的病害標(biāo)注、色彩采樣和分析結(jié)果。

2.算法修復(fù)過(guò)程

（1）“洗”：該圖像點(diǎn)狀病害較少，畫面較為干凈、明亮，經(jīng)判定不需要進(jìn)行“去噪”處理。

（2）“揭”：該圖像沒(méi)有明顯的沉降、錯(cuò)位和錯(cuò)層，經(jīng)判定無(wú)需進(jìn)行畫面復(fù)位。

（3）“補(bǔ)”：該圖像上有一條貫穿佛像面部的橫向裂痕，右側(cè)眼部附近有大面積脫落，背光、胸部和白色衣物均有大面積稀碎脫落區(qū)域，通過(guò)ACP-LaMa算法進(jìn)行1至2次打掩碼修復(fù)，修復(fù)效果理想。

（4）“全”：圖5-3標(biāo)注的小面積病害和線段問(wèn)題，相關(guān)病害多且雜，需要仔細(xì)修復(fù)，大部分區(qū)域打1次掩碼可達(dá)到理想效果，少數(shù)區(qū)域需要2至3次修復(fù)。

（二）修復(fù)結(jié)果及評(píng)價(jià)

綜合修復(fù)結(jié)果，本課題采用的中國(guó)古畫算法修復(fù)方法基本達(dá)到了課題制定的評(píng)價(jià)標(biāo)準(zhǔn)。該實(shí)驗(yàn)采用的是“中度修復(fù)”的標(biāo)準(zhǔn)，遵循最小干預(yù)原則，并沒(méi)有進(jìn)行精細(xì)化修復(fù)，而是保持了畫面整體統(tǒng)一、古樸的特征。每一處破損都采用1至3遍算法修復(fù)，視覺(jué)上基本達(dá)到修復(fù)標(biāo)準(zhǔn)要求即可。各個(gè)環(huán)節(jié)的修復(fù)基本上都可以達(dá)到色彩過(guò)渡自然、色塊銜接合理、線條平滑、墨色講究、藝術(shù)風(fēng)格統(tǒng)一和紋理匹配準(zhǔn)確。課題組邀請(qǐng)修復(fù)專家對(duì)修復(fù)結(jié)果的“客觀性”進(jìn)行評(píng)價(jià)，修復(fù)專家認(rèn)為此次修復(fù)基本達(dá)標(biāo)。同時(shí)，該算法對(duì)古畫面部信息的理解還有待提高，眉毛和眼角的修復(fù)有所欠缺，可由繪圖工具加以輔助。局部修復(fù)結(jié)果對(duì)比如圖（圖6）。

（三）其他實(shí)驗(yàn)案例（圖7—圖9）

六、研究成果的創(chuàng)新性價(jià)值

由課題組提出的中國(guó)古畫圖像修復(fù)的AI深度學(xué)習(xí)算法ACP-LaMa，基于制定科學(xué)的修復(fù)流程和評(píng)價(jià)方法，可對(duì)中國(guó)古畫數(shù)字圖像進(jìn)行高效的虛擬修復(fù)，是人工修復(fù)向科技修復(fù)發(fā)展的實(shí)踐案例。項(xiàng)目算法成果可以全局理解較高清晰度的中國(guó)古畫圖像信息和中國(guó)畫線條特征，對(duì)大面積缺損修復(fù)效果較為理想；修復(fù)區(qū)實(shí)現(xiàn)了筆墨語(yǔ)言、色彩信息和紋理質(zhì)感與原圖匹配，修復(fù)區(qū)域基本達(dá)到氣韻生動(dòng)、肉眼難辨的效果。算法應(yīng)用運(yùn)算高效、操作簡(jiǎn)明，適用于多類型中國(guó)古畫修復(fù)，具有良好的推廣性。

“基于神經(jīng)網(wǎng)絡(luò)算法的古畫圖像還原修復(fù)方法研究”項(xiàng)目通過(guò)跨學(xué)科視角將文化、藝術(shù)和科技進(jìn)行聯(lián)動(dòng)，應(yīng)用于輔助文物修復(fù)保護(hù)、美術(shù)研究和公眾服務(wù)等領(lǐng)域，綜合實(shí)現(xiàn)了其學(xué)術(shù)價(jià)值、應(yīng)用價(jià)值、社會(huì)價(jià)值和時(shí)代價(jià)值。

本文系國(guó)家社科基金藝術(shù)學(xué)青年項(xiàng)目“基于神經(jīng)網(wǎng)絡(luò)算法的古畫圖像還原修復(fù)方法研究”（項(xiàng)目批準(zhǔn)號(hào)：17CF198）階段性成果。

責(zé)任編輯：楊夢(mèng)嬌